Dietro l’altare maggiore, il pregevole coro e i due bellissimi organi laterali, opere di due artisti senesi, vanno a completare gli arredi lignei della Collegiata, realizzati dall’architetto Agostino Fantastici (1782 – 1845) in stile neoclassico.
Il suo modo di concepire lo spazio lo spinge ad occuparsi della progettazione di panche, confessionali ed inginocchiatoi. Definito come uno dei maggiori interpreti del gusto artistico del suo tempo, il Fantastici propone per la chiesa un arredo vicino alla moda del periodo, in cui riesce ad esprimere la sua personale idea di gusto ornamentale. Un mobilio dalle linee sobrie, i cui volumi e gli effetti cromatrici sono affidati ai diversi toni del legno, noce e cipresso, e alle loro stagionature.
Altri manufatti importanti, quali documenti storici, sono un grande drappo in velluto con le insegne papali, ben visibile sopra l’altare maggiore, donato alla Madonna l’8 giugno 1658 da Papa Alessandro VII Chigi e, a lato di questo, una bandiera turca, donata alla Madonna di Provenzano nel 1686.