Poco distante dall'altare, lungo il fianco della navata sinistra del Duomo, si apre un ambiente in cui architettura, scultura e pittura si fondono in un complesso assolutamente omogeneo, denominato Libreria Piccolomini. Qui, secondo le intenzioni del Cardinale Francesco Piccolomini, doveva essere infatti custodito il prezioso patrimonio librario della famiglia, raccolto principalmente dallo zio Pio II, grande umanista e autore egli stesso di opere letterarie. In realtà la Libreria non ospitò mai quei volumi, trasformandosi in un magnifico ambiente di rappresentanza, non adibito pertanto ad alcun servizio di culto, bensì tutto dedicato all'esaltazione della figura di Pio II.
I lavori ebbero inizio nel 1492, quando si trasformarono alcuni locali della vecchia sacrestia in un'unica grande aula, coperta da volta unghiata a padiglione; la parte inferiore delle pareti venne rivestita da sedili lignei intagliati tra il 1495 e il 1496 da Antonio Barili (in seguito modificati e parzialmente distrutti nel XVIII secolo), mentre al centro della sala trovò posto il bellissimo gruppo marmoreo delle Tre Grazie, copia di epoca romana di un originale greco, a testimoniare gli interessi umanistici della famiglia Piccolomini. Nel 1497 poi, il senese Lorenzo di Mariano detto il Marrina realizzò il ricco prospetto marmoreo che adorna l'esterno della Libreria, affacciato sulla navata.
È tuttavia la decorazione pittorica a conferire all'ambiente la magnificenza che da secoli colpisce i visitatori: la sua esecuzione venne affidata nel 1502 al Pinturicchio, artista umbro in quel tempo all'apice della fama. Come consuetudine, i primi ad essere portati a termine furono gli affreschi del soffitto, in cui ebbero un ruolo predominante i numerosi aiuti di cui l'artista si avvalse per la realizzazione dell'impresa. Nella vasta superficie della volta, insieme a riquadri raffiguranti Virtù e miti pagani, si dispiega un vastissimo repertorio di decorazioni a 'grottesche', che rappresentavano all'epoca l'ultimo aggiornamento al gusto del tempo; costituite da elementi eterogenei, quali creature fantastiche, esseri ibridi, putti, mascheroni e elementi vegetali disposti a creare intrecci, furono così chiamate perché si ispiravano alle pitture rinvenute verso la fine del Quattrocento nei resti sotterranei della Domus Aurea di Nerone, da subito riproposte dai pittori che lì si recavano a studiarle di persona.
In seguito alla conclusione delle pitture del soffitto, nel 1503, Francesco Piccolomini, dopo soli pochi giorni di Pontificato, morì. Ciò determinò un'interruzione dei lavori, che ripresero dal 1505 con l'affresco collocato al di sopra del prospetto esterno della Libreria, raffigurante l'Incorazione di Pio III, voluto questa volta da Andrea di Nanni Piccolomini per onorare la memoria del fratello deceduto due anni prima. Subito dopo, tenendo fede alla volontà del defunto committente, Pinturicchio dette finalmente inizio alla decorazione delle pareti della sala, che si caratterizza come una vera e propria 'biografia dipinta' di Pio II, articolata in dieci episodi.
Le pareti presentano un'intelaiatura pittorica costituita da dieci arcate, separate da pilastri ornati a grottesche, a fingere un loggiato; ogni arcata rappresenta così una sorta di 'finestra' che si apre su una scena, il cui soggetto è indicato nell'iscrizione sottostante. I dieci episodi, di grande qualità pittorica, hanno da sempre esercitato un forte impatto visivo sui visitatori, in primo luogo perché caratterizzati da colori smaglianti, conservati in maniera perfetta, e da una straordinaria ricchezza di particolari; inoltre le composizioni, pur essendo affollate di personaggi, sono studiate per evidenziare di volta in volta la figura del protagonista, Pio II, rendendolo immediatamente individuabile all'interno delle varie scene; infine, le ambientazioni che fanno da sfondo agli episodi alternano verdi paesaggi a vedute di interni, in una successione gradevole e mai monotona.
La lettura delle storie inizia dalle parete opposta a quella di ingresso, a destra del finestrone centrale, e procede in senso orario, seguendo un ordine cronologico. I dieci episodi possono essere così descritti: Partenza di Enea Silvia Piccolomini per il Concilio di Basilea; Enea Sivio ambasciatore alla corte di Scozia; Enea Silvio incoronato poeta dall'imperatore Federico III; Enea Silvio si riconcilia con il legittimo Pontefice Eugenio IV e riceve gli ordini clericali fino all’Episcopato; Enea Silvio, Vescovo di Siena, accoglie presso Porta Camollia la coppia imperiale Federico III ed Eleonora del Portogallo; Enea Silvio eletto Cardinale da Papa Callisto III; Enea Silvio incoronato Papa Pio II; Pio II convoca a Mantova i principi cristiani per organizzare la crociata contro i Turchi; Pio II canonizza Santa Caterina da Siena; Pio II, già infermo, giunge ad Ancona per dare inizio alla crociata.
Al di sotto degli affreschi, dentro apposite vetrine, è possibile ammirare alcuni preziosi antifonari. Usati dai Canonici del Capitolo per la celebrazione della Liturgia delle Ore, sono ornati da magnifiche miniature eseguite da Girolamo da Cremona, Liberale da Verona e altri artisti della seconda metà del Quattrocento.
Il pavimento Ginori, infine, è un rifacimento ottocentesco dell’originale ad ambrogette blu cobalto con la mezzaluna dorata, emblema araldico della famiglia Piccolomini.