Tra il 1826 e il 1832 sorge in Piazza De Ferrari, sull'area del demolito convento di San Domenico e addossato alla collina di Piccapietra, un nuovo edificio a tre piani ad uso della Libreria e dell'Accademia, che riutilizza il porticato progettato da Barabino nel 1821 per una caserma posta in aderenza al teatro lirico, oggi Teatro Carlo Felice. Il problema dell'esigua profondità del lotto a piano terra è risolto dall'architetto con una maggiore spazialità ai piani superiori, soprattutto al secondo piano dove una successione di colonnati termina in una Rotonda con volta emisferica cassettonata. Le ristrutturazioni urbanistiche di fine Ottocento e inizio Novecento sacrificano il retro dell'edificio e la Rotonda venne demolita; a memoria del passato magniloquente rimane soltanto il fregio eseguito da Santo Varni - raffigurante il "Trionfo di Marcello" o il "Trasporto delle Arti dalla Grecia a Roma", un tempo collocato lungo le pareti e ormai nel deposito del museo allo stato di frammento. I bombardamenti del 1942 danneggiano i saloni del secondo piano e soltanto nel dopoguerra viene progettato l'arredamento del palazzo che dovrà contenere l'Accademia, il Civico Liceo Artistico Nicolò Barabino, un museo (probabilmente il Museo del Chiossone) e la Biblioteca Civica Berio. Attualmente, dopo il trasferimento della Biblioteca Berio nell'ex Seminario Arcivescovile, l'edificio è rimasto sede esclusiva dell'Accademia Ligustica e del suo Museo.