Progettato dall'architetto Luigi Vanvitelli, l'edificio sorge su un'isola artificiale pentagonale situata all'interno del porto ed è collegato alla terraferma da tre ponti. Originariamente si raggiungeva solo via mare e il suo approvvigionamento idrico avveniva mediante tre pozzi situati nel piccolo tempio neoclassico dedicato a San Rocco. Il tempietto, aperto sui quattro lati, consentiva ai detenuti di affacciarsi sul cortile e assistere alla messa. Nella parte interna dell'edificio si trovano i locali del Lazzaretto vero e proprio, destinati alla quarantena, mentre le stanze nella parte esterna erano usate come deposito per la merce a confermare la polifunzionalità della struttura.
