Negli estimi della comunità di Rosignano del periodo tra il 1622 ed il 1710, l'edificio risultava in proprietà del Serenissimo Granduca di Toscana ed era descritto come un castello fatto con casette per li soldati et un magazzino per il sale con terre lavorative all'intorno luogo detto al Castello di Vada. Successivamente con atto registrato il 27 marzo 1783, il Granduca Leopoldo II acquistò dall'Arcivescovado di Vada un magazzino murato con sue appartenenze per tenere grani attaccato alle case della Torre e Castello di Vada al prezzo di pezzi 210.  La costruzioni adibita a caserma ha forma irregolare, ed è composta di nove stanze destinate alla truppa, un forno, una stalla, la cappella, e accanto il magazzino di pertinenza della Mensa Arcivescovile di Pisa. Alle spalle del forno un piccolo orto di forma triangolare completa la struttura che si affaccia su un cortiletto interno, a cui si accede da un portone posto sul lato nord. I muri perimetrali sono circondati da contrafforti in muratura spessa oltre un metro, costruiti dalla Repubblica di Pisa nel 1125 per difendere il fortilizio dagli attacchi dei Genovesi. Nel 1485, dopo alterne vicende, l'edificio venne occupato definitivamente dalla Repubblica Fiorentina. Sopra l'arco della porta di ingresso del fortilizio, è ancora visibile lo stemma in marmo della famiglia Medici. L'arco è sormontato da dodici merli guelfi lisci. La cappella per il servizio religioso militare era decorata con stucchi artistici ed aveva due ingressi, uno lato padule ed uno lato chiostra. Nel 1781 il governo di Pietro Leopoldo di Lorena emana una nuova legge sulle dogane con istruzioni ai doganieri e con definizioni di tariffe e gabelle. Anche la Dogana di Vada si adegua. Nel 1832 nei locali della Dogana si trovavano gli uffici dei viceconsoli di Francia e degli Stati Sardi. Queste  rappresentanze straniere testimoniano un movimento piuttosto consistente dei bastimenti nel porto. Nel 1859 nei locali della Dogana si trova anche l'ufficio del viceconsole degli Stati Uniti, a testimonianza di un grosso movimento di navi e merci in porto. Nel 1890 apre, fino al primo decennio del '900 il locale "Vini e Caffè"  ubicato nei locali piano terra della "Dogana", nella via di Marina, famoso anche per il teschio sul bancone. E' il primo locale pubblico che si ricordi destinato ai pescatori e naviganti. La chiesa, non più officiata, venne inizialmente trasformata ed utilizzata a servizio delle Guardie Forestali, che successivamente vennero trasferite nella Casa dei Cavalleggeri all'interno della pineta sud di Vada. Il complesso degli edifici, di proprietà dello Stato, è destinato ad alloggi di servizio per il personale militare della Guardia di Finanza.

Vada la torre, il porto, il fanale