Tvrđava Gospina Baterija izgrađena je 1841. godine u samom središtu uvale sv. Jurja, na mjestu koje se nazivalo Levaman, kao glavna fortifikacijska građevina grada u vrijeme austrijske uprave (1815.-1918.). Baterija predstavlja vrhunac austrijskog graditeljstva na otoku, a njena očuvanost svjedoči o kvaliteti gradnje i kontinuitetu uporabe. Smještena je u samom dnu zaljeva, između dva povijesna viška naselja, Luke na zapadu i Kuta na istoku.
U tvrđavu se ulazi sa istočne strane, preko nekadašnjeg drvenog pomičnog mosta, u prostrano unutrašnje dvorište. Nad ulazom u dvorište nalazi se oštećena mramorna ploča s natpisom Batteria della Madonna anno MDCCCXLI. S južne strane nalazi se glavna zgrada u kojoj je bilo smješteno zapovjedništvo, vojnici i časnici, dok se sa sjeverne strane nalazi visoki bastion s kosim zidovima okružen dubokim jarkom. Na bastionu se nalazilo osam topova okrenutih prema moru, a prostor unutar njega služio je kao skladište i tamnica.
Baterija je imala značajnu ulogu u Viškom boju, točnije 19. srpnja 1866. godine, kada je talijanska oklopnjača Formidabile ušla u višku luku. Zapovjednik broda Saint Bon započeo je bitku s tvrđavom u kojoj je naposljetku izgubio mnogo mornara te je brod zahvatio požar pa su se Talijani povukli iz borbe. Time je Baterija osigurala višku luku i nastavak napada, a trodnevna bitka završila je pobjedom Austrije. Nakon Viškog boja tvrđava biva demilitarizirana te se koristi pretežito u civilne svrhe (smještaj za starije i nemoćne, općinska ubožnica, dječji vrtić, ratna bolnica, srednja škola), sve do Drugog svjetskog rata kada ju Talijani koriste u vojne svrhe, pretežno kao skladište.
Baterija je imala značajnu ulogu u Viškom boju, točnije 19. srpnja 1866. godine, kada je talijanska oklopnjača Formidabile ušla u višku luku. Zapovjednik broda Saint Bon započeo je bitku s tvrđavom u kojoj je naposljetku izgubio mnogo mornara te je brod zahvatio požar pa su se Talijani povukli iz borbe. Time je Baterija osigurala višku luku i nastavak napada, a trodnevna bitka završila je pobjedom Austrije. Nakon Viškog boja tvrđava biva demilitarizirana te se koristi pretežito u civilne svrhe (smještaj za starije i nemoćne, općinska ubožnica, dječji vrtić, ratna bolnica, srednja škola), sve do Drugog svjetskog rata kada ju Talijani koriste u vojne svrhe, pretežno kao skladište.
Skoro sto godina nakon Viškog boja Baterija dobiva muzeološku funkciju kada se 1964. godine osniva Memorijalni muzej Vrhovnog štaba Narodno-oslobodilačke vojske i partizanskih odreda Jugoslavije i Nacionalnog komiteta oslobođenja Jugoslavije kao dio Muzeja revolucije naroda Hrvatske, odnosno kasnijeg Povijesnog muzeja Hrvatske.
Od 1983. godine na katu Baterije nalazi se Arheološka zbirka Issa koja je djelovala kao područna zbirka Arheološkog muzeja u Splitu, a od 1989. u prostoru bastiona smještena je antička zbirka amfora iz lokaliteta Vela Svitnja. Također, 1994. godine donirana je i zbirka etnografskih predmeta. Od 2005. godine, prostor muzeja i muzejska građa te Priručna zbirka i lokalitet Issa, predani su Arheološkom muzeju u Splitu.
Naposljetku, 2023. godine osnovan je Zavičajni muzej Grada Visa, koji je 1. siječnja 2025. godine započeo s radom. Ponovno je otvoren postav hidroarheološke zbirke te je uređen dodatan prostor za izložbene djelatnosti. Muzej aktivno radi na prikupljanju muzejske građe i njene dokumentacije, konzervaciji i restauraciji predmeta bivšeg postava Memorijalne zbirke, arheološkim iskapanjima i istraživanjima topografskih odrednica otoka, edukativnim predavanjima te izložbenim aktivnostima.
