Huset uppfördes 1834. Handelsman Johanna ägde fastigheten. Hennes dotter Emilia drev en krog i hamnschweizeriet som hörde till gården. Författaren Ellen Key bodde här 1910, då hennes hus Strand på Omberg byggdes. 1914 köpte Karl och Elsa Pettersson med fyra döttrar Västergården. På Karls initiativ fick Hästholmen en egen brandkår och detta firades varje sommar i trädgården på Västergården.
Hästholmen 10:1
Byggår 1833-34
Man tror att det funnits en kyrka i Hästholmen. I Johan Erlandssons testamente står det skrivet att han testamenterar en skrud till kyrkan i Hästholmen. Enligt gamla kartor tror man att den skulle vara belägen söder om Västergården.
Handelsman Johanna föddes 1807 och då hon stod på höjden av sin framgång ägde hon nio gårdar och en av dem var Västergården. Hennes dotter Emilia Aurora (född 1835, död 1916) gifte sig 1857 med hovrättsnotarien Israel Abrahamsson och bosatte sig på Västergården. I det lilla hamnschweizeriet drev Emilia krogservering en tid.
Ellen Key bosatte sig på Västergården 15 april – 15 oktober 1910 för att kunna iaktta byggnationen av Strand. På sin födelsedag, den 11 december, flyttade hon in i sitt nya hem på Strand.
1914 köpte Karl och Elsa Pettersson Västergården. Fyra flickor hade paret, Inez, Irma, Wega och Anna-Lisa. 1939 köpte de även Gästgivaregården, innan hade de bara arrenderat jorden och ladugården (röd byggnad vid Hamngatan bredvid den gamla brandstationen). I denna ladugård fanns bl a två kolsvarta hästar, som drog likvagnen till kyrkan. Det var Hugo Tillmar som körde likvagnen till begravningar.
Tack vare Karl Pettersson fick Hästholmen en egen brandkår och detta firades varje sommar i trädgården på Västergården. Man satte t o m upp dansbana för denna tillställning. Före HIF 1932 fanns en fotbollsförening i Västergården 1929-30.
1941 gifte sig Anna-Lisa Pettersson med Gösta Wissman och de flyttade in på övervåningen på Västergården. På den tiden fanns det även kök på övervåningen. 1943 dog Karl Pettersson men Elsa bodde kvar på undervåningen. Gösta var mycket ute i beredskap så familjen Odén arrenderade gårdens mark och bodde på Gästgivaregårdens övervåning medan Anna-Lisas mormor och morfar bodde på nedre. 1948 tog Gösta över arrendet och det gick bra, så bra att svågrarna blev avundsjuka. 1952 flyttade Gösta och Anna-Lisa med sina söner Jan-Olof och Bengt-Göran till Hagelsrum i Småland och svågrarna tog över Västergården. Svågrarna bodde på Gästis och Sture Pharmansson med familj flyttade in i Västergården.
1957 hörde de på ryktets vägar i Småland att Västergården var till salu. Gösta beslöt sig att köpa gården. Under några år bodde de kvar i Småland och brukade båda gårdarna men 1964 flyttade de hit igen. 1965 renoverades Västergården. 1989 flyttade sonen Bengt-Göran med hustrun Birgitta och döttrarna Frida, Anna och Karin in i Västergården från Haga. Gösta och Anna-Lisa flyttade till Ellen Keys väg.
2014 flyttade Bengt-Göran och Birgitta till Guldkusten medan dottern Anna och hennes man Emil flyttat in i Västergården.
1983 beskrev länsmuseet Västergårdens hus på följande sätt:
Mangårdsbyggnad i en och en halv våning. Gråputsad sockel. Gråvit slätputs med profilerade omfattningar. Sadeltak belagt med röd falsad plåt. Vita tvåluftsfönster med spröjs samt brunlaserade enkeldörrar. Utbyggd veranda. Frontespis.
Tvättstuga klädd med faluröd locklistpanel och slätpanel med vita knutar och omfattningar. Sadeltak belagt med falsad plåt. Stengrund. Vita tvåluftsfönster med spröjs. Svarta panelade dörrar. Byggnad med stort kulturhistoriskt värde. Datering: Senare delen av 1800-talet.
Magasin i en och en halv våning klätt med falurött skiftesverk med vita knutar och omfattningar. Sadeltak belagt med rött tvåkupigt tegel. Naturstensgrund. Vita tvåluftsfönster med spröjs samt svartmålade panelade dörrar. Byggnad med stort kulturhistoriskt värde. Datering: Senare delen av 1800-talet. Eventuellt är huset äldre.
Hönshus klätt med faluröd locklistpanel med vita knutar och omfattningar. Sadeltak belagt med vit korrugerad plåt. Naturstensgrund. Vita spröjsade fönster med samt svartmålad panelad dörr. Byggnad som är värdefull för miljön. Datering: Senare delen av 1800-talet.
Uthus klätt med faluröd locklistpanel med vita knutar och omfattningar. Slammad stengrund. Sadeltak belagt med korrugerad eternit. Vita tvåluftsfönster med spröjs samt svarta panelade dörrar. Byggnad som är värdefull för miljön. Datering: Slutet av 1800-talet och början av 1900-talet. Huset används i dag som verkstad.
Vagnslider klätt med falurött plank med vita knutar och omfattningar. Sadeltak belagt med korrugerad eternit. Svarta plankdörrar. Byggnad som är värdefull för miljön. Datering: Slutet av 1800-talet och början av 1900-talet.
Ladugård: Tvelängad ladugård klädd med faluröd korrugerad plåt under sadeltak belagt med korrugerad plåt. Naturstensgrund. Datering: Slutet av 1800-talet och början av 1900-talet.
Svinhus i en och en halv våning klätt med faluröd locklistpanel med vita knutar och omfattningar. Sadeltak belagt med korrugerad plåt.Cementsockel. Vita spröjsade fönster samt svartmålad panelad dörr. Byggnad med stort kulturhistoriskt värde. Datering: Slutet av 1800-talet och början av 1900-talet.
Västergården har sitt utedass kvar. Många utedass är annars ombyggda. Huset användes på 80-talet som lekstuga med hjälp av en madrass.