Från början var Arbygården ett mejeri som byggdes 1912 av bygdens bönder. Mejeriet lade ner cirka 1948 och därefter var det bilverkstad några år innan Arby Bygdegårdsförening köpte huset 1952. Arbygården renoverades och invigdes som bygdegård år 1955. Övervåningen har sedan dess haft flera hyresgäster bland annat sjukkassan och fotbollsklubben KV76.

Sedan 2019 ägs Arbygården av Södermöre scoutkår.

Arbygården har under åren 2021-2023 genomgått omfattande renoveringar med nytt kök, nytt golv i hallen, nymålade väggar i hall och stora salen, nya ytskikt i badrummen.

Arby Mejeri