»Polakhuset« beliggende på hjørnet af Hovmuren og Pannerupvej

Før århundredeskiftet kom der mange polakker til Danmark – hovedparten af dem for at arbejde ved skovbrug landbrug. Også Skårupgård fik nogle af den tids fremmedarbejdere til mark- og stald arbejde. Godsejeren har næppe tænkt i integrationsbaner, da han skulle skaffe husly til de sprogligt og kulturelt afvigende tilflyttere, han lod nemlig opføre et landarbejderhus beliggende meget ensomt i forhold til den øvrige bebyggelse. I huset, der ret hurtigt fik tilnavnet »Polakhuset«, boede der flere familier. Præcist hvor længe huset har været bolig for polakker vides ikke med sikkerhed, men det eksisterede dog frem til1960erne, da det blev revet ned.

Skårupgård er egnens største og ældste gård. Den var frem til 1522 under kronen, da Severin Poulsen fik livsbrev på den. I 1678 købte landkommissær Jesper N. Hutfeld Skårupgård, der dengang lå sydligt i skoven. Hutfeld lod gården nedrive og byggede en ny på det nuværende sted. Gårdens størrelse har givet den betegnelsen gods og flere af godsets ejere har efter kongelig bevilling kunnet smykke sig med titler som kommerceråd eller justitsråd. Godsejer Ole Olesen (initiativtager til starten af Elsted skole i 1741) fik med følgende smukke og bevægende ord, nedskrevet i kancelliets gratialprotokol, bevilget titlen kommerceråd. »Om Karakter af Kommerceraad eller Assessor supplicerer allerunderdanigst Olle Ollesen afAarhus, som har tilkøbt sig en adelig Sædegaard paa 400 Tdr. Hartkorn, Skaarupgaard kaldet, hvor han isin Alderdom vilde høste Frugten af den hannem tilskikkede Guds Velsignelse«. Ud over sin titel fik Ole Olesen også et familiegravsted i Arhus Domkirke, men det eksisterer dog ikke mere.