Waar nu het kasteel van Mheer staat, stond in de Romeinse tijd een vuurtoren, langs de Via Mansuerisca, die Maastricht met Trier en Limburg aan de Vesdre verbond. Het huidige “Stenen Huis” stamt uit de 14e eeuw. De oorspronkelijke familie woont nog steeds op het kasteel. De familie Van Mere ging in 1487 via vrouwelijke lijn over in Van Imstenraedt en in 1668 vervolgens naar De Loë, die er na 11 generaties nog steeds wonen. In 1564 werd Mheer een Heerlijkheid en mochten de kasteelbewoners zich ‘Heer van Mheer’ noemen. De schutterij van Mheer zou ook in deze tijd (1567) haar oorsprong vinden. Niet lang erna, tijdens het 12-jarig bestand (1609-1621) van de 80-jarige oorlog, werd de hoeve rond het kasteel gebouwd. De laatste grote uitbreiding en verbouwing vond plaats in het begin van de 20e eeuw.

Kasteelheer François Charles Antoine de Loë vocht in de Slag bij Waterloo aan (winnende) Pruisische zijde. In 1821 ondersteunde hij de oprichting van de harmonie en in 1825 werd hij koning van de schutterij. Hij steunde de Belgische Opstand en in 1830 werd hij de eerste Gouverneur van (Belgisch) Limburg.