Die Geschichte der Karlshöhe beginnt im Jahr 1876. König Karl von Württemberg – Namensgeber der Karlshöhe – und seine Frau Olga übernahmen das Protektorat für die Einrichtung, die damals 20 Minuten südlich von Ludwigsburg lag, wie es im ersten Jahresbericht heißt. Bereits zuvor hatten sie die Anhöhe, ursprünglich der äußerste Südausläufer der weitläufigen barocken Schlossanlage, des schwäbischen „Versailles“,  für die Gründung der Stiftung zur Verfügung gestellt. Dabei wird heute Königin Olga von den Historiker*innen als eigentliche treibende Kraft gesehen.

Die Gründung der Karlshöhe hatte seinerzeit auch ganz handfeste Gründe: Das städtische Kinderheim Mathildenstift in Ludwigsburg stand vor dem Aus und eine rasche Lösung für die 60 Kinder musste her. Schon etliche Jahre zuvor hatte sich ein kirchlich-bürgerliches Komitee für eine "Anstalt" in Württemberg interessiert, die nach Plänen des „Rauhen Hauses“ und dessen Gründer Johann Hinrich Wichern betrieben werden sollte: Fachleute, nämlich Diakone, sollen sich um Kinder kümmern und parallel vor Ort ausgebildet werden.
Dazu reiste eine Delegation aus Vertreter*innen aus Kirche und – heute würde man sagen: zivilgesellschaftlich hochengagiertem – Bürgertum der Residenzstadt nach Hamburg, um das „Rauhe Haus“ als Vorbild zu inspizieren.

So fanden Notwendigkeit und Interesse zusammen, um ein damals modernes Kinderheim zu errichten. In knapp einem Jahr wurden acht schmucke Backsteingebäude errichtet: das historische Höfle, Keimzelle der heutigen Karlshöhe.