Selbst gehostete KI: On-Premise, Private Cloud und abgeschottet

Selbst gehostete KI bedeutet, KI auf Infrastruktur zu betreiben, die Sie kontrollieren — eigene Server, eigene Private Cloud oder ein Netz ganz ohne Internetverbindung — statt Ihre Daten an die API eines Dritten zu senden.

Für eine wachsende Zahl von Organisationen ist das keine Vorliebe mehr, sondern Pflicht. Kliniken, Banken, Verteidigungszulieferer, Behörden und alle, die der Berufsverschwiegenheit unterliegen, kommen zum gleichen Schluss: Die Daten dürfen nicht raus.

Dieser Leitfaden behandelt, was Selbst-Hosting tatsächlich bedeutet, die drei Betriebsmodelle einschließlich abgeschottetem Betrieb, die Kosten im Vergleich zu einer API, wo es wirklich gewinnt und wo nicht, und wie man eine On-Premise-KI-Plattform auswählt, ohne am Ende ein Forschungsprojekt zu betreuen.

Was selbst gehostete KI wirklich heißt

Der Begriff umfasst zwei trennbare Dinge, und ihre Verwechslung verursacht die meiste Verwirrung.

Das Modell       →  ein Open-Weight-LLM auf Ihren GPUs
Die Plattform    →  Retrieval, Indexierung, Berechtigungen, Oberfläche, Monitoring

Man kann beides hosten oder nur die Plattform und ein externes Modell rufen.
Nur beides zu hosten hält jedes Byte im eigenen Perimeter.

Die meisten Organisationen, die sagen „wir brauchen selbst gehostete KI“, brauchen eigentlich die zweite Zeile: Dokumente und Retrieval müssen drinnen bleiben. Ob das Modell selbst lokal läuft, ist eine getrennte Entscheidung mit anderer Wirtschaftlichkeit.

Die drei Betriebsmodelle

Private Cloud

Die Plattform läuft in Ihrem eigenen Cloud-Mandanten — Ihr Konto, Ihre Region, Ihre Netzregeln. Sie erhalten den Großteil der Kontrolle ohne Hardwarebeschaffung. Für viele Organisationen ist das die pragmatische Antwort, und mit einem europäischen Anbieter erfüllt sie die meisten Anforderungen an den Datenstandort.

On-Premise

Die Plattform läuft in Ihrem Rechenzentrum, auf eigener Hardware. Volle Kontrolle und volle Verantwortung: Kapazität, Upgrades, Backups und GPU-Verfügbarkeit liegen bei Ihnen. Das meinen regulierte Branchen meist mit On-Premise, und es ist der härteste Test für einen Anbieter.

Abgeschottet (Air-Gapped)

Keine Internetverbindung. Updates kommen auf physischen Medien, und das System muss ohne jeden externen Aufruf funktionieren. Verteidigung, kritische Infrastruktur und Verschlusssachen-Umgebungen arbeiten so.

Der abgeschottete Betrieb ist der ehrliche Test einer Architektur. Eine Plattform, die still eine externe API für Embeddings, Telemetrie oder Lizenzprüfung aufruft, startet einfach nicht — und Sie merken es bei der Installation statt im Vertriebsgespräch.

Warum Organisationen selbst hosten

Vier Gründe, grob nach ihrem Gewicht in der Entscheidung.

• Rechtspflicht. Berufsverschwiegenheit, Patientengeheimnis, Verschlusssachen oder Branchenregeln, die die Übermittlung schlicht verbieten.
• Extraterritoriale Exposition. Hosting in Europa genügt nicht, wenn der Anbieter außereuropäischem Recht unterliegt — der Punkt, den wir in digitale Souveränität entwickeln.
• Kosten bei Volumen. Abrechnung pro Token ist für Prototypen hervorragend und im Maßstab unbarmherzig. Ab einer bestimmten Dauerlast wird eigene Hardware günstiger.
• Unabhängigkeit. Kein abgekündigtes Modell, keine Preisänderung und keine neuen Bedingungen stören ein System auf eigenen Maschinen.

Der ehrliche Kostenvergleich

Anbieter beider Seiten verzerren das, deshalb präzisieren wir die Form statt Zahlen zu erfinden.

API            niedrige Fixkosten  +  Kosten pro Anfrage
               →  günstiger Start, wächst dauerhaft linear mit der Nutzung

Selbst         hohe Fixkosten  +  nahezu null Grenzkosten
               →  teurer Start, danach ist Nutzung praktisch kostenlos

Es gibt einen Schnittpunkt, und wo er liegt, hängt vollständig von Volumen, Modellwahl und den bereits bestehenden Infrastrukturkosten ab. Der Fehler ist, eine API-Rechnung nur mit Hardware zu vergleichen: Die echten Selbst-Hosting-Kosten umfassen GPUs, die Menschen, die sie betreiben, und den Strom.

Die pragmatische Lesart: Ist die Nutzung gering oder unvorhersehbar, ist die API günstiger — das sollte man nicht bestreiten. Ist die Last hoch und stetig, gewinnt Selbst-Hosting bei Kosten und Kontrolle. Und dürfen die Daten rechtlich nicht raus, ist Kosten nicht die entscheidende Variable.

Was Sie übernehmen

Klarheit über die Nachteile, denn sie sind real und Anbieter überspringen sie.

• Hardware. Ein leistungsfähiges Modell braucht GPUs, und GPU-Kapazität ist ein Beschaffungsproblem, kein Einkauf.
• Betrieb. Jemand überwacht, patcht und aktualisiert. Ohne Eigentümer verrottet es.
• Modellwahl. Sie wählen aus Open-Weight-Modellen. Die besten sind stark, aber Sie erhalten nicht das neueste Frontier-Modell in der Woche seiner Veröffentlichung.
• Update-Disziplin. Niemand aktualisiert für Sie. Das ist der Sinn — und auch Arbeit.

Das Fehlermuster ist absehbar: ein Proof of Concept, von einem begeisterten Entwickler aus Open-Source-Teilen zusammengesetzt, der wunderbar läuft, bis diese Person das Team wechselt. Selbst-Hosting ist eine Betriebsverpflichtung, kein Wochenendprojekt.

Selbst hosten, ohne selbst zu bauen

Es gibt einen übersehenen Mittelweg. Sie müssen nicht zwischen einer externen API und dem Eigenbau aus Teilen wählen.

Eine fertige Plattform auf Ihrer Infrastruktur gibt Ihnen die Datengarantien des Selbst-Hostings mit einem unterstützten Produkt statt einem Stapel selbst gepflegter Komponenten. Der Betrieb liegt bei Ihnen; Roadmap, Sicherheitspatches und Upgrade-Pfad bei jemand anderem.

Für die meisten Organisationen ist das der richtige Handel. Retrieval, Indexierung, Berechtigungen, Monitoring und eine Oberfläche aus Open-Source-Teilen zusammenzusetzen ist durchaus möglich und wird durchgängig unterschätzt — wie wir in unserem API-Leitfaden darlegen: Der Prototyp ist ein Nachmittag, das Produktivsystem sind Monate.

Wie man eine On-Premise-KI-Plattform bewertet

1. Läuft sie abgeschottet? Auch wenn Sie es nicht brauchen: Die Antwort zeigt, ob die Architektur verborgene externe Abhängigkeiten hat.
2. Was verlässt das Netz genau? Telemetrie, Lizenzprüfungen, Modellaufrufe. Schriftlich einholen.
3. Welche Modelle kann sie nutzen? Open-Weight lokal, externe APIs oder beides — und lässt sich wechseln ohne Neubau?
4. Welche Hardware braucht sie wirklich? Fordern Sie eine Auslegung für Ihre erwartete Last, nicht ein Minimum.
5. Wie funktionieren Updates offline? Eine Plattform, die ein Paket-Repository voraussetzt, ist nicht wirklich On-Premise-reif.
6. Greifen Berechtigungen beim Retrieval? Selbst-Hosting löst die Zugriffskontrolle nicht; das ist eine getrennte Eigenschaft.

Selbst gehostete KI mit QAnswer

QAnswer ist gebaut, um bereitgestellt und nicht nur konsumiert zu werden. Dieselbe Plattform läuft in einer Private Cloud, On-Premise oder abgeschottet, und das Betriebsmodell ändert ihre Fähigkeiten nicht.

• Ihre Dokumente verlassen nie das Haus. Indexierung und Retrieval finden in Ihrem Perimeter statt.
• Modellflexibilität. Open-Weight-Modelle lokal betreiben oder, wo die Richtlinie es erlaubt, einen externen Anbieter anbinden.
• Berechtigungen beim Retrieval, sodass eine Antwort nie ein unzulässiges Dokument offenlegt — siehe Governance.
• Eine Quellenangabe zu jeder Antwort, was einen internen Assistenten prüfbar macht.
• ISO 27001 und ISO 42001 zertifiziert — Sicherheit und KI-Governance.

Im Einsatz beim Europäischen Parlament, der Europäischen Kommission, der Smithsonian Institution und bei Rockwell Automation. Verbinden Sie sie mit SharePoint, Confluence, Datenbanken oder Dokumentenablagen oder binden Sie sie über die APIs ein.

Häufige Fragen

Was ist selbst gehostete KI?

KI, die auf von Ihnen kontrollierter Infrastruktur statt über eine Fremd-API läuft. Das kann das Hosten des Modells, der umgebenden Plattform oder beider bedeuten — und nur beides hält alle Daten im eigenen Perimeter.

Was unterscheidet selbst gehostet von On-Premise?

Sie überschneiden sich. On-Premise meint konkret das eigene Rechenzentrum. Selbst gehostet ist weiter und umfasst den Betrieb im eigenen Private-Cloud-Mandanten, den viele Organisationen praktikabler finden.

Ist selbst gehostete KI günstiger?

Bei hohem, stetigem Volumen meist ja, weil die Grenzkosten pro Anfrage gegen null gehen. Bei geringem oder schwankendem Volumen nein — eine API ist günstiger und einfacher. Der Schnittpunkt hängt von Last und Hardwarekosten ab.

Welche Hardware brauche ich?

Das hängt vom Modell und der Zahl gleichzeitiger Nutzer ab, misstrauen Sie also jeder pauschalen Antwort. Lassen Sie einen Anbieter für Ihre erwartete Last auslegen statt eine Mindestkonfiguration zu nennen.

Funktioniert sie ohne Internetverbindung?

Eine gut entworfene Plattform läuft vollständig abgeschottet. Viele können es nicht, weil sie externe Dienste für Embeddings, Telemetrie oder Lizenzierung aufrufen. Fragen Sie ausdrücklich nach.

Sind selbst gehostete Modelle schwächer?

Open-Weight-Modelle liegen hinter der Spitze, doch bei retrieval-basierten Aufgaben zählt der Abstand weit weniger als angenommen — die Antwortqualität hängt vor allem von der Retrieval-Relevanz ab, wie wir in wie zuverlässig ist ChatGPT darlegen.

Braucht man ein Team für den Betrieb?

Sie brauchen jemanden, der es verantwortet. Einen eigenen Stack zu bauen erfordert echte Entwicklungskapazität; eine fertige Plattform auf eigener Infrastruktur zu betreiben erfordert gewöhnliche Betriebsfähigkeit.

Das Wesentliche

Selbst gehostete KI ist die Antwort, wenn die Daten nicht raus dürfen — und für viele Organisationen ist das nicht verhandelbar, womit die Kostendebatte nebensächlich wird.

Der Fehler ist, es als Entweder-oder zwischen externer API und komplettem Eigenbau zu sehen. Eine unterstützte Plattform auf eigener Infrastruktur liefert die Garantien ohne das Forschungsprojekt — und das ist die Option, die die meisten Organisationen prüfen sollten.

‍

Betreiben Sie KI auf eigener Infrastruktur — Private Cloud, On-Premise oder abgeschottet — mit QAnswer. Entdecken Sie KI-Assistenten und Datensouveränität.

Mehr Informationen unter www.qanswer.ai

Ein selbst gehostetes Deployment besprechen? Kontaktieren Sie uns oder schreiben Sie an info@the-qa-company.com