Zwei Unternehmen bauen gleichzeitig eine KI-Anwendung. Das erste ist in sechs Wochen produktiv: AWS Bedrock, skalierbar, bezahlt pro API-Call. Das zweite braucht acht Monate, hat einen eigenen GPU-Cluster installiert und zahlt niemanden außer sich selbst. Welches hat die bessere Entscheidung getroffen?
Die ehrliche Antwort: Es kommt darauf an. Die Infrastrukturentscheidung ist eine der folgenreichsten, die du bei KI-Projekten triffst. Sie wird zu oft auf der Basis von Bauchgefühl oder Vendor-Pitches getroffen, statt anhand klarer Kriterien. Das Muster, das wir immer wieder sehen: Unternehmen wählen Cloud, weil On-Premise aufwändig klingt, und zahlen dann im dritten Jahr das Dreifache der ursprünglichen Kalkulation.
Die drei Optionen im Überblick
Cloud: Du nutzt KI-Dienste über APIs oder Managed Services eines Hyperscalers. Du kümmerst dich nicht um Hardware, Betrieb oder Modell-Updates. Die bekanntesten Plattformen:
- AWS Bedrock: Zugang zu verschiedenen Modellen (Claude und Llama (unter anderem)), direkt in der AWS-Infrastruktur
- Azure OpenAI Service: GPT-Modelle in der Microsoft-Cloud, stark in Enterprise-Integrationen; Azure ML bietet zusätzlich eigene Trainings- und Fine-Tuning-Umgebungen
- Google Vertex AI: Gemini-Modelle plus ML-Tooling, gut integriert mit GCP-Workloads
Der entscheidende Punkt: Deine Daten verlassen das Rechenzentrum deines Unternehmens. Du vertraust darauf, dass der Anbieter sie sicher behandelt und nicht für Trainingszwecke nutzt, was bei Enterprise-Verträgen in der Regel vertraglich ausgeschlossen ist, aber geprüft werden muss.
On-Premise: Hardware und Software laufen in deinem Rechenzentrum oder deinen Serverräumen. Du installierst Modelle selbst (zum Beispiel über Ollama, vLLM oder proprietäre Appliances), die Daten bleiben immer bei dir.
Hybrid: Eine Kombination. Sensible Daten und kritische Workloads laufen intern, weniger kritische Aufgaben oder Lastspitzen werden in die Cloud ausgelagert. Klingt elegant, ist aber in der Umsetzung oft das Komplexeste der drei Optionen.
Was Cloud wirklich kostet
Cloud klingt günstig, weil du keine Hardware kaufst. Aber das ist nur die halbe Wahrheit.
Bei API-basierten Diensten zahlst du pro verarbeitetes Token, also pro Wort, grob gesagt. Das ist bei geringer Nutzung hervorragend. Bei hohem Volumen können die Kosten jedoch erheblich steigen.
Dazu kommen Egress-Kosten (Daten raus aus der Cloud kosten), mögliche Lizenzgebühren für Enterprise-Verträge und der Aufwand für Integration und Monitoring. Wer nicht aufpasst, erlebt den sogenannten Cloud-Kostenschock nach den ersten produktiven Monaten.
Auf der anderen Seite entfallen CapEx für Hardware sowie Betriebspersonalkosten und Abschreibungen vollständig. Für die meisten kleinen und mittelständischen Unternehmen ist Cloud auf mittlere Sicht günstiger. Ausnahme: Das Nutzungsvolumen ist sehr hoch und stabil.
Was On-Premise wirklich kostet
Hardware ist teuer. Ein GPU-Server mit ausreichend Kapazität für produktive Workloads kostet schnell zwischen 50.000 und 200.000 Euro, je nach Modellgröße und Durchsatzanforderungen.
Hinzu kommen Strom, Kühlung, Netzwerk, Wartung und die Personalkosten für jemanden, der das System betreibt und aktualisiert. Modelle werden regelmäßig durch bessere Versionen ersetzt. Das bedeutet laufenden Aufwand für Updates und Tests.
Der Vorteil ist absolute Kontrolle. Kein externer Anbieter hat Zugang zu deinen Daten. Keine Abhängigkeit von API-Verfügbarkeit. Kein Vendor Lock-in. Und bei sehr hohem, stabilem Volumen kann On-Premise langfristig günstiger sein als Cloud.
Fünf Fragen für deine Entscheidung
Statt einer pauschalen Empfehlung: hier ein Rahmen aus fünf Fragen, der dir hilft, die richtige Entscheidung für deinen Kontext zu treffen.
1. Wie sensibel sind die Daten, die du verarbeitest? Patientendaten, Mandantendaten, Finanzdetails, Betriebsgeheimnisse: Je sensibler die Daten, desto stärker spricht das für On-Premise oder zumindest für eine private Cloud in einem deutschen oder EU-Rechenzentrum. Was die DSGVO konkret bedeutet, findest du in unserem Glossar.
2. Was kann dein Team intern betreiben? On-Premise ist nur so gut wie das Team dahinter. Wenn du niemanden hast, der Modelle deployt, Infrastruktur monitort und Updates einspielt, ist Cloud die realistischere Wahl. Unabhängig von allem anderen.
3. Wie groß ist dein Budget, und wie ist es aufgeteilt? Hast du Investitionsbudget für Hardware (CapEx) oder nur laufende Betriebskosten (OpEx)? Cloud ist fast immer OpEx. On-Premise ist initial CapEx-intensiv, danach hauptsächlich OpEx für Betrieb.
4. Wie hoch und wie stabil ist dein Nutzungsvolumen? Wenig und unregelmäßig: Cloud fast immer günstiger. Sehr hoch und konstant: On-Premise kann sich amortisieren. Spiky (Lastspitzen): Hybrid oder Cloud mit Autoscaling.
5. Wie hoch ist deine Toleranz für Vendor Lock-in? Bei AWS Bedrock oder Azure OpenAI baust du Workflows auf Diensten auf, die du nicht kontrollierst. Preiserhöhungen kommen ohne Vorwarnung, API-Änderungen brechen bestehende Integrationen, und wenn ein Service eingestellt wird, hast du ein Problem. Open-Source-Modelle lokal betrieben eliminieren dieses Risiko vollständig.
Hybrid: Wenn es mehr ist als ein Kompromiss
Hybrid ist nicht immer der faule Mittelweg. Für viele Unternehmen ist es die logisch richtige Architektur.
Ein typisches Szenario: Kundenkommunikation und interne Wissensdatenbank laufen auf einem lokalen, kleineren Modell. Schnell, datenschutzkonform, vorhersehbare Kosten. Komplexe Analyseaufgaben, für die du das stärkste verfügbare Modell brauchst (etwa Claude AI oder ChatGPT), gehen in die Cloud. Selten, aber dann mit voller Leistung.
Die Herausforderung ist die Komplexität: zwei Infrastrukturen, zwei Sicherheitsmodelle, zwei Monitoring-Stacks. Wer das nicht sauber managed, bekommt das Schlechteste aus beiden Welten statt das Beste.
Grundlage für jede KI-Infrastrukturentscheidung ist eine solide Datenstrategie. Was du über Datenkultur im Unternehmen wissen solltest, haben wir in einem eigenen Beitrag aufgeschrieben.
Total Cost of Ownership: Was wirklich zählt
Ein fairer Kostenvergleich umfasst mehr als die direkten Ausgaben:
- Hardware-Anschaffung und Abschreibung (On-Premise)
- Betriebskosten (Strom, Kühlung, Netzwerk)
- Personalkosten für Betrieb und Wartung
- API- und Lizenzkosten (Cloud)
- Opportunitätskosten: Was kostet es, wenn die Infrastruktur ausfällt oder nicht skaliert?
- Kosten für Sicherheits-Audits und Compliance
Wer On-Premise nur mit dem Hardware-Kaufpreis rechnet und Cloud nur mit den API-Kosten, vergleicht Äpfel mit Orangen. Lass dir von deinem Team eine ehrliche TCO-Rechnung über drei Jahre erstellen. Das verändert oft das Bild erheblich.
Die regulatorische Dimension
Der EU AI Act schreibt für Hochrisiko-KI-Anwendungen bestimmte Dokumentations- und Kontrollpflichten vor, unabhängig davon, ob du Cloud oder On-Premise nutzt. Was sich unterscheidet: Bei Cloud-Diensten musst du sicherstellen, dass auch der Anbieter die Anforderungen erfüllt. Bei On-Premise liegt die Verantwortung vollständig bei dir.
Wer KI-Anwendungen in regulierten Branchen oder mit sensiblen Daten betreibt, kommt um eine sorgfältige Infrastrukturanalyse nicht herum. Den aktuellen Stand zum EU AI Act haben wir in einem eigenen Beitrag aufgeschrieben.
Wer die fünf Fragen oben ehrlich beantwortet, wählt meistens Cloud oder Hybrid. Wer On-Premise wählt, hat dafür meistens einen handfesten Grund. Das sollte dann eine bewusste Entscheidung sein, keine Standardantwort.
Wenn du die Infrastrukturoptionen für deinen konkreten Anwendungsfall durchdenken willst, schau dir unsere Unternehmensseite an.
Und wenn du keine Beiträge mehr verpassen willst: melde dich für unseren Newsletter an. Einmal pro Woche, praxisnah, ohne Füllstoff.