Ein Unternehmen beauftragt die Implementierung eines KI-Agenten. Es erhält ein Projektangebot: 30.000–80.000 PLN. Der Vertrag wird unterzeichnet. Der Agent geht live. Nach sechs Monaten kommt die Frage aus der Finanzabteilung: „Wie viel kostet dieser Agent monatlich?“ Niemand hat eine fertige Antwort. Die Cloud-Rechnungen sind schrittweise gestiegen. Die Ingenieurzeit für die Aktualisierung der Wissensbasis wurde nicht separat erfasst. Das Monitoring war Teil des allgemeinen IT-Projekts.
Das ist ein typisches Szenario, keine Ausnahme. Die TCO (Total Cost of Ownership) eines KI-Agenten wird selten vor der Implementierung berechnet und fast nie in den ersten zwei Quartalen korrekt gemessen. Im Folgenden wird beschrieben, wie sich das ändern lässt.
Fünf Kategorien der Betriebskosten eines KI-Agenten
#Die TCO eines KI-Agenten reduziert sich nicht auf die API-Rechnung. Jede der folgenden Kategorien ist ein separates Kostencenter mit eigener Wachstumsdynamik.
| Kategorie | Enthaltene Komponenten | Dynamik |
|---|---|---|
| Inferenz (Token) | Kosten für LLM-Aufrufe pro Anfrage mal Volumen | Linear oder superlinear bei zunehmender Komplexität der Prompts |
| Infrastruktur | Server, Vektordatenbank, Cache, Netzwerk | Stufenweise (Sprünge bei Volumenschwellen) |
| Wartung der Wissensbasis | Reindexierung, Versionierung, Dokumentenprüfung | Monatlich konstant, mit Spitzen bei Produktänderungen |
| Monitoring und Aufsicht | Ingenieurzeit, Golden-Set-Tests, Alarme, Human-Oversight | Konstant, sinkt mit Reife der Prozesse |
| Compliance und Sicherheit | Logs mit TTL, Audit-Trail, Überprüfungen von Guardrails, RODO | Vorhersehbar konstant, steigt bei Regulator-Audits |
Der häufigste Fehler bei TCO-Kalkulationen ist die ausschließliche Berücksichtigung der Token-Kosten. Diese machen in der Regel 20–40 % der gesamten Betriebskosten aus. Der Rest entfällt auf Infrastruktur und menschliche Arbeit – und dieser Rest entscheidet über die Rentabilität im Jahresverlauf.
Inferenzkosten: Wie Token bei verschiedenen Architekturen berechnet werden
#Inferenz ist die Kosten für den Aufruf eines Sprachmodells. Sie hängt von drei Variablen ab: Anzahl der Anfragen, Länge des Prompts und Preis des Modells.
Die Länge des Prompts in einem RAG-System setzt sich zusammen aus: System-Prompt (konstant, meist 200–600 Token), aus der Datenbank abgerufener Kontext (Top-k-Fragmente, meist 800–2.000 Token), Gesprächsverlauf (wächst während der Konversation) und der eigentlichen Nutzeranfrage. Für eine typische Frage in einem Kundenservice-Agenten beträgt der Input-Prompt 1.200–3.000 Token, der Output 200–600 Token.
Monatliche Kalkulation für 5.000 Anfragen bei einem API-Modell:
- Prompt-Input: 5.000 × 2.000 Token = 10 Mio. Eingabetoken
- Output: 5.000 × 400 Token = 2 Mio. Ausgabetoken
- Bei einem Tarif von 2 USD / 1M Input + 6 USD / 1M Output: 10 × 2 + 2 × 6 = 32 USD monatlich für ein mittleres Modell
- Bei einem Premium-Modell (8 USD / 1M Input, 24 USD / 1M Output): 128 USD
Der Unterschied zwischen einem wirtschaftlichen und einem Premium-Modell beträgt bei gleichem Volumen das Vierfache. Der Artikel zur Optimierung der Token-Kosten beschreibt Techniken (Prompt-Caching, Modell-Router, Kontextverkürzung), die diese Kosten um 30–60 % reduzieren, ohne die Qualität zu beeinträchtigen.
Beim Self-Hosting sinken die Kosten pro Token auf null (man zahlt für GPU, nicht für den Aufruf), aber es entstehen Serverkosten. Die Rentabilitätsschwelle für Self-Hosting gegenüber API liegt für einen Agenten mit einem Volumen von 5.000 Anfragen pro Monat in der Regel bei 12–18 Monaten. Unterhalb dieser Schwelle ist die Cloud günstiger.
Infrastruktur: Was man neben Token bezahlt
#Die Infrastruktur eines KI-Agenten umfasst mehrere Komponenten, die selten in den ersten Kostenvoranschlägen berücksichtigt werden.
Vektordatenbank speichert die Embeddings der Wissensbasis. Die Kosten hängen von der Anzahl der Vektoren und der gewünschten Verfügbarkeit ab. Für eine Datenbank mit 10.000 Dokumenten (typische Wissensbasis eines mittelgroßen Unternehmens) betragen die Kosten für einen verwalteten Qdrant oder Pinecone 30–80 USD pro Monat. Ein selbst gehosteter Qdrant auf einem dedizierten Server eliminiert diese Kosten, erfordert jedoch die Wartung der Instanz.
Cache für Ergebnisse der semantischen Suche und Prompts ist eine einmalige Implementierungskosten und hat geringe Betriebskosten (Redis oder Valkey). Bei gut gestaltetem Cache liegt die Trefferquote bei 25–40 % für sich wiederholende Fragen, was die Inferenzkosten direkt senkt.
Anwendungsserver für die Agenten-API (Python/FastAPI oder Node) kann bei einem Volumen von bis zu 50.000 Anfragen pro Monat von einem VPS für 60–150 USD pro Monat oder serverless mit nutzungsbasierten Kosten betrieben werden.
Monitoring und Observability (Prometheus, Grafana oder Äquivalente) kosten zusätzlich 20–50 USD pro Monat in der Cloud oder können auf der eigenen Infrastruktur konfiguriert werden. Eine detaillierte Beschreibung der Monitoring-Architektur finden Sie im Artikel über Monitoring der Qualität eines KI-Agenten.
Die gesamten Infrastrukturkosten für einen Agenten mit einem Volumen von 5.000–20.000 Anfragen pro Monat betragen realistisch 150–400 USD pro Monat bei Cloud-Lösungen und 80–200 USD bei Self-Hosting (ohne Serveramortisation).
Wartung der Wissensbasis: Versteckte Kosten, die mit der Zeit steigen
#Die Wissensbasis eines Agenten altert. Preise ändern sich. Verfahren werden aktualisiert. Neue Produkte kommen ins Sortiment. Jede solche Änderung erfordert die Aktualisierung der Dokumente und die Reindexierung der Vektordatenbank.
Die Kosten der Reindexierung setzen sich aus zwei Komponenten zusammen: den Kosten für die Berechnung neuer Embeddings (bei einem API-Modell sind das Token-Kosten; bei lokalem BGE-M3 ist es GPU-Zeit) und der Arbeitszeit der Person, die die aktualisierten Dokumente vorbereitet, überprüft und veröffentlicht.
Für ein Unternehmen, das sein Angebot vierteljährlich ändert und eine Basis von 500–2.000 Dokumenten hat, bedeutet Reindexierung 2–4 Arbeitsstunden pro Monat plus Embedding-Kosten (normalerweise 5–20 USD für eine vollständige Reindexierung bei API, null bei lokalem Modell). Das klingt wenig, aber bei schlechter Organisation der Dokumente steigt der Überprüfungsaufwand auf 10–20 Stunden.
Der Artikel über Aktualisierung von RAG-Wissen und Versionierung beschreibt, wie man einen Pipeline für inkrementelle Reindexierung aufbaut, der diese Kosten um 60–70 % reduziert, indem nur geänderte Fragmente aktualisiert werden, nicht die gesamte Basis.
Monitoring und menschliche Aufsicht: Kosten, die nicht verschwinden
#Das Monitoring eines KI-Agenten ist keine einmalige Implementierung. Es ist ein kontinuierlicher Betriebskostenfaktor, der zwei Komponenten hat: automatische (Alarme, Regressionstests) und menschliche (Überprüfung von Eskalationen, Qualitätsaudit, Reaktion auf Vorfälle).
Der automatische Teil ist relativ günstig: einmal konfigurierte Alarme und Golden-Set-Tests laufen selbstständig. Die Kosten belaufen sich auf einige Stunden pro Monat für die Überprüfung der Ergebnisse und die Reaktion auf Anomalien.
Der menschliche Teil hängt von der Skala und dem Anwendungsbereich ab. Für einen Kundenservice-Agenten mit einem Volumen von 200 Fällen pro Tag beträgt die typische Aufsichtszeit 3–6 Stunden pro Woche: Überprüfung von Eskalationen, Prüfung von Antwortstichproben, Aktualisierung des Golden Sets bei erkannten Fehlern. Bei 2.000 Fällen pro Tag sind es 15–25 Stunden pro Woche für eine dedizierte Person.
Human-Oversight für Systeme, die unter den AI Act fallen, ist nicht optional. Der Artikel über Sicherheit von KI-Agenten beschreibt die Aufsichtsanforderungen und wie der vom Regulator geforderte Audit-Trail dokumentiert wird.
Compliance- und Sicherheitskosten
#Die Einhaltung von RODO und AI Act verursacht Kosten, die viele Entscheidungsträger in den ersten TCO-Kalkulationen übersehen.
Logs mit TTL: Die Speicherung von Betriebslogs mit angemessener Aufbewahrungsfrist und Mechanismen zur Löschung von Daten auf Anfrage (Recht auf Vergessenwerden) erfordert Infrastruktur und Prozesse. Die Kosten bestehen hauptsächlich aus Ingenieurzeit für die Implementierung und monatliche Überprüfungen.
DPIA (Data Protection Impact Assessment) für Agenten, die personenbezogene Daten verarbeiten, ist eine einmalige Kosten bei der Implementierung (4–16 Stunden Arbeit mit einem Anwalt oder RODO-Spezialisten) und muss bei jeder wesentlichen Änderung der Architektur aktualisiert werden. Details zu den Pflichten beschreibt der Artikel über AI Act und RODO 2026.
Penetrationstests für Guardrails bei Agenten mit Zugriff auf externe Systeme (CRM, ERP, Datenbanken) kosten 2–4 Stunden vierteljährlich für interne Überprüfungen oder externe Audits bei hohem Risiko.
Die gesamten Compliance-Kosten für einen typischen B2B-Agenten betragen 500–2.000 PLN jährlich in Arbeitsstunden, plus mögliche Kosten für externe Überprüfungen.
Kostenbenchmark: Drei Implementierungsszenarien
#Im Folgenden drei Szenarien, die die realen monatlichen TCO für verschiedene Implementierungsskalen zeigen. Die Zahlen gehen von einem Cloud-Modell (API) mit verwalteter Infrastruktur und 8 Arbeitsstunden monatlicher Aufsicht aus.
| Komponente | FAQ-Agent (2.000 Anf./Monat) | Kundenservice-Agent (10.000 Anf./Monat) | Mehrstufiger Agent (5.000 Anf./Monat) |
|---|---|---|---|
| Inferenz (Token) | 15–40 PLN | 100–300 PLN | 200–600 PLN |
| Infrastruktur | 150–300 PLN | 300–600 PLN | 400–800 PLN |
| Wartung der Wissensbasis | 200–400 PLN | 400–800 PLN | 600–1.200 PLN |
| Monitoring und Aufsicht | 300–600 PLN | 600–1.200 PLN | 800–1.600 PLN |
| Compliance | 80–150 PLN | 150–300 PLN | 200–400 PLN |
| TCO gesamt | 745–1.490 PLN | 1.550–3.200 PLN | 2.200–4.600 PLN |
Ein mehrstufiger Agent hat höhere Inferenzkosten als ein FAQ-Agent bei geringerem Volumen, da jeder Schritt der ReAct-Schleife einen separaten LLM-Aufruf generiert. Die Architektur eines mehrstufigen Agenten beeinflusst die TCO stärker als das Anfragevolumen.
Wie man die TCO senkt, ohne die Qualität zu beeinträchtigen
#Drei architektonische Änderungen, die den größten Einfluss auf die TCO haben:
Modell-Router leitet einfache Anfragen (Klassifizierung, FAQ) an ein günstigeres Modell weiter und komplexe (mehrstufige, analytische) an ein teureres. Die Reduzierung der Inferenzkosten beträgt in der Regel 30–55 % bei korrekter Konfiguration. Details zum Aufbau eines Routers beschreibt der Artikel über Migration von API zu eigenem KI-Modell.
Prompt-Caching für konstante Prompt-Fragmente (System-Prompt, RAG-Header, Guardrail-Anweisungen) reduziert die Token-Kosten um 20–40 % bei Volumina über 1.000 Anfragen pro Tag. Die meisten API-Anbieter unterstützen diese Funktion seit 2025 nativ.
Verkürzung des RAG-Kontexts durch besseres Reranking und Filterung der Top-k-Fragmente verringert die Prompt-Größe ohne Qualitätsverlust der Antworten. Statt 5 Fragmente mit je 500 Token zu übermitteln, wählt ein präziserer Reranker die 2 besten aus. Der Artikel über Evaluierung der RAG-Qualität beschreibt, wie man die Retrieval-Präzision misst und wann sich die Investition in einen besseren Reranker durch gesenkte Token-Kosten auszahlt.
Live ausprobieren
#Beschreiben Sie Ihren Anwendungsfall, und das Modell berechnet eine ungefähre TCO und zeigt, wo das größte Einsparpotenzial liegt (Playground: PII maskiert, keine Speicherung):
FAQ
#Wie viel kostet der monatliche Betrieb eines KI-Agenten für ein kleines Unternehmen?
#Für ein kleines Unternehmen mit einem Volumen von 1.000–3.000 Anfragen pro Monat und einem engen Anwendungsbereich (FAQ, Statusabfragen, einfache Klassifizierungen) liegen die realen Betriebskosten bei 600–1.800 PLN pro Monat. Dieser Betrag setzt sich hauptsächlich aus Infrastruktur (150–300 PLN) und Aufsichtszeit (3–5 Stunden pro Monat) zusammen. Die Token-Kosten sind bei diesem Volumen marginal. Eine Berechnung für den konkreten Anwendungsbereich liefert der ROI-Rechner.
Was gehört zur TCO eines KI-Agenten, was nicht in den Implementierungskosten enthalten ist?
#Die Implementierungskosten decken in der Regel ab: Architekturdesign, Aufbau des Agenten, initiale Befüllung der Wissensbasis und Tests. Nicht abgedeckt sind: monatliche Inferenzkosten (Token), Wartung der Infrastruktur nach Übergabe, regelmäßige Aktualisierungen der Wissensbasis, Aufsichts- und Monitoringzeit sowie Compliance-Kosten (DPIA, RODO-Logs). Diese Elemente bilden die TCO und entscheiden über die Rentabilität in einem Zeitraum von 12–24 Monaten. Eine Bewertung vor der Implementierungsentscheidung erleichtert das Tool zur Bereitschaftsbewertung.
Wann ist Self-Hosting eines KI-Agenten günstiger als ein Cloud-API?
#Self-Hosting senkt die Kosten pro Token auf null, fügt jedoch Kosten hinzu: Server (GPU oder starker CPU), Wartung des Modells und der Infrastruktur, Sicherheitsupdates. Die Rentabilitätsschwelle wird in der Regel bei einem Volumen von über 20.000–50.000 Anfragen pro Monat erreicht oder wenn Data-Residency- und RODO-Anforderungen Self-Hosting unabhängig von der Wirtschaftlichkeit erzwingen. Bei niedrigeren Volumina ist API insgesamt günstiger, selbst wenn die Kosten pro Token höher sind. Details zur Schwellenwertanalyse beschreibt der Artikel über Migration von API zu eigenem Modell.
Wie lassen sich Token-Kosten kontrollieren, wenn das Volumen schneller wächst als geplant?
#Drei Kontrollmechanismen: (1) Tageslimit pro Nutzer oder Endpunkt im LLM-Router blockiert unkontrolliertes Kostenwachstum vor einem Alarm; (2) Modell-Router leitet einfache Anfragen automatisch an ein günstigeres Modell weiter, wenn das Volumen einen Schwellenwert überschreitet; (3) semantischer Cache für sich wiederholende Fragen reduziert die tatsächliche Anzahl der Aufrufe um 20–40 %. Ohne diese Mechanismen kann ein plötzlicher Volumenanstieg (virale Zugriffe, Integration eines neuen Kanals) die monatliche Rechnung innerhalb einer Woche verdoppeln. Der Artikel über den Schritt-für-Schritt-Plan zur KI-Implementierung beschreibt, wie diese Schutzmaßnahmen von Anfang an eingebaut werden.
Wie beeinflusst der AI Act die Betriebskosten eines KI-Agenten?
#Der AI Act erhöht die Kosten hauptsächlich in drei Bereichen: Dokumentation und DPIA bei Implementierung und Aktualisierungen, Audit-Trail (Entscheidungslogs mit Aufbewahrungspflicht) und die Anforderung von Human-Oversight für Hochrisikosysteme. Für die meisten B2B-Agenten (Kundenservice, FAQ, Klassifizierung) sind die Anforderungen moderat. Für Agenten in Hochrisikobereichen (Gesundheit, Finanzen, HR) steigen die Compliance-Kosten um 20–40 % der gesamten TCO. Eine detaillierte Aufschlüsselung der Pflichten pro Sektor beschreibt der Artikel über AI Act und Hochrisikosysteme.