KI für interne Wissensdatenbanken — Produktives RAG-System 2026 für dein Firmenwissen

Das Problem

Eine Wissensarbeiter-Stunde kostet in Österreich 2026 zwischen €65 und €140 — und laut McKinsey (2023, repliziert in mehreren europäischen Studien 2025) gehen davon 18 bis 22 Prozent für die Suche nach internem Wissen verloren. In Beratungen, Versicherungen und IT-Dienstleistern ist es noch dramatischer: dort liegen die wirklich relevanten Inhalte verteilt auf Confluence, SharePoint, Dropbox, Outlook-Postfächern, Slack-Channels und der "Wissensbasis", die einer der Senior-Consultants vor drei Jahren mal angefangen und nie zu Ende geführt hat. Wer eine konkrete Antwort sucht, fragt am Ende doch wieder im Slack: "Hat jemand die Marktstudie zu X von 2024?" Genau dieses Muster löst ein gut gebautes RAG-System auf.

So funktioniert die KI-Lösung

RAG steht für Retrieval-Augmented-Generation und kombiniert drei Bausteine. Erstens: eine Indexierungs-Pipeline, die Inhalte aus allen relevanten Quellen einliest, in semantisch sinnvolle Chunks teilt und in einem Vektor-Store speichert. Zweitens: ein Retrieval-Layer, der bei jeder Anfrage die relevantesten Inhalte aus dem Index findet — gefiltert nach den Berechtigungen des fragenden Nutzers. Drittens: eine Generation über ein LLM, das die gefundenen Inhalte zu einer kohärenten Antwort zusammenfasst und die Quellen sichtbar zitiert.

Der entscheidende Unterschied zu ChatGPT-style "es klingt gut, ist aber erfunden": Das System antwortet nur auf Basis der tatsächlich gefundenen Quellen und gibt diese sichtbar mit Link aus. Wenn nichts Passendes gefunden wird, sagt es das offen — statt zu halluzinieren.

Architektur-Skizze

So sieht ein typisches Setup aus, das wir 2026 für Wissensarbeiter-Organisationen bauen:

Connector-Layer: OAuth-basierte Konnektoren für Confluence, SharePoint, Dropbox, Outlook (M365 Graph API), Slack, Notion und hauseigene Wikis — die Berechtigungen der Quelle werden 1:1 mitindexiert
Embedding-Pipeline: Chunking auf semantische Einheiten (300–800 Tokens je Chunk, mit Überlappung), Embedding via Anthropic Voyage oder Cohere (EU-Endpunkt) — alternativ lokal mit BGE-M3 für maximale Datenresidenz
Vector-Store: Qdrant oder pgvector selfhosted auf EU-Infrastruktur (Hetzner Cloud oder Vercel Frankfurt), getrennte Collections je Tenant/Mandant
Retrieval mit Berechtigungs-Filter: Hybrid-Suche (Dense + Sparse), Top-K mit Reranking, harter Permission-Filter VOR dem LLM-Call
LLM-Generation: Anthropic Claude Sonnet 4.5 als Default, OpenAI als Fallback, beides über EU-Endpunkt mit DPA, Quellen-Zitierung erzwungen
Frontend-Channels: Slack- oder Teams-Bot für tägliche Nutzung, Web-Widget für eigene Plattformen, REST-API für Custom-Integrationen
Monitoring: Langfuse selfhosted für Tracing, Retrieval-Qualität, Halluzinations-Audits und Cost-Control

DSGVO und EU AI Act

Drei Punkte sind kritisch.

Erstens: Berechtigungs-Erhaltung. Wenn ein Dokument in SharePoint nur für die Geschäftsführung zugänglich ist, darf das RAG-System es einem Junior-Berater nicht beantworten. Klingt selbstverständlich — wird in der Praxis aber regelmäßig übersehen. Wir bauen den Permission-Filter als harte Vorprüfung VOR dem LLM-Call ein, mit Stichproben-Audits in den ersten 90 Tagen Betrieb.

Zweitens: EU-Datenresidenz. Embedding-Provider und LLM-Anbieter müssen EU-Endpunkte mit Auftragsverarbeitungs-Vertrag bieten. Bei besonders sensiblen Inhalten (Strategiepapiere, M&A-Dokumente, Personalakten) empfehlen wir lokale Embedding-Modelle und einen Air-Gapped-LLM (z. B. Mistral Large 2 selfhosted) — höherer Aufwand, aber maximaler Datenschutz.

Drittens: EU AI Act. Reine Wissens-Retrieval-Systeme sind minimal-risk. Achtung wird nötig, wenn das System Entscheidungen vorbereitet (z. B. bei Versicherungs-Schadensbearbeitung oder Bonitätsprüfung) — dann greifen je nach Use Case die Hochrisiko-Anforderungen. Sauber halten: das RAG bleibt ein Recherche-Tool, Entscheidungen treffen Menschen.

ROI-Beispiel

Realer Case einer österreichischen Strategieberatung mit 120 Mitarbeitern, verteilt auf drei Standorte:

-92%

Durchschnittliche Wissens-Suchzeit (18min auf 90sec)

Kennzahl	Vorher	Nach 5 Monaten	Differenz
Durchschnittliche Wissens-Suchzeit	18 min	90 sec	-92 %
"Wer-weiß-was?"-Slack-Nachrichten / Woche	142	50	-65 %
Onboarding-Zeit neuer Berater	110 h	66 h	-40 %
Wiederverwendung von Vorprojekten	31 %	58 %	+27 PP

Setup-Kosten: €70.000 einmalig (Connector-Setup für Confluence + SharePoint

Outlook + Slack, Embedding-Pipeline, Berechtigungs-Audit, Monitoring, Slack-Bot-Integration). Laufende Kosten: rund €3.800 pro Monat (LLM-API, Hosting, Re-Indexierung, Monitoring). Amortisation nach 7 Monaten. Wichtig: der Nutzen lag nicht primär in der reinen Zeitersparnis, sondern in der Wiederverwendung von Vorprojekten — Berater fanden Methoden, Frameworks und Case-Studies, von denen sie vorher gar nicht wussten.

Implementation-Aufwand

Wir liefern interne RAG-Systeme in drei Größenordnungen:

Sprint S (5–7 Wochen, €30.000–48.000): 1 bis 2 Quellen (typisch Confluence oder SharePoint), einfacher Slack- oder Teams-Bot, ohne feinen Permission-Layer
Sprint M (10–14 Wochen, €60.000–95.000): 3 bis 5 Quellen inkl. Permission-Erhaltung, Reranking, Quellen-Zitierung, Monitoring-Dashboard
Sprint L (16–24 Wochen, €120.000–220.000): Multi-Quellen-Setup mit 10+ Quellen, mehrsprachig, Custom-Frontends, Air-Gapped-Option für sensible Inhalte, vollständige Audit-Logs für Compliance

Plus laufende AI-Care-Kosten: Re-Indexierung, Permission-Audits, Modell-Tuning, Quellen-Erweiterung. Realistisch sind das €2.500 bis €7.500 pro Monat.

Häufige Fehler

Aus den letzten Audits kristallisieren sich vier Anti-Patterns heraus:

Permissions werden im RAG umgangen: "Anyone-with-the-link"-Dokumente landen im Index, ohne dass jemand prüft, ob sie wirklich für alle freigegeben sind. Resultat: Geschäftsführungs-Strategien tauchen in Antworten an Werkstudenten auf. Permission-Audit vor dem Indexieren ist Pflicht.
Kein Chunk-Tuning: Zu kleine Chunks (50–100 Tokens) verlieren den Kontext, zu große (>1500 Tokens) verwässern die Embedding-Qualität. Realistische Sweet-Spots liegen bei 300 bis 800 Tokens — mit semantischem Splitting statt fester Zeichenzahl.
Keine Quellen-Anzeige: Wenn der Bot Antworten ohne Quelle liefert, trauen ihm die Nutzer (zu Recht) nicht. Quellen-Zitierung mit Link zum Originaldokument ist nicht-verhandelbar.
Re-Indexierung ignoriert: Inhalte ändern sich, neue Dokumente kommen dazu, alte werden gelöscht. Ein RAG ohne wöchentliche Re-Indexierung driftet innerhalb von 6 Monaten in die Bedeutungslosigkeit ab.

Häufige Fragen

Was Wissensmanager zu RAG-Systemen fragen.

Was kostet ein internes RAG-System wirklich — inkl. laufender Kosten?

Für ein typisches Sprint-M-Setup (3 bis 5 Quellen, 120 Mitarbeiter, EU-gehostet) rechnen wir mit €60.000 bis €95.000 einmalig und €2.500 bis €4.500 monatlich. Die monatlichen Kosten verteilen sich auf LLM-API (etwa 40 Prozent), Hosting und Vektor-Store (30 Prozent), Embedding und Re-Indexierung (15 Prozent) und Monitoring + Maintenance (15 Prozent).

Können wir das auch komplett on-premise betreiben?

Ja. Für sensible Branchen (Versicherung, Verteidigung, M&A-Beratung) bauen wir das System komplett air-gapped: lokales Embedding mit BGE-M3 oder NVIDIA NeMo, lokaler Vektor-Store mit Qdrant, lokales LLM mit Mistral Large 2 oder Llama 3.3 70B auf eigener GPU-Hardware. Der Aufpreis liegt bei 30 bis 50 Prozent gegenüber EU-Cloud, dafür verlässt kein Bit eures Wissens das eigene Netz.

Welche Quellen lohnen sich am meisten zu indexieren?

Aus den Audits: Confluence und SharePoint liefern in 80 Prozent der Fälle den größten Nutzen, gefolgt von gemeinsamen Dropbox- oder OneDrive-Strukturen. Outlook-Postfächer und Slack-Channels haben hohen Wert, sind aber rechtlich und permissions-technisch heikel — wir empfehlen, damit erst in Phase 2 nach erfolgreicher Adoption zu starten.

Wie verhindert ihr Halluzinationen?

Drei Mechanismen: erstens harter Retrieval-Filter vor dem LLM (keine Generation ohne passenden Treffer), zweitens explizite Quellen-Zitierung im Prompt erzwungen (das Modell muss die Quelle nennen), drittens Stichproben-Audits über Langfuse mit menschlicher Review der ersten 200 Antworten. In Produktion liegen die Halluzinationsraten unter 2 Prozent bei guter Wissensbasis-Qualität.

Wie schnell ist das System produktiv nutzbar?

Sprint S (1 bis 2 Quellen) ist nach 5 bis 7 Wochen live. Sprint M mit sauberem Permission-Layer braucht 10 bis 14 Wochen. Der erste produktive Mehrwert kommt typischerweise nach 2 bis 3 Wochen Live-Betrieb — sobald die Indexierung vollständig ist und das Reranking auf eure Daten getunt wurde.

Bereit für einen Pilotabschnitt?

Wenn dein Unternehmen mehr als 80 Wissensarbeiter beschäftigt und das Firmenwissen auf mindestens drei Plattformen verteilt liegt, lohnt sich der Blick auf ein eigenes RAG-System fast immer. Im Audit M (€8.500) prüfen wir deinen aktuellen Wissens-Stack, machen einen Permission-Audit über die wichtigsten Quellen und liefern eine Roadmap mit konkreter ROI-Schätzung und Architektur-Empfehlung. Buch dir einen 45-minütigen Discovery-Call — danach weißt du, ob sich der nächste Schritt für dich rechnet.