RAG erklärt: KI-Assistenten über eigene Dokumente

Jedes Unternehmen hat Wissen, das in Dokumenten steckt: Produkthandbücher, interne Richtlinien, Verträge, Support-Tickets, technische Zeichnungen. Mitarbeitende suchen stundenlang nach Antworten, die längst irgendwo aufgeschrieben sind. Große Sprachmodelle (LLMs) wie GPT oder Claude formulieren flüssige Antworten, kennen aber Ihre Dokumente nicht – und wenn sie etwas nicht wissen, erfinden sie manchmal etwas.

Genau dieses Problem löst Retrieval-Augmented Generation (RAG). Dieser Artikel erklärt, wie RAG funktioniert, wo es sich lohnt und was eine Demo von einem System unterscheidet, auf das sich Ihr Team verlassen kann.

So funktioniert RAG in drei Schritten

1. Dokumente aufbereiten (Indexierung). Ihre Dokumente werden in kleine Abschnitte zerlegt. Jeder Abschnitt wird in einen Vektor umgewandelt, eine Zahlenfolge, die seine Bedeutung abbildet, und zusammen mit Quelle und Zugriffsrechten in einer Vektordatenbank gespeichert.

2. Passende Abschnitte finden (Retrieval). Stellt jemand eine Frage, wird auch die Frage in einen Vektor umgewandelt. Das System findet die Abschnitte mit der ähnlichsten Bedeutung, oft kombiniert mit klassischer Stichwortsuche, und sortiert sie nach Relevanz.

3. Aus diesen Abschnitten antworten (Generierung). Das Sprachmodell erhält die Frage, die besten Abschnitte und die Anweisung, nur daraus zu antworten und Quellen anzugeben. Die Nutzerin erhält eine Antwort und kann per Klick das Originaldokument öffnen.

Das Modell muss dafür nicht neu trainiert werden. Ändert sich ein Dokument, werden nur seine Abschnitte im Index aktualisiert.

Wo sich RAG lohnt

• Interner Wissensassistent: Mitarbeitende fragen in normaler Sprache, statt SharePoint, Wikis und Netzlaufwerke zu durchsuchen.
• Kundenservice: Servicemitarbeitende erhalten Antwortvorschläge aus Handbüchern und früheren Tickets; einfache Fragen lassen sich direkt im Kundenportal beantworten.
• Vertrieb und Ausschreibungen: passende Produktdaten, Zertifikate und Referenztexte in Sekunden finden.
• Technischer Service: Servicetechniker fragen Wartungshandbücher und Fehlercodes auf dem Smartphone ab.
• Compliance und Verträge: Klauseln, Fristen und Pflichten über viele Dokumente hinweg finden.

Das gemeinsame Muster: viel Text, wiederkehrende Fragen und Antworten, die auf eine Quelle zurückführbar sein müssen.

Was eine Demo von einem Produktivsystem unterscheidet

Eine RAG-Demo ist an einem Nachmittag gebaut. Ein System, dem Menschen vertrauen, braucht Sorgfalt in fünf Bereichen.

Dokumentqualität und Aufbereitung

PDFs mit Tabellen, eingescannte Dokumente, veraltete Versionen und Dubletten sind die Hauptursache für schlechte Antworten. Eine gute Aufbereitung extrahiert Tabellen sauber, entfernt veraltete Versionen und erhält Metadaten wie Datum, Abteilung und Dokumenttyp.

Qualität der Suche

Die meisten falschen Antworten sind Suchprobleme, keine Modellprobleme: Der richtige Abschnitt wurde gar nicht gefunden. Hybride Suche (Bedeutung plus Stichwörter), sinnvolle Abschnittsgrößen und ein Re-Ranking-Schritt bringen den größten Unterschied.

Zugriffsrechte

Ein Assistent darf niemandem Inhalte zeigen, die er nicht sehen darf. Die Berechtigungen aus den Quellsystemen müssen mit jedem Abschnitt gespeichert und bei jeder Anfrage geprüft werden.

Evaluierung

Legen Sie vor dem Start eine Sammlung echter Fragen mit bekannten richtigen Antworten an und messen Sie, wie oft das System die richtige Quelle findet und korrekt antwortet. Wiederholen Sie den Test nach jeder Änderung. Ohne diese Messung raten Sie nur.

Leitplanken

Der Assistent sollte „Das weiß ich nicht“ sagen, wenn die Dokumente die Antwort nicht enthalten, immer Quellen nennen und Fragen außerhalb seines Zwecks ablehnen.

Datenschutz: RAG und DSGVO

Für deutsche Unternehmen ist der Datenschutz meist die erste Frage. Die gute Nachricht: RAG lässt sich so bauen, dass Ihre Dokumente die EU nie verlassen.

• Modelle mit EU-Hosting: Große Modellanbieter bieten Verarbeitung in EU-Rechenzentren mit Auftragsverarbeitungsvertrag und ohne Training auf Ihren Daten.
• Selbst gehostete offene Modelle: Für sensible Daten laufen Open-Weight-Modelle auf Ihren eigenen Servern oder in einem deutschen Rechenzentrum. Unser Artikel zu selbst gehosteter KI und EU-Daten erklärt die Abwägungen.
• Datenminimierung: Indexieren Sie nur, was der Assistent braucht, und entfernen Sie personenbezogene Daten, wo sie nicht nötig sind.
• Transparenz: Dokumentieren Sie Zweck, Datenquellen und Speicherdauer im Verzeichnis der Verarbeitungstätigkeiten und informieren Sie die Mitarbeitenden.

Der EU AI Act stuft die meisten internen Wissensassistenten als Systeme mit begrenztem Risiko ein, mit Transparenzpflichten: Nutzer müssen wissen, dass sie mit einer KI interagieren.

Ein realistischer Weg zum ersten Assistenten

1. Einen Anwendungsfall wählen mit klarer Nutzergruppe und messbarem Ziel, etwa „Servicemitarbeitende finden Antworten in unter einer Minute“.
2. 50 bis 100 echte Fragen sammeln und die Dokumente, die sie beantworten.
3. Einen Piloten bauen auf diesem Dokumentenbestand, mit Evaluierung ab dem ersten Tag.
4. Mit echten Nutzern testen, zwei bis vier Wochen lang, und Antwortqualität und Zeitersparnis messen.
5. Skalieren auf mehr Dokumente, Nutzer und Schnittstellen, sobald die Zahlen stimmen.

Ein fokussierter Pilot dauert in der Regel wenige Wochen, nicht Monate.

Fazit

RAG macht das Wissen in Ihren Dokumenten zu Antworten, denen Ihr Team vertrauen und die es überprüfen kann. Die Technologie ist ausgereift; der Erfolg hängt von sauberen Dokumenten, guter Suche, durchgesetzten Zugriffsrechten und ehrlicher Evaluierung ab. Genau darauf konzentrieren wir uns, wenn wir RAG-Assistenten und KI-Agenten entwickeln. Mehr zu unserer KI-Entwicklung – oder sprechen Sie mit uns über Ihren Anwendungsfall.

KI-Anwendungsfall besprechen