RAG gibt dem Modell ausgewähltes Wissen zum Zeitpunkt der Anfrage

Retrieval-Augmented Generation, kurz RAG, verbindet eine Suche mit einem generativen Modell. Zu einer Frage werden zunächst passende Inhalte aus einer freigegebenen Wissensbasis ermittelt. Diese Textstellen erhält das Modell als Kontext für seine Antwort. Das Modell wird dadurch nicht automatisch auf die Unternehmensdokumente trainiert; es arbeitet für die konkrete Anfrage mit den gefundenen Ausschnitten.

Das ist besonders interessant, wenn Wissen aktualisierbar, quellenbezogen und getrennt vom Modell gehalten werden soll. Ein RAG-System kann beispielsweise freigegebene Arbeitsanweisungen, Produktunterlagen oder interne Standards erschließen, ohne jedes Dokument in einen neuen Trainingslauf zu geben.

Ein guter Wissensassistent besteht aus mehr als einer Vektordatenbank

In einer belastbaren Architektur durchlaufen Dokumente mehrere kontrollierte Schritte:

  1. Aufnahme: Nur freigegebene Quellen werden importiert; Version, Eigentümer, Gültigkeit und Schutzklasse bleiben als Metadaten erhalten.
  2. Aufbereitung: Inhalte werden extrahiert, sinnvoll unterteilt und mit Dokument-, Abschnitts- und Berechtigungsbezug gespeichert.
  3. Suche: Die Anfrage wird gegen den berechtigten Bestand ausgeführt. Je nach Inhalt werden semantische und klassische Volltextsuche kombiniert.
  4. Antwort: Das Modell erhält nur die ausgewählten Passagen und soll Unsicherheit oder fehlende Belege sichtbar machen.
  5. Prüfung: Quellenlinks, Feedback und Stichproben zeigen, ob Suche und Antwort tatsächlich zusammenpassen.

Wann sich RAG häufig lohnt

  • Viele wiederkehrende Fragen beziehen sich auf einen klar abgegrenzten, gepflegten Dokumentbestand.
  • Mitarbeitende verlieren Zeit beim Suchen, obwohl die richtige Information grundsätzlich vorhanden ist.
  • Antworten sollen auf konkrete Quellen verweisen und nach einer Dokumentaktualisierung zeitnah den neuen Stand nutzen.
  • Unterschiedliche Rollen dürfen nicht dieselben Dokumente oder Abschnitte sehen.
  • Der erste Pilot kann mit einer Fachdomäne und nachvollziehbaren Testfragen begrenzt werden.

Wann ein Wissensassistent nicht das richtige Werkzeug ist

RAG repariert keine widersprüchlichen, veralteten oder schlecht gepflegten Unterlagen. Für exakte Kontostände, Produktionsstatus oder Preise ist häufig eine strukturierte API-Abfrage geeigneter als die Suche in Dokumenttexten. Auch fachliche Entscheidungen werden nicht dadurch zuverlässig, dass eine Antwort eine Quelle enthält. Die Quelle kann unpassend sein oder vom Modell falsch interpretiert werden.

Ein RAG-System verhindert außerdem weder Halluzinationen noch Prompt Injection vollständig. Inhalte aus Dokumenten sind Eingaben des Modells und müssen als potenziell unvertrauenswürdig behandelt werden. Berechtigungen müssen vor der Suche durchgesetzt werden – nicht erst durch eine Anweisung im Prompt.

Suche und Antwort getrennt messen

Bei einem schlechten Ergebnis ist entscheidend, wo der Fehler entstand. Wurde das richtige Dokument nicht gefunden, helfen andere Such- oder Aufbereitungsverfahren. Wurde die richtige Passage gefunden, aber falsch wiedergegeben, betrifft es Prompt, Modell oder Darstellungslogik. Ein Pilot braucht deshalb einen Satz realer Fragen mit erwarteten Quellen, zulässigen Antworten und bewusst unbeantwortbaren Fällen.

Ein realistischer Pilot

Wählen Sie einen überschaubaren, verantworteten Dokumentbestand und 30 bis 60 typische Fragen. Definieren Sie Rollen, Quellenanzeige, Aktualisierung und den Umgang mit „nicht gefunden“. Messen Sie Trefferqualität, belegte Antworten, Korrekturaufwand und tatsächliche Suchzeit. Erst wenn diese Basis trägt, sollte der Assistent weitere Datenquellen oder schreibende Werkzeuge erhalten.

Fazit: RAG lohnt sich nicht, weil es modern klingt. Es lohnt sich, wenn ein gepflegter Wissensbestand, wiederkehrende Fragen und klare Berechtigungen vorhanden sind – und wenn Quellen und Grenzen für den Benutzer sichtbar bleiben.