Was ist RAG — und warum reicht ChatGPT nicht?
RAG steht für Retrieval Augmented Generation: Das System durchsucht zuerst Ihre eigenen Dokumente, nimmt die passenden Stellen und lässt erst dann ein Sprachmodell daraus eine Antwort formulieren. Der Unterschied zu einem normalen Chatbot ist, dass die Antwort aus Ihren Unterlagen stammt — und nicht aus dem, was das Modell im Training gesehen hat.
Der Unterschied in einem Satz
Ein Sprachmodell allein antwortet aus dem Gedächtnis und füllt Lücken mit plausibel klingenden Erfindungen. Ein RAG-System antwortet aus einem Dokument, das Sie ihm gegeben haben — und kann sagen, aus welchem.
Deshalb ist die Quellenangabe kein Zusatz, sondern der eigentliche Punkt. Wenn die Antwort lautet „laut Leistungsverzeichnis Kunde Müller, Seite 4“, können Sie nachsehen. Wenn sie ohne Beleg kommt, müssen Sie glauben.
Wie das technisch abläuft
- Aufbereiten. Ihre Dokumente werden lesbar gemacht und in sinnvolle Abschnitte zerlegt. Ein 80-seitiges Handbuch als ein Stück ist für die Suche wertlos.
- Indizieren. Jeder Abschnitt bekommt eine mathematische Repräsentation seiner Bedeutung. Dadurch findet die Suche auch dann etwas, wenn im Dokument andere Wörter stehen als in der Frage.
- Suchen. Zur Frage werden die passendsten Abschnitte herausgesucht — typischerweise eine Handvoll.
- Formulieren. Das Sprachmodell bekommt Frage und gefundene Abschnitte und schreibt daraus die Antwort, mit Verweis auf die Quelle.
Schritt 1 entscheidet über die Qualität von Schritt 4. Das ist der Grund, warum wir mit der Aufbereitung der Dokumente anfangen und nicht mit der Auswahl des Modells.
Warum nicht einfach alle Dateien bei ChatGPT hochladen?
Weil das für einen Betrieb an vier Stellen bricht:
- Menge. Ein Chat verkraftet ein paar Dokumente. Ein Firmenbestand hat Zehntausende.
- Aktualität. Hochgeladen ist ein Stand von gestern. Ein Wissenssystem nimmt neue Dokumente laufend auf.
- Nachvollziehbarkeit. Ohne Quellenangabe können Sie eine Antwort nicht prüfen — und damit nicht verwenden, wo es darauf ankommt.
- Kontrolle über die Daten. Wer welche Unterlagen sehen darf, ist im Betrieb geregelt. Ein Sammel-Upload hebt diese Regelung auf. Ein Wissenssystem kann Berechtigungen abbilden.
Wann sich das lohnt — und wann nicht
Es lohnt sich, wenn dieselben Fragen regelmäßig gestellt werden, die Antworten irgendwo dokumentiert sind, und das Suchen messbar Zeit kostet. Faustregel aus der Praxis: Wenn niemand im Betrieb die Frage „wie oft sucht ihr etwas und findet es nicht?“ mit „selten“ beantwortet, ist Substanz da.
Es lohnt sich nicht, wenn das Wissen gar nicht dokumentiert ist. Dann ist die richtige erste Maßnahme, es aufzuschreiben — nicht, ein System darauf zu setzen. Das ist unbequem, aber ehrlicher als ein Projekt, das an leeren Ordnern scheitert.
Und ein eigenes Firmenmodell?
Die Frage kommt regelmäßig. Ein auf den Betrieb trainiertes Sprachmodell ist technisch möglich, aber es ist selten der nächste Schritt: Es ist teurer, aufwendiger zu pflegen und liefert Antworten ohne Quellenangabe. Für fast alle Fälle, die uns begegnen, ist ein Wissenssystem die passende Antwort — und die Grundlage, auf der man später weitergehen kann, wenn es sich zeigt.