Was ist RAG (Retrieval-Augmented Generation)?

Ein allgemeines Sprachmodell hat beim Training große Mengen öffentlich zugänglicher Texte verarbeitet und kann dadurch Sprache überzeugend formulieren. Ihre aktuellen Arbeitsanweisungen, Produktdaten oder Serviceberichte waren jedoch in aller Regel kein Teil dieses Trainings.

Genau hier entsteht im Unternehmen eine Lücke: Das Modell versteht die Frage, besitzt aber nicht die Information für eine belastbare Antwort. Gibt es trotzdem eine Antwort, kann sie sprachlich sicher wirken und sachlich falsch sein. RAG schließt diese Lücke, indem es die benötigten Informationen unmittelbar vor der Antwort bereitstellt.

Ein leistungsfähiges Modell kann schlechte Suchergebnisse nicht zuverlässig reparieren. Entscheidend sind Quellenqualität (aktuell, widerspruchsfrei, freigegeben), eine saubere Dokumentaufteilung und ein Suchverfahren, das auch Artikelnummern und Fachbegriffe findet.

Ebenso wichtig: Zugriffsrechte müssen bereits bei der Suche berücksichtigt werden, und jede Antwort sollte nachvollziehbare Quellenverweise zeigen, die sich gegen den Originaltext prüfen lassen.

RAG ist keine Wahrheitsmaschine. Wird ein falsches oder veraltetes Dokument gefunden, kann die Antwort ebenfalls falsch sein; werden relevante Stellen nicht gefunden, fehlt dem Modell die entscheidende Information.

Deshalb braucht ein produktives System Tests mit echten Fragen, messbare Qualitätskriterien und einen klaren Umgang mit Unsicherheit — bei sicherheitskritischen oder rechtlichen Fragen bleibt eine fachliche Prüfung erforderlich.