Wie funktioniert RAG (Retrieval-Augmented Generation) technisch genau?
RAG funktioniert, indem Dokumente vorab in durchsuchbare Textabschnitte mit Vektor-Repräsentation (Embeddings) zerlegt werden; bei einer Anfrage sucht das System die inhaltlich passendsten Abschnitte heraus und gibt sie dem Sprachmodell als zusätzlichen Kontext mit, damit die Antwort auf den echten Dokumenten basiert statt nur auf dem allgemeinen Trainingswissen des Modells.
Die technische Kernfrage hinter jedem Wissens-Assistenten ist, wie ein KI-System auf unternehmensinterne Dokumente zugreifen kann, ohne dafür neu trainiert zu werden. Die Antwort liegt im RAG-Mechanismus.
RAG macht aus einem allgemeinen Sprachmodell kein Experten-System für Ihre Dokumente — es gibt dem Modell nur bei jeder Anfrage die passenden Ausschnitte davon an die Hand.
Schritt 1: Dokumente in Abschnitte zerlegen (Chunking)
Dokumente werden vorab in kleinere Textabschnitte (z. B. Absätze oder Abschnitte von 300-800 Wörtern) zerlegt, weil ein Sprachmodell nicht das komplette Dokumentenarchiv auf einmal einlesen kann.
Die Größe dieser Abschnitte beeinflusst die Qualität direkt: zu kleine Abschnitte verlieren Kontext, zu große verwässern die Treffergenauigkeit bei der späteren Suche.
Schritt 2: Embeddings und Vektorsuche
Jeder Abschnitt wird in eine numerische Repräsentation (Embedding) umgewandelt, die dessen inhaltliche Bedeutung erfasst; ähnliche Inhalte liegen im resultierenden Vektorraum nahe beieinander.
Bei einer Anfrage wird deren Embedding berechnet und mit den gespeicherten Dokumenten-Embeddings verglichen — die inhaltlich ähnlichsten Abschnitte werden als Treffer zurückgegeben, unabhängig davon, ob exakt dieselben Wörter vorkommen.
Schritt 3: Kontext an das Sprachmodell übergeben
Die gefundenen Abschnitte werden zusammen mit der ursprünglichen Frage an das Sprachmodell übergeben, das daraus eine Antwort formuliert und sich dabei explizit auf diesen Kontext stützen soll.
Gute RAG-Systeme geben zusätzlich die Quelle jedes verwendeten Abschnitts mit aus, damit die Antwort nachvollziehbar und überprüfbar bleibt.
Was die Qualität in der Praxis am meisten beeinflusst
Uneinheitliche Dokumentenformate (gescannte PDFs ohne Texterkennung, veraltete Word-Vorlagen), fehlende Aktualisierung nach Dokumentenänderungen und zu grobe Chunking-Strategien sind die häufigsten Ursachen für schlechte Antworten — nicht das Sprachmodell selbst.
Ein laufender Prozess, der neue oder geänderte Dokumente automatisch neu einliest, ist notwendig, damit die Antworten nicht veralten.
Wann RAG nicht die richtige Lösung ist
Bei sehr kleinen, überschaubaren Dokumentenmengen (wenige Seiten), die sich vollständig in eine einzelne Anfrage packen lassen, ist eine einfache Volltextsuche oder das direkte Einfügen des gesamten Dokuments oft einfacher und günstiger als ein vollständiges RAG-System.
Auch bei Fragen, die reines Faktenwissen außerhalb Ihrer Dokumente betreffen, hilft RAG nicht — hier greift ausschließlich das allgemeine Trainingswissen des Modells.
Questions about this topic?
We’ll help you find the next concrete step for your company.
Next step
Ready for your AI infrastructure?
Nextise guides you from the first analysis to a productive solution. Ready to deploy in 6–10 weeks.
Let’s talk about your AI transformation together
