Retrieval-Augmented Generation (RAG)
Auch: RAG, Retrieval Augmented Generation
Retrieval-Augmented Generation (RAG) ist ein Verfahren, bei dem ein Sprachmodell vor der Antwort passende Dokumente abruft und seine Antwort auf diese Inhalte stützt. So werden Antworten aktueller und nachprüfbarer.
RAG einfach erklärt
Ein Sprachmodell kennt nur, was bis zum Ende seines Trainings im Datenbestand war. Bei RAG sucht das System vor der Antwort zusätzlich in einer Wissensquelle, etwa im Web oder in Unternehmensdokumenten, und gibt die gefundenen Textstellen dem Modell mit. Die Antwort basiert dann auf diesen Inhalten.
Das Verfahren wurde 2020 in einem Forschungspapier von Patrick Lewis und Kollegen vorgestellt, das auf der Konferenz NeurIPS erschien.
Ablauf
- Frage: Ein Nutzer stellt eine Frage.
- Abruf (Retrieval): Das System sucht passende Dokumente.
- Anreicherung: Die gefundenen Textstellen werden der Frage beigefügt.
- Erzeugung (Generation): Das Modell formuliert die Antwort und nennt oft die Quellen.
Warum RAG für KI-Sichtbarkeit wichtig ist
Perplexity, ChatGPT mit Websuche, Google AI Overviews und der KI-Modus arbeiten nach diesem Prinzip. Ihre Website kann nur als Quelle erscheinen, wenn sie im Abrufschritt gefunden wird. Deshalb zählen Auffindbarkeit, zugelassene KI-Crawler und Inhalte, die eine Frage präzise beantworten. Mehr dazu unter Citation und im Artikel KI-Crawler und robots.txt.
Wie Frage und Textabschnitte dabei verglichen werden, erklärt der Begriff Embedding.
Wie Texte dafür in Abschnitte zerlegt werden, erklärt Chunking.
Häufige Fragen
Verhindert RAG Halluzinationen?
RAG verringert das Risiko, weil Antworten auf abgerufene Dokumente gestützt werden. Ausgeschlossen sind Fehler aber nicht, etwa wenn die Quellen selbst falsch sind oder falsch zusammengefasst werden.