Im Januar 2025 veröffentlichten Aditi Singh und Koautoren eine Übersicht über agentische retrieval-augmentierte Generierung, kurz agentisches RAG. Sie beschreiben es als Suchsystem mit einem KI-Agenten darin. Der Agent kann seinen nächsten Schritt planen, seine eigenen Ergebnisse prüfen und während der Informationssuche andere Werkzeuge nutzen, etwa einen Taschenrechner oder ein Suchfeld. Dieselbe Übersicht führt Evaluation und Effizienz als offene Herausforderungen auf, und genau diesen Teil sollte dieser Test messen.
Retrieval-augmentierte Generierung, oder RAG, bedeutet, dass ein Sprachmodell eine Frage mithilfe von Text beantwortet, den es zuvor aus einer Dokumentensammlung abgerufen hat. Einfache Suche fragt die Frage einmal so ab, wie sie formuliert ist. Agentisches RAG fügt einen Agenten hinzu, der die ersten Ergebnisse liest und entscheidet, ob er aufhört oder eine neue Suche formuliert. Mehr Suchen sollten bessere Belege finden, doch jede zusätzliche Suche braucht einen weiteren Aufruf des Sprachmodells, verlängert die Wartezeit für den Nutzer und gibt dem Agenten eine weitere Gelegenheit, eine schlechtere Anfrage als die ursprüngliche zu formulieren.
Der Autor führte vier Abrufmethoden auf denselben 298 Fragen und 2.000 aktuellen arXiv-Papern aus. Den Test entwickelte und betrieb der KI-Coding-Assistent Claude Code. Die Methoden waren einfache Suche, ein Reranker, der die ersten 50 Ergebnisse neu ordnet, ein Fragenumformulierer, der drei alternative Anfragen erzeugt, und ein Agent, der bis zu dreimal sucht. Jede Methode wurde danach bewertet, wie oft sie das richtige Paper unter ihre Top 5 brachte.
Der Agent brachte das richtige Paper in 96,87 Prozent der Fragen unter die Top 5, die einfache Suche in 95,64 Prozent. Die Differenz von +1,2 Prozentpunkten hatte einen plausiblen Bereich von -0,8 bis +3,5, der die Null einschließt. Der Test konnte die beiden Verfahren daher nicht unterscheiden. Der Agent fand Papers, die die einfache Suche übersehen hatte, verlor aber auch einige, die die einfache Suche gefunden hatte.
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing