HeadlinesBriefing favicon HeadlinesBriefing.com

Human-in-the-Loop ohne Durchsatzverlust

Towards Data Science •
×

Drei Wochen nach der Bereitstellung eines Text-zu-SQL-Agenten bat ein Analyst ihn, "Testzeilen zu bereinigen". Der Agent interpretierte dies als Löschen von 40% einer Tabelle, aber die Aktion wurde durch einen menschlichen Genehmigungsschritt blockiert. Dieser Schritt wurde hinzugefügt, weil ein Prüfer zuvor eine gefährliche Abfrage entdeckt hatte.

Allerdings wurde die Genehmigungswarteschlange bald zum Engpass, mit Wartezeiten von bis zu 20 Minuten. Analysten wurden frustriert, und Prüfer begannen, ohne vollständige Prüfung zu genehmigen, ein Phänomen, das als "Gummistempel-Müdigkeit" bekannt ist. Die Lösung bestand nicht darin, die Warteschlange zu beschleunigen, sondern Aktionen nach Risiko zu routen, nicht nach Operationstyp.

Die meisten Abfragen sind sicher und benötigen keine Überprüfung, während nur risikoreiche Aktionen menschliche Aufsicht erfordern. Dieser Ansatz bewahrt die Sicherheit, ohne den Durchsatz zu opfern, und stellt sicher, dass menschliche Aufmerksamkeit auf das gelenkt wird, was wirklich wichtig ist.