HeadlinesBriefing favicon HeadlinesBriefing.com

人間参加型でスループットを犠牲にしない

Towards Data Science •
×

テキストからSQLへのエージェントを展開してから3週間後、アナリストが「テスト行をクリーンアップ」と依頼しました。エージェントはこれをテーブルの40%を削除することと解釈しましたが、そのアクションは人間の承認ステップによってブロックされました。このステップは、レビュアーが以前に危険なクエリを検出したために追加されました。しかし、承認キューはすぐにボトルネックとなり、最大20分の待ち時間が発生しました。アナリストは不満を募らせ、レビュアーは十分な精査なしに承認するようになり、「ゴム印疲れ」として知られる現象が起こりました。解決策はキューを速くすることではなく、操作タイプではなくリスクに基づいてアクションをルーティングすることでした。ほとんどのクエリは安全でレビューを必要とせず、高リスクのアクションのみが人間の監督を必要とします。このアプローチは、スループットを犠牲にせずに安全性を維持し、人間の注意が本当に重要なことに集中することを保証します。