今だれでも1回のAPI呼び出しでLLMデモを構築できます。その同じ機能を実際のユーザー、実際のデータ、実際の請求書に生存させるのは別の仕事です。その仕事は、私が関わったりレビューしたほぼすべての本番システムに現れる5つのスキルに集約されます：検索、ルーティング、ガードレール、評価、エージェントループ。それぞれは、フロンティアモデルだけでは処理できない質問に答えます。私の会社のデータはどこから来るのか？請求書がこれほど高いのはなぜか？誰かが敵対的なプロンプトを送信したらどうなるのか？最後の変更は状況を良くしたのか悪くしたのか？モデルに倒れずにマルチステップの作業をさせるにはどうすればよいのか？スキル#1：RAG、自分自身のデータにモデルを根付かせる基本モデルは会社のドキュメントを知りませんし、それらが変更されるたびに微調整するのは遅くて高価です。検索拡張生成（RAG）はクエリ時に関連するドキュメントを取得し、それらをコンテキストとしてモデルに渡します。それは依然として本番環境で最も一般的なLLMパターンであり、通常カリキュラムが最初に教えるものです。面白い作業は検索にあります。正しいチャンクを返すかどうかは、ドキュメントをどのように分割するか（チャンキング）、キーワードとセマンティック検索を組み合わせるか（ハイブリッド検索）、モデルに到達する前に結果を並べ替えるか（リランキング）に依存します。スキル#2：モデルルーティング：タスクに必要なモデルの料金を支払うすべてのリクエストをフロンティアモデルに送信することは、説明できない請求書に到達する最も速い方法です。ルーティングは、簡単で高容量のリクエストを小規模またはローカルモデルに送信し、高価なモデルを困難なものに予約します。繰り返されるプロンプトのキャッシュを追加すると、本番推論請求書が40%から70%削減されると報告されており、それがルーティングが高度なトリックからベースラインの期待に至った理由です。このスキルは、リクエストにスコアを付けてレベルを選択することです。