前回の記事では、ELCに基づくAIアーキテクチャであるMinotaurを紹介しました。このシステムは、予測ではなく測定によって答えを導き出します。実際の規制と、その適用記録を照合し、どの組織がどの規則に、どの程度、どこで違反したかを特定し、壊れた規則と誤って記録された測定値を見分けられることを示しました。
今日の言語モデルは、より広い能力で評価されています。推論、説明、診断、仮説の検討、事情が違っていたらどうなっていたかの想像、そして新しい情報を得た際の考えの変更などができます。著者らによれば、Minotaurの頭脳は、大規模言語モデルが通常担うとされる主要な推論の種類、すなわち演繹、帰納、アブダクション、診断、そして質問すること自体が答えを変えてしまう歴史についての推論を行います。これらすべてを、記述されたシステム上で、1つのネットワークに対する1つの操作によって、通常のプロセッサコア1つを使い、質問1件あたり約0.25秒で実行します。
そのコードを見たことのない人々が作成した盲目的なテストでは、Minotaurは、質問によって証人の記憶が変わる警察の取り調べにおいて、言葉で推論する現行の言語モデルと同等の成績を示しました。また、データのみから学習・診断・予測を行うシステムでも同等でした。この記事は、大規模言語モデルがテキストの次の単語を予測するように訓練される仕組みと対比しています。そのため、人間の長所だけでなく短所も受け継いでおり、たとえば、もっともらしい結論や質問の枠組みに影響されやすいといった点が挙げられます。
また、この記事は、機械による推論の試みの70年にわたる歴史もたどっています。1956年のAllen Newell、Cliff Shaw、Herbert Simonによる論理理論家（Logic Theorist）から始まったこれらの取り組みは、ある地点までは進展したものの、そこで停滞しました。著者は、この経緯を、なぜ言語モデルが主流になったのかを説明するために用いています。言語モデル以前の多くのアプローチの目標は、正確で検証可能な推論でした。
中心的な主張は、Minotaurは、人々が思考を書き記す方法を模倣するのではなく、推論対象となるシステムの構造そのものに作用することで推論する、というものです。
出典: Hacker News · 要約：HeadlinesBriefing