HeadlinesBriefing favicon HeadlinesBriefing.com

JevchatがJevをチャットボットに変える

Hacker News •
×

Jevchatは各ステップで1つの質問を投げることでJevをチャットボットに変えます:ユーザーの質問とこれまでに書かれた返信を考慮して、次に何のシンボルが来るかを尋ねます。選択肢はアルファベットと、発射を停止するオプションです。Jevは各選択肢に対する確率を返し、サンプラーはその正規化分布から次のシンボルを引きます。追加、繰り返し、STOPが引かれたら停止します。複数のアルファベット(トークンリストの一部を切り捨てたものなど)とサンプリング戦略が利用可能です。楽しむためのアイデアであり、コストはやや非現実的であり、結果は笑えます。これはClaudeによる高速化された実験です。ユーザーがサンプリングアルゴリズム、戦略などを説明し、Claudeがそれを実装しました。

設定:pyproject.tomlの隣にある.envファイル(gitで無視)にJEV_API_KEYとしてJevのキーを入力します。TYPESAFE_API_KEYも受け付けます。.envの値はエクスポートされた値を上回るため、ファイルを編集するだけでキーを切り替えることができます。コマンド:poetry run jevchat(インタラクティブ)、poetry run jevchat ask "人〜は水が必要ですか?", poetry run jevchat alphabets、poetry run jevchat bench。

返信はサンプリングされながら表示され、生成速度(シンボル/秒、文字/秒、API呼び出しあたりのミリ秒、経過時間)、直近のステップでJevが評価した上位数個のシンボルをリアルタイムで表示するパネルに表示されます。Ctrl-Cでキャンセル。最初の押下で、フライト中のリクエストが返ってくるまで生成を停止します。2回目の押下で即座に中止します。

モード:交換可能なのは2つの要素:戦略(-s/--strategy)とアルファベット(-a/--alphabet)。戦略にはchoice(全アルファベットの質問を1つ)、bisect(yes-no質問でグループを絞る)、buckets(多くの質問にわたるアルファベットの分割)、refine(bucketsの後、勝者に対する質問)などがあります。プレゼンテーションにはhypothesis(デフォルト)とsymbolがあります。

FAQ:Jevchatとは何ですか?

Jevchatは、Jevが返す確率分布から1つずつシンボルをサンプリングし、さまざんな戦略とアルファベットを使用してJevをチャットボットに変えるツールです。