HeadlinesBriefing favicon HeadlinesBriefing.com

Jevchat преобразует Jev в чат-бота

Hacker News •
×

Jevchat преобразует Jev в чат-бота, задавая один вопрос на каждом шаге: учитывая вопрос пользователя и ответ, записанный до сих пор, какой символ идет следующим? Варианты — алфавит и опция остановки выпуска. Jev возвращает вероятность для каждого, а сэмплер выбирает следующий символ из этого нормализованного распределения. Добавить, повторить и остановиться, когда выбрано STOP. Доступно несколько алфавитов (включая сокращенные списки токенов) и стратегий выборки. Идея в том, чтобы для развлечения, затраты несколько нецелесообразны, а результаты забавные. Это был ускоренный эксперимент с помощью Claude. Пользователь описал алгоритмы выборки, стратегии и т. д., и Claude их реализовал.

Настройка: Положите ключ Jev в файл .env рядом с pyproject.toml (игнорируется git) как JEV_API_KEY. ТYPESAFE_API_KEY также принимается. Значения в .env превалируют над экспортируемыми, поэтому достаточно отредактировать файл, чтобы переключить ключи. Команды: poetry run jevchat (интерактивный), poetry run jevchat ask "люди нуждаются в воде?", poetry run jevchat alphabets, poetry run jevchat bench。

Ответ появляется по мере выборки, в панели с живым отображением скорости генерации символов/сек, символов/сек, миллисекунд на вызов API, прошедшего времени, и нескольких лучших символов, которые оценил Jev на последнем шаге. Ctrl-C отменяет. Первое нажатие останавливает генерацию, когда запрос в полёте возвращается; второе нажатие немедленно прерывает.

Режимы: Меняются две вещи: стратегия (-s/--strategy) и алфавит (-a/--alphabet). Стратегии включают choice (один вопрос по всему алфавиту), bisect (вопросы да/нет, сужающие группу), buckets (алфавит разделён на множество вопросов), и refine (buckets затем вопрос о победителях). Презентации включают hypothesis (по умолчанию) и symbol。