HeadlinesBriefing favicon HeadlinesBriefing.com

LLM等宽Token空间字体工具

Hacker News •
×

一种新工具生成token空间字体,其中每个LLM token都具有等宽。它将字体与分词器结合创建预览。用户可以输入或粘贴文本,如“The quick brown fox ate the load-bearing strawberry”来查看token的渲染方式。

要在Discord中使用,请选择gg sans (Discord),选择分词器预设或上传,然后点击Compile font。主题下载匹配预览字体。安装TTF到字体书,然后即使gg sans已安装也安装编译后的字体。对于有针对性的用户,请输入通过开发者模式找到的特定Discord用户ID。

对于Slack,请在您的设备上安装TTF,输入代理显示名称或成员ID,然后将.user.js文件下载到userscript管理器中。该脚本在无网络请求的情况下为匹配的消息应用样式。

支持的预设包括Deep Seek V4.1 Flash × Inter、Open AI、Kimi、Qwen、GLM、Llama 3、Trinity和Laguna,以及对Gemma和Gemini的实验性支持。接受原始字节级别BPE。输出为单个TTF,内置分词器形状规则。

关键实体:公司:Deep Seek、Open AI、Discord、Slack、Vencord、字体书 | 人物:Tim Cook、Elon Musk | 位置:Hacker News