HeadlinesBriefing favicon HeadlinesBriefing.com

Perplexity发布混合计算,用于分割AI任务

Engadget •
×

Perplexity已宣布混合计算,这是一项新功能,可将AI任务在云端前沿模型和运行在用户机器上的本地LLM之间分割。该工具集成在Perplexity Mac应用中,会自动检测敏感内容,并提示用户在设备上保留机密数据。新的隐私分类器建议哪些文件应保持本地,用户可在处理开始前审查这些决定。准备案件简报的律师以及处理敏感信息的其他专业人士被引用为关键使用场景。本地模型选项包括Gemma 2B和两种Qwen 350亿参数模型的变体,其中一种变体由Perplexity后训练。该系统无需终端访问即可安装,并显示实时CPU、GPU和内存使用情况。用户可通过iPhone排队任务,并避免本地处理的token费用。Perplexity的Jon Staff指出,完全基于云端的模型仍能产生更优质的输出,但混合计算在隐私、成本和能力之间提供了平衡。目前仅在运行macOS 15的Apple Silicon Mac上可用,该功能至少需要32GB统一内存,并面向Pro、Max和企业订阅用户。