决策模型作为一种新型AI正受到越来越多的关注:你向模型提供上下文和一组选项,它便会从中挑选一个。经过专门训练后,它完成这项任务的速度和成本都远优于LLM。在实践中,混合式工作流是一个不错的起点。决策模型负责处理选项已知的封闭式选择,LLM负责处理必须经过推理或从零生成的开放式部分,而Python则通过管理工作流和执行操作将一切串联起来。
本文将介绍如何构建一个浏览器自动化工作流。在接收到一段自然语言的旅行请求后,该工作流会浏览酒店搜索网站、选择合适的酒店,并准备一份咨询信息。浏览器自动化是LLM最实用的应用之一,因为能够操作浏览器的LLM几乎可以完成人类能做的任何事情。阅读页面、点击按钮、选择下拉菜单选项以及填写表单等任务,可归为三类:封闭式选择、开放式生成和编排。
这种分工自然源于上述分类。决策模型从页面上已有的选项中做出选择,例如日历中的某个日期,或下一步操作,例如打开日历或提交表单。LLM负责撰写消息和说明。Python则从网站收集信息,为模型准备数据,接收模型的响应,并执行浏览器操作。
最终形成一个重复的循环:读取页面,让决策模型选择下一步操作,仅在需要生成文本时才调用LLM。该示例还将衡量与对每一步都依赖LLM相比,使用决策模型是否真正提高了工作流的速度。
来源: Towards Data Science · 由HeadlinesBriefing整理摘要