harness enigneering-任务入口窗口-随笔
- 内容介绍
- 文章标签
- 相关推荐
意义:搭建跟自身项目有关的垂直环境。常用的codex,cc等其实本身有通用harness 内核,但我们仍需根据自己的工作场景在此基础上搭建垂直场景的harness 框架,以便于agent能更好完成目标(其实就相当于给一个公司制定工作流程和员工守则)。(4.25 01:38 兴致勃勃)
记录一下第一个最主要的关口:任务入口/窗口
意义:把人类的自然语言转换成agent可执行的完整清单。变成结构化对象json文件。
核心任务:分析界定任务内容,具体可为以下几点:
(1)用户想做什么(intent classification)
(2)任务对象是什么(object)
(3)允许做什么(boundary)
(4)需要读取哪些上下文(context)
(5)要做的事情是否安全,是否有风险(risk)
(6)根据风险等级评估结果是否让人介入审批(approval)
(7)怎么验证结果(validation)
(8)最后展现什么结果,产品(deliverable)
具体分析:
1.intent
agent其实不懂到底人类到底什么意思,它更倾向于用户的请求应该进入哪一条链,哪种工作流。
因此,intent其实就像路由标签和索引一样。可随时认定和引用。
用户请求—intent分类— 选择工作链
因此必须构建完整的intent taxonomy。并且在真实场景中,intent应该分类分层设计,可以从垂直场景的不同状态划分intent类别,也可以分层控制从大类到过程到动作手段。
但如果intent taxonomy过于精细繁重就会导致无法识别,相互影响。所以要研究怎么识别intent taxonomy的方法。
方法有以下几类:
(1)自定义规则分类。直接设定捕捉具体字段,形式之类,简单方便,但复杂度上升梯度大,而且对复杂语义和意会都无法识别。
(2)利用llm结构化分类。
意义:搭建跟自身项目有关的垂直环境。常用的codex,cc等其实本身有通用harness 内核,但我们仍需根据自己的工作场景在此基础上搭建垂直场景的harness 框架,以便于agent能更好完成目标(其实就相当于给一个公司制定工作流程和员工守则)。(4.25 01:38 兴致勃勃)
记录一下第一个最主要的关口:任务入口/窗口
意义:把人类的自然语言转换成agent可执行的完整清单。变成结构化对象json文件。
核心任务:分析界定任务内容,具体可为以下几点:
(1)用户想做什么(intent classification)
(2)任务对象是什么(object)
(3)允许做什么(boundary)
(4)需要读取哪些上下文(context)
(5)要做的事情是否安全,是否有风险(risk)
(6)根据风险等级评估结果是否让人介入审批(approval)
(7)怎么验证结果(validation)
(8)最后展现什么结果,产品(deliverable)
具体分析:
1.intent
agent其实不懂到底人类到底什么意思,它更倾向于用户的请求应该进入哪一条链,哪种工作流。
因此,intent其实就像路由标签和索引一样。可随时认定和引用。
用户请求—intent分类— 选择工作链
因此必须构建完整的intent taxonomy。并且在真实场景中,intent应该分类分层设计,可以从垂直场景的不同状态划分intent类别,也可以分层控制从大类到过程到动作手段。
但如果intent taxonomy过于精细繁重就会导致无法识别,相互影响。所以要研究怎么识别intent taxonomy的方法。
方法有以下几类:
(1)自定义规则分类。直接设定捕捉具体字段,形式之类,简单方便,但复杂度上升梯度大,而且对复杂语义和意会都无法识别。
(2)利用llm结构化分类。

