你是怎么解决大模型不按要求输出标准JSON格式的？—— 一场技术面试实录

问题描述：

1.开场:聊聊踩过的坑

王工:我看你简历上写了两年LLM应用开发经验。我问一些实战经验问题:你在项目里让大模型返回JSON，遇到过什么麻烦没?

小张:遇到过，特别在大模型初期，GPT-4那个时代，经常出现格式不稳定，有时候会多个逗号，有时候key不带引号，偶尔还包一层markdown代码块.

王工:那你当时是怎么解决?

小张:一开始就利用提示词，在prompt里反复强调"请严格输出JSON格式，不要包含任何其他内容"。然后利用fewcase引导,会有点用，但不彻底，大概能到七八成的准确率。

王工:嗯，那你分析过为什么prompt约束不彻底吗?

小张:有想过,例如模型生成文本的本质是逐Token采样，它并没有一个内置的JSON解析器在检查语法。它只是根据训练数据"学会"了JSON长什么样，但这是统计意义上的，不是规则意义上的。

王工:对，这点很关键。OpenAI早期的JSONMode测试下来，合格率大概只有35%左右.

2.第一回合:JSONSchema的原理

王工:那后来你们怎么解决的?

小张:大模型进步非常快，官方OpenAI发布的Structured Output, 直接 置response_format 为 json_schema, 再 开strict:true。基本输出就一定会按照指定格式输出了

王工:那你说说它的底层实现吧?

小张:我理解是把JSONSchema是借用状态机，模型每生成一个Token，FSM就转移一次状态，然后根据当前状态算出下一步合法的Token，不合法的Token概率直接置零，这样就避免输出错误结构。

王工:说得挺好的。那我在问深如一点，你遇到过第一次请求特别慢、后面就快了的情况吗?

小张:遇到过，不过倒是没研究，感觉是Schema编译成FSM需要时间，第一次要做预处理，后面同样的Schema能复用缓存。

王工:不错。