通过 API 调用以达到无限 thinking 的想法
- 内容介绍
- 文章标签
- 相关推荐
我们知道在调用 API 的时候,如果给了一个比较难的问题,模型可能会思考很久。这时候如果出现了网络波动,亦或是各种其他原因导致思考被中断的话,那这次思考就相当于白费了。
不过我注意到当如上情况发生时,本次调用是不计费的,但是我们是可以实打实地看到思考内容的,那如果我们把思考内容重新喂给模型,或许能够在一定程度上帮助模型延续上一次中断的思考,并且只有最后一次回答才会计费,大大节省了思考过程中产生的开销。
下面是我对这个想法的一个实践,首先我把题目告诉 GPT 并让它直接给我代码,然后思考过程在 15 分钟的时候中断了(可能是我这里的原因,因为我之前也有在 15 分钟中断的情况发生),然后我直接把思考内容重新发给 GPT 并让他继续,这一次它只思考了 7 分钟就给出了回答。
image2178×1216 193 KB
image2240×986 269 KB
然后下面是两次调用的计费情况,可以看到只有第二次才有开销。
image1470×188 27.1 KB
网友解答:--【壹】--:
学习到了,下次试试看..后面是补字的,实在想不到还要说什么
--【贰】--:
哈哈哈哈,原来是这样,那我这个中转站可能比较良心
--【叁】--:
这不是官方key,是某个中转站的,我不太清楚官方调用是什么情况,但是确实可以不至于白费一次
--【肆】--:
是的,所以在第二次调用就给出实际回答了,但是如果不给它上一次的思考内容那它又要重新思考 15 分钟了…
--【伍】--:
之前我用有些中转站,零输出,照样扣输入的钱
--【陆】--:
这是官key吗,好像中转请求失败了也照样扣费吧
--【柒】--:
光思考内容没啥用吧,如果是api模式的话,输出实际内容才是比较重要的吧
我们知道在调用 API 的时候,如果给了一个比较难的问题,模型可能会思考很久。这时候如果出现了网络波动,亦或是各种其他原因导致思考被中断的话,那这次思考就相当于白费了。
不过我注意到当如上情况发生时,本次调用是不计费的,但是我们是可以实打实地看到思考内容的,那如果我们把思考内容重新喂给模型,或许能够在一定程度上帮助模型延续上一次中断的思考,并且只有最后一次回答才会计费,大大节省了思考过程中产生的开销。
下面是我对这个想法的一个实践,首先我把题目告诉 GPT 并让它直接给我代码,然后思考过程在 15 分钟的时候中断了(可能是我这里的原因,因为我之前也有在 15 分钟中断的情况发生),然后我直接把思考内容重新发给 GPT 并让他继续,这一次它只思考了 7 分钟就给出了回答。
image2178×1216 193 KB
image2240×986 269 KB
然后下面是两次调用的计费情况,可以看到只有第二次才有开销。
image1470×188 27.1 KB
网友解答:--【壹】--:
学习到了,下次试试看..后面是补字的,实在想不到还要说什么
--【贰】--:
哈哈哈哈,原来是这样,那我这个中转站可能比较良心
--【叁】--:
这不是官方key,是某个中转站的,我不太清楚官方调用是什么情况,但是确实可以不至于白费一次
--【肆】--:
是的,所以在第二次调用就给出实际回答了,但是如果不给它上一次的思考内容那它又要重新思考 15 分钟了…
--【伍】--:
之前我用有些中转站,零输出,照样扣输入的钱
--【陆】--:
这是官key吗,好像中转请求失败了也照样扣费吧
--【柒】--:
光思考内容没啥用吧,如果是api模式的话,输出实际内容才是比较重要的吧

