感觉大多数LLM的黄金上下文都在200k-400k
- 内容介绍
- 文章标签
- 相关推荐
问题描述:
--【壹】--:
--【贰】--:
--【叁】--:
--【肆】--:
--【伍】--:
--【陆】--:
--【柒】--:
基本上市面上自称1M上下文的LLM在500K后注意力就都不太够了
网友解答:--【壹】--:
个人感觉,opus4.6到250k以上就开始不行了,疯狂忘记前面的内容,指令遵循也开始变很差,反而gpt好很多。连续两周高强度用opus4.6得出来的个人体感
--【贰】--:
gemini3.1pro我感觉到90k就傻了
--【叁】--:
具体技术我不懂,但是应该是用了什么工程上的方法拓展了一下上下文,所以说和原生上下文体验差距比较大
--【肆】--:
自信点,根本不到500K
--【伍】--:
难怪 A\ 发文章说 GPT 的 1M 上下文水分很大
--【陆】--:
有测试或者理论依据吗
--【柒】--:
2.5 pro注意力还是比较惊人的,特别是刚出来的时候。
问题描述:
--【壹】--:
--【贰】--:
--【叁】--:
--【肆】--:
--【伍】--:
--【陆】--:
--【柒】--:
基本上市面上自称1M上下文的LLM在500K后注意力就都不太够了
网友解答:--【壹】--:
个人感觉,opus4.6到250k以上就开始不行了,疯狂忘记前面的内容,指令遵循也开始变很差,反而gpt好很多。连续两周高强度用opus4.6得出来的个人体感
--【贰】--:
gemini3.1pro我感觉到90k就傻了
--【叁】--:
具体技术我不懂,但是应该是用了什么工程上的方法拓展了一下上下文,所以说和原生上下文体验差距比较大
--【肆】--:
自信点,根本不到500K
--【伍】--:
难怪 A\ 发文章说 GPT 的 1M 上下文水分很大
--【陆】--:
有测试或者理论依据吗
--【柒】--:
2.5 pro注意力还是比较惊人的,特别是刚出来的时候。

