vibe时用文言省tok吗? 有没有用? 会降表现吗?

问题描述：

本帖使用社区开源推广，符合推广要求。我申明并遵循社区要求的以下内容：

• 我的帖子已经打上 开源推广 标签： 是
• 我的开源项目完整开源，无未开源部分： 是
• 我的开源项目已链接认可 LINUX DO 社区： 是
• 我帖子内的项目介绍，AI生成、润色内容部分已截图发出： 是
• 以上选择我承诺是永久有效的，接受社区和佬友监督： 是

以下为项目介绍正文内容，AI生成、润色内容已使用截图方式发出

---

问题背景

在遥远而神秘的东方, 一直有一种神秘的传言, 认为使用神秘的东方表达可以减少token的消耗. 身为文明古国的后裔听到这个想法当然是非常骄傲的啊, 但是转念一想，作为对NFL(no free lunch)定理的忠实信众, 我想有不少人会和我问出同样的问题: 那代价呢？

因此，我利用手头的资源做了1组对照实验; 在这里，希望与各位分享我的实验结果。
我的代码也公开于此，欢迎各位基于此做更多的探索: LeonardNJU/LangMatch · GitHub

首先是正反双方观点:
正方: 文言文行简而易，该用更少的token(其实想的是字符)表达同样的意思是当然的; 可以说，文言文的表达力更强。直觉上人类理解文言文需要额外一层解/编码，因此可以文言语言自带一个压缩效果。

image334×750 40.9 KB

反方: 文言文虽然看着字少，但是表达的token可不一定少. 一个token可能能表达1至多个英文词，但是想表达一个文言字/繁体字/偏僻字可不见得能做到。