[开源推广]:我用 600M 参数小模型,在关键词提取上碾压了 Gemini:性能高 14%,速度快 500 倍
- 内容介绍
- 文章标签
- 相关推荐
问题描述:
本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:
- 我的帖子已经打上 开源推广 标签: 是
- 我的开源项目完整开源,无未开源部分: 是
- 我的开源项目已链接认可 LINUX DO 社区: 是
- 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是
- 以上选择我承诺是永久有效的,接受社区和佬友监督: 是
以下为项目介绍正文内容,AI生成、润色内容已使用截图方式发出
从[开源推广]一个基于Attention机制的关键词摘出-KeyATTEN继续
继续迭代了一个月,提出了一个崭新的思路:QKLORA。
现在我很荣幸的宣布,在当前的中文新闻上,我做到了在抽取式关键词提取全面碾压领先闭源模型。
这个方法天生能输出权重,对于某些需要权重排布的任务十分友好。
本项目基于qwen3-embedding 0.6B,参数仅需600M。
在新闻领域的R@10上,超越第二名 +30.0%
该项目的应用前景:文章新闻索引、打tag
不过该模型在需要提炼关键词的情况下,表现中庸。
问题描述:
本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:
- 我的帖子已经打上 开源推广 标签: 是
- 我的开源项目完整开源,无未开源部分: 是
- 我的开源项目已链接认可 LINUX DO 社区: 是
- 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是
- 以上选择我承诺是永久有效的,接受社区和佬友监督: 是
以下为项目介绍正文内容,AI生成、润色内容已使用截图方式发出
从[开源推广]一个基于Attention机制的关键词摘出-KeyATTEN继续
继续迭代了一个月,提出了一个崭新的思路:QKLORA。
现在我很荣幸的宣布,在当前的中文新闻上,我做到了在抽取式关键词提取全面碾压领先闭源模型。
这个方法天生能输出权重,对于某些需要权重排布的任务十分友好。
本项目基于qwen3-embedding 0.6B,参数仅需600M。
在新闻领域的R@10上,超越第二名 +30.0%
该项目的应用前景:文章新闻索引、打tag
不过该模型在需要提炼关键词的情况下,表现中庸。

![[开源推广]:我用 600M 参数小模型,在关键词提取上碾压了 Gemini:性能高 14%,速度快 500 倍](/imgrand/J4athQLB.webp)