[开源推广]:我用 600M 参数小模型,在关键词提取上碾压了 Gemini:性能高 14%,速度快 500 倍

2026-04-11 10:500阅读0评论SEO问题
  • 内容介绍
  • 文章标签
  • 相关推荐
问题描述:

本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:

  • 我的帖子已经打上 开源推广 标签:
  • 我的开源项目完整开源,无未开源部分:
  • 我的开源项目已链接认可 LINUX DO 社区:
  • 我帖子内的项目介绍,AI生成、润色内容部分已截图发出:
  • 以上选择我承诺是永久有效的,接受社区和佬友监督:

以下为项目介绍正文内容,AI生成、润色内容已使用截图方式发出


从[开源推广]一个基于Attention机制的关键词摘出-KeyATTEN继续

继续迭代了一个月,提出了一个崭新的思路:QKLORA。
现在我很荣幸的宣布,在当前的中文新闻上,我做到了在抽取式关键词提取全面碾压领先闭源模型。
这个方法天生能输出权重,对于某些需要权重排布的任务十分友好。
本项目基于qwen3-embedding 0.6B,参数仅需600M。
在新闻领域的R@10上,超越第二名 +30.0%
该项目的应用前景:文章新闻索引、打tag

不过该模型在需要提炼关键词的情况下,表现中庸。

阅读全文
问题描述:

本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:

  • 我的帖子已经打上 开源推广 标签:
  • 我的开源项目完整开源,无未开源部分:
  • 我的开源项目已链接认可 LINUX DO 社区:
  • 我帖子内的项目介绍,AI生成、润色内容部分已截图发出:
  • 以上选择我承诺是永久有效的,接受社区和佬友监督:

以下为项目介绍正文内容,AI生成、润色内容已使用截图方式发出


从[开源推广]一个基于Attention机制的关键词摘出-KeyATTEN继续

继续迭代了一个月,提出了一个崭新的思路:QKLORA。
现在我很荣幸的宣布,在当前的中文新闻上,我做到了在抽取式关键词提取全面碾压领先闭源模型。
这个方法天生能输出权重,对于某些需要权重排布的任务十分友好。
本项目基于qwen3-embedding 0.6B,参数仅需600M。
在新闻领域的R@10上,超越第二名 +30.0%
该项目的应用前景:文章新闻索引、打tag

不过该模型在需要提炼关键词的情况下,表现中庸。

阅读全文