如何通过BERT在土耳其语问答对中计算余弦相似度及评估检索准确率？

本文共计975个文字，预计阅读时间需要4分钟。

为了正确使用BERT模型（特别是针对特定语言的预训练版本）来计算1000个问题与1000个答案之间的余弦相似度，并解决因语言不匹配导致的相似度低和准确率为0的问题，可以遵循以下步骤：

在使用BERT进行跨语言语义匹配时，模型的语言适配性是决定性前提。原代码中直接调用 bert-base-uncased（英文小写版），但示例问题“bir sunum oluşturmak için beş adım yazın.”（土耳其语：“请写出制作演示文稿的五个步骤”）表明数据集为土耳其语。由于BERT词表未覆盖土耳其语子词、且预训练语料中几乎不含土耳其语，导致所有输入被大量映射至 [UNK] 或低信息量的通用token，最终句向量丧失判别力——这正是余弦相似度趋近于0、Top-k准确率恒为0的根本原因。