您能推荐一种适用于文本数据的离散化表示方法吗？

本文共计513个文字，预计阅读时间需要3分钟。

相关专题

• 计算机系统中学习到单词的向量表示时应满足向量空间分布的相似性。

       

• 计算机系统中学习到单词的向量表示同时应满足向量空间子结构

       

1.1.2 词向量的基本概念

• 词向量是一种自然语言中表示单词的方法，即把每个单词表示为$N$N维空间内的一个点，也是高维空间的向量，通过这种方法，可以把自然语言的计算转换为空间向量的计算。

       

1.1.3 实现词向量的两大挑战

       

1.1.4 单词转化为向量

• 通过词向量表（Excel,数据库表，text文本文件，numpy文件（npz）进行查询,词向量表中每行存储了单词和对应的向量表示
• 第一列单词的本身

       

1.1.5 词向量具备语义信息

• 科研人员都有一个共识，可以使用一个单词附近的词语来表示这个单词的含义

       

使用上下文可以推断出第一个“苹果”指的是iphone手机；

1. 第二个“苹果”指的是水果苹果
2. 第三个根据语境得到“菠萝”指的是一个手机。
3. 我们可以使用同样的想法来训练词向量，让这些词向量能够表示语义信息的能力。