Python如何进行贴吧数据分析问答交流?
- 内容介绍
- 文章标签
- 相关推荐
本文共计421个文字,预计阅读时间需要2分钟。
抓取了贴吧中Python问题的优质回答,利用Scrapy编写了一个程序,爬取了部分信息并存储到MongoDB数据库中,代码部分不再赘述。今天主要任务是使用pandas库读取数据,进行问答的文字云制作。
爬取了贴吧中python问题的精品回答,是使用scrapy写了一个程序,爬取了一点信息,存入MongoDB数据库中,代码就不上了,今天主要是通过pandas库读取数据,做问与答的文字云。
读取数据库
pandas库读取文件很方便,基本的文件都是能够用读取的,主要是运用dataframe(类似于excel表格),首先导入需要的模块;
mport pandas as pd
import pymongo
import jieba.analyse
然后连接数据库,读取数据;
lient = pymongo.MongoClient('localhost',port = 27017)
test = client['test']
tieba = test['tieba']
data = pd.DataFrame(list(tieba.find()))
data
获取question列
我们知道分词需要的是字符串格式的数据,所以需要通过dataframe的切片提取question这列的数据,并转化为字符串格式。
本文共计421个文字,预计阅读时间需要2分钟。
抓取了贴吧中Python问题的优质回答,利用Scrapy编写了一个程序,爬取了部分信息并存储到MongoDB数据库中,代码部分不再赘述。今天主要任务是使用pandas库读取数据,进行问答的文字云制作。
爬取了贴吧中python问题的精品回答,是使用scrapy写了一个程序,爬取了一点信息,存入MongoDB数据库中,代码就不上了,今天主要是通过pandas库读取数据,做问与答的文字云。
读取数据库
pandas库读取文件很方便,基本的文件都是能够用读取的,主要是运用dataframe(类似于excel表格),首先导入需要的模块;
mport pandas as pd
import pymongo
import jieba.analyse
然后连接数据库,读取数据;
lient = pymongo.MongoClient('localhost',port = 27017)
test = client['test']
tieba = test['tieba']
data = pd.DataFrame(list(tieba.find()))
data
获取question列
我们知道分词需要的是字符串格式的数据,所以需要通过dataframe的切片提取question这列的数据,并转化为字符串格式。

