Python如何进行贴吧数据分析问答交流?

2026-06-10 01:560阅读0评论SEO资源
  • 内容介绍
  • 文章标签
  • 相关推荐

本文共计421个文字,预计阅读时间需要2分钟。

Python如何进行贴吧数据分析问答交流?

抓取了贴吧中Python问题的优质回答,利用Scrapy编写了一个程序,爬取了部分信息并存储到MongoDB数据库中,代码部分不再赘述。今天主要任务是使用pandas库读取数据,进行问答的文字云制作。


爬取了贴吧中python问题的精品回答,是使用scrapy写了一个程序,爬取了一点信息,存入MongoDB数据库中,代码就不上了,今天主要是通过pandas库读取数据,做问与答的文字云。

读取数据库

pandas库读取文件很方便,基本的文件都是能够用读取的,主要是运用dataframe(类似于excel表格),首先导入需要的模块;


mport pandas as pd

import pymongo

import jieba.analyse

然后连接数据库,读取数据;

lient = pymongo.MongoClient('localhost',port = 27017)

test = client['test']

tieba = test['tieba']

data = pd.DataFrame(list(tieba.find()))

data

获取question列

我们知道分词需要的是字符串格式的数据,所以需要通过dataframe的切片提取question这列的数据,并转化为字符串格式。

阅读全文

本文共计421个文字,预计阅读时间需要2分钟。

Python如何进行贴吧数据分析问答交流?

抓取了贴吧中Python问题的优质回答,利用Scrapy编写了一个程序,爬取了部分信息并存储到MongoDB数据库中,代码部分不再赘述。今天主要任务是使用pandas库读取数据,进行问答的文字云制作。


爬取了贴吧中python问题的精品回答,是使用scrapy写了一个程序,爬取了一点信息,存入MongoDB数据库中,代码就不上了,今天主要是通过pandas库读取数据,做问与答的文字云。

读取数据库

pandas库读取文件很方便,基本的文件都是能够用读取的,主要是运用dataframe(类似于excel表格),首先导入需要的模块;


mport pandas as pd

import pymongo

import jieba.analyse

然后连接数据库,读取数据;

lient = pymongo.MongoClient('localhost',port = 27017)

test = client['test']

tieba = test['tieba']

data = pd.DataFrame(list(tieba.find()))

data

获取question列

我们知道分词需要的是字符串格式的数据,所以需要通过dataframe的切片提取question这列的数据,并转化为字符串格式。

阅读全文