Python在数据分析领域应用广泛吗？

本文共计2781个文字，预计阅读时间需要12分钟。

1. 概念+爬虫不是动物，而是一种计算机程序。这类程序具有自身特定的功能，能按用户设定的规则自动浏览万维网并获取所需信息。此类程序被称为+网络爬虫（web crawler）+。

1. 概念

爬虫不是动物，而是一种计算机程序。

这种程序有自己特定的功能，能按照使用者给定的一系列规则自行浏览万维网并获取需要的信息。此类程序被称为 网络爬虫（web crawler） 或 网络蜘蛛（spider）。
它具有智能分析能力，也称为 机器人程序 。

爬虫的应用应用领域：

如百度、谷歌等以搜索为主的公司，就是利用其自行研发的爬虫程序在互联网上对网页中的数据进行爬取、分析、归类、存储……再提供给用户使用。
新闻聚合应用也是利用爬虫程序爬取各新闻网站上的新闻信息，进行分检归类后提供给使用者。

爬虫程序可运用于各种需要数据分析的应用领域。如价格分析，根据商品关键字爬取各商城中商品价格，对价格进行比较、分析后展示给用户一个直观的对比表。

爬虫程序从网络上爬取数据时，需要遵守 Rebots 协议。

Rebots 协议是网站拟定的资源共享清单，规定爬虫在本网站爬取数据时，哪些资源可以爬取，哪些资源不可以爬取。

爬虫程序的工作流程：

1. 确定目标网页。此页为起始页或叫入口页面。