Python、Golang和GraphQuery在爬虫领域的差异如何体现？

本文共计3384个文字，预计阅读时间需要14分钟。

本脚本将使用Python、Golang以及GraphQuery来解析某网站的素材详情页面，并提取页面特征。页面具有清晰的数据库结构，但DOM结构不规范，无法通过单一方式提取。

本文将分别使用​​Python​​，​​Golang​​以及​​GraphQuery​​来解析某网站的素材详情页面​​，​这个页面的特色是具有清晰的数据结构，但是DOM结构不够规范，无法通过单独的选择器定位页面元素，对页面的解析造成了一些曲折。通过这个页面的解析过程，深入浅出的了解爬虫的解析思想与这些语言之间的异同。​

​一、前言​

在前言中，为了防止在后面的章节产生不必要的困扰，我们将会首先了解一些基本的编程理念。

​1. 语义化的DOM结构​

这里我们讲的语义化的DOM结构，不仅仅包括语义化的html标签，也包括了语义化的选择器，在前端开发中应该注意的是，所有的动态文本都应该有单独的 html 标签包裹，并最好赋予其语义化的​​class​​​属性或​​id​​属性，这在版本功能的迭代中，对前端和后端的开发都是大有裨益的，比如下面的HTML代码：

这就是不够语义化的前端代码，​​32504070​​​，​​RGB​​​，​​16.659 MB​​​，​​72dpi​​​这些值都是动态属性， 会跟随编号的改变而改变，在规范的开发中，应该将这些​​动态变化的属性​​​，分别用​​<span>​​​这类行内标签包裹起来，并赋予其一定的语义化选择器，在上面的HTML结构中大致可以推测出这是后端直接使用 foreach 渲染出的页面，这是不符合前后端分离的思想的，如果有一天他们决定使用​​jsonp​​​或​​Ajax​​渲染这些属性， 由前端进行渲染，工作量无疑会上一个层次。