如何实现网络爬虫 on 重定向学院

爬虫介绍

Mon, 18 Dec 2017 02:52:34 +0800

什么是爬虫

爬虫实际上就是采集网络上数据的一段程序，如果把互联网比喻成一个蜘蛛网，那么蜘蛛就是在网上爬来爬去的蜘蛛，爬虫程序通过请求url地址，根据响应的内容进行解析采集数据，比如：如果响应内容是html，分析dom结构，进行dom解析、或者正则匹配，如果响应内容是xml/json数据，就可以转数据对象，然后对数据进行解析。

资源视角

互联网上一切都是资源，比如视频资源，新闻资源等，爬虫实际上就是批量将别人的资源采集下来变成自己的资源的程序。

爬虫的一些例子

从其他网站爬取特定类型的商品信息，然后发布在自己的网上商城里
从其他网站爬取一些特定图片，展示在自己的网站里
搜索引擎爬取网站基本信息，收录在自己的搜索结果里

最简单的爬虫套路

访问1个站点，获取该站点的html代码
解析html代码，把感兴趣的数据从html代码里分离出来
保存这些数据

实际例子

假设我需要抓取重定向科技目前开设的所有测试课程，那么

先访问所有课程页面，把html代码拿到
解析html代码，从里面抠出来课程的名称和详情地址
保存课程的名称和地址

这样就可以实现一个最简单的网络爬虫了。

爬虫对于测试的意义

有时候自己去造一些测试数据是很麻烦的事情，这时候我们就可以使用爬虫去获取其他站点的类似数据，对数据进行加工后就可以当测试数据来使用了。

Reference

大话爬虫的基本套路
推荐另一个不错的python爬虫教程，应该是基于python2.7

原始封面

搭建开发环境

Sun, 17 Dec 2017 02:52:34 +0800

开发环境介绍

我们使用python来实现最简单的爬虫。

使用python的requests库来发起http请求并获取目标站点的html代码。
使用python的BeautifulSoup库来解析html，从html中提取感兴趣的内容。

Requests教程

大家可以在测试教程网requests教程中找到requests库的一些典型用法。

环境搭建

安装python3，可以参考这里
安装requests，可以参考这里
安装BeautifulSoup，可以参考这里

作者使用软件版本

我的电脑上环境是这样

python: 3.5.2
requests: 2.13.0
beautifulsoup4: 4.6.0

不需要与我的版本保持完全一致，只需要大于等于我使用的版本就可以了

原始封面

最简单的web爬虫:获取所有课程信息

Sat, 16 Dec 2017 02:52:34 +0800

获取所有课程信息

我们现在来实现第一个超级简单的网络爬虫用来抓取重定向科技目前开设的所有测试课程，并打印出来，步骤大概是这样子

先访问所有课程页面，把html代码拿到，实际上就是拿到一个很长的文本，文本内容就是网页的html代码
分析html代码，找到我们需要获取信息的html特征
解析html代码，根据html特征，从里面抠出来课程的名称
打印出所有课程的名称

分析html代码

我们在编写爬虫的时候往往会花很多时间在分析html代码上，毕竟重要的信息都包含在html代码中，我们需要找到合适的特征，通过固定的套路去解析html，获取特定内容。

课程名称部分的html代码如下所示

<div class="col-md-3 col-sm-6">
 <div class="servive-block-in servive-block-colored servive-block-grey">
 <h4>性能测试从入门到精通班</h4><div><i class="icon-rocket"></i>
 </div>
 <p>2017年09月23日开课，为期3个月</p>
</div>

可以看到，课程名称的html标签是h4，通过搜索整个页面，我们发现页面上只有4个h4，也就是说，只要获取到页面上所有的h4，我们就能把课程名称给解析出来。

分析html一般有下面一些套路

缩小范围: 只解析特定区域的html，比如只遍历<nav></nav>标签中的子元素
组合属性: 有一些节点的属性是相同的，但我们经常只需要获取其中一些节点的内容，这时候可以通过组合该节点属性和其父节点属性的方式指定特定的节点
先遍历后过滤：还是上面一种情况，我们也可以先遍历所有的目标节点，再从目标节点中过滤出我们感兴趣的内容

解析html代码

大家可以先去了解一下html的基础知识，比较有用的是

Beautiful Soup库可以帮我们解析html代码，所谓的解析，无非是做下面的一些事情

从html文档中找到一些元素
获取某个元素或者一些元素的属性
获取某个元素或者一些元素的文本

在这个例子里，我们就是要找到所有h4元素，并获取所有h4元素的文本。

代码

新建名为get_courses.py的文件，输入下面的内容

import requests
from bs4 import BeautifulSoup

url = 'http://www.itest.info/courses' # 定义被抓取页面的url
# 获取被抓取页面的html代码，并使用html.parser来实例化BeautifulSoup，属于固定套路
soup = BeautifulSoup(requests.get(url).text, 'html.parser')
# 遍历页面上所有的h4
for course in soup.find_all('h4'):
 # 打印出h4的text属性
 print(course.text)

运行

在命令行中输入

python get_courses.py

预期结果

如果一切正常，那么应该可以看到下面的结果

性能测试从入门到精通班
接口自动化测试开发--Python班
Selenium自动化测试--Java班
Selenium自动化测试--Python班

原始封面

层级遍历:获取所有的热门主题

Fri, 15 Dec 2017 02:52:34 +0800

稍微复杂一点的例子

在v2ex主页的右侧一般有个最热主题区域，里面列出了当日的热门讨论话题。这一节里我们就尝试使用爬虫技术获取这些热门主题文本和链接。

注意：v2ex本身提供了接口去获取这些热门主题的详细信息，本节内容只是举例，并不是最佳实践

具体步骤

访问v2ex主页，获取html文本
分析html文本，找出待获取内容的特征
解析html代码，根据特征拿出目标内容
打印这些内容

分析html代码

热门内容部分的html代码如下所示

<span class="item_hot_topic_title">
 <a href="/t/415664">冬天了，身上静电咋处理？</a>
</span>

可以看出我们要找到的是所有class=item_hot_topic_title的span下面的a元素

代码

新建名为v2ex_hosts.py的文件，输入下面的内容


import requests
from bs4 import BeautifulSoup

url = 'https://www.v2ex.com/'
soup = BeautifulSoup(requests.get(url).text, 'html.parser')

for span in soup.find_all('span', class_='item_hot_topic_title'):
 print(span.find('a').text, span.find('a')['href'])

运行

在命令行中输入

python v2ex_hosts.py

预期结果

如果一切正常，那么应该可以看到类似下面的结果，由于每天的热门主题不一样，所以内容是会变化的

小米感恩节不感恩 /t/415623
冬天了，身上静电咋处理？ /t/415664
违反一下政治正确，骂一下 Google /t/415600
做了将近 6 年程序员，没能成为大牛，考虑再三，决定改行，大家说，做点什么好呢？ /t/415701
结果还是被雷猴王给套路了 /t/415843
一直很好奇 Mac+安卓的组合是基于什么优势考虑的呢？ /t/415645
听说比特币要分叉了？ /t/415858
看到大学同学朋友圈发的北大成人通知书，心里不是滋味。 /t/415821
当码农 8 年了，要不要去读个研 /t/415854
新进一家公司遭遇的待遇~~ /t/415863

我们可以学到什么

for span in soup.find_all('span', class_='item_hot_topic_title'): 遍历所有的class=item_hot_topic_title的span。注意是class_，不是class，因为class是python的关键字，所以后面要加个尾巴，防止冲突
span.find('a').text：层级遍历，先找到span，再从span下找到a，这是常用套路
span.find('a')['href']：获取href属性，在bs4里，我们可以通过[attribute_name]的方式来获取元素的属性

阅读内容

BeautifulSoup

原始封面

图片爬虫

Thu, 14 Dec 2017 02:52:34 +0800

图片爬虫

之前的例子里我们开发的都是文本爬虫，有时候我们需要去下载其他网站的图片并保存下来，这时候就需要用图片爬虫。

图片爬虫的套路其实跟文本爬虫差不多，最大的区别就是图片爬虫会去下载需要的文件，而文本爬虫可能会做其他的一些持久化的工作。

在这一节里，我们将实现下载煎蛋画廊第一页所有图片的功能。

具体步骤

访问煎蛋画廊主页，获取html文本
分析html文本，找出所有图片的html特征
解析html代码，拿到所有图片的src
通过src去下载图片

分析html代码

图片的html标签是img，所以我们只需要拿到页面上所有的img标签的src就好了。

下载文件

通过下面的代码，我们可以使用requests库来下载文件。

def download_file(url):
 print('Downding %s' %url)
 local_filename = url.split('/')[-1]
 r = requests.get(url, stream=True)
 with open(local_filename, 'wb') as f:
 for chunk in r.iter_content(chunk_size=1024):
 if chunk:
 f.write(chunk)
 f.flush()
 return local_filename

download_file方法只需要传入具体文件的地址就可以完成下载文件的功能了。

user agent

由于煎蛋做了非常简单的反爬虫处理，该站点会拒绝所有看起来像是爬虫的请求，大概的逻辑可能是如果后台发现请求的user agent异常，就返回403错误。

这里是User-Agent的基础知识，大家可以自行学习。

我们可以通过requests非常方便的修改请求的user agent，从而让被访问站点的后台没有办法识别出这次请求是否异常，达到绕过反爬机制的目的。

headers = {
 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
}

requests.get(url, headers=headers).text

上面代码的核心思想就是通过修改http headers中user agent，达到将请求伪装成是来自普通chrome浏览器访问的目的。

代码

新建名为get_images.py的文件，输入下面的内容


import requests
from bs4 import BeautifulSoup

headers = {
 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
}

def download_file(url):
 print('Downding %s' %url)
 local_filename = url.split('/')[-1]
 r = requests.get(url, stream=True, headers=headers)
 with open(local_filename, 'wb') as f:
 for chunk in r.iter_content(chunk_size=1024):
 if chunk:
 f.write(chunk)
 f.flush()
 return local_filename

url = 'http://jandan.net/drawings'
soup = BeautifulSoup(requests.get(url, headers=headers).text, 'html.parser')

def valid_img(src):
 return src.endswith('jpg') and 'img.jandan.net' in src

for img in soup.find_all('img', src=valid_img):
 src = img['src']
 if not src.startswith('http'):
 src = 'http:' + src
 download_file(src)

运行

在命令行中输入

爬虫对抗

Wed, 13 Dec 2017 02:52:34 +0800

why

知己知彼，百战不殆。

爬虫往往会爬取其他服务的一些核心资源，这些资源是服务提供商重点保护的资产，所以很多网站都会启用一些反爬虫策略。

这里我们简单分析一下反爬虫的常用手段。

监控后台日志和流量模式; 如果发现异常活动，则限制访问

通过日志是可以看出一些异常访问的，比如例如来自同一个IP地址的许多类似的请求操作。我们可以通过一些措施来限制这些访问，从而达到保护己方资源的效果，具体措施如下

访问速率限制
检测异常活动
不要只是通过IP地址监控和限制访问速率 —— 也可以使用其他指标，比如表单提交的速度，或者是user-agent
使用验证码替代临时阻止访问的方案

反爬建议:可以使用ip池，降低访问频率或浏览器自动化工具爬虫来进行对抗

要求注册和登录

如果你要求客户端创建帐户和登录，那么你可以准确的跟踪用户和爬虫的操作，另外也可以适当增加爬虫实现的难度。不过需不需要注册和登录最终还要看产品的需求，以产品需求为准。

为了避免自动化创建许多帐户的脚本，你应该做以下这些事情:

注册时需要一个电子邮件地址，并且用户必须打开通过你所发送的链接来验证该电子邮件地址才能激活该帐户。每个电子邮件地址只允许一个帐户。
需要在注册/帐户创建期间显示验证码，以防止自动化脚本创建帐户

反爬建议:爬虫可以模拟登录，另外降低访问频率，以免暴露真实意图

阻止来自云托管主机和爬虫服务的IP地址的访问

有时，爬虫会从网络托管服务（如Amazon Web Services或Google App Engine）或VPSes运行。限制（或显示验证码）来源于此类云主机服务使用的IP地址请求访问你的网站。你还可以阻止从爬虫服务使用的IP地址的访问。

同样，你还可以限制代理或VPN提供商使用的IP地址的访问，因为爬虫可能会使用此类代理服务器来避免单个IP发出许多请求。

反爬建议:使用代理和ip池

如果你要采取阻止访问的做法，请将你的错误消息进行调整

如果你采取了阻止/限制访问的手段，那么你应该确保不要告诉爬虫导致阻塞的实际原因，从而给爬虫制作者如何修复爬虫的线索。所以用文本显示错误页面可能是一个坏主意：

你的IP地址请求过于频繁，请稍后再试。
错误，User Agent不存在，非法访问！

相反，显示一个友好的错误消息，不要告诉爬虫是什么原因造成不能正常访问的。

抱歉，网站出了一些问题。如果问题仍然存在，你可以联系helpdesk@example.com。

这也是真正对用户友好的一种显示内容。你还应该考虑在后续的请求中不要直接显示验证码，以防真实用户看到这个错误消息，导致你阻止了合法用户的访问行为。

反爬建议:使用浏览器自动化工具，伪装成真实的用户

如果你的网站被爬虫访问，请使用验证码

验证码是双刃剑，可以非常有效的组织爬虫，但也会对真正的用户产生负面影响。

如果需要使用验证码，那么请

不要自己实现验证码，应该使用像Google的reCaptcha这样的东西：这比自己实现一个验证码要容易得多，它比一些模糊和扭曲的文本解决方案对用户来说更友好，而且比起自己实现验证码，它能更好的解决问题
不要在HTML标记中包含验证码的解决方案：实际上我已经看到一个网站在页面中嵌入了验证码的解决方案（虽然隐藏的很好）。但是不要这样做。还是推荐使用像reCaptcha这样的服务，如果你正确使用它，就不会出现问题。
验证码是可以批量验证的：在网上有一些低报酬的人工打码服务可以批量解决验证码的验证服务。所以，我在这里还是推荐使用reCaptcha，因为它具有很好的自我保护作用。这种服务不太可能被用于人工打码，除非你的数据真的很有价值。

反爬建议:使用人肉打码服务

将你的文本内容转成图片

你可以在服务器端将文本转换成图像然后在客户端显示，这种方法可以阻碍简单的爬虫提取文本。

记得当年起点的付费阅读的内容就全部是图片形式的。

然而，这对于屏幕阅读器，搜索引擎，性能以及其他的一些事情都是不利的。在某些方面（比如无障碍操作，例如美国残疾人法案）也可能是非法的，并且也很容易被一些OCR技术绕过，所以最好还是不要这样做。

反爬建议:使用OCR图片识别技术

不要公开你的完整数据集

如果可行的话，请不要为脚本或爬虫机器人提供所有数据集的方法。例如：你有一个新闻网站，有很多单独的文章。你可以通过现场搜索来搜索这些文章，并且如果你没有列出任何网站上的所有文章及其URL，那么这些文章将只能通过使用搜索来访问特征。这意味着一个想要从你的网站上获得所有文章的脚本将不得不搜索可能出现在你的文章中的所有可能的短语，才能找到文章的全部内容，这对于爬虫来说是很耗时的，而且效率低的可怕，所以爬虫一般都会放弃爬取数据。

如果是以下这些情况，那么这种方法将变得无效：

爬虫机器人或脚本并不想或需要完整的数据集。
你的文章的URL是一个看起来像 example.com/article.php?articleId=12345这种（和类似的东西）的格式，这将允许爬虫可以简单地迭代所有articleId的文章，并请求所有的文章内容。
还有其他方式可以最终找到所有的文章，比如通过编写一个脚本来跟踪其他文章的内容中的链接。
搜索“&”或“”的东西可以显示几乎所有的东西，这是一些需要注意的事情。（你只能返回前10或20个结果来避免这种情况）。
你需要搜索引擎来查找你的内容。

反爬建议:遍历数字型id基本可以拿到所有内容

参考资料

文本大部分参考了Web网页爬虫对抗指南 Part.1这篇文章，在这里附上原始链接，并对原作者和译者表示衷心的感谢。

原始封面

另一个例子: 知乎最热问题

Wed, 13 Dec 2017 02:52:34 +0800

需求

在这一节里，我们将实现获取知乎每日及每月最热问题的功能。

具体步骤

访问知乎的发现的主页，获取html文本
分析html文本，找出今日最热和本月最热的html特征
解析html代码，拿到所有满足条件的链接
拿到链接的文本，并打印

分析html代码

<a class="question_link" href="/question/264469853/answer/281600357" target="_blank" data-id="20218891" data-za-element-name="Title">
如何看待张召忠（局座）于12月22日在b站的《荒野行动》直播？
</a>

稍微分析一下可以看出，我们只需要拿到所有class=“question_link"的a标签就可以了。

代码

# zhihu.py
import requests
from bs4 import BeautifulSoup

url = 'https://www.zhihu.com/explore'
headers = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'}

soup = BeautifulSoup(requests.get(url, headers=headers).text, 'html.parser')

for link in soup.find_all('a', class_='question_link'):
 print(link.text)

运行

命令行中运行

python zhihu.py

预期结果

由于内容是动态的，所以结果应该跟我的结果不尽相同

如何看待美税改通过后各大公司的发福利提最低工资追加投资等行为？


全球变暖是必然吗？


主播进行游戏直播并从中获得打赏盈利涉及侵犯版权吗？


如何看待张召忠（局座）于12月22日在b站的《荒野行动》直播？


影史上有哪些经典的即兴表演镜头？


十年坚持做一件事，是种怎样的体验？


2018 年应届硕士毕业生如何拿到知名互联网公司深度学习 offer？


迄今为止你见过的最惊艳的建筑是？


有哪些令人心碎的小故事？


有哪些轻松幽默而又不低俗的段子或图片？


为什么人会失去婴儿时期的记忆？最早记忆是几岁呢？


你最喜欢的故事是什么？


做一个可爱的女孩子是一种什么体验？

原始封面

selenium爬虫

Mon, 11 Dec 2017 02:52:34 +0800

why

从上一节的反爬虫建议来看，降低访问频率和将爬虫伪装成真实的用户访问可以对抗大部分的反爬虫策略。

因为selenium是完全操作真实的浏览器，所以发爬虫策略比较难察觉异常，对于一些反爬虫策略非常严酷的网站，用selenium爬虫有时候会起到意想不到的效果。

但是selenium爬虫也有一些局限性，比如效率低下等。

需求

我们使用selenium爬虫来获取知乎今日最热的问题列表。跟之前的知乎爬虫差不多。

搭建开发环境

我们需要使用selenium和chrome driver，具体的安装方式请参考这里

代码

在这里我们就不分析html代码了，打开页面用开发者工具可以看到，今日最热的内容实际上就是找到data-type="daily"的div下，所有的class=question_link的a元素。

# se_zhihu.py

from selenium import webdriver

url = 'https://www.zhihu.com/explore'
dr = webdriver.Chrome()
dr.get(url)

daily_div = dr.find_element_by_css_selector('div[data-type="daily"]')

for link in daily_div.find_elements_by_css_selector('.question_link'):
 print(link.text)

dr.quit()

运行

命令行中直接运行

python se_zhihu.py

结果

由于动态内容的关系，结果可能不尽相同。

如何看待美税改通过后各大公司的发福利提最低工资追加投资等行为？


全球变暖是必然吗？


主播进行游戏直播并从中获得打赏盈利涉及侵犯版权吗？


如何看待张召忠（局座）于12月22日在b站的《荒野行动》直播？


影史上有哪些经典的即兴表演镜头？

我们可以学到什么

selenium操作浏览器可以实现一些爬虫行为
selenium爬虫的效率很低
可以使用headless(无界面的浏览器)来提升selenium爬虫的效率
如果你对selenium的api不熟悉，可以直接使用Puppeteer来做爬虫，详情请看这篇文章

原始封面

如何实现网络爬虫 on 重定向学院

爬虫介绍

什么是爬虫

资源视角

爬虫的一些例子

最简单的爬虫套路

实际例子

爬虫对于测试的意义

Reference

搭建开发环境

开发环境介绍

Requests教程

环境搭建

作者使用软件版本

最简单的web爬虫:获取所有课程信息

获取所有课程信息

分析html代码

解析html代码

代码

运行

预期结果

层级遍历:获取所有的热门主题

稍微复杂一点的例子

分析html代码

代码

运行

预期结果

我们可以学到什么

阅读内容

图片爬虫

图片爬虫

分析html代码

下载文件

user agent

代码

运行

爬虫对抗

why

监控后台日志和流量模式; 如果发现异常活动，则限制访问

要求注册和登录

阻止来自云托管主机和爬虫服务的IP地址的访问

如果你要采取阻止访问的做法，请将你的错误消息进行调整

如果你的网站被爬虫访问，请使用验证码

将你的文本内容转成图片

不要公开你的完整数据集

参考资料

另一个例子: 知乎最热问题

需求

分析html代码

代码

运行

预期结果

推荐资源

selenium爬虫

why

需求

搭建开发环境

代码

运行

结果

我们可以学到什么