python爬虫刷博客访问量教程一:直接请求

2018年2月19日 3 条评论 1.1k 次阅读 1 人点赞

前言

爬虫还有一个很好玩的地方就是可以刷访问量/浏览量。对于不同的网站有不同的统计访问量的方法。有的会限制同一个IP的统计,有的是条件触发的统计(如视频播放网站,点击播放算一次)。这个系列教程会结合web技术尝试解决这些问题,实现稳定刷访问量。

分析原理

一些小型网站会把统计代码写进php里面,每次访问都会执行一遍增加访问量。那就可以直接用爬虫抓取相关的页面,让它执行一遍统计代码。

测试环境

爬虫环境

Windows 10

python 3.6.2

服务器测试环境

自己动手写了个模拟的网站环境,每次访问该页面,浏览次数就会+1 .

python 代码

首先需要安装python的一个Requests扩展插件。

Requests 是用 Python 语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求。

通过 pip 安装

或者,下载代码后安装:

源代码

 

效果图

这就是比较简单的方法。但是实际的应用可能并不会这么简单。很多网站往往会过滤想通IP的访问,这个时候就需要IP代理。

 

使用代理

我目前使用的是大象代理(http://www.daxiangdaili.com/),付费使用,但是挺便宜的,5块钱2万个IP地址,有效期半年。

requests对代理的设置方法非常的简单。深入学习可以参考这里:https://www.cnblogs.com/zhaof/p/6915127.html

注意:本篇文章是在本地测试,本地测试使用的是本地地址,使用代理是无效的。

 

 

系列教程:

python爬虫刷博客访问量教程三:使用Selenium让Chrome浏览器自动化

python爬虫刷博客访问量教程二:欺骗第三方统计服务

平兄

做任何一件事情,计划和努力应当留给自己看,成果才适合秀给他人看。

文章评论(3)

  • 朝夕

    哈哈 :biggrin:

    2018年6月3日