前言
爬虫还有一个很好玩的地方就是可以刷访问量/浏览量。对于不同的网站有不同的统计访问量的方法。有的会限制同一个IP的统计,有的是条件触发的统计(如视频播放网站,点击播放算一次)。这个系列教程会结合web技术尝试解决这些问题,实现稳定刷访问量。
分析原理
一些小型网站会把统计代码写进php里面,每次访问都会执行一遍增加访问量。那就可以直接用爬虫抓取相关的页面,让它执行一遍统计代码。
测试环境
爬虫环境
Windows 10
python 3.6.2
服务器测试环境
自己动手写了个模拟的网站环境,每次访问该页面,浏览次数就会+1 .
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 |
<?php /** * Created by PhpStorm. * User: https://pingxonline.com * Date: 2018/2/19 0019 * Time: 18:44 */ include_once 'connect.php'; $db = new connectDataBase(); // 初始化 $visit = 0; $time = null; // 获取当前的时间 $mtime = date("Y-m-d h:i:s"); // 对ID为1 的文章进行访问量+1 $sql = "UPDATE `original` SET `visit`=`visit`+1, `mtime` = '{$mtime}' WHERE `article_id` = 1"; if (mysqli_query($db->link, $sql)){ // 获取ID为1 的文章最新数据,输出到前端 $sql = 'SELECT * FROM `original` WHERE `article_id` = 1'; $result = mysqli_query($db->link, $sql); while($row = mysqli_fetch_assoc($result)){ $visit = $row['visit']; $time = $row['mtime']; } }else{ echo mysqli_error($db->link); die('执行失败'); } ?> <!doctype html> <html lang="zh-CN"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, user-scalable=no, initial-scale=1.0, maximum-scale=1.0, minimum-scale=1.0"> <meta http-equiv="X-UA-Compatible" content="ie=edge"> <title>访问量测试</title> </head> <body style="text-align: center"> <p> 访问量:<?php echo $visit ?>次 </p> <p> 最后访问时间:<?php echo $time ?> </p> </body> </html> |
python 代码
首先需要安装python的一个Requests扩展插件。
Requests 是用 Python 语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求。
通过 pip 安装
1 |
pip install requests |
或者,下载代码后安装:
1 2 3 |
$ git clone git://github.com/kennethreitz/requests.git $ cd requests $ python setup.py install |
源代码
1 2 3 4 5 6 7 8 9 10 11 |
import requests import time # 目标url地址 url = 'http://localhost/TrafficGenerator/original.php' while 1: response = requests.get(url) response.close() print(response.text) # 间隔1秒 time.sleep(1) |
效果图
这就是比较简单的方法。但是实际的应用可能并不会这么简单。很多网站往往会过滤想通IP的访问,这个时候就需要IP代理。
使用代理
我目前使用的是大象代理(http://www.daxiangdaili.com/),付费使用,但是挺便宜的,5块钱2万个IP地址,有效期半年。
requests对代理的设置方法非常的简单。深入学习可以参考这里:https://www.cnblogs.com/zhaof/p/6915127.html
注意:本篇文章是在本地测试,本地测试使用的是本地地址,使用代理是无效的。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 |
import requests import time import random # 随机获取浏览器标识 def get_UA(): UA_list = [ "Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19", "Mozilla/5.0 (Linux; U; Android 4.0.4; en-gb; GT-I9300 Build/IMM76D) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30", "Mozilla/5.0 (Linux; U; Android 2.2; en-gb; GT-P1000 Build/FROYO) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1", "Mozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0", "Mozilla/5.0 (Android; Mobile; rv:14.0) Gecko/14.0 Firefox/14.0", "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36" ] randnum = random.randint(0, len(UA_list)-1) h_list = { 'user-agent': UA_list[randnum] } return h_list # 获取代理IP def get_ip(): # 这里填写大象代理api地址,num参数必须为1,每次只请求一个IP地址 url = 'http://tvp.daxiangdaili.com/ip/?tid=你的订单号&num=1&delay=5&category=2' response = requests.get(url) response.close() proxy = { "http":"http://"+response.text } print(proxy['http']) return proxy if __name__ == '__main__': # 目标url地址 url = 'http://localhost/TrafficGenerator/original.php' while 1: try: # 开启一个会话 s = requests.session() # 调用函数获取浏览器标识 headers = get_UA() # 调用函数获取IP代理地址 proxy = get_ip() # 开始请求, 注意本地测试使用的是本地地址,使用代理是无效的 web_data = s.get(url, headers=headers, proxies=proxy) # 输出网页内容 print(web_data.content) # 间隔1秒 time.sleep(1) finally: print('error') |
系列教程:
© 著作权归作者所有
文章评论(3)
哈哈