前言

爬虫还有一个很好玩的地方就是可以刷访问量/浏览量。对于不同的网站有不同的统计访问量的方法。有的会限制同一个IP的统计，有的是条件触发的统计（如视频播放网站，点击播放算一次）。这个系列教程会结合web技术尝试解决这些问题，实现稳定刷访问量。

分析原理

一些小型网站会把统计代码写进php里面，每次访问都会执行一遍增加访问量。那就可以直接用爬虫抓取相关的页面，让它执行一遍统计代码。

测试环境

爬虫环境

Windows 10

python 3.6.2

服务器测试环境

自己动手写了个模拟的网站环境，每次访问该页面，浏览次数就会+1 .

<?php
/**
 * Created by PhpStorm.
 * User: https://pingxonline.com
 * Date: 2018/2/19 0019
 * Time: 18:44
 */

include_once 'connect.php';
$db = new connectDataBase();

// 初始化
$visit = 0;
$time = null;
// 获取当前的时间
$mtime = date("Y-m-d h:i:s");
// 对ID为1 的文章进行访问量+1
$sql = "UPDATE `original` SET `visit`=`visit`+1, `mtime` = '{$mtime}' WHERE `article_id` = 1";
if (mysqli_query($db->link, $sql)){
    // 获取ID为1 的文章最新数据，输出到前端
    $sql = 'SELECT * FROM `original` WHERE `article_id` = 1';
    $result = mysqli_query($db->link, $sql);
    while($row = mysqli_fetch_assoc($result)){
        $visit = $row['visit'];
        $time = $row['mtime'];
    }
}else{
    echo mysqli_error($db->link);
    die('执行失败');
}
?>
<!doctype html>
<html lang="zh-CN">
<head>
    <meta charset="UTF-8">
    <meta name="viewport"
          content="width=device-width, user-scalable=no, initial-scale=1.0, maximum-scale=1.0, minimum-scale=1.0">
    <meta http-equiv="X-UA-Compatible" content="ie=edge">
    <title>访问量测试</title>
</head>
<body style="text-align: center">
    <p>
        访问量：<?php echo $visit ?>次
    </p>
    <p>
        最后访问时间：<?php echo $time ?>
    </p>
</body>
</html>

<?php

/**

* Created by PhpStorm.

* User: https://pingxonline.com

* Date: 2018/2/19 0019

* Time: 18:44

include_once 'connect.php';

$db = new connectDataBase();

// 初始化

$visit = 0;

$time = null;

// 获取当前的时间

$mtime = date("Y-m-d h:i:s");

// 对ID为1 的文章进行访问量+1

$sql = "UPDATE `original` SET `visit`=`visit`+1, `mtime` = '{$mtime}' WHERE `article_id` = 1";

if (mysqli_query($db->link, $sql)){

// 获取ID为1 的文章最新数据，输出到前端

$sql = 'SELECT * FROM `original` WHERE `article_id` = 1';

$result = mysqli_query($db->link, $sql);

while($row = mysqli_fetch_assoc($result)){

$visit = $row['visit'];

$time = $row['mtime'];

}

}else{

echo mysqli_error($db->link);

die('执行失败');

}

<!doctype html>

<head>

content="width=device-width, user-scalable=no, initial-scale=1.0, maximum-scale=1.0, minimum-scale=1.0">

<title>访问量测试</title>

</head>

<p>

访问量：<?php echo $visit ?>次

</p>

<p>

最后访问时间：<?php echo $time ?>

</p>

</body>

</html>

python 代码

首先需要安装python的一个Requests扩展插件。

Requests 是用 Python 语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。

通过 pip 安装

pip install requests

1	pip install requests

或者，下载代码后安装：

$ git clone git://github.com/kennethreitz/requests.git
$ cd requests
$ python setup.py install

$ git clone git://github.com/kennethreitz/requests.git

$ cd requests

$ python setup.py install

源代码

import requests
import time

#  目标url地址
url = 'http://localhost/TrafficGenerator/original.php'
while 1:
    response = requests.get(url)
    response.close()
    print(response.text)
    # 间隔1秒
    time.sleep(1)

import requests

import time

# 目标url地址

url = 'http://localhost/TrafficGenerator/original.php'

while 1:

response = requests.get(url)

response.close()

print(response.text)

# 间隔1秒

time.sleep(1)

效果图

这就是比较简单的方法。但是实际的应用可能并不会这么简单。很多网站往往会过滤想通IP的访问，这个时候就需要IP代理。

使用代理

我目前使用的是大象代理（http://www.daxiangdaili.com/），付费使用，但是挺便宜的，5块钱2万个IP地址，有效期半年。

requests对代理的设置方法非常的简单。深入学习可以参考这里：https://www.cnblogs.com/zhaof/p/6915127.html

注意：本篇文章是在本地测试，本地测试使用的是本地地址，使用代理是无效的。

import requests
import time
import random

# 随机获取浏览器标识
def get_UA():
    UA_list = [
        "Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19",
        "Mozilla/5.0 (Linux; U; Android 4.0.4; en-gb; GT-I9300 Build/IMM76D) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30",
        "Mozilla/5.0 (Linux; U; Android 2.2; en-gb; GT-P1000 Build/FROYO) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
        "Mozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0",
        "Mozilla/5.0 (Android; Mobile; rv:14.0) Gecko/14.0 Firefox/14.0",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36"
    ]
    randnum = random.randint(0, len(UA_list)-1)
    h_list = {
        'user-agent': UA_list[randnum]
    }
    return h_list

# 获取代理IP
def get_ip():
    # 这里填写大象代理api地址，num参数必须为1，每次只请求一个IP地址
    url = 'http://tvp.daxiangdaili.com/ip/?tid=你的订单号&num=1&delay=5&category=2'
    response = requests.get(url)
    response.close()
    proxy = {
        "http":"http://"+response.text
    }
    print(proxy['http'])
    return proxy

if __name__ == '__main__':
    #  目标url地址
    url = 'http://localhost/TrafficGenerator/original.php'
    while 1:
        try:
            # 开启一个会话
            s = requests.session()
            # 调用函数获取浏览器标识
            headers = get_UA()
            # 调用函数获取IP代理地址
            proxy = get_ip()
            # 开始请求, 注意本地测试使用的是本地地址，使用代理是无效的
            web_data = s.get(url, headers=headers, proxies=proxy)
            # 输出网页内容
            print(web_data.content)
            # 间隔1秒
            time.sleep(1)
        finally:
            print('error')

import requests

import time

import random

# 随机获取浏览器标识

def get_UA():

UA_list = [

"Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19",

"Mozilla/5.0 (Linux; U; Android 4.0.4; en-gb; GT-I9300 Build/IMM76D) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30",

"Mozilla/5.0 (Linux; U; Android 2.2; en-gb; GT-P1000 Build/FROYO) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",

"Mozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0",

"Mozilla/5.0 (Android; Mobile; rv:14.0) Gecko/14.0 Firefox/14.0",

"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36"

]

randnum = random.randint(0, len(UA_list)-1)

h_list = {

'user-agent': UA_list[randnum]

}

return h_list

# 获取代理IP

def get_ip():

# 这里填写大象代理api地址，num参数必须为1，每次只请求一个IP地址

url = 'http://tvp.daxiangdaili.com/ip/?tid=你的订单号&num=1&delay=5&category=2'

response = requests.get(url)

response.close()

proxy = {

"http":"http://"+response.text

}

print(proxy['http'])

return proxy

if __name__ == '__main__':

# 目标url地址

url = 'http://localhost/TrafficGenerator/original.php'

while 1:

try:

# 开启一个会话

s = requests.session()

# 调用函数获取浏览器标识

headers = get_UA()

# 调用函数获取IP代理地址

proxy = get_ip()

# 开始请求, 注意本地测试使用的是本地地址，使用代理是无效的

web_data = s.get(url, headers=headers, proxies=proxy)

# 输出网页内容

print(web_data.content)

# 间隔1秒

time.sleep(1)

finally:

print('error')

系列教程：

python爬虫刷博客访问量教程三：使用Selenium让Chrome浏览器自动化

python爬虫刷博客访问量教程二：欺骗第三方统计服务

Python 爬虫

平兄

做任何一件事情，计划和努力应当留给自己看，成果才适合秀给他人看。

文章评论（3）

朝夕

哈哈

2018年6月3日

python爬虫刷博客访问量教程一：直接请求

前言