参考自知乎专题微信公众号内容的批量采集与应用,作者:飯口組組長
原作者(飯口組組長)有一句话:我的方法来源于许多同行的分享精神,所以我也会延续这个精神,将我的成果分享出来。
这系列的文章也是为了延续这份分享精神!
该系列文章是根据知乎专题的教程一步一步实现过程,以及实现过程中踩过的一些坑。
关于原理介绍这里就不重复了,大家可以参考知乎专题。
前期的代码可以在专题中找到。

PHP代码修改

在完善php代码之前,我们要先准备一份链接数据的代码。这里也没准备用啥框架实现,就直接写了个简单的获取pdo链接的函数:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
<?
function getConnection()
{
$dbms='mysql'; //数据库类型
$host='localhost'; //数据库主机名
$dbName='weixin'; //使用的数据库
$port='3307'; //使用的数据库
$user='root'; //数据库连接用户名
$pass='root'; //对应的密码root
$dsn="$dbms:host=$host;port=$port;dbname=$dbName";
try {
$pdo = new PDO($dsn, $user, $pass); //初始化一个PDO对象
$pdo->exec("SET NAMES 'utf8';");
$pdo->setAttribute(PDO::ATTR_ERRMODE,PDO::ERRMODE_EXCEPTION);
return $pdo;
}catch (PDOException $e) {
echo $e->getMessage();
}
}

代码这里就不做详细解释了,感兴趣的可以去了解下pdo。

接下来完善getMsgJson.php,这个文件。该php就能实现爬取历史页面的文章信息和原文地址了。但爬取微信文章内容还需要其他代码。
嗯嗯,直接给改好的代码吧,有不懂的可以私聊问作者吧,有空尽量回。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
<?
include 'getConnection.php';
$str = $_POST['str'];
$url = $_POST['url'];//先获取到两个POST变量

//先针对url参数进行操作
parse_str(parse_url(htmlspecialchars_decode(urldecode($url)),PHP_URL_QUERY ),$query);//解析url地址
$biz = $query['__biz'];//得到公众号的biz
//接下来进行以下操作
//从数据库中查询biz是否已经存在,如果不存在则插入,这代表着我们新添加了一个采集目标公众号。
$pdo = getConnection();
$sql = 'SELECT * FROM weixin WHERE biz = ?';
$stmt = $pdo->prepare($sql);
$stmt->bindParam(1, $biz);
$stmt->execute();
$res = $stmt->fetch(PDO::FETCH_ASSOC);
if (!$res) {
$sql = 'INSERT INTO weixin (biz, collect) VALUES (?, ?)';
$stmt = $pdo->prepare($sql);
$stmt->execute(array($biz, strtotime("now")));
}

//再解析str变量
$json = urldecode($str);//首先进行json_decode
file_put_contents('./his.txt', $json);
// $json = htmlspecialchars_decode($json);//首先进行json_decode
$json = json_decode($json, true);//首先进行json_decode
if(!$json){
$json = json_decode(htmlspecialchars_decode($str),true);//如果不成功,就增加一步htmlspecialchars_decode
}


foreach($json['list'] as $k=>$v){
$type = $v['comm_msg_info']['type'];
if($type==49){//type=49代表是图文消息
$content_url = str_replace("\\", "", htmlspecialchars_decode($v['app_msg_ext_info']['content_url']));//获得图文消息的链接地址
$is_multi = $v['app_msg_ext_info']['is_multi'];//是否是多图文消息
$datetime = $v['comm_msg_info']['datetime'];//图文消息发送时间
//在这里将图文消息链接地址插入到采集队列库中(队列库将在后文介绍,主要目的是建立一个批量采集队列,另一个程序将根据队列安排下一个采集的公众号或者文章内容)
$sql = 'SELECT id FROM tmplist WHERE content_url = ?';
$stmt = $pdo->prepare($sql);
$stmt->bindParam(1, $content_url);
$stmt->execute();
$res = $stmt->fetch(PDO::FETCH_ASSOC);
if (!$res) {
$sql = 'INSERT INTO tmplist (content_url) VALUES (?)';
$stmt = $pdo->prepare($sql);
$stmt->bindParam(1, $content_url);
$res = $stmt->execute();
$post = array();
$post['field_id'] = $v['app_msg_ext_info']['fileid'];//一个微信给的id
$post['title'] = $v['app_msg_ext_info']['title'];//文章标题
$post['title_encode'] = urlencode(str_replace("&nbsp;", "", $post['title']));//建议将标题进行编码,这样就可以存储emoji特殊符号了
$post['digest'] = $v['app_msg_ext_info']['digest'];//文章摘要
$post['source_url'] = str_replace("\\", "", htmlspecialchars_decode($v['app_msg_ext_info']['source_url']));//阅读原文的链接
$post['cover'] = str_replace("\\", "", htmlspecialchars_decode($v['app_msg_ext_info']['cover']));//封面图片

$post['is_top'] = 1;//标记一下是头条内容
$post['is_multi'] = $is_multi;
$post['biz'] = $biz;
$post['content_url'] = $content_url;
$post['zdatetime'] = $datetime;//文章摘要
//现在存入数据库
$sql = 'INSERT INTO post (biz, field_id, title, title_encode, digest, content_url, source_url, cover, is_top, is_multi, zdatetime) VALUES (:biz, :field_id, :title, :title_encode, :digest, :content_url, :source_url, :cover, :is_top, :is_multi, :zdatetime)';
$stmt = $pdo->prepare($sql);
$res = $stmt->execute($post);
}
if($is_multi==1){//如果是多图文消息
foreach($v['app_msg_ext_info']['multi_app_msg_item_list'] as $kk=>$vv){//循环后面的图文消息
$content_url = str_replace("\\","",htmlspecialchars_decode($vv['content_url']));//图文消息链接地址
//这里再次根据$content_url判断一下数据库中是否重复以免出错
$sql = 'SELECT id FROM tmplist WHERE content_url = ?';
$stmt = $pdo->prepare($sql);
$stmt->bindParam(1, $content_url);
$stmt->execute();
$res = $stmt->fetch(PDO::FETCH_ASSOC);
if (!$res) {
$sql = 'INSERT INTO tmplist (content_url) VALUES (?)';
$stmt = $pdo->prepare($sql);
$stmt->bindParam(1, $content_url);
$res = $stmt->execute();
//在这里将图文消息链接地址插入到采集队列库中(队列库将在后文介绍,主要目的是建立一个批量采集队列,另一个程序将根据队列安排下一个采集的公众号或者文章内容)
$post = array();
$post['title'] = $vv['title'];//文章标题
$post['field_id'] = $vv['fileid'];//一个微信给的id
$post['title_encode'] = urlencode(str_replace("&nbsp;","",$post['title']));//建议将标题进行编码,这样就可以存储emoji特殊符号了
$post['digest'] = htmlspecialchars($vv['digest']);//文章摘要
$post['source_url'] = str_replace("\\","",htmlspecialchars_decode($vv['source_url']));//阅读原文的链接
$post['cover'] = str_replace("\\","",htmlspecialchars_decode($vv['cover']));//封面图片
//$cover = getCover(str_replace("\\","",htmlspecialchars_decode($vv['cover'])));
$post['zdatetime'] = $datetime;
$post['is_multi'] = $is_multi;
$post['is_top'] = 0;
$post['biz'] = $biz;
$post['content_url'] = $content_url;
//现在存入数据库
$sql = 'INSERT INTO post (biz, field_id, title, title_encode, digest, content_url, source_url, cover, is_multi, is_top, zdatetime) VALUES (:biz, :field_id, :title, :title_encode, :digest, :content_url, :source_url, :cover, :is_multi, :is_top, :zdatetime)';
$stmt = $pdo->prepare($sql);
$res = $stmt->execute($post);
}
}
}
}
}

想要看效果的可以把getWxHis.php、getWxPost.php中的echo语句注释掉。

1
// echo "<script>setTimeout(function(){window.location.href='".$url."';},2000);</script>";//将下一个将要跳转的$url变成js脚本,由anyproxy注入到微信页面中。

未完待续……To be Continued……

希望这篇文章能给你带来知识和乐趣,喜欢博主的文章可以加博主好友哦

有好的文章也可以向博主投稿哦