相關(guān)關(guān)鍵詞
關(guān)于我們
最新文章
如何采集微信公眾號歷史消息頁

采集微信文章和采集網(wǎng)站內(nèi)容一樣,都需要從一個列表頁開始。而微信文章的列表頁就是公眾號里的查看歷史消息頁。現(xiàn)在網(wǎng)絡(luò)上的其它微信采集器有的是利用搜狗搜索,采集方式雖然簡單多了,但是內(nèi)容不全。所以我們還是要從最標(biāo)準(zhǔn)最全面的公眾號歷史消息頁來采集。
因為微信的限制,我們能復(fù)制到的鏈接是不完整的,在瀏覽器中無法打開看到內(nèi)容。所以我們需要通過上一篇文章介紹的方法,使用anyproxy獲取到一個完整的微信公眾號歷史消息頁面的鏈接地址。
http://mp.weixin.qq.com/mp/getmasssendmsg?__biz=MjM5NDAwMTA2MA==&uin=NzM4MTk1ODgx&key=bf9387c4d02682e186a298a18276d8e0555e3ab51d81ca46de339e6082eb767343bef610edd80c9e1bfda66c2b62751511f7cc091a33a029709e94f0d1604e11220fc099a27b2e2d29db75cc0849d4bf&devicetype=android-17&version=26031c34&lang=zh_CN&nettype=WIFI&ascene=3&pass_ticket=Iox5ZdpRhrSxGYEeopVJwTBP7kZj51GYyEL24AT5Zyx%2BBoEMdPDBtOun1F%2F9ENSz&wx_header=1
前一篇文章提到過,biz參數(shù)是公眾號的ID,uin是用戶的ID,目前來看uin是在所有公眾號之間唯一的。其它兩個重要參數(shù)key和pass_ticket是微信客戶端補(bǔ)充上的參數(shù)。
所以在這個地址失效之前我們是可以通過瀏覽器查看原文的方法獲取到歷史消息的文章列表的,如果希望自動化分析內(nèi)容,也可以制作一個程序,將這個帶有尚未失效的key和pass_ticket的鏈接地址提交進(jìn)去,再通過例如php程序來獲取到文章列表。
最近有朋友跟我說他的采集目標(biāo)就是單一的一個公眾號,我覺得這樣就沒必要用上一篇文章寫的批量采集的方法了。所以我們接下來看看歷史消息頁里面是怎樣獲取到文章列表的,通過分析文章列表,就可以得到這個公眾號所有的內(nèi)容鏈接地址,然后再采集內(nèi)容就可以了。
在anyproxy的web界面中如果證書配置正確,是可以顯示出https的內(nèi)容的。web界面的地址是http://localhost:8002 其中l(wèi)ocalhost可以替換成自己的IP地址或域名。從列表中找到getmasssendmsg開頭的記錄,點擊之后右側(cè)就會顯示出這條記錄的詳情:
紅框部分就是完整的鏈接地址,將微信公眾平臺這個域名拼接在前面之后就可以在瀏覽器中打開了。
然后將頁面向下拉,到html內(nèi)容的結(jié)尾部分,我們可以看到一個json的變量就是歷史消息的文章列表:
我們將msgList的變量值拷貝出來,用json格式化工具分析一下,我們就可以看到這個json是以下這個結(jié)構(gòu):
{ "list": [ { "app_msg_ext_info": { "author": "", "content": "", "content_url": "http://mp.weixin.qq.com/s?__biz=MzA5MzEzNDg3MQ==&mid=2652767427&idx=1&sn=37da0d7208283bf90e9a4a536e0af0ea&chksm=8b882dbbbcffa4ad2f0b8a141cc988d16bace564274018e68e5c53ee6f354f8ad56c9b98bade&scene=4#wechat_redirect", "copyright_stat": 100, "cover": "http://mmbiz.qpic.cn/mmbiz/MofBAcBsJ6X0xGrQ2XK5yQjzwb2eswxkRNBTgLtcqGziaFqwibzvtZAHCDkMeJU1fGZHpjoeibanPJ8rziaq68Akkg/0?wx_fmt=jpeg", "digest": "擦亮雙眼,遠(yuǎn)離謠言。", "fileid": 505283695, "is_multi": 1, "multi_app_msg_item_list": [ { "author": "", "content": "", "content_url": "http://mp.weixin.qq.com/s?__biz=MzA5MzEzNDg3MQ==&mid=2652767427&idx=2&sn=449ef1a874a37fed2429e14f724b56ef&chksm=8b882dbbbcffa4ade48a7932cda4263687e34fca8ea3a5a6233d2589d448b9f6130d3890ce93&scene=4#wechat_redirect", "copyright_stat": 100, "cover": "http://mmbiz.qpic.cn/mmbiz_png/MofBAcBsJ6XyaIn0qEDSSicBUBZbMYHYrhibia89ZnksCsUiaia2TLI1fyqjclibGa1hw3icP6oXeSpaWMjiabaghHl7yw/0?wx_fmt=png", "digest": "12月28日,廣州亞運(yùn)城綜合體育館,內(nèi)附購票入口~", "fileid": 0, "source_url": "http://wechat.show.wepiao.com/detail/ff764b0731b7465db03b56b998e1f2b8?detailReferrer=1&from=groupmessage&isappinstalled=0", "title": "2017微信公開課Pro版即將召開" }, ...//循環(huán)被省略 ], "source_url": "", "subtype": 9, "title": "謠言熱榜 | 十一月朋友圈十大謠言" }, "comm_msg_info": { "content": "", "datetime": 1480933315, "fakeid": "3093134871", "id": 1000000010, "status": 2, "type": 49 //類型為49的時候是圖文消息 } }, ...//循環(huán)被省略 ] }