微信公众号爬虫步骤

一、前期准备工作:

1、下载【Fiddler 4】抓包工具,下载地址:https://pan.baidu.com/s/1PGAmtPlkA_bCR2RemwTx-A
2、Fiddler软件抓HTTPS包设置见如下链接:

https://www.jianshu.com/p/690eb9bebe3c

3、代码我放在百度云盘中方便大家下载:

https://pan.baidu.com/s/1QgwPGm24GjHAZFdw8rmIUw

4、指定 微信公众号 url


2.png

5、获取文章列表URL地址:

a、在完成上方步骤的情况下,打开【Fiddler 4】 软件,再做如下操作。
b、在windows10电脑上登陆微信号,点击订阅号》点击待爬取公众号》点击右上角【. . .】三个点的位置》点击查看历史消息》如下图:


1.png

6、访问到历史信息后在Fiddler 中获取 Cookies 和 WebForms:


3.png

二、下载历史信息列表代码部分:

1、下方是整理出来的cookies、data请求体、headers

‘’‘
cookies = {
‘pgv_pvid’: ‘2327001205’,
‘pgv_pvi’: ‘4183395328’,
‘RK’: ‘Cdhsxy04GQ’,
‘ptcz’: ‘7ce27c6a88333747811b3e7bb43a66cc94c2edf15a2e29e33f7f274391a16013’,
‘o_cookie’: ‘137751895’,
‘pac_uid’: ‘1_137751895’,
‘wxuin’:’2073067908′,
‘lang’: ‘zh_CN’,
‘wap_sid2′:’CISDwtwHElxpQjB3QVJNdjFlbnR0NjZzN1ZoLXhnQnZ6TnJSaHp6bG9TZ2xZTW5US0lmUGFzLXZXcFZ5RGNYVVNPbHdYT3VERW0xTjYzR0tka0xDUGxpOHZKNVd5d29FQUFBfjDn747uBTgNQJVO’,
‘devicetype’: ‘iPhoneiOS13.1.3’,
‘version’: ‘17000829’,
‘pass_ticket’: ‘xBGhFflDvcd8zGLJ3Uo9nhbBZoRLIY8ywBCd/C/BCsh5XSVJubXMTIP6DYM5qZ6’
}

data = {
‘action’: ‘getmsg’,
‘__biz’: ‘MzUyNzg1OTE1OA==’,
‘f’: ‘json’,
‘offset’: ’10’,
‘count’: ’10’,
‘is_ok’: ‘1’,
‘scene’: ‘123’,
‘uin’: ‘MjA3MzA2NzkwOA==’,
‘key’: ‘6adc7da9052a21f148e133f92eb7d1dbf47f35ec1b4dffee8c1ae5d8e6eeeb04320ccb68e95aba03109a263a456eb5e7c4e5e75592ee7f4e5bd8b2f3a27aec89e21513c8abf716134f300d81f0400138’,
‘pass_ticket’: ‘xBGhFflDvcd8zGLJ3Uo9+nhbBZoRLIY8ywBCd/C/BCsh5XSVJubXMTIP6DYM5qZ6’,
‘appmsg_token’: ‘1034_lyX1UcAhl7CdCliGmOHwHG9KQhZkQmJR4WoI_A~~’,
‘x5’: ‘0’
}

headers = {
“User-Agent”: “Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36 QBCore/3.53.1159.400 QQBrowser/9.0.2524.400 Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 MicroMessenger/6.5.2.501 NetType/WIFI WindowsWechat”
}
’‘’

2、首先访问历史信息页获取所有文章列表的信息,通过pandas保存到本地csv文件中。

‘’‘
def start(self):
api = ‘https://mp.weixin.qq.com/mp/profile_ext?’
WenZhangList = []
for next_offset in range(0,2000,10):
self.data[‘offset’] = str(next_offset)
html2 = requests.post(api,headers=self.headers,cookies=self.cookies,data=self.data,verify=False)
datadict = json.loads(html2.text)
general_msg_list = json.loads(datadict[‘general_msg_list’].replace(‘\’,”))[‘list’]
general_msg_list = [msg[‘app_msg_ext_info’] for msg in general_msg_list]
WenZhangList.extend(general_msg_list)
print(len(WenZhangList))
time.sleep(2)
GenralDf = pd.DataFrame(WenZhangList)
GenralDf.to_csv(‘wenzhang.csv’)
’‘’

三、详情页

1、点击访问一篇详情页,重复【一、前期准备工作】中的第5步,获取cookies、data请求体、headers
2、读取csv文件获取详情页的 url 地址 携带上方 步骤1 中的cookies、data请求详情页,代码如下:

‘’‘
def Article(self):
ticledf = pd.read_csv(‘wenzhang.csv’,index_col=0)
ticledf = ticledf[[‘content_url’,’title’]]
for index, row in ticledf.iterrows():
title = row[‘title’]
url = row[“content_url”]
html2 = requests.get(url, headers=header2, cookies=cookie2, data=data2,verify=False)
name = f'{index}_{title}’
print(title)
print(url)
self.BaoCun(html2,name)
time.sleep(3)

def BaoCun(self,html2,name):
f = open(f”./data/{name}.html”, “w”, encoding=”utf-8″)
for i in html2.text:
f.write(i)
f.close()
’‘’
这样所有历史文章的页面就全部爬取结束,并保存到本地静态文件中,后期的解析可以再读取后用xpath解析。我这个项目是讲公众号中的所有文字部分提取出来保存到csv文件钟。

四、解析html文件文字部分保存到csv文件中。

‘’‘
current_dirname = os.path.dirname(file)
filePath = f'{current_dirname}/data/’
filename = [i for i in os.listdir(filePath) if ‘html’ in i]
pdlist = []
for file in filename:
dict1 = {}
Path = f'{current_dirname}/data/{file}’
with open(Path, encoding=”utf-8″) as f:
html = f.read()
page_source = etree.HTML(html.encode(‘utf-8’))
lilist = page_source.xpath(‘//body/div//text()’)
str2 = ‘varfirst_sceen__time=(+newDate());if(“”==1&&document.getElementById(‘js_content’)){document.getElementById(‘js_content’).addEventListener(“selectstart”,function(e){e.preventDefault();});}(function(){if(navigator.userAgent.indexOf(“WindowsWechat”)!=-1){varlink=document.createElement(‘link’);varhead=document.getElementsByTagName(‘head’)[0];link.rel=’stylesheet’;link.type=’text/css’;link.href=”//res.wx.qq.com/mmbizwap/zh_CN/htmledition/style/page/appmsg_new/winwx492bcc.css”;head.appendChild(link);}})();’
lilist = [t.replace(‘\n’,”).replace(‘ ‘,”).replace(‘\t’,”).replace(‘\xa0’,”).replace(str2,”) for t in lilist]
lilist = [i for i in lilist if i]
str1 = ‘\n’.join(lilist)
dict1[‘file’] = file
dict1[‘str1’] = str1
pdlist.append(copy.deepcopy(dict1))

df = pd.DataFrame(pdlist)
df.to_csv(‘XiangQingYe2.csv’)
’‘’

五、心得体会。

其实微信公众号爬虫难点在于如何从手机端转移到电脑端获取URL地址,在待爬取的公众号不多的情况下可采用我【第一步前期准备工作】获取url,当量大的时候就要采用夜神模拟器安装微信客户端,用python在夜神模拟器上操作微信获取到URL与【第4步:获取文章列表URL地址】相同,后面的其他所有操作就可以全部按照我的代码方式来写。
微信公众号的历史信息页和详情页格式都是固定不变,只要会爬一个公众号其他格式都是一样。

https://www.jianshu.com/p/681fe547e040

Python量化投资网携手4326手游为资深游戏玩家推荐:《手游专题_手机游戏专区_手游专区合集

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论