Python3实战之爬虫抓取网易云音乐的热门评论

请求头部：

请求中的表单数据：

我们可以看到，包含这首歌歌评的请求url为http://music.163.com/weapi/v1/resource/comments/R_SO_4_489998494"text-align: center">

至此，我们已经确定了方向了，即只需要确定params和encSecKey这两个参数值即可。但是这两个参数是经过特定的算法进行加密的，怎么办呢？我发现了一个规律，http://music.163.com/weapi/v1/resource/comments/R_SO_4_489998494"text-align: center">

按F12，进入WEB工作台，如图：

我们在一个名为toplist"text-align: center">

我们预览一下该请求返回的结果，如图：

我们在代码的第524行我们找到了包含歌曲信息的代码，如图：

因此，我们只需要将该请求的代码中，将包含信息的代码筛选出来。

我们在这里使用正则表达式进行数据筛选。

通过观察特点，我们可以通过两次正则表达式的筛选，将我们需要的歌曲信息提取出来。

第一次正则表达式我们将该请求返回的所有代码中，提取出第525行代码。

第一次正则表达式如下：<ul class="f-hide"><li><a href="/song\" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >.*</a></li></ul>

第二次正则表达式我们将该第524行中我们需要的歌曲信息提取出来，我们需要歌曲的歌名和id，对应的正则表达式如下：

获取歌名：<li><a href="/song\" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >(.*"/song\" rel="external nofollow" rel="external nofollow" >.*"color: #ff0000">代码如下：

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import re
import urllib.request
import urllib.error
import urllib.parse
import json



def get_all_hotSong():  #获取热歌榜所有歌曲名称和id
 url='http://music.163.com/discover/toplist"f-hide"><li><a href="/song\">.*</a></li></ul>' #进行第一次筛选的正则表达式
 result=re.compile(pat1).findall(html)  #用正则表达式进行筛选
 result=result[0]  #获取tuple的第一个元素

 pat2=r'<li><a href="/song\">(.*"/song\">.*"text-align: center">

对比一下网页上《如果我爱你》这首歌的歌评和我们保存下的歌评：


信息无误～
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对的支持。