利用Python写一个爬妹子的爬虫

self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
# 初始化 headers
self.headers = {'User-Agent': self.user_agent}

html = requests.get(url, headers=headers) #没错，就是这么简单

user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = {'User-Agent': user_agent}
# 注意：form data请求参数
params = 'q&viewFlag=A&sortType=default&searchStyle=&searchRegion=city%3A&searchFansNum=&currentPage=1&pageSize=100'
 
 
def getHome():
 url = 'https://mm.taobao.com/tstar/search/tstar_model.do"color: #ff0000">2.解析数据

解析数据也有很多方式，我只看了beautifulsoup和正则，这个例子是用正则来解析的


def getUseInfo(userId, realName):
 url = 'https://mm.taobao.com/self/aiShow.htm")$', item.strip()):
 tt = 'http:' + re.split('"', item.strip())[1]
 down_image(tt, x, realName)
 x = x + 1
 print('下载完毕')


正则表达式说明
match：匹配string 开头，成功返回Match object, 失败返回None，只匹配一个。


search：在string中进行搜索，成功返回Match object, 失败返回None, 只匹配一个。


findall：在string中查找所有 匹配成功的组, 即用括号括起来的部分。返回list对象，每个list item是由每个匹配的所有组组成的list。


     1）.*"color: #ff0000">3.保存数据
数据解析后可以保存到文件或数据库中，这个例子是保存到了文件中，很简单，就不做说明了，在下篇讲如何将数据保存到数据库


https://www.jb51.net/article/141674.htm


def down_image(url, filename, realName):
 req = urllib2.Request(url=url)
 folder = 'e:\\images\\%s' % realName
 if os.path.isdir(folder):
 pass
 else:
 os.makedirs(folder)
 
 f = folder + '\\%s.jpg' % filename
 if not os.path.isfile(f):
 print f
 binary_data = urllib2.urlopen(req).read()
 with open(f, 'wb') as temp_file:
 temp_file.write(binary_data)


GitHub地址，还有其他网站爬虫，欢迎star：https://github.com/peiniwan/CreeperTest （本地下载）
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对的支持。