音乐播放器
Ericam_blog
 
文章 标签
12

Powered by Gridea | Theme: Fog
载入天数...
载入时分秒...
总访问量:  |   访问人数:

爬虫集合,开撸

  热度: loading...

前言

这里是Ericam_

最近想接触下爬虫框架,学习了下scrapy,搞点小实践来强化下理解吧~

害,学艺不精,继续加油吧~

仓库地址

Ericam整理的爬虫小工具

如果大家也是刚刚入门爬虫框架,那么欢迎star哦,一起学习进步~

会持续更新。

如何使用

1.抖音爬虫

1.1用户视频爬虫

这里其实是半自动爬虫了,因为想要请求的API需要添加加密参数,其中签名值 _signature 比较难搞,被混淆加密了。网上很多经验是用一个js脚本来生成,但是我没有成功获取到。所以在这里还是手动获取的 _signature。

如何使用

'''
使用抖音app分享用户页面
将这个用户页面的分享网址链接添加到start_urls中
抓包寻找到当前签名值添加到_signature中
开始爬取
'''