艾薇吧,你懂的!

 找回密码
 立即注册
搜索

二次元の写真館,萌妹子丝袜美腿Cosplay,兔玩映画【46187P】打包36.5GB百度网盘下载

[复制链接]
撸大师 发表于 2018-12-25 11:00 | 显示全部楼层 |阅读模式
兔玩印画.jpg


利用接口漏洞爬妹子图:
(转帖地址:blog.hytcshare.com/post/tuwan-spider.html)
前几天玩游戏时,lol盒子右下角有条广告,
广告大概这个样子
咦,小姐姐,还有cosplay,点进去看看。

哇,发现一个好玩的网站,好多漂亮的妹子,页面打开很流畅,点开后有的浏览页面还有好听的音乐,产品体验极佳。
不过每组图片只能看前几张图,后面的图只能看到缩略图,如果想继续看或者打包下载得花银子,通常要1-5rmb。

ctrlC+ctrlV几张后不乐意了,这么保存一来看不到全部图片,二来,麻烦,太麻烦了。
俗话说,妹子是第一生产力,鲁迅有云,懒人创造美好世界。
试试吧,看能不能发现点有趣的东东。首先习惯性的看看html源码,blabla一堆,头大,pass。

从页面源码来看,页面应该是前端渲染出来的,直接解析爬虫爬的话会比较麻烦。既然是前端渲染,那再看看请求吧,首页肯定是加载相册列表,没啥大用处,直接看加载具体某一相册的请求结果,点开某一相册,跳过图片,看看有没有什么可用的接口,果然有。

复制出来,浏览器走起,请求后返回如下信息
很明显是该相册的详细信息获取接口,可是怎么有些像是被编码过的东西。既然被编码了,解码出来瞧瞧,postman走起。postman顺利解析出结果

上下翻翻看,发现了一个神奇的链接,是个zip压缩包,嗯,有点意思。
下载回来解压,哈哈,居然是该相册的所有照片。
看返回的结果,很明显使用了jsonp,于是接着试着减少参数,去除了返回结果中恼人的无用回掉前缀,最后简化到仅剩一个参数,id,这接口太呆萌了。此外还发现了网页上音乐的地址。

至此该网站的“核心资产”已经被扒的底裤都没了,2333,下面开始批量爬吧。
有两种思路,一种是利用主页调用的获取相册列表参数接口来获得相册列表再通过列表爬压缩包地址,另外一种是直接从1开始依次尝试到首页最新的一个相册对应的id。最终决定采用第二种思路,因为这样即使首页隐藏的相册通过这种方式也能被发现。

开搞,建数据库,数据表,为方便后续追加执行,以及放在服务器上爬,所以采用springboot配合异步调用来实现。一开始使用post方式进行调用,结果尝试抓取了一两百条后到数据库一看,怎么这么多重复的啊,而且怎么同一个id和我用postman直接调得到的结果不一致?很可能开反爬了。

转变思路,postman采用的是get方式,所以程序试试也使用get方式进行调用,同时加入线程随机睡眠时间和User-Agent请求头,以此模拟普通用户的浏览器访问行为。bingo,顺利的抓取到了正确的图包名称、下载地址地址、音乐名称、音乐下载地址等信息。

扔服务器上爬吧。等了大概十几分钟,爬完后总共获取到892条有效的图包记录,202条有效的音乐记录。
爬到地址后可不能算结束,还得把真正的压缩包都下载回来,写个批量下载的方法,服务器走起,然后便开始吭哧吭哧的下载,速度还行,能接近7MB/S。

从上午11点开始到晚上9点下载完成,总共耗时10个小时,从服务器上全部下载回来吧。
经过漫长的等待后,终于下载完,写了个脚本统计结果,最终:总共获取到了46187张图片,大小36.5GB。
又花了大半天的时间全部上传到度盘,下面重点来了

其中包含每100个id为一个目录进行归档,本想以下图这样的方式放出来,方便查找和下载,却因为度娘对外链关键词过滤极其敏感,只得作罢。
为了便于各位预览与对照查找,增加rar压缩包,内含各个相册的预览图,每个相册一张,此外还提供了对照excel文件,可通过文件名查找到对应的下载地址,如果下载地址失效可以到上述度盘对应的地址查找下载。

觉得不错的话记得点个赞哦,please enjoy it!


兔玩印画tuwanjun.com,提供了很多兔女郎、泳装、JK服、女仆、夏日泳装、百合等美女图片
这些写真集只提供1~5张预览图,观看全部是需要付费的
所以说,有技术就是厉害,简直天秀,宅男有福了!

【兔玩映画】全站【46187P】打包36.5GB百度网盘下载.txt (125 Bytes)
有需要其它资源的朋友,可以联系我QQ微信,同号:814804508,发红包为你收集整理!
关闭

温馨提醒:上一条 /1 下一条

QQ|艾薇吧

GMT+8, 2019-3-22 00:55

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表