1. 写在前面
最近有位朋友在大A失意,突发奇想自己闲来无事想要做一个小工具,监测一下市场行情的数据。自己再分析分析,虽是一名程序员但苦于对爬虫领域相关的技术不是特别熟悉。最后只能是我稍微代劳一下爬虫相关的部分工作了,于是有了这篇文章
分析目标:
2. 请求分析
这里打开目标网站,抓包看一下请求。可以发现这个网站有根据Cookie来反爬的,Cookie的生成是动态的!可以看到下图所示Cookie中有一个加密参数v:
3. Hook Cookie
Cookie既然是动态生成的,选择Hook方式, Hook的方式有很多,油猴、代码注入…
Hook Cookie的JS代码如下:
(function() {
'use strict';
var cookieTemp = "";
Object.defineProperty(document, 'cookie', {
set: function(val) {
console.log('Hook捕获到cookie设置->', val);
debugger;
cookieTemp = val;
return val;
},
get: function()
{
return cookieTemp;
}
});
})();
启动Hook脚脚本,看到这个值是v的时候就是我们的目标Cookie
根据堆栈找到v生成代码的位置,点击堆栈跳转到如下位置,可以看到函数D方法内n就是v参数
4. 补环境
把整个JS代码拿下来,缺什么补什么,这里推荐使用v_jstools工具来补!
在浏览器下载工具:v_jstools
清除当前网站的Cookie信息,打开开发者工具并且配置v_jstools,刷新页面后点击生成临时环境,最后在控制台将会看到环境代码,复制拿到先前已扣出来的JS代码上方即可,环境代码如下图所示:
补完环境验证一下最终效果,如下所示(完整的JS代码多达2000+行,这里就不再贴出来了):
好了,到这里又到了跟大家说再见的时候了。创作不易,帮忙点个赞再走吧。你的支持是我创作的动力,希望能带给大家更多优质的文章