1 icloud登录，与其他网站登录区别
1.1 支持pop抓取的邮箱：pop提供统一接口，抓取简单；
1.2 没有前端js加密的邮箱（139，126，163）：只要代码正确模拟登录流程，参数正确，即可正确爬取邮箱；
1.3 需要前端js加密（sina邮箱web端，微博）：前端用户名密码需要js加密，加密算法各网站不同。通常需要模拟js加密（可以自己写php，java模拟js，也可以通过其他方式直接运行js代码得到结果，java就可以直接调用js代码，php可通过phantomjs获取js加密结果），得到加密后用户名密码以及正确的模拟登录流程就能实现成功登录；
1.4 icloud登录就比较特殊：
1：几乎整个页面都是js生成，极少原生html标签；
2：登录框还内嵌到iframe里；
3：一个首页登录页面有105 requests，流量846kb，耗时14.79s。而且js非常复杂，11个js文件，还被混淆过。用代码模拟登录这条路估计很难走通。
2 抓取工具选择
2.1 考虑到icloud登录复杂，适宜于选择PhantomJS或Selenium来模拟浏览器行为爬取网页；
2.2 Selenium 是一款Web应用自动测试工具,使用它我们可以完全模拟用户行为对Web页面进行操作。它本身支持多种浏览器引擎,但都需要安装相应浏览器的driver,如使用Chrome 的话必须要安装一个ChromeDriver。对于没有图形界面的server环境，Selenium会因无法调取服务器图形界面相应接口而无法使用。
2.3 PhantomJS 是一个不需要图形界面,基于Webkit的javascript引擎.适用于运行在服务器上的, 资源占用相对小于Selenium；
2.4 综上适合选择PhantomJS作为爬虫的引擎。
3 icloud抓取流程
1 加载登录首页 https://www.icloud.com/ ：完全加载比较耗时，一般15s以上。
（以下图片都是phantomjs模拟登录过程的截图，具体phantomjs代码在第4部分）
加载中页面
登录页加载完成
2 输入用户名密码。
2.1 跳转到iframe页：由于登录窗口是内嵌的iframe中，由于跨域访问而无法直接获取iframe中DOM元素，所以需要先跳转到iframe；
2.2 添加单击事件输入用户名：icloud登录必须先输入用户名和密码，然后才会出现一个小箭头，二者缺一小箭头就无法单击也就无法登录。
2.3 添加单击事件输入密码：
2.4 单击小箭头图标，登录icloud：
2.5 除了单击小箭头图标，也可以输入完用户名密码后回车，实现登录请求：
先输入用户名，箭头图标为灰色，不能点击
用户名密码都输入后箭头图标变黑色，可单击登录，也可focus到密码框回车登录
成功登录icloud首页
3 单击“邮件”小图标，登录邮箱：
单击邮箱图标后“努力加载中”
单击邮箱图标后“努力加载中”
4 成功进入icloud邮箱，就可以进行抓取和解析工作了。
4 代码实现
//方法：循环等待，直到方法执行完或超时后退出
function waitFor(testFx, onReady, timeOutMillis) {
var maxtimeOutMillis = timeOutMillis ? timeOutMillis : 30000, // Default Max Timout is 30s
start = new Date().getTime(),
condition = false,
interval = setInterval(function() {
if ( (new Date().getTime() - start < maxtimeOutMillis) && !condition ) {
// If not time-out yet and condition not yet fulfilled
condition = (typeof(testFx) === "string" ? eval(testFx) : testFx()); // defensive code
} else {
if(!condition) {
// If condition still not fulfilled (timeout but condition is 'false')
console.log("'waitFor()' timeout");
phantom.exit(1);
} else {
// Condition fulfilled (timeout and/or condition is 'true')
console.log("'waitFor()' finished in " + (new Date().getTime() - start) + "ms.");
typeof(onReady) === "string" ? eval(onReady) : onReady(); // Do what it's supposed to do once the condition is fulfilled
clearInterval(interval); // Stop this interval
}
}
}, 1000); // repeat check every 1s
}; //方法：添加单击事件
function click(el){
var ev = document.createEvent("MouseEvent");
ev.initMouseEvent(
"click",
true /* bubble */, true /* cancelable */,
window, null,
0, 0, 0, 0, /* coordinates */
false, false, false, false, /* modifier keys */
0 /*left*/, null
);
el.dispatchEvent(ev);
} //创建一个webpage
var page = require('webpage').create(); //设置页面大小
page.viewportSize = {
width: 480,
height: 800
}; //设置代理：必须，否则会被server识别，并提醒使用服safari，chrome等最新版
page.settings.userAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:46.0) Gecko/20100101 Firefox/46.0"; //打开登录页
page.open('https://www.icloud.com/', function (s) {
setTimeout(function() {
console.log(" ======================================================== ");
//jump to iframe
page.switchToChildFrame(0);
var title = page.evaluate(function(s) {
return document.querySelectorAll(s)[0].innerHTML;
}, 'h1');
console.log("========================get h1 :" + title); //打印log //input username by keyboard event
var title = page.evaluate(function(s) {
// 给用户名输入框添加focus事件及赋值。无focus事件则登录的小箭头图标无法点击
document.querySelectorAll(s)[0].value = '[email protected]';
document.querySelectorAll(s)[0].focus();
return document.querySelectorAll(s)[0].placeholder;
}, 'input[type=email]');
console.log("========================get username :" + title); //打印log
//添加keypress事件，输入用户名最后一个字母：实践证明没有keypress事件，就算添加了focus事件且value正确，小箭头图标亦无法点击
page.sendEvent('keypress', 'm');
//截屏：查看用户名是否正确输入
page.render('inputUserName.png'); //input password ：步骤和输入用户名相同
var title = page.evaluate(function(s) {
document.querySelectorAll(s)[0].value = 'Love)106';
document.querySelectorAll(s)[0].focus();
return document.querySelectorAll(s)[0].placeholder;
}, 'input[type=password]');
page.sendEvent('keypress', '9');
//截屏：查看密码是否输入正确
page.render('inputPassWord.png'); //添加回测登录事件:实际上即使登录的小箭头图标可以单击（颜色从灰变黑），phantomjs仍无法找到其dom节点添加单击事件，好在可以回车登录。
page.sendEvent('keypress', page.event.key.Enter); //wait to see login result
setTimeout(function(){
//截屏：查看是否成功登录（setTimeout等了16s，这里假定登录成功且页面加载完了）
page.render('successLogin.png');
//登录成功后单击“邮箱”图标，转到邮箱页面
var title = page.evaluate(function(s) {
document.querySelector(s).click();
return document.querySelector(s).innerHTML;
}, 'a[href="https://www.icloud.com/#mail"]');
console.log("========================get mail png html :" + title); waitFor(function() {
//循环等待，直到邮箱页面加载成功或50s超时
var time = new Date().getTime();
//每一秒截屏一次，查看登录页面是否加载完毕
page.render(time + 'mailpagefinished.png');
return page.evaluate(function(s) {
return document.querySelector(s).is(":visible");
}, 'iframe[name=mail]');
}, function() {
console.log("The sign-in dialog should be visible now.");
page.render('mailPageLoadingFinished.png');
phantom.exit();
}, 50000); //waitFor方法最长等待50s加载mail页，直到结束 },16000); //setTimeout:加载登录成功页结束 }, 15000); //setTimeout:加载登录首页结束
}); page.onConsoleMessage = function(msg) {
console.log('Page title is ' + msg);
}; page.onResourceError = function(resourceError) {
console.error(resourceError.url + ': ' + resourceError.errorString);
}; page.onResourceReceived = function(response) {
console.log('= onResourceReceived()' );
console.log(' id: ' + response.id + ', stage: "' + response.stage + '", response: ' + JSON.stringify(response));
}; page.onLoadStarted = function() {
console.log("currentFrameName(): "+page.currentFrameName());
console.log("childFramesCount(): "+page.childFramesCount());
onsole.log("childFramesName(): "+page.childFramesName());
console.log('= onLoadStarted()');
var currentUrl = page.evaluate(function() {
return window.location.href;
});
console.log(' leaving url: ' + currentUrl);
}; page.onLoadFinished = function(status) {
page.render('onLoadFinished.png');
}; page.onNavigationRequested = function(url, type, willNavigate, main) {
console.log('= onNavigationRequested');
console.log(' destination_url: ' + url);
console.log(' type (cause): ' + type);
console.log(' will navigate: ' + willNavigate);
console.log(' from page\'s main frame: ' + main);
console.log("currentFrameName(): "+page.currentFrameName());
console.log("childFramesCount(): "+page.childFramesCount());
console.log("childFramesName(): "+page.childFramesName());
}; page.onResourceError = function(resourceError) {
console.log('= onResourceError()');
console.log(' - unable to load url: "' + resourceError.url + '"');
console.log(' - error code: ' + resourceError.errorCode + ', description: ' + resourceError.errorString );
}; page.onError = function(msg, trace) {
console.log('= onError()');
var msgStack = [' ERROR: ' + msg];
if (trace) {
msgStack.push(' TRACE:');
trace.forEach(function(t) {
msgStack.push(' -> ' + t.file + ': ' + t.line + (t.function ? ' (in function "' + t.function + '")' : ''));
});
}
console.log(msgStack.join('\n'));
};
4 phantomjs执行命令（linux）
4.1 以上代码存为一个js文件，如：/home//phantomjsfile/icloudCrawler.js
4.2 新建文件夹存储cookie，如：/home/phantomjsfile/cookies
4.3 执行phantomjs语句：
phantomjs --cookies-file=/home/phantomjsfile/cookies --debug=yes --ignore-ssl-errors=true --web-security=no --ssl-protocol=any /home/phantomjsfile/icloudCrawler.js
--debug ： 会输出debug信息
--ignore-ssl-errors ：忽视加密的ssl连接错误
--web-security ：好象是忽略加密传输之类的，不加会请求失败
希望能对你有所帮助.
结束！！