数据抓取的艺术（二）：数据抓取程序优化

      续前文：《数据抓取的艺术（一）：Selenium+Phantomjs数据抓取环境配置》。


程序优化：第一步
开始：

1. 
   
2. for i in range(startx,total):
   
3.     for j in range(starty,total):
   
4.         BASE_URL = createTheUrl([item[i],item[j]])
   
5.         driver.get(BASE_URL)
   
6.         driver = webdriver.PhantomJS()
   
7.         html = driver.page_source
   
8.         output = filterOutcome(html)
9.         driver.quit()
   
10.         print 'i='+str(i)+'tj='+str(j)+'tresult='+str(output)
11.     j += 1
    
12. 
    

      每个耗时约27秒。

修改后：

1. 
   
2. driver = webdriver.PhantomJS()
   
3. for i in range(startx,total):
   
4.     for j in range(starty,total):
   
5.         BASE_URL = createTheUrl([item[i],item[j]])
   
6.         driver.get(BASE_URL)
   
7.         html = driver.page_source
   
8.         output = filterOutcome(html)
   
9.         
   
10.         print 'i='+str(i)+'tj='+str(j)+'tresult='+str(output)
    
11.         if output == -1:
    
12.             driver.quit()
    
13.             exit(0)
14.     j += 1
    
15. driver.quit()
16. 
    

      这回只分析了3个，共52秒，每个耗时约17秒，只是因为避免了重复PhantomJS的开启、运行和关闭这一过程。

程序优化：第二步
      减少对角线重复请求次数：

1. driver = webdriver.PhantomJS()
   
2. for i in range(startx,total):
   
3.     if starty != -1:
   
4.         k = i
   
5.     else:
   
6.         k = starty
   
7.     for j in range(k,total):
   
8.         BASE_URL = createTheUrl([item[i],item[j]])
   
9.         driver.get(BASE_URL)
   
10.         html = driver.page_source
    
11.         output = filterOutcome(html)
    
12.         
    
13.         print 'i='+str(i)+'tj='+str(j)+'tresult='+str(output)
    
14.         if output == -1:
    
15.             driver.quit()
    
16.             exit(0)
    
17.         #toexcel("C:catchoutput.xlsx","Sheet1",output,i,j)
    
18.     j += 1
    
19. driver.quit()

     和上面的待分析的个数一样，花费21秒，每个耗时约7秒。如果开启excel存储，则共花费25秒，每个耗时约8秒。

程序优化：第三步
      减少写入Excel的次数，提高硬盘性能。当然，数据量越大，次数越多，效果越明显。这次把Excel一直打开，每隔20个保存一次。

1. #打开Excel插件
   
2. xlsApp = win32com.client.Dispatch("Excel.Application")
   
3. xlsBook = xlsApp.Workbooks.Open('C:catchoutput.xlsx')
   
4. xlsSheet = xlsBook.Sheets('Sheet1')
   
5. 
   
6. #开启webdirver的PhantomJS对象
   
7. driver = webdriver.PhantomJS()
   
8. 
   
9. #main()
   
10. for i in range(startx,total):
    
11.     if starty != -1:
    
12.         k = i
    
13.     else:
    
14.         k = starty
    
15.     for j in range(k,total):
    
16.         BASE_URL = createTheUrl([item[i],item[j]])
    
17.         driver.get(BASE_URL)
    
18.         html = driver.page_source
    
19.         output = filterOutcome(html)
    
20.         
    
21.         print 'i='+str(i)+'tj='+str(j)+'tresult='+str(output)
    
22.         mycounter += 1
    
23.         
    
24.         if output == -1:
    
25.             driver.quit()
    
26.             xlsBook.Save()
    
27.             xlsBook.Close()
    
28.             xlsApp.Quit()
    
29.             exit(0)
    
30.         xlsSheet.Cells(j+1,i+1).Value = xlsSheet.Cells(i+1,j+1).Value = output
    
31. 
    
32.         #每隔20个保存一次，并重新清零
    
33.         if mycounter%20 == 0:
    
34.             print "~~~~~~ SAVED HERE ~~~~~~"
    
35.             xlsBook.Save()
    
36.             mycounter = 0
    
37.     j += 1
    
38. 
    
39. #程序结束前的清扫工作
    
40. driver.quit()
    
41. xlsBook.Save()
    
42. xlsBook.Close()
    
43. xlsApp.Quit()

      结果如下：

1. >>>
2. 请输入起始XaaS的序号X：0
3. 请输入起始XaaS的序号Y：0
4. 待处理数据记录总数：8 条
5. 待处理握手总数：36 次
6. 读取info.txt文件成功
8. 计时开始!
10. ----------------
11. i=0j=0result=14000000
12. i=0j=1result=2
13. i=0j=2result=8
14. i=0j=3result=1
15. i=0j=4result=80400
16. i=0j=5result=2
17. i=0j=6result=3
18. i=0j=7result=8470
19. i=1j=1result=394000
20. i=1j=2result=3140
21. i=1j=3result=9
22. i=1j=4result=57
23. i=1j=5result=7
24. i=1j=6result=3790
25. i=1j=7result=718
26. i=2j=2result=7110000
27. i=2j=3result=7
28. i=2j=4result=4
29. i=2j=5result=232000
30. i=2j=6result=382000
31. i=2j=7result=7970
32. i=3j=3result=981000
33. i=3j=4result=7
34. i=3j=5result=1
35. i=3j=6result=2
36. i=3j=7result=10
37. i=4j=4result=398000
38. i=4j=5result=4
39. i=4j=6result=3850
40. i=4j=7result=1390
41. i=5j=5result=275000
42. i=5j=6result=32100
43. i=5j=7result=8
44. i=6j=6result=8050000
45. i=6j=7result=67800
46. i=7j=7result=738000
47. ----------------
49. 执行成功！
51. 程序耗时：72 秒

    相当于每次握手，花费2秒。但这还存在一个致命伤，那就是在随着数据量的激增，以后经常要保存上万个值，每次都保存，那么次数越多写入量就会越大。只是希望微软的Excel已经能够知道：哪些是未改动数据就不必再次写入，哪些数据改动过需要写入。

程序优化：第四步
      使用多线程+使用数据库。如果不用数据库，就靠读写一个单机版的Excel，效率太低，因此我考虑用Mysql或Sqlite。最后再将结果转出来。

    也请参看下文： 《数据抓取的艺术（三）：抓取Google数据之心得》