追求卓越一諾千金

藍藍設計--_与狼共舞oa,2011年成立--_链家司歌,主創清華團隊|-_盈彩是正规平台吗,專注軟件和互聯網ui設計開發-_118彩票ios。擅長企業信息化管理||-爱聊网、監控_|_东汉书院校歌、大數據軟件UIUE谘詢和設計開發服務|_-138倍投。立足UI__-永盛国际手机彩票游戏,好好學習__|106官方彩票官网,天天進步__农行网银维护!


selenium處理網頁下拉加載數據爬取並存入excel

2019-7-17 釋然 前端及開發文章及欣賞


如果您想訂閱本博客內容|-|oppo805,每天自動發到您的郵箱中_--永盛线路, 請點這裏

前言
之前有個同學詢問我是否能夠爬取知乎的全部回答__冰火三重天,當初隻會Scrapy無法實現下拉的數據全部加載-_140期富婆看图中肖特。後來在意外中接觸了selenium的自動化測試-_-陕西省交通厅曹森,看出了selenium的模擬能力的強大|-芳草集橙花痘印修护精油,而昨天有個同學問我能否爬取中國工商銀行遠程銀行的精彩回答__剑气侠虹,我說可以試試_-|花沫雨。

思路
selenium模擬下拉直至底部
然後通過selenium獲取數據集合
通過pandas寫入excel
selenium模擬下拉直至底部
此處全靠一位大佬的博客點撥_--256买彩票安卓版2017,實在不好意思的是|-105彩票cc苹果版,selenium就看了下常用的api-|腾信s8000,實在不懂如何判斷是否加載完畢-|_国家医考网登录入口,而該博客代碼的原理也好理解||360彩票杀号定胆走势图,通過不斷下拉判斷與上一次高度進行對比-|至尊心水v358,知道前端頁麵的滾動高度屬性就懂了-__诺亚信a700,當然思想最重要_|4466k最近10天更新。
見代碼:

#將滾動條移動到頁麵的底部
all_window_height =  []  # 創建一個列表__意彩是哪里的平台,用於記錄每一次拖動滾動條後頁麵的最大高度
all_window_height.append(self.driver.execute_script("return document.body.scrollHeight;")) #當前頁麵的最大高度加入列表
while True:
self.driver.execute_script("scroll(0,100000)") # 執行拖動滾動條操作
time.sleep(3)
check_height = self.driver.execute_script("return document.body.scrollHeight;")
if check_height == all_window_height[-1]:  #判斷拖動滾動條後的最大高度與上一次的最大高度的大小--|周俐彤,相等表明到了最底部
print("我已下拉完畢")
break
else:
all_window_height.append(check_height) #如果不想等__-王华买爹全集,將當前頁麵最大高度加入列表-_-013彩票。
print("我正在下拉")

然後通過selenium獲取數據集合
通過find_elements_by_css_selector方法獲取元素對象列表|-被下药后强干漫画全彩,然後通過遍曆列表獲取單個對象_|约彩彩票什么时候开始,通過對象的text屬性獲取數據-|诚信公棚。
代碼與"通過pandas寫入excel"代碼想結合-|258彩票注册送38。

通過pandas寫入excel
example.xlsx

批量將數據依次寫入excel|-_花萼楼,此處個人知道有兩種寫法-|-致命弯道5 豆瓣,推薦後者_-焦点目标打断宏。
寫法一:

problem = cls.driver.find_elements_by_css_selector("li h2.item-title a")
data = pd.read_excel('example.xlsx', sheet_name = 'Sheet1')
problemtext = []
for i in problem:
problemtext .append(i.text)
replytext = []
reply = cls.driver.find_elements_by_css_selector("div.item-right p")
for j in reply:
    replytext.append(j.text)
    data.loc[row,'答案'] = j.text
data['問題'] = problemtext
data['答案'] = replytext

DataFrame(data).to_excel('test.xlsx', sheet_name='Sheet1')

寫法二:

problem = cls.driver.find_elements_by_css_selector("li h2.item-title a")
data = pd.read_excel('example.xlsx', sheet_name = 'Sheet1')
row = 1
for i in problem:
    data.loc[row,'問題'] = i.text
    row += 1
row = 1
reply = cls.driver.find_elements_by_css_selector("div.item-right p")
for j in reply:
    data.loc[row,'答案'] = j.text
    row += 1

DataFrame(data).to_excel('test.xlsx', sheet_name='Sheet1')

完整代碼
import pandas as pd
from pandas import DataFrame
import unittest
import time
from selenium import webdriver
from selenium.webdriver.support.ui import Select
from selenium.webdriver.support.select import Select
from selenium.webdriver.support.ui import WebDriverWait

class autoLogin(unittest.TestCase):

URL = 'http://zhidao.baidu.com/business/profile?id=87701'


@classmethod
def setUpClass(cls):
cls.driver = webdriver.Firefox()
cls.driver.implicitly_wait(20)
cls.driver.maximize_window()



def test_search_by_selenium(self):
self.driver.get(self.URL)
self.driver.title
time.sleep(1)
#將滾動條移動到頁麵的底部
all_window_height =  []
all_window_height.append(self.driver.execute_script("return document.body.scrollHeight;"))
while True:
self.driver.execute_script("scroll(0,100000)") 
time.sleep(3)
check_height = self.driver.execute_script("return document.body.scrollHeight;")
if check_height == all_window_height[-1]:  
print("我已下拉完畢")
break
else:
all_window_height.append(check_height) 
print("我正在下拉")

@classmethod
def tearDownClass(cls):
html=cls.driver.page_source
problem = cls.driver.find_elements_by_css_selector("li h2.item-title a")
data = pd.read_excel('example.xlsx', sheet_name = 'Sheet1')
row = 1
for i in problem:
    data.loc[row,'問題'] = i.text
    row += 1
row = 1
reply = cls.driver.find_elements_by_css_selector("div.item-right p")
for j in reply:
    data.loc[row,'答案'] = j.text
    row += 1
    
DataFrame(data).to_excel('test.xlsx', sheet_name='Sheet1')

#保存成網頁
with open("index.html", "wb") as f:
f.write(html.encode())
f.close()
cls.driver.quit()

if __name__ == '__main__':
unittest.main(verbosity=2)

text.xlsx


總結
在使用Scrapy爬蟲時|坏蛋是炼成的2,可以通過selenium來執行網頁中的一些js腳本|-赢钱彩从哪下载,但是如何將二者結合起來-|毕业感谢词,以及各種框架之間的靈活運用|-惠蒙网,都將是我需要麵對的__莱贝吉。
--------------------- 
藍藍設計www.jwrumpff.com )是一家專注而深入的界麵設計公司_|黄山奇石图片天狗望月,為期望卓越的國內外企業提供卓越的UI界麵設計--|盈盈彩口碑怎么样、BS界麵設計 _|魔域3 0、 cs界麵設計 -|_中国观赏鱼之家zadull、 ipad界麵設計 --永城彩票注册、 包裝設計 -__上海蹦极事故、 圖標定製 -|_亿博国际娱乐、 用戶體驗 --雅虎 翻译、交互設計__苏州日报电子版、網站建設 |_|双色球66期开奖结果、平麵設計服務_|-开淘宝店流程。

標簽: selenium處理網頁下拉加載數據爬取並存入excel « 社交互動創新 | 從點讚到擊掌 | 2020 年值得關注的 9 個交互設計趨勢»


訂閱Rss