from selenium import webdriver
from scrapy.selector import Selector#模擬登陸
browser = webdriver.Chrome(executable_path='Chromedriver.exe')
#路徑是Chromedriver.exe的存放位置，windows下只要配置好這個(gè)環(huán)境就不需要了

browser.get('http://w') #需要登陸的那個(gè)網(wǎng)址

browser.find_element_by_xpath('//div[@view]/imput').send_keys('..........')
#需要輸入的表單如帳號(hào)
browser.find_element_by_xpath('//div[@view]/imput').send_keys('..........')
#需要輸入的表單如密碼
browser.find_element_by_id('captcha').send_keys(input("有驗(yàn)證碼輸入驗(yàn)證碼"))browser.find_element_by_xpath('//div[登陸的那個(gè)按鈕]').click()#點(diǎn)擊登陸
browser.quit()#退出瀏覽器

基本的點(diǎn)擊與發(fā)送

#可以用selenium得到j(luò)s加載后的html，比如抓取js加載的內(nèi)容

browser = webdriver.Chrome(executable_path='')
browser.get('http://...')
print(browser.page_source)#js加載完成的源碼'''
如果需要選擇器快一點(diǎn)就使用scrapy中的Selector
'''
Seit = Selector(text=browser.page_source)
print(Seit.xpath('//*[@...]/text').extract())
#注意js加載本身就慢，在scrapy的異步當(dāng)中，爬取的內(nèi)容很快，導(dǎo)致有些js沒(méi)有加載完成
#這樣的話，只需要睡幾秒就行

動(dòng)態(tài)加載的數(shù)據(jù)獲取

import timefrom selenium import webdriver
from scrapy.selector import Selectorbrowser = webdriver.Chrome(executable_path='..')
browser.get('http://.....')Seit = Selector(text=browser.page_source)
Seit.xpath('//div[@class=""]/text()').extract().send_keys("00000000")
Seit.xpath('//div[@class=""]/text()').extract().send_keys('************')
Seit.xpath('//div[@class=""]/text()').extract().click()#下拉
for i in range(3):'''三次下拉操作  execute_script是用來(lái)執(zhí)行js代碼'''browser.execute_script("window.scrollTo(0,document.body.scrollHeight) var lenOfPage=docment.body.scrollHeight;return lenOfPage")time.sleep(3)
# phantomjs無(wú)頭瀏覽器：http://phantomjs.org/download.html

?

import time

from selenium import webdriver
from scrapy.selector import Selector

browser = webdriver.Chrome(executable_path='..')
browser.get('http://.....')

Seit = Selector(text=browser.page_source)
Seit.xpath('//div[@class=""]/text()').extract().send_keys("00000000")
Seit.xpath('//div[@class=""]/text()').extract().send_keys('************')
Seit.xpath('//div[@class=""]/text()').extract().click()

#下拉
for i in range(3):
'''三次下拉操作  execute_script是用來(lái)執(zhí)行js代碼'''
browser.execute_script("window.scrollTo(0,document.body.scrollHeight) var lenOfPage=docment.body.scrollHeight;return lenOfPage")
    time.sleep(3)
# phantomjs無(wú)頭瀏覽器：http://phantomjs.org/download.html

轉(zhuǎn)載于:https://www.cnblogs.com/ArtisticMonk/p/9741173.html

總結(jié)

以上是生活随笔為你收集整理的selenium的基础知识点的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。