puppeteer的使用:

目前網上的大多數資料都是基于js進行開發，今天我們劍走偏鋒，介紹python中針對該工具開發的第三方工具庫pyppeteer,具體的api操作咱就不談了，官網上有，不咋此贅述，我們直接闡述如何利用pyppeteer做一個遠程瀏覽器服務程序。在該項目考慮到在項目的隔離性，我實在docker容器搭建的該服務端程序，首先首選你需要下載chrome-linux.zip,這是服務端程序必備的工具，好處是他不需要安裝，直接解壓放在你需要的目錄即可（當然也有windows版本chrome-win.zip），其實服務端程序很簡單，就一句話打開瀏覽器，讓他一直處于監聽狀態就行了，就這么簡單。

puppeteer各版本下載地址：https://mohen.blog.csdn.net/article/details/108363449

服務端

from datetime import datetime import traceback import asyncio from pyppeteer import launch, connectasync def browser_init():executablePath_linux = "F:\\chrome-win32\\chrome.exe"try:await launch({"headless": False,"ignoreDefaultArgs": ['--enable-automation'],'executablePath': executablePath_linux,'args': [# '--disable-gpu=True',# '--disable-dev-shm-usage',# '--disable-setuid-sandbox',# '--no-first-run','--no-sandbox',#'--no-zygote','--remote-debugging-address=0.0.0.0','--remote-debugging-port=9222','--start-maximized', # 窗口最大化模式'--disable-infobars',]})except Exception as e:#trace = traceback.format_exc().replace("[", "(").replace("]", ")").replace("\n", "\t")print(str(e))if __name__ == '__main__':loop = asyncio.get_event_loop()loop.run_until_complete(browser_init())loop.run_forever()

對于代碼不做過多贅述，參考官網api,即可看懂，我們lunch()中的幾個字段?:

"headless":True ===> 使用無頭模式啟動瀏覽器

args：'--remote-debugging-address=0.0.0.0',?'--remote-debugging-port=9222'，這兩個是自定義綁定服務器端ip地址和端口，方便客戶端請求，以獲取wsEndpoint.一旦設置了這兩個參數，如果你再使用print(browser.wsEndpoint)語句打印wsEndpoint，是不可實現的，所以我們如何在接觸不到的服務端程序的時候獲取服務端瀏覽器的長鏈接地址呢？答案就是：

browserWSEndpoint = requests.get("http://127.0.0.1:19222/json/version").json().get("webSocketDebuggerUrl")

即可拿到所有該瀏覽器遠程操作的所有參數。?當然重點就是wsEndpoint，拿到wsEndpoint后我們可以遠程使用下面的函數進行遠程連接

客戶端

import asyncio import requests from pyppeteer import launch,connectasync def main(browserWSEndpoint):browserWSEndpoint = requests.get("http://127.0.0.1:9222/json/version").json().get("webSocketDebuggerUrl")# Windows 和 Linux 的目錄不一樣，情換成自己對應的executable文件地址browser = await connect({"browserWSEndpoint":browserWSEndpoint})page = await browser.newPage()await page.goto("https://www.baidu.com/")content = await page.content()print(content)await page.close()if __name__ == '__main__':browserWSEndpoint = requests.get("http://127.0.0.1:19222/json/version").json().get("webSocketDebuggerUrl")print(browserWSEndpoint)asyncio.get_event_loop().run_until_complete(main(browserWSEndpoint))

?

總結

以上是生活随笔為你收集整理的Python爬虫之puppeteer搭建远程服务器的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。