window.location.href不打开新窗口_嘿,这条微博值得一看:不登录如何访问页面
簡單解釋一下:有些網(wǎng)站需要登錄才能瀏覽里面的頁面,但搜索引擎的爬蟲不需要登錄也可以訪問,所以你只要簡單設(shè)置一下瀏覽器,讓這個(gè)網(wǎng)站以為你就是那只搜索引擎的爬蟲就可以了。
設(shè)置方法:
打開 Chrome 瀏覽器;
進(jìn)入開發(fā)者工具:macOS 下的快捷鍵是 cmd? option? i,Win 看上面的微博截圖;
點(diǎn)開發(fā)者工具右上角的 4 個(gè)小圓點(diǎn),打開一個(gè)新菜單(看下圖),這是 macOS 的操作方法,win 看上面的截圖;
再點(diǎn) more tools,再點(diǎn) network conditions,你會(huì)看到一個(gè)新的窗口;
最后勾選新窗口里的 disable cache,然后把 user agent 更改為 Googlebot,也就是讓這個(gè)網(wǎng)站以為你是 Google 搜索的爬蟲。
這樣設(shè)置只適用于當(dāng)前網(wǎng)站,當(dāng)你打開其他網(wǎng)站,或者關(guān)了當(dāng)前網(wǎng)站,這個(gè)設(shè)置會(huì)自動(dòng)恢復(fù)為默認(rèn)值,如需使用要重新設(shè)置。
tombkeeper 提供了另一種全局設(shè)置的方法,請(qǐng)參考:
有些網(wǎng)站不對(duì)游客開放,需要注冊(cè)登錄之后才能訪問,通過把自己偽裝成搜索引擎爬蟲,我們就能正常訪問這些頁面了。當(dāng)然啦,這個(gè)方法只適用于部分網(wǎng)站,還有很多網(wǎng)站即使對(duì)爬蟲也不開放。
微信公眾號(hào):科技微訊
總結(jié)
以上是生活随笔為你收集整理的window.location.href不打开新窗口_嘿,这条微博值得一看:不登录如何访问页面的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 单片机最小系统硬件电路图_经验分享:学单
- 下一篇: windows 只能同时 启动一个_一个