工具idea

所用的技術類型：

Maven+mybatis+ssm+springboot+springcloud+redis+elasticsearch+mysql

在springcloud中運用到Eureka服務注冊與發現的集群分布+feign框架實現的rest接口調用+ribbon的負載均衡+Hystrix的處理分布式系統的延遲和容錯的開源庫

?

爬蟲流程：

確定首頁URL，在谷歌瀏覽器中F12，往下滑動頁面，找到真正的url，因為頁面是以ajax請求進行的。

發送請求，獲取數據。設置定時器持續爬取數據，將爬取的源數據從string轉化為json，再將json轉化為對象存儲帶list集合中。

解析數據。設置條件判斷進行數據的有效性檢驗，采用redis去重，將url設置為redis中的key，判斷redis中是否存在相同地址，不存在則添加到數據庫和同步到redis，否則不添加數據到數據庫。

存儲數據，使用mybatis進行數據的插入。

?

項目目前流程：.

用戶發起請求，如localhost:9001/search?keyword=黃

利用feign框架實現rest接口調用

{其服務提供者和服務消費者均注冊在eurekaserver中}并且eureka以集群分布式的形式，避免了單點故障，以及eureka所面臨的高并發問題

通過ribbon的自定義負載均衡算法進行負載均衡。然后告知用戶下一步的請求資源所在處。

在整個過程中，服務監控hystrixboard全程監控其流程，以便處理分布式系統的延遲和容錯

?

從理念上講，分布式的實現有兩種形式：

水平擴展：當一臺機器扛不住流量時，就通過添加機器的方式，將流量平分到所有服務器上，所有機器都可以提供相當的服務；

垂直拆分：前端有多種查詢需求時，一臺機器扛不住，可以將不同的需求分發到不同的機器上，比如A機器處理余票查詢的請求，B機器處理支付的請求。

在目前的整個項目中，用到了分布式的水平擴展，也就是我們所說的集群。但由于項目板塊不多，所以并未使用垂直拆分。

?

【補充】ribbon實現負載均衡

總結

以上是生活随笔為你收集整理的爬虫 spider12——暂停小总结_爬虫流程_微服务架构流程的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。