2019獨角獸企業重金招聘Python工程師標準>>>

從畢業到現在一年多里確實學到了很多東西，但是就是自己太懶了，應該把學到的東西整理下來才對。所以決定從現在開始慢慢整理工作中學到的東西，既是鞏固和梳理，也希望能夠分享出來和大家一起交流。

那我先自己介紹下吧，我給自己的定位是數據開發工程師，兩份工作中做的都是數據開發相關的東西，我對這個領域比較看好，相信未來的發展會越來越好。

去年10月份換了工作，之前一家公司是做社交媒體分析的，其實就是做data feed的。由于公司后期人員變動的關系，所以整個產品的后臺技術我都有涉及，總結下主要有幾個部分：

1.數據爬取。

最簡單的就是用Jsoup這樣的 html解析器，但是有時候需要拿一些js返回的結果，需要在網頁上執行點擊這類的操作，那么就需要用自動化測試中常用的工具PhantomJs，selenium。

2.數據分析

爬蟲都是實時的，那么爬取回來的數據需要一個streaming一個框架來處理，之前用到的是strom,但現在發現 storm還是重了一點，如果公司考慮一直都在AWS上的話，可以考慮Amazon Kinesis,這個無論是開發維護的角度還是機器成本的角度來看，都是不錯的選擇。

當然部分數據還是需要去做一些運算。這部分主要是用spark。

中間件部分主要用了Redis。

3.REST

主要用了restlet+Spring

現在的公司

1.推薦引擎

研究過PredictionIO，感覺DASE這樣的架構很不錯，邏輯清晰，還有把算法包做成的模板，這樣更換很方便。但是 customzing方面就不太好，小改動還好，改改模板什么的沒有問題，但是你要去在這個DASE這個架構上做一些修改，那就比較麻煩了，這么說吧：雖然是opensource, 但畢竟人家還是要賺錢的嘛。

之后考慮了多方面因素之后，我們決定自己開發，當然也借鑒了PredictionIO的一些思想，計算部分也同樣采用了Spark的MLLib，現在系統已經完成了，我個人比較滿意。

2.Streaming Job

目前還在搭建一個BI平臺，需要收集和處理app端的用戶行為數據， 那么我們考慮用Kinesis，開發確實節省很多時間，性能也不錯。

轉載于:https://my.oschina.net/u/1450520/blog/604315

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的开始写博客,毕业一年的收获的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。