日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

不仅性能秒杀Hadoop,现在连分布式集群功能也开源了

發布時間:2023/12/4 编程问答 26 豆豆
生活随笔 收集整理的這篇文章主要介紹了 不仅性能秒杀Hadoop,现在连分布式集群功能也开源了 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

就在昨天(2020年8月3日),濤思數據團隊正式宣布,物聯網大數據平臺TDengine集群版開源。此次開源,我們在GitHub上傳了23.9萬行源代碼,1198個源文件,包含我自己疫情期間寫的一萬余行C代碼,終于又了卻我一個心愿,不用再糾結。我們一個18人的團隊,通過三年的努力,為全球物聯網、工業互聯網、車聯網行業奉獻了一個開源的、具有超強性能和分布式集群功能的專業大數據平臺。

TDengine在去年7月開源單機版之后,獲得了極大的反響,下載量已經超過百萬,每天clone代碼的超過一百,正式上線的系統已有數百個。除了中國用戶之外,還有來自美國、德國、法國、意大利、西班牙等全球各地的開發者。而這一年這些開發者們給我們最大的反饋是“TDengine性能超強,確實比Hadoop快的太多太多,安裝部署也很簡單,但我們需要集群,我們需要高可靠,我們需要有應對大數據量的處理方案”。

TDengine 2.0 系統模塊圖

其實,TDengine的設計從一開始就是集群的,是基于硬件、軟件系統不可靠,一定會有故障的假設進行設計的,是基于任何單臺計算機都無足夠能力處理海量數據的假設進行設計的。只是作為一家商業公司,我們需要考慮如何盈利,業內其他類似產品都是只開源單機版,將集群功能納入企業版,需要付費才能使用。因此在一年前宣布開源時,遵照慣例,我們也只開源了單機版。但一直以來,我都在思考:開源,就應該把最核心的代碼開源,就應該把市場剛需的那部分代碼開源,就應該將自己最美、最有吸引力的地方展現出來,否則開發者為什么要用你的?核心痛點問題不解決,那可替代方案就很多,產品本身的推廣就會大打折扣,開源的價值就大為下降。

單機版開源后的市場的反饋更是堅定了我的想法:集群是剛需,是真正的痛點。我動了集群版開源的心思。但是,集群作為剛需也一直是我們銷售的一個亮點,如果開源,我們怎么贏利?這一問題令我糾結了很久,而團隊小伙伴、尤其是銷售團隊,也在我提出要在業內率先將集群版開源時,直接提出質疑和反對。

2019年底,我徹底想明白了,一定要將集群的代碼開源。基于以下幾點,1:對于大數據平臺,沒有集群,就相當于一個玩具,一個演示而已,誰也不會當真;2:開源是基礎軟件行業大勢所趨,誰先真正擁抱開源,而不是假開源,誰就搶占先機;3:只要全球超過30%以上的物聯網平臺都在使用TDengine,只要能給用戶創造真正的價值,公司一定能找到生存的途徑,一定能成功。

除開源集群版的呼聲之外,我們還收到了無數開發者給我們的反饋:BUG、性能問題、功能問題等等,GitHub上TDengine的issue已經超過2800個。看到這么多issue, 一方面為自己臉紅,因為自己都沒想到居然有這么多問題,但另外一方面,又很開心,因為這說明很多開發者在真正用我們的產品,喜愛我們的產品,我們找對了市場,我們的產品是有價值的。

這樣,2019年底,除了集群版開源外,我們還決定對TDengine的一些模塊,包括存儲引擎、計算引擎以及集群模塊等進行重構。這兩大決定都需要大量工作,因此,除創業之初的幾位大將,勝亮、小廖、洪澤之外,團隊新鮮血液博民、李琿、怡豪等同學也加入進來參與核心代碼的研發。而且為保證質量,大幅提升產品穩定性,我們引入了研發大牛樹多、肖平,讓他們搭建CI/CD, 負責自動化測試,寫下五萬多行Python程序,近千個測試例。我自己這個68年生的程序員,雖已大齡,但像以往一樣,又沖到了第一線,重構了RPC、WAL以及SYNC模塊,新寫的C代碼超過一萬行,GitHub遞交的PR超過155個。

濤思數據團隊,拍攝于2019年10月

我的搭檔,另外一位50歲的程序員,20多年前就是NASDAQ上市公司CTO,曾任亞馬遜、思科全球高級副總裁,此時也挽起袖子,寫起程序。而且從零開始學Python,寫下了專門做并發、做系統破壞性測試的crash_gen.py (2800行)。這個程序讓每位研發同學都膽戰心驚,因為是專門找茬的,暴露的問題往往毫無頭緒,卻一定是程序問題。最開始30步都無法跑過,現在終于能無限的跑下去了。而這位搭檔,在我一年多前最初游說他加盟時其實興趣不大,不過,我和他談到今后世界上90%的數據都是時序空間的數據,而如果大家都在用TDengine來進行存儲、查詢,即使我們公司不贏利,那也是一件人生最值得自豪的事情,是可以在人類信息技術史上留下痕跡的事情。他終于義無反顧的加入,和大家一起,細細打磨產品,目標只有一個,就是做一款有品位、能占領全球市場的產品。

今年的新冠疫情給全球經濟重創,我們這個小小的團隊卻恰恰在此時靜下心來,重構代碼,8個月的時間,犧牲了所有的周末,我們終于推出了2.0集群版。雖沒見過凌晨四點的洛杉磯,但我們經常見凌晨四點的GitHub。如果去年開源的版本能打60分,那我給2.0版本打80分。不僅因為開源了集群,代碼重構后,邏輯更加清晰、模塊劃分更加合理,便于維護、擴展。更重要的是,我們開源了測試框架以及近千個測試例,而且將完整的設計文檔分享出來。我自己編寫的整體架構設計、數據復制模塊設計等等文檔,都已經在官網上公開,供大家瀏覽指正。

做一個60分的產品不難,有個不錯的主意,能動手寫點程序,立馬就能做出來。但要做到80分,就要付出更多的努力。而我的目標是做一個能打99分的產品,因為做到99分時,就天下無敵,而且技術生涯才會畫一完美的句號。不過,從80分到99分,比從60分到80分,要多付出超10倍的努力。幸運的是,我們已經有了一支很不錯的產品隊伍,而且有GGV、紅杉、明勢資本等機構超過2000萬美元的投資,相信只要能堅持靜心做產品,專注下去,我們一定能做到99分。

我總感慨自己幸運,在90年代初去美國留學工作,趕上美國互聯網行業大爆發,正值中國經濟騰飛之時,我又回到北京創業。如今,在接近退休的年齡,居然又發現了一個嶄新的機會,而且是一個特別適合程序員老司機的機會——做底層軟件的開發。不僅做整體架構的設計,還要動手寫代碼、debug、寫文檔,天天和團隊80后、90后同學們一起戰斗,樂此不疲。每每想到這里,我都會慶幸自己3年前的選擇,也慶幸自己選擇了開源的道路。如果沒有這個選擇,我和太太應該正在世界各地旅行,品嘗美食,陪她流連于美術館博物館,過著人人羨慕的日子,但我想,那才是真正的隨時光老去,因為世界已經不需要我的存在。

集群版都開源了,也許付費用戶真的會變少,但那就隨他去吧。我絕不會像有些廠商一樣,先開源,然后閉源。只要有人用,而且用的人多,就是對我、對我們團隊最大的獎勵。哪怕是大家開噴,指出各種問題,我也會特別開心,因為只要有問題,我們就會好好地去改進,用心地去做。即使真有一天,我們連一個18人團隊都無法養活,我也會繼續做下去,會每天把產品細細地打磨,直到我無法動彈的一天,因為這是我最大的樂趣,我把TDengine當作我人生最后一幅作品,而且是一幅可以讓我持續打磨到老的作品。

一年前開源時,我曾說過:“錢再多,也難讓人在歷史上留下痕跡,但一幅好的作品卻可以傳承,讓后人好好的品味。愿我領頭開發的TDengine成為傳世之作,Leave a dent in the world!”, ?今天再將這一段“初心”寫一遍,希望這次集群版的開源,能夠讓TDengine離傳世之作更近一步。


點擊「閱讀原文」,下載 TDengine 2.0 !

總結

以上是生活随笔為你收集整理的不仅性能秒杀Hadoop,现在连分布式集群功能也开源了的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。