10 月開(kāi)發(fā)者嘉年華，我正在參與「開(kāi)源博客馬拉松挑戰(zhàn)」，點(diǎn)擊鏈接 1024 開(kāi)發(fā)者嘉年華 了解活動(dòng)詳情。

OpenMLDB項(xiàng)目開(kāi)源地址：https://github.com/4paradigm/OpenMLDB

與OpenMLDB結(jié)緣

本人與OpenMLDB結(jié)緣源自于中科院開(kāi)源之夏(OSPP)和GitLink開(kāi)源夏令營(yíng)，這倆個(gè)活動(dòng)都是難度很高但性價(jià)比很高的開(kāi)源活動(dòng)，適合有一定程度開(kāi)源經(jīng)驗(yàn)的同學(xué)參與。其中活動(dòng)群內(nèi)有個(gè)小助手特別活躍得宣傳OpenMLDB的項(xiàng)目，抱著了解了解的興趣就了解一下，了解后發(fā)現(xiàn)這是一個(gè)很有意思的并嘗試做了一些開(kāi)源任務(wù)，值得一提OpenMLDB經(jīng)常推出各式各樣的活動(dòng)獎(jiǎng)勵(lì)，很有助于提高新人的積極性。
廢話不多說(shuō)了，我們來(lái)好好介紹一下該項(xiàng)目叭。

OpenMLDB是什么？

這里我就引用官方的介紹

OpenMLDB是d第四范式旗下一款開(kāi)源機(jī)器學(xué)習(xí)數(shù)據(jù)庫(kù)，提供線上線下一致的生產(chǎn)級(jí)特征平臺(tái)。
在機(jī)器學(xué)習(xí)的很多應(yīng)用場(chǎng)景中，為了獲得高業(yè)務(wù)價(jià)值的模型，對(duì)于實(shí)時(shí)特征有很強(qiáng)的需求，比如實(shí)時(shí)的個(gè)性化推薦、風(fēng)控、反欺詐等。但是，由數(shù)據(jù)科學(xué)家所構(gòu)建的特征計(jì)算腳本（一般基于 Python 開(kāi)發(fā)），由于無(wú)法滿足低延遲、高吞吐、高可用等生產(chǎn)級(jí)特性，因此無(wú)法直接上線。為了在生產(chǎn)環(huán)境中上線特征腳本用于模型推理，并且滿足實(shí)時(shí)計(jì)算的性能要求，往往需要工程化團(tuán)隊(duì)進(jìn)行代碼重構(gòu)和優(yōu)化。那么，由于兩個(gè)團(tuán)隊(duì)、兩套系統(tǒng)參與了從離線開(kāi)發(fā)到部署上線的全流程，線上線下一致性校驗(yàn)成為一個(gè)必不可少的步驟，其往往需要耗費(fèi)大量的溝通成本、開(kāi)發(fā)成本，和測(cè)試成本。

OpenMLDB 的整體架構(gòu)設(shè)計(jì)是為了達(dá)到特征平臺(tái)從開(kāi)發(fā)到部署的流程優(yōu)化目標(biāo)：開(kāi)發(fā)即上線 ，以此來(lái)大幅降低人工智能的落地成本。其完成從特征的離線開(kāi)發(fā)到上線部署，只需要三個(gè)步驟：

步驟一：使用 SQL 進(jìn)行離線特征腳本開(kāi)發(fā)，用于模型訓(xùn)練
步驟二：SQL 特征腳本一鍵部署上線，由線下模式切換為線上模式
步驟三：接入實(shí)時(shí)數(shù)據(jù)，進(jìn)行線上實(shí)時(shí)特征計(jì)算，用于模型推理

如何參與OpenMLDB開(kāi)源呢？

從good first issue開(kāi)始

這里給予大家一個(gè)建議，首先進(jìn)入社區(qū)的微信群對(duì)開(kāi)源項(xiàng)目進(jìn)行基本的了解，了解最近的活動(dòng)（OpenMLDB的活動(dòng)非常多），無(wú)論是老手還是新手都可以先在Issues中選取一個(gè)有g(shù)ood first issue標(biāo)簽的任務(wù)進(jìn)行嘗試。此類(lèi)任務(wù)難度極低，主要是為了讓新人體驗(yàn)開(kāi)源項(xiàng)目的整個(gè)pr過(guò)程，幫助新人樹(shù)立信心。

上圖就是good first issue標(biāo)簽的項(xiàng)目，Assignee就是已經(jīng)分配了該項(xiàng)目給某個(gè)用戶啦！

如果想要申請(qǐng)對(duì)應(yīng)的項(xiàng)目，我們可以點(diǎn)進(jìn)對(duì)應(yīng)的issue中進(jìn)行回復(fù)：please assign this to me
給大家一個(gè)樣例，可見(jiàn)下圖

編譯與安裝

官方安裝部署介紹地址：https://openmldb.ai/docs/zh/main/deploy/index.html

軟硬件環(huán)境需求

• 操作系統(tǒng)：CentOS 7, Ubuntu 20.04, macOS >= 10.15。其中Linux glibc版本 >= 2.17。其他操作系統(tǒng)版本沒(méi)有做完整的測(cè)試，不能保證完全正確運(yùn)行。
• 內(nèi)存：視數(shù)據(jù)量而定，推薦在 8 GB 及以上。
• CPU：
  • 目前僅支持 x86 架構(gòu)，暫不支持例如 ARM 等架構(gòu)。
  • 核數(shù)推薦不少于 4 核，如果 Linux 環(huán)境下 CPU 不支持 AVX2 指令集，需要從源碼重新編譯部署包。
• 運(yùn)行環(huán)境：zookeeper和taskmanager部署需要java runtime environment。其他組件無(wú)要求。

由于我們是進(jìn)行開(kāi)源貢獻(xiàn)，因此我們需要選擇編譯安裝，為了方便可以選擇docker內(nèi)安裝，參考官網(wǎng)指導(dǎo)：https://openmldb.ai/docs/zh/main/deploy/compile.html

無(wú)論你是在虛擬機(jī)中還是wsl中，都可以很方便得實(shí)現(xiàn)官方docker編譯教程。

對(duì)于新手而言，這可能是會(huì)一個(gè)較為耗費(fèi)時(shí)間的環(huán)節(jié)，但這個(gè)環(huán)節(jié)是很重要的，無(wú)論你以后做不做OpenMLDB，在其他的項(xiàng)目中都會(huì)常用到這個(gè)過(guò)程，如果你是第一次做可以花費(fèi)兩個(gè)整天的時(shí)間好好吃透這整個(gè)編譯流程，以后遇到類(lèi)似的問(wèn)題就可以觸類(lèi)旁通了。

使用案例

提交開(kāi)源貢獻(xiàn)前，我們應(yīng)當(dāng)先學(xué)會(huì)使用這個(gè)工具！官方已經(jīng)有非常詳盡的使用案例了，這里大家可以根據(jù)自己需求先找實(shí)際的使用案例。
參考官方的使用案例：

應(yīng)用所用工具簡(jiǎn)介

出租車(chē)行程時(shí)間預(yù)測(cè)	OpenMLDB, LightGBM	這是個(gè)來(lái)自 Kaggle 的挑戰(zhàn)，用于預(yù)測(cè)紐約市的出租車(chē)行程時(shí)間。你可以從這里關(guān)于該應(yīng)用場(chǎng)景的描述。本案例展示使用 OpenMLDB + LightGBM 的開(kāi)源方案，快速搭建完整的機(jī)器學(xué)習(xí)應(yīng)用。
使用 Pulsar connector 接入實(shí)時(shí)數(shù)據(jù)流	OpenMLDB, Pulsar, OpenMLDB-Pulsar connector	Apache Pulsar 是一個(gè)高性能的云原生的消息隊(duì)列平臺(tái)，基于 OpenMLDB-Pulsar connector，我們可以高效的將 Pulsar 的數(shù)據(jù)流作為 OpenMLDB 的在線數(shù)據(jù)源，實(shí)現(xiàn)兩者的無(wú)縫整合。
使用 Kafka connector 接入實(shí)時(shí)數(shù)據(jù)流	OpenMLDB, Kafka, OpenMLDB-Kafka connector	Apache Kafka 是一個(gè)分布式消息流平臺(tái)?；?OpenMLDB-Kafka connector，實(shí)時(shí)數(shù)據(jù)流可以被簡(jiǎn)單的引入到 OpenMLDB 作為在線數(shù)據(jù)源。
使用 RocketMQ 接入實(shí)時(shí)數(shù)據(jù)流	OpenMLDB, RocketMQ, OpenMLDB-RocketMQ connector	Apache RocketMQ 是一個(gè)云原生“消息、事件、流”實(shí)時(shí)數(shù)據(jù)處理平臺(tái)，使用 OpenMLDB-RocketMQ connector，可以將實(shí)時(shí)數(shù)據(jù)從 RocketMQ 高效的引入到 OpenMLDB，進(jìn)行實(shí)時(shí)計(jì)算。
在 DolphinScheduler 中構(gòu)建端到端的機(jī)器學(xué)習(xí)工作流	OpenMLDB, DolphinScheduler, OpenMLDB task plugin	這個(gè)案例新演示了基于 OpenMLDB 和 DolphinScheduler（一個(gè)開(kāi)源的工作流任務(wù)調(diào)度平臺(tái)）來(lái)構(gòu)建一個(gè)完整的機(jī)器學(xué)習(xí)工作流，包括了特征工程、模型訓(xùn)練，以及部署上線。
在線廣告點(diǎn)擊欺詐檢測(cè)	OpenMLDB, XGBoost	該案例演示了基于 OpenMLDB 以及 XGBoost 去構(gòu)建一個(gè)在線廣告反欺詐的應(yīng)用。
基于 SQL 構(gòu)建機(jī)器學(xué)習(xí)全流程	OpenMLDB, Byzer, OpenMLDB Plugin for Byzer	Byzer 是一門(mén)面向 Data 和 AI 的低代碼、云原生的開(kāi)源編程語(yǔ)言。Byzer 已經(jīng)把 OpenMLDB 整合在內(nèi)，用來(lái)一起構(gòu)建完整的機(jī)器學(xué)習(xí)應(yīng)用全流程。
在 Airflow 中構(gòu)建機(jī)器學(xué)習(xí)應(yīng)用	OpenMLDB, Airflow, Airflow OpenMLDB Provider, XGBoost	Airflow 是一個(gè)流行的工作流編排和管理軟件。該案例展示了如何在 Airflow 內(nèi)，通過(guò)提供的 provder package，來(lái)方便的編排基于 OpenMLDB 的機(jī)器學(xué)習(xí)任務(wù)。
精準(zhǔn)營(yíng)銷(xiāo)	OpenMLDB, OneFlow	OneFlow 是一個(gè)用戶友好、可擴(kuò)展、高效的深度學(xué)習(xí)框架。改案例展示了如何使用 OpenMLDB 做特征工程，串聯(lián) OneFlow 進(jìn)行模型訓(xùn)練和預(yù)測(cè)，來(lái)構(gòu)造一個(gè)用于精準(zhǔn)營(yíng)銷(xiāo)的機(jī)器學(xué)習(xí)應(yīng)用。

開(kāi)始嘗試更有挑戰(zhàn)性的項(xiàng)目

除了good first issue標(biāo)簽，issues內(nèi)還有許多別的有意思的標(biāo)簽，比如document就是文檔這塊需要精進(jìn)。

除了正在提出的issues外，我們可以檢查歷史已經(jīng)closed的issues進(jìn)行學(xué)習(xí)，觀察別人是怎么提交pr的，是如何解決問(wèn)題的，這個(gè)過(guò)程會(huì)有助于我們解決新issue的時(shí)候有一個(gè)對(duì)比依據(jù)。

我們隨便挑一個(gè)closed的issue進(jìn)去看一看別人是怎么做的

這里就可以看到詳細(xì)提交內(nèi)容啦！

嘗試開(kāi)源活動(dòng)

類(lèi)似一開(kāi)始說(shuō)的中科院開(kāi)源之夏(OSPP)和GitLink開(kāi)源夏令營(yíng)，OpenMLDB每年都會(huì)在其中投入幾個(gè)很有意思的課題，當(dāng)你有一定基礎(chǔ)了以后就可以參與這類(lèi)開(kāi)源項(xiàng)目活動(dòng)了（0基礎(chǔ)是不行的，一定要提前對(duì)OpenMLDB有了解并且明白如何進(jìn)行貢獻(xiàn)喲！從現(xiàn)在開(kāi)始好好準(zhǔn)備的話，正好可以趕上明年暑期的活動(dòng)呢），給自己的簡(jiǎn)歷狠狠的添上一筆！而且還有獎(jiǎng)金可以拿喲！

希望大家一起在開(kāi)源學(xué)習(xí)的道路上越走越遠(yuǎn)！

總結(jié)

以上是生活随笔為你收集整理的OpenMLDB新手入门开源介绍的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。