Dotnet core基于ML.net的销售数据预测实践
ML.net已經(jīng)進(jìn)到了1.5版本。作為Microsoft官方的機(jī)器學(xué)習(xí)模型，你不打算用用？
?
一、前言
ML.net可以讓我們很容易地在各種應(yīng)用場(chǎng)景中將機(jī)器學(xué)習(xí)加入到應(yīng)用程序中。這是這個(gè)框架很重要的一點(diǎn)。
通過ML.net，我們可以使用手中的可用數(shù)據(jù)，進(jìn)行預(yù)測(cè)、分析、檢測(cè)，而不需要進(jìn)行過于復(fù)雜的編程。
ML.net的核心，同樣是機(jī)器學(xué)習(xí)模型。它采用同樣的步驟，通過指定算法來訓(xùn)練模型，將輸入數(shù)據(jù)轉(zhuǎn)換為所需的預(yù)測(cè)數(shù)據(jù)。
更重要的是，ML.net基于.NET Core，這讓它可以非常簡(jiǎn)單地跨平臺(tái)，在Windows、Linux、MacOS上運(yùn)行，并成為我們服務(wù)端的一部分內(nèi)容。
?
回到今天的主題。
我們用實(shí)際的例子，完成一個(gè)通過歷史銷售數(shù)據(jù)進(jìn)行單變量時(shí)序分析（單譜分析），以預(yù)測(cè)未來銷量的需求。
二、開發(fā)環(huán)境&基礎(chǔ)工程
這個(gè)Demo的開發(fā)環(huán)境是：Mac + VS Code + Dotnet Core 3.1.2。
$?dotnet?--info .NET?Core?SDK?(reflecting?any?global.json):Version:???3.1.201Commit:????b1768b4ae7Runtime?Environment:OS?Name:?????Mac?OS?XOS?Version:??10.15OS?Platform:?DarwinRID:?????????osx.10.15-x64Base?Path:???/usr/local/share/dotnet/sdk/3.1.201/Host?(useful?for?support):Version:?3.1.3Commit:??4a9f85e9f8.NET?Core?SDKs?installed:3.1.201?[/usr/local/share/dotnet/sdk].NET?Core?runtimes?installed:Microsoft.AspNetCore.App?3.1.3?[/usr/local/share/dotnet/shared/Microsoft.AspNetCore.App]Microsoft.NETCore.App?3.1.3?[/usr/local/share/dotnet/shared/Microsoft.NETCore.App]?
首先，在這個(gè)環(huán)境下建立工程：
創(chuàng)建Solution
這次，我們用Console創(chuàng)建工程
把工程加到Solution中
基礎(chǔ)工程搭建完成。
三、引入ML.net庫(kù)
為了使用ML.net，我們需要引入Microsoft.ML庫(kù)：
%?cd?demo %?dotnet?add?package?Microsoft.ML除此之外，本文是基于時(shí)序的預(yù)測(cè)，還需要引入時(shí)序庫(kù)Microsoft.ML.TimeSeries：
%?dotnet?add?package?Microsoft.ML.TimeSeries?
我們今天用到的算法是單譜分析（SSA）。SSA會(huì)將時(shí)序分解為一組主要成分， 并將這些成分解釋為信號(hào)，對(duì)應(yīng)于趨勢(shì)、噪音、季節(jié)性及許多其他的因素，然后重新構(gòu)建這些成分，用來預(yù)測(cè)未來某個(gè)時(shí)間的值。
四、準(zhǔn)備數(shù)據(jù)
為了這個(gè)DEMO，我準(zhǔn)備了一個(gè)包含全年365天實(shí)際銷售金額的數(shù)據(jù)。
其中這個(gè)數(shù)據(jù)又分為了兩部分，第一部分是前11個(gè)月的數(shù)據(jù)，用來做訓(xùn)練，第二部分是12月一個(gè)月的數(shù)據(jù)，用來評(píng)估模型。
兩部分?jǐn)?shù)據(jù)的鏈接如下：訓(xùn)練數(shù)據(jù)，評(píng)估數(shù)據(jù)
兩個(gè)數(shù)據(jù)文件均為CSV文件，數(shù)據(jù)結(jié)構(gòu)完全相同，下面是一段內(nèi)容范例：
2018-12-21,17959.0 2018-12-22,19537.03 2018-12-23,20068.0 2018-12-24,20013.0 2018-12-25,21005.0 2018-12-26,16876.0 2018-12-27,15150.0 2018-12-28,15669.0 2018-12-29,25048.0 2018-12-30,25236.0五、代碼開發(fā)
準(zhǔn)備一個(gè)輸入模型ModelInput
這個(gè)模型對(duì)應(yīng)數(shù)據(jù)文件的結(jié)構(gòu)，分兩個(gè)字段，第一個(gè)是日期，第二個(gè)是對(duì)應(yīng)的銷售金額。
準(zhǔn)備另一個(gè)輸出模型ModelOutput
這個(gè)模型跟隨預(yù)測(cè)結(jié)果的輸出，其中：
forecasted_count?- 預(yù)測(cè)時(shí)間段內(nèi)的預(yù)測(cè)值
lower_count?- 預(yù)測(cè)時(shí)間段內(nèi)預(yù)測(cè)值的下限
upper_count?- 預(yù)測(cè)時(shí)間段內(nèi)預(yù)測(cè)值的上限
?
初始化機(jī)器學(xué)習(xí)的實(shí)例
執(zhí)行所有 ML.NET 操作都是從MLContext類開始，初始化?MLContext將創(chuàng)建一個(gè)新的 ML.net 環(huán)境，并在模型創(chuàng)建工作流對(duì)象之間共享該環(huán)境。?
加載數(shù)據(jù)
ML.net有多種數(shù)據(jù)的加載方式，可以通過文件、數(shù)據(jù)庫(kù)、JSON/XML、內(nèi)存中加載數(shù)據(jù)，甚至可以用自定義的數(shù)據(jù)庫(kù)連接加載數(shù)據(jù)。
本文的DEMO中，數(shù)據(jù)在CSV文件中，所以，我們采用下面的方式加載：
static?readonly?string?_data1Path?=?Path.Combine(Environment.CurrentDirectory,?"data1.csv"); static?readonly?string?_data2Path?=?Path.Combine(Environment.CurrentDirectory,?"data2.csv");static?void?Main(string[]?args) {MLContext?mlContext?=?new?MLContext();IDataView?data1View?=?mlContext.Data.LoadFromTextFile<ModelInput>(_data1Path,?separatorChar:?',',?hasHeader:?false);IDataView?data2View?=?mlContext.Data.LoadFromTextFile<ModelInput>(_data2Path,?separatorChar:?',',?hasHeader:?false); }IDataView是數(shù)據(jù)的承載空間。
定義時(shí)序分析管道
前面有說過，我們采用單譜分析，所以代碼中我們選擇了mlContext.Forecasting.ForecastBySsa。
解釋一下這里面的幾個(gè)參數(shù)：
trainSize?- 數(shù)據(jù)樣本的數(shù)量，也就是訓(xùn)練數(shù)據(jù)的行數(shù)（在這個(gè)文件中，一行是一個(gè)數(shù)據(jù)樣本，共334行）
seriesLength?- 從數(shù)據(jù)樣本按時(shí)序采樣時(shí)的間隔，這里是30天
windowSize?- 樣本周期的天數(shù)，這里是7天
horizon?- 預(yù)測(cè)結(jié)果的天數(shù)
confidenceLevel?- 上下限的可信度。預(yù)測(cè)屬于合理猜測(cè)，不總是完全準(zhǔn)確。
其它幾個(gè)參數(shù)，對(duì)應(yīng)輸入輸出模型的字段名
?
訓(xùn)練模型
管道定義完成，數(shù)據(jù)加載完成，下面要進(jìn)行數(shù)據(jù)訓(xùn)練。
SsaForecastingTransformer?forecaster?=?forecastingPipeline.Fit(data1View);跟隨上一節(jié)，管道是單譜管道，所以訓(xùn)練也是單譜訓(xùn)練SsaForecastingTransformer。
?
程序執(zhí)行到這里，數(shù)據(jù)訓(xùn)練完成。
模型評(píng)估
模型評(píng)估不是必須環(huán)節(jié)。
模型評(píng)估的意義在于：通過評(píng)估模型的性能，來調(diào)整管道的參數(shù)，以達(dá)到最佳的預(yù)測(cè)效果。
模型評(píng)估也有多種方式。在這里，我們采用平均絕對(duì)誤差和均方根誤差來做評(píng)估依據(jù)。
static?void?Evaluate(IDataView?testData,?ITransformer?model,?MLContext?mlContext) {IDataView?predictions?=?model.Transform(testData);IEnumerable<float>?actual?=mlContext.Data.CreateEnumerable<ModelInput>(testData,?true).Select(p?=>?p.count);IEnumerable<float>?forecast?=mlContext.Data.CreateEnumerable<ModelOutput>(predictions,?true).Select(p?=>?p.forecasted_count[0]);var?metrics?=?actual.Zip(forecast,?(actualValue,?forecastValue)?=>?actualValue?-?forecastValue);var?MAE?=?metrics.Average(error?=>?Math.Abs(error));var?RMSE?=?Math.Sqrt(metrics.Average(error?=>?Math.Pow(error,?2)));Console.WriteLine("評(píng)估結(jié)果");Console.WriteLine("---------------------");Console.WriteLine($"平均絕對(duì)誤差:?{MAE:F3}");Console.WriteLine($"均方根誤差:?{RMSE:F3}\n"); }在這個(gè)方法中，我們?nèi)≡u(píng)估數(shù)據(jù)的實(shí)際值actual和通過訓(xùn)練數(shù)據(jù)生成的預(yù)測(cè)值forecast，計(jì)算兩個(gè)誤差并輸出。
在Main中調(diào)用此方法：
static?void?Main(string[]?args) {/*?這兒是前邊訓(xùn)練的代碼，略過?*/Evaluate(data2View,?forecaster,?mlContext); } static?void?Evaluate(IDataView?testData,?ITransformer?model,?MLContext?mlContext) {/*?這兒是評(píng)估模型的方法，上面有，略過?*/ }輸出結(jié)果類似于以下內(nèi)容：
評(píng)估結(jié)果 --------------------- 平均絕對(duì)誤差:?23.442 均方根誤差:?174.236兩個(gè)指標(biāo)：
平均絕對(duì)誤差?- 度量預(yù)測(cè)與實(shí)際值之間的接近程度。此值介于 0 到無限大之間。越接近 0，模型的質(zhì)量越好。
均方根誤差?- 匯總模型中的錯(cuò)誤。此值介于 0 到無限大之間。越接近 0，模型的質(zhì)量越好。
?
預(yù)測(cè)
訓(xùn)練模型調(diào)整到滿意后，即可開始預(yù)測(cè)的工作：
var?forecastEngine?=?forecaster.CreateTimeSeriesEngine<ModelInput,?ModelOutput>(mlContext); ModelOutput?forecast?=?forecastEngine.Predict();這兩行代碼，在內(nèi)存中加載前邊訓(xùn)練好的模型，并進(jìn)行預(yù)測(cè)操作。預(yù)測(cè)數(shù)據(jù)的結(jié)果放在forecast中。
對(duì)應(yīng)于分析管道定義中的horizon，預(yù)測(cè)數(shù)據(jù)包含7天的預(yù)測(cè)結(jié)果。
預(yù)測(cè)結(jié)果輸出
放在forecast中的數(shù)據(jù)，對(duì)應(yīng)模型ModelOutput，可以用在任何地方。
在本文中，我們直接顯示到Console：
IEnumerable<string>?forecastOutput?=mlContext.Data.CreateEnumerable<ModelInput>(data2View,?reuseRowObject:?false).Take(7).Select((ModelInput?data,?int?index)?=>{string?action_date?=?data.action_time.ToString("yyyy-MM-dd");float?actual_count?=?data.count;float?lowerEstimate?=?Math.Max(0,?forecast.lower_count[index]);float?estimate?=?forecast.forecasted_count[index];float?upperEstimate?=?forecast.upper_count[index];return?$"日期:?{action_date}\n"?+$"實(shí)際值:?{actual_count}\n"?+$"預(yù)測(cè)下限估值:?{lowerEstimate}\n"?+$"預(yù)測(cè)估值:?{estimate}\n"?+$"預(yù)測(cè)上限估值:?{upperEstimate}\n";});Console.WriteLine("預(yù)測(cè)結(jié)果"); Console.WriteLine("---------------------"); foreach?(var?prediction?in?forecastOutput) {Console.WriteLine(prediction); }運(yùn)行結(jié)果類似于以下內(nèi)容：
預(yù)測(cè)結(jié)果 --------------------- 日期:?2018-12-01 實(shí)際值:?24566.08 預(yù)測(cè)下限估值:?16791.379 預(yù)測(cè)估值:?20394.115 預(yù)測(cè)上限估值:?23996.852?
完成！
六、延伸內(nèi)容
ML.net包含了很多機(jī)器學(xué)習(xí)的內(nèi)容。其中，我自己認(rèn)為時(shí)序預(yù)測(cè)是用途很廣的一個(gè)部分，可以用在
銷售預(yù)測(cè)
庫(kù)存預(yù)警
活動(dòng)策劃輔助
以及其它諸如天氣、股票、人口等諸多內(nèi)容上，依靠過去和現(xiàn)在的數(shù)據(jù)，分析兩者之間的關(guān)系，然后利用得到的這個(gè)關(guān)系去預(yù)測(cè)未來的數(shù)據(jù)。
因此，在這個(gè)分類中，我的第一篇文章就寫了時(shí)序預(yù)測(cè)。
?
機(jī)器學(xué)習(xí)，核心是各種算法，而算法的基礎(chǔ)是一類數(shù)學(xué)。這是一個(gè)很高的坎。刷算法，線性的部分還好，一旦到了冪次或矩陣，沒有正統(tǒng)的學(xué)習(xí)，是很難有突破的。而即便刷通了，也只是皮毛性的理解，距離創(chuàng)造算法的大神，還有很長(zhǎng)的距離。
所以，退而求其次，對(duì)很多人而言，與其花大功夫去研究算法，不如多研究下如何能把現(xiàn)有的算法或工具用好。
?
還有，在應(yīng)用中，你能用機(jī)器學(xué)習(xí)來預(yù)測(cè)銷量、預(yù)測(cè)庫(kù)存，有沒有很自豪？是不是很高大上？
?
（全文完）
?
本文的對(duì)應(yīng)代碼，在https://github.com/humornif/Demo-Code/tree/master/0013/demo
點(diǎn)「在看」，讓更多人因你而受益
↘ ?↘ ?↘
總結(jié)
以上是生活随笔為你收集整理的Dotnet core基于ML.net的销售数据预测实践的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： ASP.NET Core分布式项目实战（
- 下一篇： 深入async/await知多少