IsotonicRegression保序回歸

class pyspark.ml.regression.IsotonicRegression(featuresCol=‘features’, labelCol=‘label’, predictionCol=‘prediction’, weightCol=None, isotonic=True, featureIndex=0)

目前使用并行池相鄰違規者算法實現。僅支持單變量（單一特征）算法

featureIndex = Param(parent=‘undefined’, name=‘featureIndex’, doc=‘如果 featuresCol 是向量列，則為特征的索引，否則無效。’)

isotonic = Param(parent=‘undefined’, name=‘isotonic’, doc=‘輸出序列是否應該是等滲/遞增（true）或antitonic/遞減（false）。’）

model.boundaries：已知預測的邊界按遞增順序排列。

01.構造數據集

from pyspark.sql import SparkSession spark = SparkSession.builder.config("spark.driver.host","192.168.1.10")\.config("spark.ui.showConsoleProgress","false")\.appName("IsotonicRegression").master("local[*]").getOrCreate() from pyspark.ml.linalg import Vectors df = spark.createDataFrame([(1.0, Vectors.dense(1.0)),(0.0, Vectors.sparse(1, [], []))], ["label", "features"]) df.show()

? 輸出結果：

+-----+---------+ |label| features| +-----+---------+ | 1.0| [1.0]| | 0.0|(1,[],[])| +-----+---------+

02.轉換原有數據進行查看

from pyspark.ml.regression import IsotonicRegression ir = IsotonicRegression() model = ir.fit(df) model.transform(df).show()

? 輸出結果：

+-----+---------+----------+ |label| features|prediction| +-----+---------+----------+ | 1.0| [1.0]| 1.0| | 0.0|(1,[],[])| 0.0| +-----+---------+----------+

03.生成測試數據并查看轉換的結果：

test0 = spark.createDataFrame([(Vectors.dense(-1.0),)], ["features"]) print(model.transform(test0).head())

? 輸出結果：

Row(features=DenseVector([-1.0]), prediction=0.0)

04.查看預測邊界排列

print(model.boundaries)

? 輸出結果：

[0.0,1.0]

總結

以上是生活随笔為你收集整理的Pyspark回归--IsotonicRegression的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。