因子分解机
因子分解機
Factorization Machines
因子分解機（FM）[Rendle，2010]由Steffen Rendle于2010年提出，是一種可用于分類、回歸和排序任務的監督算法。它很快就引起了人們的注意，并成為一種流行而有影響力的預測和推薦方法。特別地，它是線性回歸模型和矩陣分解模型的推廣。此外，它讓人想起具有多項式核的支持向量機。與線性回歸和矩陣分解相比，因式分解機的優勢在于：（1）它可以建模X-變量交互作用，其中X是多項式階數，通常設為2。（2） 與因子分解機相結合的快速優化算法可以將多項式的計算時間減少到線性復雜度，特別是對于高維稀疏輸入，它是非常有效的。基于這些原因，因子分解機被廣泛應用于現代廣告和產品推薦中。技術細節和實現如下所述。
-
2-Way Factorization Machines
一些特性交互很容易理解，因此可以由專家設計。然而，大多數其他特性交互都隱藏在數據中，難以識別。因此，特征交互的自動建模可以大大減少特征工程的工作量。很明顯，前兩項對應于線性回歸模型，最后一項是矩陣分解模型的擴展。如果功能i表示項和功能，j表示一個用戶，第三項正好是用戶和項嵌入之間的點積。值得注意的是，FM也可以推廣到更高階（度>2）。然而，數值穩定性可能會削弱推廣。 -
An Efficient Optimization Criterion
用直接的方法優化因子分解機會導致O(kd2)，因為所有成對的相互作用都需要計算。為了解決這一效率低下的問題，我們可以對FM的第三項進行重組，這樣可以大大降低計算成本，從而導致線性時間復雜度(O(kd)O(kd))。兩兩相互作用項的重新表述如下：
通過這種重構，大大降低了模型的復雜度。此外，對于稀疏特征，只需要計算非零元素，這樣整體復雜度就與非零特征的數量成線性關系。
為了學習FM模型，我們可以將MSE損失用于回歸任務，交叉熵損失用于分類任務，BPR損失用于排名任務。標準優化器（如SGD和Adam）可用于優化。
from d2l import mxnet as d2l
from mxnet import init, gluon, np, npx
from mxnet.gluon import nn
import os
import sys
npx.set_np()
- Model Implementation
下面的代碼實現了因子分解機。很明顯，FM由一個線性回歸塊和一個有效的特征交互塊組成。由于我們將CTR預測視為一個分類任務，因此我們對最終得分應用了一個S形函數。
class FM(nn.Block):
def __init__(self, field_dims, num_factors):super(FM, self).__init__()num_inputs = int(sum(field_dims))self.embedding = nn.Embedding(num_inputs, num_factors)self.fc = nn.Embedding(num_inputs, 1)self.linear_layer = nn.Dense(1, use_bias=True)def forward(self, x):square_of_sum = np.sum(self.embedding(x), axis=1) ** 2sum_of_square = np.sum(self.embedding(x) ** 2, axis=1)x = self.linear_layer(self.fc(x).sum(1)) \+ 0.5 * (square_of_sum - sum_of_square).sum(1, keepdims=True)x = npx.sigmoid(x)return x
- Load the Advertising Dataset
我們使用最后一節中的CTR數據包裝器來加載在線廣告數據集。
batch_size = 2048
data_dir = d2l.download_extract(‘ctr’)
train_data = d2l.CTRDataset(os.path.join(data_dir, ‘train.csv’))
test_data = d2l.CTRDataset(os.path.join(data_dir, ‘test.csv’),
feat_mapper=train_data.feat_mapper,defaults=train_data.defaults)
num_workers = 0 if sys.platform.startswith(‘win’) else 4
train_iter = gluon.data.DataLoader(
train_data, shuffle=True, last_batch='rollover', batch_size=batch_size,num_workers=num_workers)
test_iter = gluon.data.DataLoader(
test_data, shuffle=False, last_batch='rollover', batch_size=batch_size,
num_workers=num_workers)
- Train the Model
然后，我們訓練模型。默認情況下，學習率設置為0.01，嵌入大小設置為20。Adam優化器和SigmoidBinaryCrossEntropyLoss loss用于模型訓練。
ctx = d2l.try_all_gpus()
net = FM(train_data.field_dims, num_factors=20)
net.initialize(init.Xavier(), ctx=ctx)
lr, num_epochs, optimizer = 0.02, 30, ‘adam’
trainer = gluon.Trainer(net.collect_params(), optimizer,
{'learning_rate': lr})
loss = gluon.loss.SigmoidBinaryCrossEntropyLoss()
d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs, ctx)
loss 0.505, train acc 0.761, test acc 0.759
151228.5 examples/sec on [gpu(0), gpu(1)]
6. Summary
· FM is a general framework that can be applied on a variety of tasks such as regression, classification, and ranking.
· Feature interaction/crossing is important for prediction tasks and the 2-way interaction can be efficiently modeled with FM.
總結
