搜索詞擴(kuò)展實(shí)戰(zhàn)

• 實(shí)戰(zhàn)中使用到的搜索詞擴(kuò)展方法
• • word2vec詞向量相關(guān)性方法
  • LDA相關(guān)性方法
  • 搜索詞對 -- 置信度、支持度
  • 搜索詞、購買物 -- 置信度
  • 基于業(yè)務(wù)規(guī)則的擴(kuò)展方法
• 結(jié)論
• 思考

實(shí)戰(zhàn)中使用到的搜索詞擴(kuò)展方法

我們做這個(gè)任務(wù)的目的是為了售賣搜索詞包，因此我們本身就有一個(gè)完整的搜索詞包，搜索詞包中的搜索詞都是規(guī)則的，不存在用戶雜七雜八的搜索關(guān)鍵詞。

word2vec詞向量相關(guān)性方法

對源站上的文本先進(jìn)行分詞，特別是搜索詞包中的關(guān)鍵詞要預(yù)先加入分詞辭典，將文章中的那些關(guān)鍵詞進(jìn)行正確的分詞。得到分詞后的文本后進(jìn)行語言模型詞向量學(xué)習(xí)，將文章中的每個(gè)詞都進(jìn)行向量化。
提取出搜索詞包中的搜索詞的詞向量，進(jìn)行詞向量相似度計(jì)算，取每個(gè)搜索詞最相近的topn擴(kuò)展詞，取為一個(gè)搜索詞包。

LDA相關(guān)性方法

與word2vec方法類似

搜索詞對 – 置信度、支持度

這種方法主要基于大規(guī)模的用戶搜索行為，當(dāng)兩個(gè)詞同時(shí)被大量用戶同時(shí)搜索的話，我們可以認(rèn)為這兩個(gè)詞相關(guān)性更高，可以作為搜索詞-擴(kuò)展詞關(guān)系。

搜索詞、購買物 – 置信度

這種方法主要基于大規(guī)模用戶的搜索-購買行為，在這里有個(gè)前提：用戶的搜索詞首先要進(jìn)行一個(gè)簡單的規(guī)范化映射。例如：用戶搜索“a6l”，需要先將它映射為“奧迪A6L”
當(dāng)有大量用戶在購買“奧迪A6L”之前都搜索了“寶馬5系”，那么我們可以認(rèn)為“奧迪A6L”和“寶馬5系”是一對相關(guān)性很強(qiáng)的搜索詞-擴(kuò)展詞，那么可以將“寶馬5系”納入“奧迪A6L”的搜索擴(kuò)展詞包。

基于業(yè)務(wù)規(guī)則的擴(kuò)展方法

主要是一些業(yè)務(wù)規(guī)則，將某些對應(yīng)品類很類似的關(guān)鍵詞聚合在一起，融為一對搜索詞-擴(kuò)展詞。

結(jié)論

上述word2vec、LDA都是基于關(guān)鍵詞向量相似的方法進(jìn)行擴(kuò)展詞挖掘的，其都是基于源站上現(xiàn)存的文本進(jìn)行近義詞學(xué)習(xí)，本質(zhì)上與搜索詞擴(kuò)展無關(guān)，但是我們可以認(rèn)為與搜索詞相近的詞就是擴(kuò)展詞，但是也是基于這種特性，導(dǎo)致搜索詞擴(kuò)展并沒有真正從業(yè)務(wù)角度進(jìn)行擴(kuò)展詞挖掘，本質(zhì)上只是在進(jìn)行同義詞挖掘，因?yàn)橥x詞不一定可以作為擴(kuò)展詞使用。在某種意義上這也是這兩種方法是上述方法效果最差的原因。
“搜索詞對 – 置信度、支持度”和“搜索詞、購買物 – 置信度”本質(zhì)上都是在計(jì)算條件概率，但是由于關(guān)鍵詞和用戶的搜索行為掛鉤，因此這兩種方法看似簡單，但是實(shí)際上效果在上述方法中最優(yōu)。

思考

由上面可以看出，當(dāng)關(guān)鍵詞和用戶的搜索行為掛鉤后，才能更好的挖掘搜索擴(kuò)展詞。因此后面可以考慮將用戶的搜索行為構(gòu)成圖網(wǎng)絡(luò)，進(jìn)行圖網(wǎng)絡(luò)挖掘。

總結(jié)

以上是生活随笔為你收集整理的搜索词扩展实战的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。