Q: 什么是Beam Search? 它在NLP中的什么場景里會?到?

傳統(tǒng)的廣度優(yōu)先策略能夠找到最優(yōu)的路徑，但是在搜索空間非常大的情況下，內(nèi)存占用是指數(shù)級增長，很容易造成內(nèi)存溢出，因此提出了beam search的算法。

beam search嘗試在廣度優(yōu)先基礎(chǔ)上進行進行搜索空間的優(yōu)化（類似于剪枝）達到減少內(nèi)存消耗的目的。

在sequence2sequence模型中，beam search的方法只用在測試的情況，因為在訓(xùn)練過程中，每一個decoder的輸出是有正確答案的，也就不需要beam search去加大輸出的準確率。test的時候，假設(shè)詞表大小為3，內(nèi)容為a，b，c。beam size是decoder解碼的時候：1： 生成第1個詞的時候，選擇概率最大的2個詞，假設(shè)為a,c,那么當(dāng)前序列就是a,c2：生成第2個詞的時候，我們將當(dāng)前序列a和c，分別與詞表中的所有詞進行組合，得到新的6個序列aa ab ac ca cb cc,然后從其中選擇2個得分最高的，作為當(dāng)前序列，假如為aa cb3：后面會不斷重復(fù)這個過程，直到遇到結(jié)束符為止。最終輸出2個得分最高的序列。

轉(zhuǎn)自：https://www.jianshu.com/p/bc3beb101885

總結(jié)

以上是生活随笔為你收集整理的Beam Search的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。