word2vec負取樣的原理

原理：負取樣實際上是取樣負例來幫助訓練的手段，其目的與層次softmax一樣，是用來提升模型的訓練速度。我們知道，模型對正例的預測概率是越大越好，模型對負例的預測概率是越小越好。

負取樣的思路就是根據某種負取樣的策略隨機挑選一些負例，然後保證挑選的這部分負例的預測概率儘可能小。所以，負取樣策略是對模型的效果影響很大，word2vec常用的負取樣策略有均勻負取樣、按詞頻率取樣等等。