手机网站模版推广网站推广
引言
BERT预训练过程中包括两个主要任务：Masked Language Modeling(MLM) 和 Next Sentence Prediction(NSP)。
MLM损失函数：
在MLM任务中，模型需要根据上下文预测被MASK掉的词语。具体来说，输入序列中的一部分词语被随机MASK，模型需要依据未被MASK的词语来预测这些被MASK的词语。
损失函数：
MLM任务通常使用多类别交叉熵损失函数（Cross-Entropy Loss）。对于每一个被MASK的位置，计算模型预测的词与真实词之间的交叉熵损失。数学表达式为：
L MLM = − ∑ i ∈ M log P ( w i ∣ C i ) L_{\text{MLM}} = -\sum_{i \in \mathcal{M}} \log P(w_i | C_i) LMLM=−i∈M∑logP(wi∣Ci)
其中：
M \mathcal{M} M：被MASK的词语在序列中的位置集合。
w i