当前位置：首页 > news >正文

来广营网站建设网站搭建

news 2025/8/8 5:06:07

来广营网站建设,网站搭建,淘宝客网站做百度推广,俄罗斯外贸网站引言：从TF-IDF到Prompt-Tuning（提示词微调），NLP的四次变革自然语言处理（NLP）技术从最早的手工特征设计到如今的Prompt-Tuning，经历了四个重要阶段。随着技术的不断发展，我们的目标…

引言：从TF-IDF到Prompt-Tuning（提示词微调），NLP的四次变革

自然语言处理（NLP）技术从最早的手工特征设计到如今的Prompt-Tuning，经历了四个重要阶段。随着技术的不断发展，我们的目标从“更高精度”逐渐转向“更少监督”甚至“无监督”。本篇文章将带你全面解析NLP任务的四大范式，并剖析Fine-Tuning和Prompt-Tuning的核心原理。

1. NLP四种范式的进阶历程

1.1 第一范式：传统机器学习模型的起点

• 核心特征：

• 基于手工设计特征（如TF-IDF、n-gram），并结合朴素贝叶斯、支持向量机等经典算法完成任务。

• 案例：

假设要解决文本分类任务（如垃圾邮件识别），可以用TF-IDF提取邮件关键词特征，结合朴素贝叶斯判断一封邮件是否为垃圾邮件。

• 优点：

• 简单高效，适合小规模数据集。

• 计算成本低，模型易解释。

• 缺点：

• 特征工程依赖人工设计，难以扩展到复杂任务。

• 无法捕获上下文语义信息，模型精度有限。

1.2 第二范式：深度学习模型的崛起

• 核心特征：

• 使用分布式词表示（如word2vec、GloVe）将单词编码为语义向量。

• 借助LSTM、GRU等深度学习模型，捕获上下文依赖关系。

• 案例：

在情感分析任务中，用word2vec将“我今天很开心”转化为向量后，使用LSTM网络提取句子特征，再预测句子情感。

• 优点：

• 自动学习特征，无需复杂的手工设计。

• 能捕获一定的上下文语义关系。

• 缺点：

• 依赖大规模标注数据集，成本高昂。

• 模型复杂度提升，对硬件资源要求高。

1.3 第三范式：预训练模型与微调的黄金时代

Fine-Tuning（微调）属于一种迁移学习方式，在自然语言处理（NLP）中，Fine-Tuning（微调）是用于将预训练的语言模型适应于特定任务或领域。Fine-Tuning（微调）的基本思想是采用已经在大量文本上进行训练的预训练语言模型，然后在小规模的任务特定文本上继续训练它.

经典的Fine-Tuning（微调）方法包括将预训练模型与少量特定任务数据一起继续训练。在这个过程中，预训练模型的权重被更新，以更好地适应任务。所需的Fine-Tuning（微调）量取决于预训练语料库和任务特定语料库之间的相似性。如果两者相似，可能只需要少量的Fine-Tuning（微调），如果两者不相似，则可能需要更多的Fine-Tuning（微调）.

但是，在大多数下游任务微调时，下游任务的目标和预训练的目标差距过大导致提升效果不明显（过拟合），微调过程中需要依赖大量的监督语料等等。至此，以GPT3、PET等为首的模型提出一种基于预训练语言模型的新的微调范式--Prompt-Tuning.该方法的目的是通过添加模板的方法来避免引入额外的参数，从而让模型可以在小样本（few-shot）或者零样本（zero-shot）场景下达到理想的效果。

• 核心特征：

• 使用大规模预训练模型（如BERT、GPT）学习通用语言表示，通过Fine-Tuning（微调）完成特定任务。

• 案例：

在命名实体识别任务中，加载预训练好的BERT模型，微调后即可高效完成“识别句子中的地名、人名”等任务。

• 优点：

• 小数据集即可实现高精度。

• 模型捕获了丰富的语言知识，表现优于传统方法。

• 缺点：

• 模型体积庞大，对计算资源要求高。

• 不同任务需要单独微调，效率较低。

1.4 第四范式：Prompt-Tuning的崭新未来

在大多数下游任务微调时，下游任务的目标和预训练的目标差距过大导致提升效果不明显（过拟合），微调过程中需要依赖大量的监督语料等等。至此，以GPT3、PET等为首的模型提出一种基于预训练语言模型的新的微调范式--Prompt-Tuning（提示微调）.该方法的目的是通过添加模板的方法来避免引入额外的参数，从而让模型可以在小样本（few-shot）或者零样本（zero-shot）场景下达到理想的效果。

Prompt-Tuning（提示微调）主要解决传统Fine-Tuning方式的两个痛点：

降低语义偏差：预训练任务主要以MLM为主，而下游任务则重新引入新的训练参数，因此两个阶段目标差异较大。因此需要解决Pre-Training（预训练）和Fine-Tuning（微调）之间的Gap(gap就是差距的意思)。
避免过拟合：由于Fine-Tuning阶段需要引入新的参数适配相应任务，因此在样本数量有限的情况下容易发生过拟合，降低模型泛化能力。因此需要解决预训练模型的过拟合能力。

prompt顾名思义就是“提示”的意思，应该有人玩过你画我猜这个游戏吧，对方根据一个词语画一幅画，我们来猜他画的是什么，因为有太多灵魂画手了，画风清奇，或者你们没有心有灵犀，根本就不好猜啊！这时候屏幕上会出现一些提示词比如3个字，水果，那岂不是好猜一点了嘛，毕竟3个字的水果也不多呀。看到了吧，这就是prompt的魅力.

基于Fine-Tuning的方法是让预训练模型去迁就下游任务，而基于Prompt-Tuning（提示微调）的方法可以让下游任务去迁就预训练模型, 其目的是将Fine-tuning的下游任务目标转换为Pre-Training（预训练）的任务。那么具体如何工作呢？我们以一个二分类的情感分析为例子，进行简单理解：

eg: 定一个句子[CLS] I like the Disney films very much. [SEP]
传统的Fine-tuning方法: 将其通过BERT的Transformer获得 [CLS]表征之后再喂入新增加的MLP分类器进行二分类，预测该句子是积极的（positive）还是消极的（negative），因此需要一定量的训练数据来训练。
Prompt-Tuning执行步骤：
- 1.构建模板（Template Construction）: 通过人工定义、自动搜索、文本生成等方法，生成与给定句子相关的一个含有[MASK]标记的模板。例如It was [MASK].，并拼接到原始的文本中，获得Prompt-Tuning的输入：[CLS] I like the Disney films very much. [SEP] It was [MASK]. [SEP]。将其喂入BERT模型中，并复用预训练好的MLM分类器（在huggingface中为BertForMaskedLM），即可直接得到[MASK]预测的各个token的概率分布。
- 2.标签词映射（Label Word Verbalizer）：因为[MASK]部分我们只对部分词感兴趣，因此需要建立一个映射关系。例如如果[MASK]预测的词是“great”，则认为是positive类，如果是“terrible”，则认为是negative类。
- 3.训练：根据Verbalizer，则可以获得指定label word的预测概率分布，并采用交叉信息熵进行训练。此时因为只对预训练好的MLM head进行微调，所以避免了过拟合问题。