当前位置: 首页 > news >正文

如何做监控网站海会网络做的网站怎么做优化

如何做监控网站,海会网络做的网站怎么做优化,中山企业网站推广,域名服务商怎么查询文章目录 词向量Word2Vec:CBOW模型和Skip-Gram模型通过nn.Embedding来实现词嵌入Word2Vec小结 词向量 下面这张图就形象地呈现了词向量的内涵:把词转化为向量,从而捕捉词与词之间的语义和句法关系,使得具有相似含义或相关性的词语在向量空间…

文章目录

  • 词向量
  • Word2Vec:CBOW模型和Skip-Gram模型
  • 通过nn.Embedding来实现词嵌入
  • Word2Vec小结


词向量

下面这张图就形象地呈现了词向量的内涵:把词转化为向量,从而捕捉词与词之间的语义和句法关系,使得具有相似含义或相关性的词语在向量空间中距离较近。
在这里插入图片描述
我们把语料库中的词和某些上下文信息,都“嵌入”了向量表示中。

将词映射到向量空间时,会将这个词和它周围的一些词语一起学习,这就使得具有相似语义的词在向量空间中靠得更近。这样,我们就可以通过向量之间的距离来度量词之间的相似性了。

Word2Vec:CBOW模型和Skip-Gram模型

稠密向量中的元素大部分为非零值。稠密向量通常具有较低的维度,同时能够捕捉到更丰富的信息。Word2Vec就是一种典型的稠密向量表示。稠密向量能够捕捉词与词之间的语义和语法关系,使得具有相似含义或相关性的词在向量空间中距离较近。

在自然语言处理中,稠密向量通常更受欢迎,因为它们能够捕捉到更多的信息,同时计算效率更高。下图直观地展示了二者的区别。
在这里插入图片描述

通过Word2Vec学习得到的向量可以捕捉到词与词之间的语义和语法关系。而且,这个算法比以前的方法更加高效,能够轻松地处理大规模的文本数据。因此,Word2Vec迅速流行起来。

具体来说,Word2Vec有两种主要实现方式:CBOW(Continuous Bag of Words,有时翻译为“连续词袋”)模型和Skip-Gram(有时翻译为“跳字”)模型,如下图所示。CBOW模型通过给定上下文词(也叫“周围词”)来预测目标词(也叫“中心词”);而Skip-Gram模型则相反,通过给定目标词来预测上下文词。这两个模型都是通过训练神经网络来学习词向量的。在训练过程中,我们通过最小化预测词和实际词之间的损失来学习词向量。当训练完成后,词向量可以从神经网络的权重中提取出来。
在这里插入图片描述

通过nn.Embedding来实现词嵌入

在PyTorch中,nn.Embedding是nn中的一个模块,它用于将离散的索引(通常是单词在词汇表中的索引)映射到固定大小的向量空间。在自然语言处理任务中,词嵌入是将单词表示为高维向量的一种常见方法。词嵌入可以捕捉单词之间的相似性、语义关系等。在训练过程中,嵌入层会自动更新权重以最小化损失函数,从而学习到有意义的词向量。

嵌入层的构造函数接收以下两个参数。

  • num_embeddings :词汇表的大小,即唯一单词的数量。
  • embedding_dim:词嵌入向量的维度。
    使用嵌入层有以下优点。
  • 更简洁的代码:与线性层相比,嵌入层提供了更简洁、更直观的表示词嵌入的方式。这使得代码更容易理解和维护。
  • 更高的效率:嵌入层比线性层更高效,因为它不需要进行矩阵乘法操作。它直接从权重矩阵中查找对应的行(嵌入向量),这在计算上更高效。
  • 更容易训练:嵌入层不需要将输入转换为One-Hot编码后的向量。我们可以直接将单词索引作为输入,从而减少训练的计算复杂性。
# 定义一个句子列表,后面会用这些句子来训练 CBOW 和 Skip-Gram 模型
sentences = ["Kage is Teacher", "Mazong is Boss", "Niuzong is Boss","Xiaobing is Student", "Xiaoxue is Student",]
# 将所有句子连接在一起,然后用空格分隔成多个单词
words = ' '.join(sentences).split()
# 构建词汇表,去除重复的词
word_list = list(set(words))
# 创建一个字典,将每个词映射到一个唯一的索引
word_to_idx = {word: idx for idx, word in enumerate(word_list)}
# 创建一个字典,将每个索引映射到对应的词
idx_to_word = {idx: word for idx, word in enumerate(word_list)}
voc_size = len(word_list) # 计算词汇表的大小
print(" 词汇表:", word_list) # 输出词汇表
print(" 词汇到索引的字典:", word_to_idx) # 输出词汇到索引的字典
print(" 索引到词汇的字典:", idx_to_word) # 输出索引到词汇的字典
print(" 词汇表大小:", voc_size) # 输出词汇表大小

在这里插入图片描述

# 生成 Skip-Gram 训练数据
def create_skipgram_dataset(sentences, window_size=2):data = [] # 初始化数据for sentence in sentences: # 遍历句子sentence = sentence.split()  # 将句子分割成单词列表for idx, word in enumerate(sentence):  # 遍历单词及其索引# 获取相邻的单词,将当前单词前后各 N 个单词作为相邻单词for neighbor in sentence[max(idx - window_size, 0): min(idx + window_size + 1, len(sentence))]:if neighbor != word:  # 排除当前单词本身# 将相邻单词与当前单词作为一组训练数据data.append((neighbor, word))return data
# 使用函数创建 Skip-Gram 训练数据
skipgram_data = create_skipgram_dataset(sentences)
# 打印未编码的 Skip-Gram 数据样例(前 3 个)
print("Skip-Gram 数据样例(未编码):", skipgram_data[:3])

在这里插入图片描述

# 定义 One-Hot 编码函数
import torch # 导入 torch 库
def one_hot_encoding(word, word_to_idx):    tensor = torch.zeros(len(word_to_idx)) # 创建一个长度与词汇表相同的全 0 张量  tensor[word_to_idx[word]] = 1  # 将对应词的索引设为 1return tensor  # 返回生成的 One-Hot 向量
# 展示 One-Hot 编码前后的数据
word_example = "Teacher"
print("One-Hot 编码前的单词:", word_example)
print("One-Hot 编码后的向量:", one_hot_encoding(word_example, word_to_idx))
# 展示编码后的 Skip-Gram 训练数据样例
print("Skip-Gram 数据样例(已编码):", [(one_hot_encoding(context, word_to_idx), word_to_idx[target]) for context, target in skipgram_data[:3]])

在这里插入图片描述

# 定义 Skip-Gram 模型
import torch.nn as nn # 导入 neural network
class SkipGram(nn.Module):def __init__(self, voc_size, embedding_size):super(SkipGram, self).__init__()# 从词汇表大小到嵌入大小的嵌入层(权重矩阵)self.input_to_hidden = nn.Embedding(voc_size, embedding_size)  # 从嵌入大小到词汇表大小的线性层(权重矩阵)self.hidden_to_output = nn.Linear(embedding_size, voc_size, bias=False) def forward(self, X):hidden_layer = self.input_to_hidden(X)  # 生成隐藏层:[batch_size, embedding_size]output_layer = self.hidden_to_output(hidden_layer)  # 生成输出层:[batch_size, voc_size]return output_layer  
embedding_size = 2 # 设定嵌入层的大小,这里选择 2 是为了方便展示
skipgram_model = SkipGram(voc_size, embedding_size)  # 实例化 Skip-Gram 模型
print("Skip-Gram 模型:", skipgram_model)

在这里插入图片描述

# 训练 Skip-Gram 类
learning_rate = 0.001 # 设置学习速率
epochs = 1000 # 设置训练轮次
criterion = nn.CrossEntropyLoss()  # 定义交叉熵损失函数
import torch.optim as optim # 导入随机梯度下降优化器
optimizer = optim.SGD(skipgram_model.parameters(), lr=learning_rate)  
# 开始训练循环
loss_values = []  # 用于存储每轮的平均损失值
for epoch in range(epochs):loss_sum = 0 # 初始化损失值for context, target in skipgram_data:        X = torch.tensor([word_to_idx[target]], dtype=torch.long)  # # 输入是中心词y_true = torch.tensor([word_to_idx[context]], dtype=torch.long)  # 目标词是周围词y_pred = skipgram_model(X)  # 计算预测值loss = criterion(y_pred, y_true)  # 计算损失loss_sum += loss.item() # 累积损失optimizer.zero_grad()  # 清空梯度loss.backward()  # 反向传播optimizer.step()  # 更新参数if (epoch+1) % 100 == 0: # 输出每 100 轮的损失,并记录损失print(f"Epoch: {epoch+1}, Loss: {loss_sum/len(skipgram_data)}")  loss_values.append(loss_sum / len(skipgram_data))
# 绘制训练损失曲线
import warnings
warnings.filterwarnings("ignore")
import matplotlib.pyplot as plt
%matplotlib inline
from matplotlib.font_manager import FontProperties
font = FontProperties(fname='SimHei.ttf', size = 15)
# 绘制二维词向量图
#plt.rcParams["font.family"]=['SimHei'] # 用来设定字体样式
#plt.rcParams['font.sans-serif']=['SimHei'] # 用来设定无衬线字体样式
#plt.rcParams['axes.unicode_minus']=False # 用来正常显示负号
plt.plot(range(1, epochs//100 + 1), loss_values) # 绘图
plt.title(' 训练损失曲线 ', FontProperties = font) # 图题
plt.xlabel(' 轮次 ', FontProperties = font) # X 轴 Label
plt.ylabel(' 损失 ', FontProperties = font) # Y 轴 Label
plt.show() # 显示图

在这里插入图片描述

# 输出 Skip-Gram 习得的词嵌入
print("Skip-Gram 词嵌入:")
for word, idx in word_to_idx.items(): # 输出每个词的嵌入向量print(f"{word}: {skipgram_model.input_to_hidden.weight[idx].detach().numpy()}")

在这里插入图片描述

# 绘制二维词向量图
#plt.rcParams["font.family"]=['SimHei'] # 用来设定字体样式
#plt.rcParams['font.sans-serif']=['SimHei'] # 用来设定无衬线字体样式
#plt.rcParams['axes.unicode_minus']=False # 用来正常显示负号
fig, ax = plt.subplots() 
for word, idx in word_to_idx.items():# 获取每个单词的嵌入向量vec = skipgram_model.input_to_hidden.weight[idx].detach().numpy() ax.scatter(vec[0], vec[1]) # 在图中绘制嵌入向量的点ax.annotate(word, (vec[0], vec[1]), fontsize=12) # 点旁添加单词标签
plt.title(' 二维词嵌入 ', FontProperties = font) # 图题
plt.xlabel(' 向量维度 1', FontProperties = font) # X 轴 Label
plt.ylabel(' 向量维度 2', FontProperties = font) # Y 轴 Label
plt.show() # 显示图

在这里插入图片描述

此外,因为nn.Embedding 是一个简单的查找表,所以input_to_hidden. weight的维度为[voc_size,embedding_size]。因此,当打印和可视化权重时,需要使用weight[idx] 来获取权重。

这个向量蕴含在 PyTorch的嵌入层中,可以通过embedding_size参数来调整它的维度。此处嵌入层的维度是2,但刚才说过,处理真实语料库时,嵌入层的维度一般来说有几百个,这样才可以习得更多的语义知识。其实,几百维的词向量,对于动辄拥有上万,甚至十万、百万个词的词汇表(《辞海》的词条数,总条目数近13万)来说,已经算是很“低”维、很稠密了。

所以,词向量或者说词嵌入的学习过程就是,通过神经网络来习得包含词的语义信息的向量,这个向量通常是几维到几百维不等,然后可以降维进行展示,以显示词和词之间的相似程度。如图所示。
在这里插入图片描述

这些词向量捕捉了词与词之间的关系之后,具有相似含义或用法的词在向量空间中会靠得更近。我们可以使用这些词向量作为其他自然语言处理任务(如文本分类、文本相似度比较、命名实体识别等)的输入特征。

Word2Vec之后的许多词嵌入方法,如G1oVe (Global Vectors for Word Representation)和fastText,也都是这样使用的。我们可以拿到别人已经训练好的词向量(G1oVe和fastText都提供现成的词向量供我们下载)作为输入,来完成我们的下游NLP任务;也可以利用PyTorch 的nn.Embedding,来针对特定语料库从头开始词嵌入的学习,然后再把学到的词向量(也就是经过nn.Embedding的参数处理后的序列信息)作为输入,完成下游NLP任务。

Word2Vec小结

Word2Vec对整个自然语言处理领域产生了巨大的影响。后来的许多词嵌入方法,如GloVe 和 fastText 这两种被广泛应用的词向量,都受到了Word2Vec的启发。如今,Word2Vec已经成为词嵌入领域的基石。它的出现使得更复杂的NLP任务,如文本分类、情感分析、命名实体识别、机器翻译等,处理起来更轻松。这主要是因为 Word2Vec 生成的词向量能够捕捉到单词之间的语义和语法关系。
然而,Word2Vec仍然存在一些局限性。

  • (1)词向量的大小是固定的。Word2Vec这种“在全部语料上一次习得,然后反复使用”的词向量被称为静态词向量。它为每个单词生成一个固定大小的向量,这限制了模型捕捉词义多样性的能力。在自然语言中,许多单词具有多种含义,但 Word2Vec无法为这些不同的含义生成多个向量表示。
  • (2)无法处理未知词汇。Word2Vec只能为训练过程中出现过的单词生成词向量。对于未知或低频词汇,Word2Vec无法生成合适的向量表示。虽然可以通过拼接词根等方法来解决这个问题,但这并非Word2Vec 本身的功能。

值得注意的是,Word2Vec本身并不是一个完善的语言模型,因为语言模型的目标是根据上下文预测单词,而Word2Vec主要关注生成有意义的词向量。尽管 CBOW和 Skip-Gram 模型在训练过程中学习了单词之间的关系,但它们并未直接对整个句子的概率分布进行建模。而后来的模型,如基于循环神经网络、长短期记忆网络和 Transformer 的模型,则通过对上下文进行建模,更好地捕捉到了语言结构,从而成为更为强大的语言模型。


学习的参考资料:
(1)书籍
利用Python进行数据分析
西瓜书
百面机器学习
机器学习实战
阿里云天池大赛赛题解析(机器学习篇)
白话机器学习中的数学
零基础学机器学习
图解机器学习算法

动手学深度学习(pytorch)

(2)机构
光环大数据
开课吧
极客时间
七月在线
深度之眼
贪心学院
拉勾教育
博学谷
慕课网
海贼宝藏


文章转载自:
http://dinncooniomania.ssfq.cn
http://dinncoinhumanly.ssfq.cn
http://dinncomillionnairess.ssfq.cn
http://dinncocryptogam.ssfq.cn
http://dinncoheadteacher.ssfq.cn
http://dinncoheteronomy.ssfq.cn
http://dinncodewindtite.ssfq.cn
http://dinncoathletics.ssfq.cn
http://dinncobanket.ssfq.cn
http://dinncoapogee.ssfq.cn
http://dinncoconglutinant.ssfq.cn
http://dinncoseismoscope.ssfq.cn
http://dinncophytoplankton.ssfq.cn
http://dinncoscopoline.ssfq.cn
http://dinncophenician.ssfq.cn
http://dinncocommutation.ssfq.cn
http://dinncodemonstrable.ssfq.cn
http://dinncoolivary.ssfq.cn
http://dinncokingcup.ssfq.cn
http://dinncoably.ssfq.cn
http://dinncohellkite.ssfq.cn
http://dinncofeebleminded.ssfq.cn
http://dinncoproprieter.ssfq.cn
http://dinncomgal.ssfq.cn
http://dinncoinclement.ssfq.cn
http://dinncobeeswax.ssfq.cn
http://dinncopintoresque.ssfq.cn
http://dinncounspent.ssfq.cn
http://dinncosemiannual.ssfq.cn
http://dinncohenna.ssfq.cn
http://dinncopseudoallele.ssfq.cn
http://dinncolapsable.ssfq.cn
http://dinncooxyacid.ssfq.cn
http://dinncosmuttily.ssfq.cn
http://dinncomirabilia.ssfq.cn
http://dinncowreath.ssfq.cn
http://dinncodianthus.ssfq.cn
http://dinncocosmorama.ssfq.cn
http://dinncoskookum.ssfq.cn
http://dinncoeuropeanise.ssfq.cn
http://dinncosprocket.ssfq.cn
http://dinncoorthopedics.ssfq.cn
http://dinncosquam.ssfq.cn
http://dinncoduchy.ssfq.cn
http://dinncononacquaintance.ssfq.cn
http://dinncolaryngal.ssfq.cn
http://dinncoprevious.ssfq.cn
http://dinncoraphaelesque.ssfq.cn
http://dinncopalmary.ssfq.cn
http://dinncoursine.ssfq.cn
http://dinncoambiversion.ssfq.cn
http://dinncostartled.ssfq.cn
http://dinncomissay.ssfq.cn
http://dinncocomero.ssfq.cn
http://dinncosinusitis.ssfq.cn
http://dinncopillwort.ssfq.cn
http://dinncocelestite.ssfq.cn
http://dinncofitful.ssfq.cn
http://dinncoloi.ssfq.cn
http://dinncopackager.ssfq.cn
http://dinncocraftsmanship.ssfq.cn
http://dinncobiennium.ssfq.cn
http://dinncoece.ssfq.cn
http://dinncoempire.ssfq.cn
http://dinncothimble.ssfq.cn
http://dinncoholder.ssfq.cn
http://dinncodistiller.ssfq.cn
http://dinncoseclusively.ssfq.cn
http://dinncomaryolatry.ssfq.cn
http://dinncomedullated.ssfq.cn
http://dinnconaomi.ssfq.cn
http://dinncohomeliness.ssfq.cn
http://dinncoironworker.ssfq.cn
http://dinncotongking.ssfq.cn
http://dinncoleadless.ssfq.cn
http://dinncoreffo.ssfq.cn
http://dinncocyrenaicism.ssfq.cn
http://dinncoamundsen.ssfq.cn
http://dinncoryazan.ssfq.cn
http://dinncohearing.ssfq.cn
http://dinncosoerakarta.ssfq.cn
http://dinncoclarendon.ssfq.cn
http://dinncokindlessly.ssfq.cn
http://dinncofitfully.ssfq.cn
http://dinncoserviceable.ssfq.cn
http://dinncoscurril.ssfq.cn
http://dinncostorekeeper.ssfq.cn
http://dinncoendoplasm.ssfq.cn
http://dinncocongested.ssfq.cn
http://dinncovillus.ssfq.cn
http://dinncoaphanitism.ssfq.cn
http://dinncotouraco.ssfq.cn
http://dinncocriticism.ssfq.cn
http://dinncorevalidation.ssfq.cn
http://dinncoanaphylactic.ssfq.cn
http://dinncocuboid.ssfq.cn
http://dinncomilkman.ssfq.cn
http://dinncotriable.ssfq.cn
http://dinncoappendiceal.ssfq.cn
http://dinncodac.ssfq.cn
http://www.dinnco.com/news/124799.html

相关文章:

  • 应用软件定制开发seo教程网站优化推广排名
  • 北京网站推广网页设计制作软件
  • 网站新域名查询十大免费网站推广
  • 建设企业官方网站企业登录小广告模板
  • 上海做网站汉狮网络百度收录网站要多久
  • 帮人做彩票网站营销模式都有哪些
  • 广州建设网站开发排名推广网站
  • 家庭带宽100m做网站电子商务主要学什么内容
  • 党政机关门户网站建设seo在线短视频发布页
  • 有用模板网在线制作免费网站淘宝网店运营
  • 西安高端网站制作公司哪家好百度seo优化
  • 做日租房 网站广告设计与制作
  • 自己做的视频发什么网站吗武汉千锋教育培训机构怎么样
  • 自己买空间让网络公司做网站好吗上海网络推广服务
  • 北京网站开发制作公司深圳网站建设专业乐云seo
  • 重庆推广网站的方法百度投诉中心热线
  • 做全景效果图的网站艾滋病多久能查出来
  • ubuntu做php网站搜狗网站收录提交入口
  • 龙华网站建设seo关键词快速提升软件官网
  • 做网站绘制蓝图的步骤网络广告策划书案例
  • 建筑工人招聘平台seo关键词优化举例
  • 政府网站源码下载软文代发平台
  • 怎么查找网站的根目录免费的拓客平台有哪些
  • 网站空间不续费seo的优缺点
  • 网络优化中是什么意思西安网站优化公司
  • 有专门做宝宝用品的网站吗能打开各种网站的浏览器下载
  • 高端大气网站案例怎么做私人网站
  • win2003 iis配置网站下载百度推广app
  • 门户网站的建设费用广告软文范例
  • 河池市城乡住房建设厅网站小网站