当前位置: 首页 > news >正文

用c 做网站大众网疫情最新消息

用c 做网站,大众网疫情最新消息,国内惯性导航,网址转换成二维码gpt是序列预测模型。 问答是通过确定问答格式样本训练出来的!比如“Q:xxxx.A:xxx"本质还是根据前面的序列预测后面的序列。在自回归训练过程中,文本序列(可能包含问题和紧随其后的答案)被视为一个整体输入到模型…

gpt是序列预测模型。

问答是通过确定问答格式样本训练出来的!比如“Q:xxxx.A:xxx"本质还是根据前面的序列预测后面的序列。在自回归训练过程中,文本序列(可能包含问题和紧随其后的答案)被视为一个整体输入到模型中。

词嵌入是把词汇转换成n维向量的层,此时向量不考虑前后文只考虑这个词是什么。类似查词典。

自注意力机制是把局部特征向量转换成全局特征向量的层,也就是考虑前后文改变这个词意,q反映是元素关注特征的向量,k是元素有的供别人关注特征的向量,所以点积之后反映的相似度代表了关注的和对方有的的契合度,也就可以衡量注意力得分了,除以维度开根是为了防止梯度爆炸,softmax是为了标准化。得到的就是注意力得分然后乘以对方的v向量就是受到对方的影响。

预测则是靠fnn(前馈网络)进行的。

gpt的参数通过反向传递和梯度下降进行查找的。经典的梯度下降就是通过链式法则的数学方法,不过也有随机梯度下降,adam什么的方法。变动一点的数值方法不知道有没有。

完整预测过程:

词嵌入矩阵是二维的,就像词典一样把词转换成n维度向量,有两个索引,分别是词语,还有维度,比如cat的向量是3,2,57,1,62。[cat,3]就是57.这样转换完得到的就是3维的局部向量,比如第1句的第3个词语是cat,转换后就是[1,3,0:4]=3,2,57,1,62。
再去多头自注意机制层,各个头平分维度,在低维子空间计算,所以每一个头管5(维度)/头数个维度,这个数也是dk,dq和dv,就是查询向量,键向量和值向量的维度。然后用序列内每一个元素的局部特征向量乘以查询向量变换矩阵,键向量变换矩阵和值向量变换矩阵,就可以得到查询向量,键向量和值向量。用a的查询向量点积b的键向量就可以得到a对b的注意力得分,然后除以向量维度(kqv的,都一样,等于局部特征向量除以头数)的1/2次方,这是为了防止过大,我之前有想为什么不除以模,说是实践中训练时间会高很多,除以这个可以削弱维度太多造成相似度的数值过大。再把这个注意力得分除以根号维度的东西做softmax归一化就可以放注意力得分矩阵里的a,b位置了,这个矩阵n*n,代表每一个元素i对元素j的注意(s受影响)程度,用这个值乘上j的v向量就是对i的影响,把每一个头得到的这个影响,重新拼起来,就是和原来局部特征向量维数一样的一个向量,通过残差连接把他加回原来的局部特征向量再做层归一化(归一化加缩放平移)就是全局特征向量。全局特征向量再放FNN里面预测后面的序列,特别是我发现预测的序列长度和原来的序列一定是相同的,因为算完的是改变值,加上原来的全局特征序列(残差)就是新的序列的全局特征序列。再归一化然后用词嵌入矩阵的转置矩阵(向量to词汇)(词汇,维度)转回去。
但是这个时候转回去可能发现转回的向量没有对应的词,比如这里适合放意思是15,2,66的词语,但是词嵌入矩阵里没有,只有15,2,63的apple和15,2,67的banana。那么就转概率或者说得分,所有概率用三维概率/得分分布矩阵保存。[1(第一句),4(第4个词),apple(词汇,通常也会转编码)]=4(得分),[1,4,banana]=6(得分)。
然后用softmax归一化之后,所有得分之和变成1,就是概率了,[1(第一句),4(第4个词),apple(词汇,通常也会转编码)]=0.4,[1,4,banana]=0.6。
然后选最大或者全输出什么的就看选择了。比如选最大,那么就推测下一个词语是banana。

sleepgpt主要是利用了全局特征向量这个功能。光通过局部特征无法判断有病与否。

某一个时间点不看前后,无论处在哪一个睡眠时期都不是有问题的。

但是特定的一些序列比如121(我乱说的,举个例子),323之类的就能说明有睡眠问题。

这就是gpt在分类中的运用。

最后说明一下知识是以参数形式隐性的存储在自注意力,FNN,层归一化等层的训练参数中的。绝大多数比如查询(Q)、键(K)和值(V)矩阵是通过训练学习到的参数,但是像注意力得分矩阵这种是需要根据q向量和前后文kv向量算的,当然是每一次理解前后文的时候都要去算的。

http://www.dinnco.com/news/48577.html

相关文章:

  • 网站开发定制多少钱石家庄seo网站排名
  • 电子商务网站建设与维护方法分析不包括哪些su搜索引擎优化
  • 销售类网站开发架构军事新闻最新24小时
  • 深圳外贸公司招聘pc网站优化排名软件
  • 狐表做网站厦门seo关键词优化
  • 购物网站中加减数目的怎么做营销的方法和技巧
  • 农业信息网站建设方案爱站网长尾关键词
  • 怎么查网站备案信息查询手机版谷歌浏览器入口
  • 微信公众号可以做微网站域名备案查询
  • 做插画的网站友链大全
  • 网站开发 访问速度慢国内专业seo公司
  • 代理服务器软件山西seo谷歌关键词优化工具
  • 做一个电影网站需要多少钱武汉软件测试培训机构排名
  • 编程开发工具有哪些seo外包网络公司
  • 公司局域网组建方案seochinaz查询
  • 最新网站开发价格百度快速排名优化服务
  • 企业网站建设熊掌号sem专员
  • 营销型网站的好处福州关键词优化平台
  • 上海高端网站建设公司seo技术服务外包公司
  • 动漫网页设计代码seo中文全称是什么
  • 做项目的招聘网站分销平台
  • 保定做网站设计网页制作代码
  • 经营网站如何挣钱如何用手机制作网站
  • 网站的毕业设计怎么做安徽关键词seo
  • 南山住房和建设局网站百度seo按天计费
  • 青海网站制作多少钱西安网站制作公司
  • 滨江区建设局官方网站seo网站优化教程
  • 做网站不小心复制了别人的链接什么软件能搜索关键词能快速找到
  • 今天新闻摘抄十条上海站群优化
  • 会泽住房和城乡建设局网站如何做好企业网站的推广