当前位置: 首页 > news >正文

自己做企业网站百度指数人群画像哪里查询

自己做企业网站,百度指数人群画像哪里查询,无锡网站建设专家,sftp更新WordPress文章目录 一、什么是模型蒸馏二、如何蒸馏三、常见问题3.1 四、参考文献 一、什么是模型蒸馏 Hinton在NIPS2014提出了知识蒸馏(Knowledge Distillation)的概念,旨在把一个大模型或者多个模型ensemble学到的知识迁移到另一个轻量级单模型上&a…

文章目录

  • 一、什么是模型蒸馏
  • 二、如何蒸馏
  • 三、常见问题
    • 3.1
  • 四、参考文献

一、什么是模型蒸馏

Hinton在NIPS2014提出了知识蒸馏(Knowledge Distillation)的概念,旨在把一个大模型或者多个模型ensemble学到的知识迁移到另一个轻量级单模型上,方便部署。简单的说就是用小模型去学习大模型的预测结果,而不是直接学习训练集中的label。
在蒸馏的过程中,原始大模型称为教师模型(teacher),新的小模型称为学生模型(student),训练集中的标签称为hard label,教师模型预测的概率输出为soft label,temperature(T)是用来调整soft label的超参数。
学习软标签之所以能work,核心是因为好模型的目标不是拟合训练数据,而是学习如何泛化到新的数据。原始论文表述是:When the soft targets have high entropy, they provide much more information per training case than hard targets and much less variance in the gradient between training cases, so the small model can often be trained on much less data than the original cumbersome model and using a much higher learning rate.

二、如何蒸馏

之前提到学生模型需要通过教师模型的输出学习泛化能力,那对于简单的二分类任务来说,直接拿教师预测的0/1结果会与训练集差不多,没什么意义,那拿概率值是不是好一些?于是Hinton采用了教师模型的输出概率q,同时为了更好地控制输出概率的平滑程度,给教师模型的softmax中加了一个参数T。
在这里插入图片描述
有了教师模型的输出后,学生模型的目标就是尽可能拟合教师模型的输出,新loss就变成了:
在这里插入图片描述
其中CE是交叉熵(Cross-Entropy),y是真实label,p是学生模型的预测结果,是蒸馏loss的权重。这里要注意的是,因为学生模型要拟合教师模型的分布,所以在求p时的也要使用一样的参数T。另外,因为在求梯度时新的目标函数会导致梯度是以前的 ,所以要再乘上,不然T变了的话hard label不减小(T=1),但soft label会变。

有同学可能会疑惑:如果可以拟合prob,那直接拟合logits可以吗?

当然可以,Hinton在论文中进行了证明,如果T很大,且logits分布的均值为0时,优化概率交叉熵和logits的平方差是等价的。

三、常见问题

3.1

四、参考文献

  • BERT蒸馏完全指南|原理/技巧/代码
  • Distilling the Knowledge in a Neural Network
http://www.dinnco.com/news/37718.html

相关文章:

  • 大连 网站建设深圳网站优化推广
  • 松江b2c网站制作价格中国网络营销公司排名
  • 友联建设集团官方网站成都网站优化及推广
  • 有域名可以自己做网站吗公司推广宣传文案
  • 做网站项目需要多少钱网上推广
  • 成都网站制作是什么seo咨询服务价格
  • 建设工程教育网手机版东莞seo排名扣费
  • 关于公司网站怎么做域名注册免费
  • 社群网站建设seo搜索引擎优化公司
  • 沈阳快速建站模板在线推广企业网站的方法有
  • 陕西省建设厅执业资格注册中心网站报名系统外贸seo推广公司
  • 网站建设制作需要多少钱什么叫外链
  • 公司网站制作的公司安徽网站推广公司
  • 网站底部代码大全天津seo结算
  • 学生模拟网站开发无锡营销型网站制作
  • 网站顶部设计网络营销公司经营范围
  • 网站建设续签合同怎么签成都营销推广公司
  • 摄影网站制作厦门seo关键词排名
  • 开源企业建站系统哪个好开发一个网站需要哪些技术
  • 蓬莱网站建设价格百度指数名词解释
  • 网站后台传图片传不了2345网址导航怎么下载
  • 青岛网站建设 上流四川seo平台
  • 教做发型的网站seo顾问阿亮
  • 网站规划文案排名优化哪家好
  • 企业办公系统oa哪个好天津的网络优化公司排名
  • 上海武汉阳网站建设网站关键词排名查询
  • 封面设计网站专业seo整站优化
  • 现代风格装修效果图山东seo优化
  • 备案老域名win7优化大师
  • 建站网站 国外长沙网站优化