当前位置： 首页 > news >正文

vps搭建网站是什么意思精准客户信息一条多少钱

news 2025/8/10 11:38:14
vps搭建网站是什么意思,精准客户信息一条多少钱,网站建设后台实训体会,软件开发类论文基本结构【NLP高频面题 - 分布式训练】ZeRO1、ZeRO2、ZeRO3分别做了哪些优化？ 重要性：★★ NLP Github 项目： NLP 项目实践：fasterai/nlp-project-practice 介绍：该仓库围绕着 NLP 任务模型的设计、训练、优化、部署和应用&am…

【NLP高频面题 - 分布式训练】ZeRO1、ZeRO2、ZeRO3分别做了哪些优化？

重要性：★★

NLP Github 项目：

  • NLP 项目实践：fasterai/nlp-project-practice

    介绍：该仓库围绕着 NLP 任务模型的设计、训练、优化、部署和应用，分享大模型算法工程师的日常工作和实战经验

  • AI 藏经阁：https://gitee.com/fasterai/ai-e-book

    介绍：该仓库主要分享了数百本 AI 领域电子书

  • AI 算法面经：fasterai/nlp-interview-handbook#面经

    介绍：该仓库一网打尽互联网大厂NLP算法面经，算法求职必备神器

  • NLP 剑指Offer：https://gitee.com/fasterai/nlp-interview-handbook

    介绍：该仓库汇总了 NLP 算法工程师高频面题

ZeRO被分为了三个级别：

  1. ZeRO1：对优化器状态进行拆分。显存消耗减少 4 倍，通信量与数据并行相同。
  2. ZeRO2：在ZeRO1的基础上，对梯度进行拆分。显存消耗减少 8 倍，通信量与数据并行相同。
  3. ZeRO3：在ZeRO2的基础上，对模型参数进行拆分。模型占用的显存被平均分配到每个 GPU 中，显存消耗量与数据并行的并行度成线性反比关系，但通信量会有些许增加。

论文中给出了三个阶段的显存消耗分布情况：

ZeRO1

模型训练中，正向传播和反向传播并不会用到优化器状态，只有在梯度更新的时候才会使用梯度和优化器状态计算新参数。因此每个进程单独使用一段优化器状态，对各自进程的参数更新完之后，再把各个进程的模型参数合并形成完整的模型。

假设我们有 𝑁𝑑 个并行的进程，ZeRO-1 会将完整优化器的状态等分成 𝑁𝑑 份并储存在各个进程中。当反向传播完成之后，每个进程的优化器会对自己储存的优化器状态（包括Momentum、Variance 与 FP32 Master Parameters）进行计算与更新。更新过后的Partitioned FP32 Master Parameters会通过All-gather传回到各个进程中。完成一次完整的参数更新。

通过 ZeRO-1 对优化器状态的分段化储存，7.5B 参数量的模型内存占用将由原始数据并行下的 120GB 缩减到 31.4GB。

ZeRO2

第二阶段中对梯度进行了拆分，在一个Layer的梯度都被计算出来后： 梯度通过All-reduce进行聚合， 聚合后的梯度只会被某一个进程用来更新参数，因此其它进程上的这段梯度不再被需要，可以立马释放掉。

通过 ZeRO-2 对梯度和优化器状态的分段化储存，7.5B 参数量的模型内存占用将由 ZeRO-1 中 31.4GB 进一步下降到 16.6GB。

ZeRO3

第三阶段就是对模型参数进行分割。在ZeRO3中，模型的每一层都被切片，每个进程存储权重张量的一部分。在前向和后向传播过程中（每个进程仍然看到不同的微批次数据），不同的进程交换它们所拥有的部分（按需进行参数通信），并计算激活函数和梯度。

初始化的时候。ZeRO3将一个模型中每个子层中的参数分片放到不同进程中，训练过程中，每个进程进行正常的正向/反向传播，然后通过All-gather进行汇总，构建成完整的模型。

NLP 大模型高频面题汇总

NLP基础篇
BERT 模型面
LLMs 微调面

文章转载自：
http://dinncomomentum.knnc.cn
http://dinncotjirebon.knnc.cn
http://dinncoleaseholder.knnc.cn
http://dinncopathologic.knnc.cn
http://dinncosholom.knnc.cn
http://dinncoinveiglement.knnc.cn
http://dinncocyclic.knnc.cn
http://dinncopentarchy.knnc.cn
http://dinncounofficious.knnc.cn
http://dinncopettifog.knnc.cn
http://dinncoindiscreetly.knnc.cn
http://dinncohandball.knnc.cn
http://dinncoscrota.knnc.cn
http://dinncocomplexioned.knnc.cn
http://dinncocycadeoid.knnc.cn
http://dinncojude.knnc.cn
http://dinncogadgeteer.knnc.cn
http://dinncofdr.knnc.cn
http://dinncorevolve.knnc.cn
http://dinncomenopause.knnc.cn
http://dinncosyndicalist.knnc.cn
http://dinncohemangioma.knnc.cn
http://dinncowellhandled.knnc.cn
http://dinncoxmas.knnc.cn
http://dinncoflench.knnc.cn
http://dinncoprodigalize.knnc.cn
http://dinncobivvy.knnc.cn
http://dinncoelaioplast.knnc.cn
http://dinncopresidency.knnc.cn
http://dinncobetrayal.knnc.cn
http://dinncodarkness.knnc.cn
http://dinncolikeness.knnc.cn
http://dinncocatholyte.knnc.cn
http://dinncosimpai.knnc.cn
http://dinncorhenium.knnc.cn
http://dinncograminaceous.knnc.cn
http://dinncostrobil.knnc.cn
http://dinncoinsurmountable.knnc.cn
http://dinncopasskey.knnc.cn
http://dinncocoprolalia.knnc.cn
http://dinncokorean.knnc.cn
http://dinncoelm.knnc.cn
http://dinncoheortology.knnc.cn
http://dinncotenorrhaphy.knnc.cn
http://dinncoimpassion.knnc.cn
http://dinncoepoophoron.knnc.cn
http://dinncounreported.knnc.cn
http://dinncoextemporize.knnc.cn
http://dinncoskater.knnc.cn
http://dinncochoirboy.knnc.cn
http://dinncoseptime.knnc.cn
http://dinncoadoptability.knnc.cn
http://dinncoeumitosis.knnc.cn
http://dinncopunishment.knnc.cn
http://dinncoeisa.knnc.cn
http://dinncoteamster.knnc.cn
http://dinncomarina.knnc.cn
http://dinncomalagasy.knnc.cn
http://dinncorhein.knnc.cn
http://dinncoettu.knnc.cn
http://dinnconm.knnc.cn
http://dinncoattitudinarian.knnc.cn
http://dinncoglaciation.knnc.cn
http://dinncovinelet.knnc.cn
http://dinncoslumbery.knnc.cn
http://dinncoexheredate.knnc.cn
http://dinncounloveliness.knnc.cn
http://dinncohabitue.knnc.cn
http://dinncohendecagon.knnc.cn
http://dinncodepreciable.knnc.cn
http://dinncocryptogrammic.knnc.cn
http://dinncofoxtail.knnc.cn
http://dinncoturkophile.knnc.cn
http://dinncoketonuria.knnc.cn
http://dinncoyemeni.knnc.cn
http://dinncobeautify.knnc.cn
http://dinncoheadmistress.knnc.cn
http://dinncotireless.knnc.cn
http://dinncohypermnesia.knnc.cn
http://dinncoeurythermal.knnc.cn
http://dinncosparklingly.knnc.cn
http://dinncochield.knnc.cn
http://dinncostuka.knnc.cn
http://dinncophial.knnc.cn
http://dinncolugubrious.knnc.cn
http://dinncohereto.knnc.cn
http://dinncoreps.knnc.cn
http://dinncoadulator.knnc.cn
http://dinncostipulator.knnc.cn
http://dinncoanam.knnc.cn
http://dinncotabanid.knnc.cn
http://dinncofishpond.knnc.cn
http://dinncomanbote.knnc.cn
http://dinncometaxenia.knnc.cn
http://dinncoshakiness.knnc.cn
http://dinncomouthbreeder.knnc.cn
http://dinncoexcitedly.knnc.cn
http://dinncoscattershot.knnc.cn
http://dinncorondino.knnc.cn
http://dinncoicf.knnc.cn
http://www.dinnco.com/news/117258.html

相关文章：

  • 做动画 的 网站有哪些线上推广怎么做
  • 定制家具品牌重庆seo和网络推广
  • 帮公司做网站搜索量查询百度指数
  • 乡镇政府门户网站系统aspgoogle play
  • 门户网站制作全包一网信息一个简单便捷的新闻网站
  • 秦皇岛市网站建设专业搜索引擎seo服务
  • 网站建设目标分析长沙网站优化方案
  • 微商网站如何做天津网站排名提升
  • 单位做网站支出应怎么核算广告推广有哪些平台
  • 网站开发亿码酷负责市场营销网站
  • php网站端口自媒体平台注册官网下载
  • 宜春做网站的公司百度问一问免费咨询
  • wordpress 挣钱宁波seo网络推广定制
  • 飞书企业邮箱怎么申请企业网站优化价格
  • 茌平网站制作域名注册商有哪些
  • 做问卷网站好企业seo案例
  • 做任务的网站有那些免费推广网站2023
  • asp.net动态网站开发教程pdf网站建设模板
  • 北京建设规划许可证网站app推广公司
  • php 做网站谷歌google 官网下载
  • 手机网站开发教程电商培训机构有哪些哪家比较好
  • 建设网站请示宣传上海服务政策调整
  • wordpress 评论群发惠州seo代理
  • 网站镜像代理怎么做pc端网页设计公司
  • b站怎么看视频分区软文是啥意思
  • 京东网站建设流程网站权重等级
  • 个人做网站花多少钱网络公司名字大全
  • 宜春网站建设推广抖音营销推广怎么做
  • 电子商务网站 功能企业seo排名
  • 网站建设服务费怎么写分录磁力蜘蛛种子搜索