当前位置: 首页 > news >正文

深圳竞价网站关键词排名优化价格

深圳竞价网站,关键词排名优化价格,山东平台网站建设推荐,我们网站百度快照显示违规内容DeepSeek 系统模型的基本架构仍然基于Transformer框架,为了实现高效推理和经济高效的训练,DeepSeek 还采用了MLA(多头潜在注意力)。 MHA(多头注意力)通过多个注意力头并行工作捕捉序列特征,但面临高计算成本…

DeepSeek 系统模型的基本架构仍然基于Transformer框架,为了实现高效推理和经济高效的训练,DeepSeek 还采用了MLA(多头潜在注意力)。 MHA(多头注意力)通过多个注意力头并行工作捕捉序列特征,但面临高计算成本和显存占用;MLA(多头潜在注意力)则通过低秩压缩优化键值矩阵,降低显存占用并提高推理效率。

MHA(Muti Head Attention)

多头注意力机制 (MHA)通过多个注意力头并行工作来捕捉序列特征,但这种方法会导致计算成本高和显存占用大的问题。并且随着上下文窗口或批量大小的增加,多头注意力 (MHA)模型中与 KV 缓存大小相关的内存成本显着增长。

KV Cache 缓存的到底是什么呢

  • 基于 transformer 中的注意力计算公式

  • 预测下一个 token 时,其只能看到待预测 token 之前的所有 token,故在最终生成整个序列的过程中,会涉及到如下计算过程

  • 然后把上面的softmax结果和对应的V值一相乘,便可得到

  • 可以很明显的看到,上述计算过程中,有不少的重复计算,比如 K1V1, K2V2, K3V3 等,如果序列长度越长,类似这样的 KV 计算将越来越多

为了加快推理速度,很自然的就想起将这些 KV 对缓存到显存中,等到计算时命中了缓存就不用再重复计算了,自然也就加快了推理的速度。但是这种以空间换时间的做法,就带来了显存消耗巨大的问题,如下图所示,在模型推理时,KV Cache在显存占用量可达30%以上

自此针对于 KV cache 优化的工作也就应运而生了

GQA(Grouped-Query Attention) 、MQA(Muti Query Attention)

  • GQA是query数不变,但多个query(比如2个)组成一个group以共享一个key value
  • MQA则query也不变,但所有query(比如8个)共享一个key、一个value

MQA虽然较大降低了KV cache计算量,但性能相比MHA下降太多了,至于GQA的话则取了个折中:不好的是缓存下降的不够多、好的是相比MHA性能没有下降太多

MLA(Multi-head Latent Attent):致力于在推理中降低

  • MLA 致力于在推理中降低隐层维度,而不是直接减少 cache 的数量,而是类似 Lora 的方法,用多个小矩阵乘法来近似替代大矩阵

  • 对 Key 和 Value 进行了一个低秩联合压缩(即Low-Rank Key-Value Joint Compression,通过低秩转换为一个压缩的 KV,使得存储的 KV 的维度显著减小,在 MHA GQA中大量存在于keys values中的 KV 缓存——带阴影表示,到了MLA中时,只有一小部分的被压缩Compressed的Latent KV了

  • MLA的两个部分:一部分做压缩、一部分做RoPE编码,一文通透DeepSeek V2——通俗理解多头潜在注意力MLA:改进MHA,从而压缩KV缓存,提高推理速度一文中有详细的推导过程可供参考
    • MLA 先对Q K V的进行压缩:先对KV联合压缩后升维,再对Q压缩后升维
    • MLA 对 query 和 key 进行 RoPE 编码,并对其中的Key位置编码的部分进行 Cache,从而在推理时不需要对Key进行位置编码的计算,提高了推理效率

参考文献

  1. 一文通透DeepSeek V2——通俗理解多头潜在注意力MLA:改进MHA,从而压缩KV缓存,提高推理速度
  2. 一文搞懂DeepSeek - 多头注意力(MHA)和多头潜在注意力(MLA)
  3. DeepSeek V3推理: MLA与MOE解析
  4. 一文通透让Meta恐慌的DeepSeek-V3:在MoE、GRPO、MLA基础上提出Multi-Token预测(含FP8训练详解)
http://www.dinnco.com/news/36906.html

相关文章:

  • 丹阳网站优化四川旅游seo整站优化
  • 制作网站的公司怎样在百度上推广
  • 网站开发的前端技术有哪些网站推广怎么优化
  • ps做的网站怎样在dw里打开怎么做网站排名
  • 什么网站可以做excel表格做seo排名
  • 互联网软件开发是什么商丘网站seo
  • 江津做网站微博推广效果怎么样
  • 可以做ps兼职的网站苏州seo快速优化
  • 网站里的注册怎么做站长之家ip查询
  • 怎么样学做网站seo网站搭建是什么
  • 个人网站 怎么备案杭州seo平台
  • 墙绘做网站推广有作用没个人推广app的妙招
  • 传奇世界私服怎么做自己的网站如何搭建公司网站
  • 建设厅官方网站抖音搜索引擎优化
  • 网站建设专题搜索引擎推广方法
  • 国外网站建设推广网站排名优化公司
  • 网站引导页分为三个板块设计风格真人seo点击平台
  • java做网站下载图片广东网站营销seo费用
  • 电子商务网站建设 名词解释网络推广策划案
  • 无锡工业设计公司南京seo网站管理
  • 网站做宣传域名什么好免费seo优化工具
  • 在线diy网站西安核心关键词排名
  • 李青青做网站 公司主要做应用领域搜索引擎优化到底是优化什么
  • 三网一体网站建设品牌推广策划方案怎么写
  • 网站开发补充协议 违约宁德市人社局
  • 没营业执照怎么做网站想要推广网页
  • 文山州住房和城乡建设网站2023年免费b站推广大全
  • 哈尔滨信息网招聘温州网站优化推广方案
  • 贵州微信网站建设百度快照投诉中心人工电话
  • seo培训公司南京网络优化培训