当前位置: 首页 > news >正文

自己做的网站被黑了怎么办网络营销怎么做推广

自己做的网站被黑了怎么办,网络营销怎么做推广,响应式网站 模版,wordpress模板主题在NVIDIA Jetson平台离线部署大模型,开启离线具身智能新纪元。 本项目提供一种将LMDeploy移植到NVIDIA Jetson系列边缘计算卡的方法,并在Jetson计算卡上运行InternLM系列大模型,为离线具身智能提供可能。 最新新闻🎉 [2024/3/1…

在NVIDIA Jetson平台离线部署大模型,开启离线具身智能新纪元。

本项目提供一种将LMDeploy移植到NVIDIA Jetson系列边缘计算卡的方法,并在Jetson计算卡上运行InternLM系列大模型,为离线具身智能提供可能。

最新新闻🎉

  • [2024/3/15] 更新了对LMDeploy-v0.2.5。
  • [2024/2/26] 本项目被LMDeploy官方社区收录。

已验证模型/平台

  • ✅:已验证可运行
  • ❌:已验证不可运行
  • ⭕️:待验证
ModelsInternLM-7BInternLM-20BInternLM2-1.8BInternLM2-7BInternLM2-20B
Orin AGX(32G)
Jetpack 5.1

Mem:??/??
14.68 token/s

Mem:??/??
5.82 token/s

Mem:??/??
56.57 token/s

Mem:??/??
14.56 token/s

Mem:??/??
6.16 token/s
Orin NX(16G)
Jetpack 5.1

Mem:8.6G/16G
7.39 token/s

Mem:14.7G/16G
3.08 token/s

Mem:5.6G/16G
22.96 token/s

Mem:9.2G/16G
7.48 token/s

Mem:14.8G/16G
3.19 token/s
Xavier NX(8G)
Jetpack 5.1

Mem:4.35G/8G
28.36 token/s

未来工作

  • 更新更多型号Jetson板卡的Benchmark测试数据
  • 制作Jetson专用whl发行版
  • 跟进更新版本的LMDeploy

部署教程

Jetson端离线运行InternLM大模型

创建模型保存目录:

mkdir -p ~/models

将S1.服务器端模型W4A16量化得到的internlm-chat-7b-turbomind.tgz上传到models目录下。

解压模型文件:

tar zxvf internlm-chat-7b-turbomind.tgz -C .

0.Bug解决:修改MMEngine库

Jetson端的pytorch不支持分布式的reduce算子,这会导致MMEngine库中与分布式有关的部分出现错误。

错误为:

AttributeError: module 'torch.distributed' has no attribute 'ReduceOp'

激活conda环境:

conda activate lmdeploy

用解释器方式运行python:

python

输入如下内容:

import mmengine
print(mmengine.__file__)

这就输出了MMEngine库的安装位置,笔者的是/home/nvidia/miniconda3/envs/lmdeploy/lib/python3.8/site-packages/mmengine/__init__.py,那么相应位置就是home/nvidia/miniconda3/envs/lmdeploy/lib/python3.8/site-packages/mmengine/,咱们用<path/to/mmengine>代替。

修改<path/to/mmengine>/logging/logger.py第208行:

- global_rank = _get_rank()
+ global_rank = 0

在运行就不会报错了。

注意:该方式过于粗暴,仅适用于Jetson平台部署推理,在服务器端会影响分布式功能!

1.终端运行

激活conda环境:

conda activate lmdeploy

运行模型:

lmdeploy chat turbomind ./internlm-chat-7b-turbomind

在这里插入图片描述

2.Python集成运行

编写运行脚本run_model.py,内容如下:

from lmdeploy import turbomind as tmif __name__ == "__main__":model_path = "./internlm-chat-7b-turbomind" # 修改成你的路径tm_model = tm.TurboMind.from_pretrained(model_path)generator = tm_model.create_instance()while True:inp = input("[User] >>> ")if inp == "exit":breakprompt = tm_model.model.get_prompt(inp)input_ids = tm_model.tokenizer.encode(prompt)for outputs in generator.stream_infer(session_id=0, input_ids=[input_ids]):res = outputs[1]response = tm_model.tokenizer.decode(res)print("[Bot] <<< {}".format(response))

激活conda环境:

conda activate lmdeploy

运行脚本:

python run_model.py

在这里插入图片描述

附录

  • 为Jetson重装Jetpack
  • LMDeploy-Jetson基准测试

引用

如果本项目对您的工作有所帮助,请使用以下格式引用:

@misc{2024lmdeployjetson,title={LMDeploy-Jetson:Opening a new era of Offline Embodied Intelligence},author={LMDeploy-Jetson Community},url={https://github.com/BestAnHongjun/LMDeploy-Jetson},year={2024}
}

致谢

  • 书生·浦语大模型实战营
  • 上海人工智能实验室
  • trt-llm
http://www.dinnco.com/news/36694.html

相关文章:

  • 做网站的公司好坑啊软文推广的优点
  • 网站下载下来怎么做后台惠州seo排名
  • 免费信息发布潍坊网站建设seo
  • 关于做网站的问卷调查微信朋友圈广告怎么推广
  • 移动端网站的优势人力资源培训
  • 网站建设周期计划北京最新疫情
  • asp个人网站建设seo短视频
  • 公司做的网站费用计入什么科目世界杯最新排名
  • 营销型网站建设一般包含哪些内容免费b站推广网站破解版
  • 做项目接任务的网站全球搜索引擎市场份额
  • 东莞网站建设案例今天今日新闻头条最新消息
  • 浦东教育网站官网免费网站推广网站破解版
  • 我想建设网站四川餐饮培训学校排名
  • 婚介交友网站建设自己怎么创建一个网站
  • 做彩票网站模板百度指数app
  • 网站通用banner大图网络营销项目策划方案
  • 网站开发wbs分解案例东莞网络优化调查公司
  • 网站建设网站栏目结构图深圳外贸推广公司
  • 通信网络维护是做什么的网络优化工程师主要做什么
  • 具有品牌的网站建设百度识图搜索引擎
  • 垄断了网站建设湖南网站建站系统哪家好
  • 怎么做网站注册推广门户网站排行榜
  • 做电子商务网站 语言体育新闻最新消息
  • 在线做简单的网站百度手机seo软件
  • 苏州市规划建设局网站郑州seo顾问热狗
  • 专做美妆的视频网站正规网络教育培训机构
  • 线上产品推广方案网站搜索排名优化
  • 做学校网站素材图片北京seo不到首页不扣费
  • 网站费用属于哪个费用鹤壁seo
  • 网站建设发布教程关键词搜索查询