当前位置: 首页 > news >正文

怎么让自己的网站稍微变前面点谷歌商店app下载

怎么让自己的网站稍微变前面点,谷歌商店app下载,周口做网站多少钱,义乌建站本文将介绍如下内容: 一、搭建 Docker Container 环境二、配置大模型训练环境三、构建、配置数据集四、训练大模型 一、搭建 Docker Container 环境 笔者此前多篇文章说明,此处不再赘述,可参考:NGC容器中快速搭建Jupyter环境 E…

本文将介绍如下内容:

  • 一、搭建 Docker Container 环境
  • 二、配置大模型训练环境
  • 三、构建、配置数据集
  • 四、训练大模型

一、搭建 Docker Container 环境

笔者此前多篇文章说明,此处不再赘述,可参考:NGC容器中快速搭建Jupyter环境
Eg: NGC 版本为 24.09

二、配置大模型训练环境

1、下载代码
git clone https://github.com/hiyouga/LLaMA-Factory.git# 切换到此次案例的版本
git checkout c3fda5046d835ba4542d525b8d89cd12838e9f4c
2、配置训练环境
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
pip install deepspeed==0.15.4

三、构建、配置数据集

1、构建数据集

将数据构造为如下格式的json文件:

[{"instruction": "识别并解释给定列表中的两个科学理论:细胞理论和日心说。","input": "","output": "细胞理论是生物科学的一个理论,它认为所有生命体都是由微小的基本单元——细胞所构成。"},[{"instruction": "识别并解释给定列表中的两个科学理论:细胞理论和日心说。","input": "","output": "细胞理论是生物科学的一个理论,它认为所有生命体都是由微小的基本单元——细胞所构成。这是生物学的一个基础理论,认为细胞是所有生物的基本结构和功能单位,所有的生物都是由一个或>多个细胞组成,细胞只能通过细胞分裂产生新的细胞。这一理论由薛定谔、施瓦内和雪莱于1839年首次提出。\n\n日心说是指太阳是太阳系的中心,也就是说,行星围绕太阳旋转的理论。这个理论打破了传统的
地心说观点,认为地球并不是宇宙的中心。日心说的提出者是尼古拉·哥白尼,他在16世纪初发表了他的著作《天体运行论》,阐述了太阳系行星围绕太阳运行的模型,为天文学的发展做出了巨大贡献。"},
]
2、配置数据集

vim LLaMA-Factory/data/dataset_info.json

{"dataset_merged": {"file_name": "dataset_merged.json"},"identity": {"file_name": "identity.json"},
}

四、训练大模型

1、torchrun 命令详细
--nnodes: 总共的节点(机器)数量。
--nproc_per_node: 每个节点上要使用的进程数,通常等于该节点所使用的 GPU 数。
--node_rank: 当前节点的编号,从 0 开始计数。
--master_addr: 主节点(node_rank=0)的 IP 地址或主机名。
--master_port: 用于通信的端口,确保这个端口在主节点是空闲、未被占用的。
2 、单机多卡案例

在单机多卡的场景下,nnodes 设置为 1,node_rank 为 0,master_addr 通常设为 localhost 或者 127.0.0.1,master_port 选择一个未被占用的端口(例如 12355)。

#!/bin/bash# 分布式训练参数
DISTRIBUTED_ARGS="--nnodes=1 \--node_rank=0 \--nproc_per_node=3 \--master_addr=127.0.0.1 \--master_port=12355 \
"# 设置可见的 GPU 设备,这里选择 GPU 0, 2, 3
CUDA_VISIBLE_DEVICES=0,2,3 torchrun $DISTRIBUTED_ARGS src/train.py \--stage sft \--do_train \--deepspeed /data/njh/generate-medical-record/LLaMA-Factory/examples/deepspeed/ds_z2_config_self.json \--use_fast_tokenizer \--flash_attn auto \--model_name_or_path /nasdata/zhanjie/models/Qwen2.5-7B-Instruct \--dataset dataset_merged \--template qwen \--finetuning_type full  \--lora_dropout 0.2 \--lora_target lora \--output_dir saves/qwen2.5-7B-Instruct/epoch3_dropout2_rank4 \--overwrite_cache \--overwrite_output_dir \--warmup_steps 100 \--weight_decay 0.1 \--per_device_train_batch_size 1 \--gradient_accumulation_steps 4 \--ddp_timeout 9000 \--learning_rate 1e-5 \--lr_scheduler_type cosine \--logging_steps 1 \--cutoff_len 6000 \--save_steps 100 \--plot_loss \--num_train_epochs 1 \--bf16 True \--optim adamw_torch \--lora_rank 4 \--lora_alpha 8
说明:--nnodes=1:表示总共有1个节点(机器)。
--node_rank=0:当前节点编号为0(唯一的节点)。
--nproc_per_node=3:每个节点上启动3个进程,对应3个GPU(GPU 0, 2, 3)。
--master_addr=127.0.0.1:主节点地址为本机。
--master_port=12355:主节点通信端口。
3、多机多卡案例

在多机多卡的场景下,假设有两台机器(节点),每台机器有3个GPU。需要在每台机器上分别运行相应的 torchrun 命令,并确保主节点的 master_addr 和 master_port 在所有节点上保持一致。

  • 主节点(Node 0)
#!/bin/bash# 分布式训练参数
DISTRIBUTED_ARGS="--nnodes=2 \--node_rank=0 \--nproc_per_node=3 \--master_addr=192.168.1.1 \--master_port=12355 \
"# 设置可见的 GPU 设备,这里选择 GPU 0, 2, 3
CUDA_VISIBLE_DEVICES=0,2,3 torchrun $DISTRIBUTED_ARGS src/train.py \--your_other_args

说明:

–nnodes=2:总共有2个节点。
–node_rank=0:当前节点为主节点(编号为0)。
–master_addr=192.168.1.1:主节点的IP地址(需替换为实际主节点IP)。
其他参数同单机多卡。

  • 从节点(Node 1)
#!/bin/bash# 分布式训练参数
DISTRIBUTED_ARGS="--nnodes=2 \--node_rank=1 \--nproc_per_node=3 \--master_addr=192.168.1.1 \--master_port=12355 \
"# 设置可见的 GPU 设备,这里选择 GPU 0, 2, 3
CUDA_VISIBLE_DEVICES=0,2,3 torchrun $DISTRIBUTED_ARGS src/train.py \--stage sft \--do_train \--deepspeed /data/njh/generate-medical-record/LLaMA-Factory/examples/deepspeed/ds_z2_config_self.json \--use_fast_tokenizer \--flash_attn auto \--model_name_or_path /nasdata/zhanjie/models/Qwen2.5-7B-Instruct \--dataset dataset_merged \--template qwen \--finetuning_type full  \--lora_dropout 0.2 \--lora_target lora \--output_dir saves/qwen2.5-7B-Instruct/epoch3_dropout2_rank4 \--overwrite_cache \--overwrite_output_dir \--warmup_steps 100 \--weight_decay 0.1 \--per_device_train_batch_size 1 \--gradient_accumulation_steps 4 \--ddp_timeout 9000 \--learning_rate 1e-5 \--lr_scheduler_type cosine \--logging_steps 1 \--cutoff_len 6000 \--save_steps 100 \--plot_loss \--num_train_epochs 1 \--bf16 True \--optim adamw_torch \--lora_rank 4 \--lora_alpha 8

说明:

–nnodes=2:总共有2个节点。
–node_rank=1:当前节点为从节点(编号为1)。
–master_addr=192.168.1.1 和 --master_port=12355:与主节点保持一致。
其他参数同单机多卡。
注意事项:

网络通信:确保所有节点之间的网络通信正常,且 master_port 在主节点上是开放且未被占用的。
同步代码和环境:所有节点上的代码和运行环境(如PyTorch版本、依赖库等)应保持一致。
数据访问:确保所有节点能够访问到训练所需的数据,数据存储路径应一致或通过网络共享。

http://www.dinnco.com/news/36779.html

相关文章:

  • wordpress 链接框seo排名优化什么意思
  • 创建视频网站微信小程序开发一个多少钱啊
  • 什么网站做简历百度搜索软件
  • 做外单要上什么网站热点军事新闻
  • 织梦高清电影网站模板静态网页设计与制作
  • wordpress登录网站百度竞价点击价格
  • 桦南县建设局网站福州seo网站管理
  • 安卓aso关键词优化seo关键词怎么选
  • 做电影网站的流程seo公司 上海
  • 福建省人民政府新闻网络seo是什么
  • 怎么下载四川人社app草根seo视频大全
  • 网站开发企业中国舆情观察网
  • 安阳网站建设哪家专业seo网站快速排名
  • 做食品的网站设计要注意东莞网站建设最牛
  • 温州vi设计公司整站优化提升排名
  • seo营销是什么意思旺道seo推广有用吗
  • 农行网站不出动画怎么做seo营销服务
  • 官网开发seo从0到1怎么做
  • 铁岭手机网站建设关键词排名优化
  • 郑州做网站哪家公司好网络推广方式主要有
  • 做公益的网站有哪些免费网站可以发布广告
  • 21dove谁做的的网站seo基础理论
  • 公司网站重新建站通知学编程的正规学校
  • 品牌建设网站公司排名美食软文300字
  • 21天网站建设实录pdf百度关键词价格
  • 销售型网站如何做推广长沙优化排名
  • 做网站选云服务器内核外贸网站推广与优化
  • 动态网站开发服务器端脚本语言百度榜单
  • 手机网站设计开发电商网络营销
  • 新闻网页设计模板东莞seo搜索