当前位置: 首页 > news >正文

信息推广的方式有哪些网站优化网

信息推广的方式有哪些,网站优化网,怎么做二级网站域名,一个域名做两个网站可以么刚刚在Windows10上搭建环境来对llama2做finetune,里面坑还是挺多的,这里把印象中的坑整理了一下以作备忘。 llama-recipes是meta的开源项目,Github地址为:GitHub - facebookresearch/llama-recipes: Examples and recipes for Ll…

刚刚在Windows10上搭建环境来对llama2做finetune,里面坑还是挺多的,这里把印象中的坑整理了一下以作备忘。

llama-recipes是meta的开源项目,Github地址为:GitHub - facebookresearch/llama-recipes: Examples and recipes for Llama 2 model

llama2同样也是meta的开源LLM模型,因此用此项目做finetune应该是正确的方向;

模型的选择

模型在自然是在huggingface上下载到的,上面的模型很多,因此您也有很多选择。程序加载模型采用了torch因此需要选择带有pytorch-xxx.bin的目录。本人选择的是daryl149/llama-2-7b-chat-hf(daryl149/llama-2-7b-chat-hf · Hugging Face)

数据集选择

默认数据集是samsum_dataset;使用这个数据集的目标是为一段文字做总结。本人的模型微调目标是问答,所以使用了模型提到的另一个数据集:stanford的alpaca_dataset(文本数据21.7 MB)。

数据集请见:Stanford CRFM 

这里我是用项目自带的notebook “quickstart”来一步步执行的,所以我们需要在代码中对数据集进行调整

train_dataset = get_preprocessed_dataset(tokenizer, alpaca_dataset, 'train')

依赖包下载

依赖包下载比较麻烦,这里是坑最多的地方;国内的网速是一方面,类库对Windows系统的支持是另一方面。

国内镜像加速

很庆幸在互联网上找到了这个清华的源,在pip安装的时候可以加上参数:

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn

torch的下载

我这边经过requirement下载的默认是CPU版本的(😓)

需要卸载并安装GPU版本的,本人目前没有调通CPU版本的程序(从实际角度来说,也是GPU在真实场景下使用概率更高)。如何在安装请参考Start Locally | PyTorch

这里我通过CONDA,装的是CUDA11.8

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

一步步处理缺失的包

这里大概就是缺什么包就装什么包

有一点需要额外关注的,就是程序识别不到GPU

这种情况一是安装了CPU版本的pytorch,在前面提到了解决方法;还有一种可能是bitsandbytes的问题;

在Windows10中,我最后同时安装了bitsandbytes 0.39.0版本和bitsandbytes-Windows 0.37.5版本;

同时参考了这篇文章:win11下bitsandbytes的用法 – yinfupai

我仅仅是将main.py 中的evaluate_cuda_setup() 函数做了修改,如下:

#return binary_name, cudart_path, cuda, cc, cuda_version_string
return "libbitsandbytes_cuda118.dll", None, None, None, None

我安装的cuda版本是11.8,因此做如上修改;

运行程序

在我的机器上运行一个epoch要50多个小时(😓),想要发挥作用还是需要更好的算力支持啊!

http://www.dinnco.com/news/37425.html

相关文章:

  • 做a暧小视频在线观看网站seo网络培训
  • 企业网站建设需要哪些东西电子商务培训
  • 西安网站建设报价方案凡科建站怎么样
  • 网站建设不足之处软文推广的优点
  • wordpress 分类 标题合肥网站优化平台
  • vs 网站开发教程重庆网站快速排名优化
  • 网站关键词优化排名软件系统怎么做网站优化排名
  • wordpress钉钉登陆长沙百度快速优化排名
  • 广州网站快速制作免费网站推广产品
  • python是什么意思seo是什么职位缩写
  • wordpress文章页横幅湖南关键词优化快速
  • 优秀网页欣赏seo建站系统
  • 代做寄生虫网站排行榜哪个网站最好
  • 制作网站注意哪些问题长沙百度推广排名优化
  • 做微网站的公司广州网站seo
  • 免费商城网站模板下载b2b网站有哪些平台
  • 海宁做网站免费推广网址
  • 中国美院网站建设公司市场营销四大基本策略
  • 旅游网站的建设背景百度收录提交申请网站
  • 网站正在建设中模板免费下载短视频广告投放平台
  • 洛阳青峰网络做网站竞价开户推广
  • 十大黄金软件免费下载seo关键词优化培训
  • 网站月流量是什么意思企业网络推广的方法
  • 滁州市工程建设网站交友网站有哪些
  • 南通电商网站建设免费网站推广软件
  • 做英语教具的网站友情链接平台赚钱吗
  • 哪个网站在线做头像好西安 做网站
  • 山东省建设厅官方网站怎么样免费网页在线客服系统
  • 揭阳网站建设方案外包简述网络营销的特点
  • 自己的网站怎么在百度上面推广哪个公司做网站推广最好