当前位置: 首页 > news >正文

慈溪做网站哪家好站外推广平台有哪些

慈溪做网站哪家好,站外推广平台有哪些,哈尔滨房地产网站建设,一个vps主机放两个网站 速度文章目录 一、微调数据集格式二、常用的指令监督微调模板2.1 指令跟随格式(Alpaca)2.2 多轮对话格式(ShareGPT)2.3 其他形式2.4 常见模板 参考资料 一、微调数据集格式 在进行大模型微调的过程中,我们会发现“Prompt”…

文章目录

  • 一、微调数据集格式
  • 二、常用的指令监督微调模板
    • 2.1 指令跟随格式(Alpaca)
    • 2.2 多轮对话格式(ShareGPT)
    • 2.3 其他形式
    • 2.4 常见模板
  • 参考资料

一、微调数据集格式

在进行大模型微调的过程中,我们会发现“Prompt”格式太多。不同的模型对应不同的微调数据集,不同数据集的指令数据形式有所不同。

  • yahma / alpaca-cleaned :这是斯坦福大学发布的原始 alpaca 数据集的清理版本,包含有约52K条数据。数据集主页:https://huggingface.co/datasets/yahma/alpaca-cleaned
    在这里插入图片描述

  • Open-Orca / OpenOrca
    在这里插入图片描述

二、常用的指令监督微调模板

指令监督微调(Instruct Tuning) 通过让模型学习详细的指令以及对应的回答来优化模型在特定指令下的表现。

目前常见微调数据集的格式包括以下几种:

  • 指令跟随格式:以Alpaca为代表
  • 多轮对话格式:以ShareGPT为代表
  • 其他辅助格式:文本数据等

2.1 指令跟随格式(Alpaca)

指令跟随形式是指用户输入指令,模型按照指令的要求输出结果的格式。这种形式的数据集通常采用json文件格式存储,典型的如Alpaca-52k数据集。Alpaca-52k是一个开源的遵循指令的,最初用来微调LLaMA模型以得到Alpaca-7B模型的数据集,包含了52k条指令数据。

Alpaca的格式有两类,一类是instruction/output格式,另一类是 instruction / input / output 格式。各列的含义如下:

  • instruction:对应的内容为人类指令
  • input:对应的内容为人类输入
  • output:对应的内容为模型回答。

数据样例来自:https://github.com/hiyouga/LLaMA-Factory/blob/main/data/alpaca_zh_demo.json/#L42

(1)instruction / output 格式

  {"instruction": "用“黎明”、“天空”和“广阔”这三个词组成一个句子。","output": "随着黎明的到来,天空逐渐明亮,一片广阔的视野展现在眼前。"}

(2) instruction / input / output 格式

  {"instruction": "计算这些物品的总费用。 ","input": "输入:汽车 - $3000,衣服 - $100,书 - $20。","output": "汽车、衣服和书的总费用为 $3000 + $100 + $20 = $3120。"}

在进行指令监督微调时, instruction 列对应的内容会与 input 列对应的内容拼接后作为最终的人类输入,即人类输入为 instruction\ninput。而 output 列对应的内容为模型回答。

然而,由于生成Alpaca数据集的 self-instruct 技术得到的数据集本身存在一些瑕疵,因此数据集需要进一步清洗和改进,例如 alpaca-cleanedalpaca-gpt4 都是基于原始数据集清洗后的数据集。此外还有中文翻译版本。这些数据集通常包含几万个指令对,文件大小约为40MB左右的json格式文件。

2.2 多轮对话格式(ShareGPT)

多轮对话形式是指用户和模型之间以对话的形式进行,模型将通过与用户进行多轮的交互最终来达到用户的需求。典型的如训练Vicuna模型所使用的 ShareGPT 数据集。

ShareGPT本身是一个与ChatGPT(GPT-4)模型的聊天记录分享平台,它托管了大量由用户挑选的对话数据集,这些聊天记录通常展示的是聊天机器人自然流畅、具有创意的回答。Vicuna模型通过收集该平台的数据,其训练出来的模型具有较好的多轮对话能力。

相比 alpaca 格式的数据集, sharegpt 格式支持 更多 的角色种类,例如 humangptobservationfunction 等等。它们构成一个对象列表呈现在 conversations 列中。 下面是 sharegpt 格式的一个例子:

{"conversations": [{"from": "human","value": "你好,我出生于1990年5月15日。你能告诉我我今天几岁了吗?"},{"from": "function_call","value": "{\"name\": \"calculate_age\", \"arguments\": {\"birthdate\": \"1990-05-15\"}}"},{"from": "observation","value": "{\"age\": 31}"},{"from": "gpt","value": "根据我的计算,你今天31岁了。"}],"tools": "[{\"name\": \"calculate_age\", \"description\": \"根据出生日期计算年龄\", \"parameters\": {\"type\": \"object\", \"properties\": {\"birthdate\": {\"type\": \"string\", \"description\": \"出生日期以YYYY-MM-DD格式表示\"}}, \"required\": [\"birthdate\"]}}]"
}

注意其中 human 和 observation 必须出现在奇数位置,gpt 和 function 必须出现在偶数位置。

[{"conversations": [{"from": "human","value": "人类指令"},{"from": "function_call","value": "工具参数"},{"from": "observation","value": "工具结果"},{"from": "gpt","value": "模型回答"}],"system": "系统提示词(选填)","tools": "工具描述(选填)"}
]

2.3 其他形式

除了上述提到的数据格式,还有一些数据格式不易转化为对话形式,例如纯文本文档。另外,还有一些针对特定用途的数据集,例如文本总结数据集以及根据纯文本生成对话的数据集,如RefGPT文章提到的方案。根据文本的不同功能,它们还包括调用API的格式和调用数据库语言的格式等。

当然,除非以纯文本的形式存在,否则这些格式都可以转换为指令跟随或多轮对话的格式。 下面给出两个具体的示例:

  • 纯文本数据集
    大语言模型通过学习未被标记的文本进行预训练,从而学习语言的表征。通常,预训练数据集从互联网上获得,因为互联网上提供了大量的不同领域的文本信息,有助于提升模型的泛化能力。 预训练数据集文本描述格式如下:
[{"text": "document"},{"text": "document"}
]

在预训练时,只有 text 列中的 内容 (即document)会用于模型学习。

  • 偏好数据集
    偏好数据集用于奖励模型训练、DPO 训练和 ORPO 训练。对于系统指令和人类输入,偏好数据集给出了一个更优的回答和一个更差的回答。偏好数据集需要在 chosen 列中提供更优的回答,并在 rejected 列中提供更差的回答。
    基于 Alpaca 的偏好数据集,在一轮问答中其格式如下:
[{"instruction": "人类指令(必填)","input": "人类输入(选填)","chosen": "优质回答(必填)","rejected": "劣质回答(必填)"}
] 

2.4 常见模板

参考博客:[NLP]LLM—大模型指令微调中的“Prompt”

参考资料

  • [NLP]LLM—大模型指令微调中的“Prompt”
  • LLaMA Factory-数据处理
http://www.dinnco.com/news/45712.html

相关文章:

  • 网站建设公司南宁下拉框关键词软件
  • 做企业网站赚钱吗软文自助发稿平台
  • 珠海建网站首页排名关键词优化
  • 万网域名预定北京中文seo
  • 西安专业做网站的公司百度竞价推广方法
  • 办一个购物网站要多少钱优秀网站seo报价
  • 企业做app好还是网站好网络营销的六大特征
  • 学历提升的重要性余姚网站如何进行优化
  • 高端大气的网站制作陕西seo公司
  • 南昌如何做百度的网站seo流量增加软件
  • 个人 网站备案 幕布东莞seo优化seo关键词
  • 重庆网站设计制作价格谷歌搜索入口手机版
  • 让自己的网站收录官网排名优化
  • 网站开发西安中软推广优化网站排名
  • 哪个浏览器可以做网站seo建站优化推广
  • WordPress插件手动爱站seo工具包
  • wordpress 给文章添加幻灯武汉网络优化知名乐云seo
  • 高清素材图片的网站百度首页排名怎么做到
  • 做网站网页需要学些什么百度地址
  • 南京网站开发南京乐识赞网站seo方案模板
  • 网站建设衤金手指花总十四上海aso苹果关键词优化
  • php做的网站怎么入侵微信小程序官网
  • wordpress采集站广东互联网网络营销推广
  • 桥头镇做网站0元入驻的电商平台
  • 设计师接单的十个网站正规接单赚佣金的app
  • 典当行 网站百度官方网站登录
  • 网络公司是什么意思推广seo公司
  • 通州区网站制作网络公司排名
  • 手机网站服务器开封网络推广公司
  • 松原市住房和城乡建设厅网站网络推广的优势