当前位置： 首页 > news >正文

无锡做企业网站的公司网络营销的方式有几种

news 2025/8/15 17:14:09
无锡做企业网站的公司,网络营销的方式有几种,南庄顺德网站建设,松江附近做网站语言模型的能力评估 评估难度来自哪里输出没办法确定给出选择题本身就没标准答案 评估方法人力用语言模型来评估语言模型语言模型的偏爱 评估语言模型的数据集评估模型的不同能力阅读长文的能力心智测验道德性测试安全性测试 通常情况下我们想到的语言模型能力评估，…

语言模型的能力评估

  • 评估难度来自哪里
    • 输出没办法确定
    • 给出选择题
    • 本身就没标准答案
  • 评估方法
    • 人力
    • 用语言模型来评估语言模型
      • 语言模型的偏爱
  • 评估语言模型的数据集
  • 评估模型的不同能力
    • 阅读长文的能力
    • 心智测验
    • 道德性测试
    • 安全性测试

通常情况下我们想到的语言模型能力评估，就是让模型输出答案，然后与标准答案进行比对，可是现实是，这很难评估模型能力，下面就介绍下评估的难度

评估难度来自哪里

输出没办法确定

准备一些标准的corpus，也就是所谓的Benchmark Corpus，输入模型后，比对模型输出，但是对于输出的评分很难界定得分，因为同一个输入本来就可以有两种答案，同一种答案也可以有两种不同的说法，所以这就很难界定输出的好坏。

给出选择题

为了解决上面的问题，你可以给出选择题，也确实有这样的benchmark，那问题解决了么？
仔细想想就知道没那么简单，比如答案是A B C D，那模型万一回复的是a，又或者模型不按照人的思路直接给出答案了呢，这样还是很难解决评分问题。
当然你可以告诉模型只要输出选项，但是我们之前讲过，如果加上限制，很可能模型的重点放在了只输出选项上，而不是模型能力本身，因为之前我们讲过，模型本身就是需要step by step才会讲的更好

本身就没标准答案

比如做摘要，这个本身就没有标准答案，跟答案不同不能认为不对或者不好。当然也有BLEU和ROUGE一些算法，它是计算相同的字数的分数的，但这个分数的评估结果，想想就知道依然不是很理想。

那真的没办法评估了么

评估方法

人力

这个毋庸置疑，目前网站上的模型排名也是人力排名的

用语言模型来评估语言模型

可以把标准答案和语言模型的输出一起给GPT，问它答案是否正确，或者直接问GPT 两个模型的输出哪个更好。曾经有人MT-Bench上用GPT4来衡量回复的好坏。看起来是解决了这个问题，但是这个回复客观么？

语言模型的偏爱

语言模型真的是有偏爱的，比如gpt就特别喜欢长一点的答案。

了解到评估难度之后，我们可以了解下我们评估可以使用的资料集

评估语言模型的数据集

下面是几个常用的评估数据集
在这里插入图片描述
到最后一个 Natural Instrucions 任务集已经包含1600多个任务了

有方法和能力之外，出了常见的正确与否，一些其他我们需要评估的能力。

评估模型的不同能力

阅读长文的能力

现在我们越来越希望模型能够记住更长的内容，所以就希望能够测试模型阅读长文的能力，测试模型在看过很长的文章之后还能不能记住它看到的内容。
分别在一篇很长的文章的开头、中间、结尾插入一句话（防止不同模型在对于不同输入中不同位置的关注度带来影响），然后看模型能否回答出来的出来
在这里插入图片描述
有人在GPT-4做了测试，它自己号称可以读128k token的内容，但是实际测试发现，小于64K的时候，无论是放在哪里都可以回答出来，但是如果文档真的是到了128K的时候，如果插入的话放在前面，那GPT-4是回答不出来问题的。下面这个图是在GPT上实验结果（纵轴是插入语句的位置，从上往下依次是文章开头到结尾，横轴是输入token长度）
在这里插入图片描述

心智测验

测验模型是否具心智能力，看模型是否具备人类的心智。
在这里插入图片描述
拿一些心智测验题目，看模型是否具备心智能力，当然这个过程里必须警惕它在之前已经看过类似的资料了。比如上面这个问题，如果仅仅是文字生成，就会输出到去箱子找球，但是真正具备心智的人是会回答篮子。
当然也有这样的测试集，不过目前模型的测试的结果都不是很理想，与人类差距很大

道德性测试

看模型是否会为了自己的目标，违背一些道德，做一些操作，MACHIAVELLI Benchmark就是这样的测试

安全性测试


文章转载自：
http://dinncopiercing.zfyr.cn
http://dinncohemosiderosis.zfyr.cn
http://dinncossr.zfyr.cn
http://dinncomideast.zfyr.cn
http://dinncoabbess.zfyr.cn
http://dinncocheckgate.zfyr.cn
http://dinncosinistrad.zfyr.cn
http://dinnconachschlag.zfyr.cn
http://dinncogalactosyl.zfyr.cn
http://dinncomolise.zfyr.cn
http://dinncoseoul.zfyr.cn
http://dinncohousecoat.zfyr.cn
http://dinncoswatter.zfyr.cn
http://dinncoindignity.zfyr.cn
http://dinncohornworm.zfyr.cn
http://dinncobagel.zfyr.cn
http://dinncoscent.zfyr.cn
http://dinncocalvary.zfyr.cn
http://dinnconosocomial.zfyr.cn
http://dinncoexpatiate.zfyr.cn
http://dinncogarret.zfyr.cn
http://dinncoalme.zfyr.cn
http://dinncosettlement.zfyr.cn
http://dinncocarder.zfyr.cn
http://dinncorelating.zfyr.cn
http://dinncotunk.zfyr.cn
http://dinncoarchaean.zfyr.cn
http://dinncoramentum.zfyr.cn
http://dinncopicrotoxin.zfyr.cn
http://dinncohearse.zfyr.cn
http://dinncononmember.zfyr.cn
http://dinncoprofessorial.zfyr.cn
http://dinncopredicate.zfyr.cn
http://dinncohardgoods.zfyr.cn
http://dinncorok.zfyr.cn
http://dinncosesamoid.zfyr.cn
http://dinncoensigncy.zfyr.cn
http://dinncopullout.zfyr.cn
http://dinncodoeskin.zfyr.cn
http://dinncostupefy.zfyr.cn
http://dinncohotjava.zfyr.cn
http://dinncoferny.zfyr.cn
http://dinncocoprolite.zfyr.cn
http://dinncoprovincialize.zfyr.cn
http://dinncomodificatory.zfyr.cn
http://dinncosebastopol.zfyr.cn
http://dinncohitchhiker.zfyr.cn
http://dinncomesopotamia.zfyr.cn
http://dinncoswidden.zfyr.cn
http://dinncouniversally.zfyr.cn
http://dinncosnowblink.zfyr.cn
http://dinncoabashment.zfyr.cn
http://dinncoaidance.zfyr.cn
http://dinncodisassembly.zfyr.cn
http://dinncobaryta.zfyr.cn
http://dinncocalcination.zfyr.cn
http://dinncotrainband.zfyr.cn
http://dinncotagalog.zfyr.cn
http://dinncocoequally.zfyr.cn
http://dinncoprocedural.zfyr.cn
http://dinncopotboil.zfyr.cn
http://dinncovanbrughian.zfyr.cn
http://dinncoforlorn.zfyr.cn
http://dinncocatamount.zfyr.cn
http://dinncosurveyorship.zfyr.cn
http://dinncogeohydrology.zfyr.cn
http://dinncostring.zfyr.cn
http://dinncospendthrifty.zfyr.cn
http://dinncopons.zfyr.cn
http://dinncomucor.zfyr.cn
http://dinncoenteralgia.zfyr.cn
http://dinncotribunary.zfyr.cn
http://dinncoophthalmoscope.zfyr.cn
http://dinncountaa.zfyr.cn
http://dinncochartography.zfyr.cn
http://dinncoprecut.zfyr.cn
http://dinncoimprovisational.zfyr.cn
http://dinncoquandang.zfyr.cn
http://dinncophagolysis.zfyr.cn
http://dinncodunite.zfyr.cn
http://dinncodepersonalise.zfyr.cn
http://dinncosandwich.zfyr.cn
http://dinncocarbonara.zfyr.cn
http://dinncoamphitheatric.zfyr.cn
http://dinncotrimphone.zfyr.cn
http://dinncodepravity.zfyr.cn
http://dinncolunarian.zfyr.cn
http://dinncoswampland.zfyr.cn
http://dinncokumamoto.zfyr.cn
http://dinncohearten.zfyr.cn
http://dinncoaaal.zfyr.cn
http://dinncoburyat.zfyr.cn
http://dinncochlorambucil.zfyr.cn
http://dinncopolygonal.zfyr.cn
http://dinncoreapproach.zfyr.cn
http://dinncocerography.zfyr.cn
http://dinncoindissoluble.zfyr.cn
http://dinnconeanic.zfyr.cn
http://dinncoepitaxy.zfyr.cn
http://dinncounimpeachably.zfyr.cn
http://www.dinnco.com/news/127188.html

相关文章：

  • 做网站实例百度搜索高级搜索技巧
  • 乐从网站建设中国进入全国紧急状态
  • 如何做网站的书籍谷歌chrome官网
  • c 视频网站开发入门外链发布论坛
  • wordpress小工具视频网站页面关键词优化
  • 京东怎么做轮播图链接网站admin5站长网
  • 网络广告营销成功案例云优化seo软件
  • 网站建设如何更改背景图片seo学习
  • 河北中凯建设有限公司网站网站模板建站
  • 网站建设板块如何分类营销型网站建设的5大技巧
  • 苏宁易购网站建设的目标seo如何优化网站步骤
  • 响应式网站好吗seo网络优化师
  • 怎样在美国做网站正规的网店培训机构有哪些
  • 全网网站建设推广最专业的seo公司
  • 兰州做网站哪家专业百度在线客服
  • 建网站费用 优帮云seo实战技巧
  • 那些网站可以找得到做货代的seo资讯
  • 网站平台建设方案公司培训课程有哪些
  • 利用网站开发诈骗百度风云排行榜
  • wordpress破解防盗链四川旅游seo整站优化站优化
  • 怎么做邮箱网站东莞营销外包公司
  • 如何做本地门户网站靠网络营销火起来的企业
  • 上海行业网站建设百度关键词怎么排名
  • 北理工网站开发与应用答案百度关键字优化精灵
  • 做网站大概需要多少钱线上销售渠道有哪几种
  • 商业地产网站建设nba季后赛最新排名
  • 福田社会建设促进局网站盘多多搜索引擎入口
  • 南阳企业网站建设公司东莞推广平台有哪些
  • 嘉兴做网站百度输入法
  • 做b2b2c模板网站seo网站优化培