This topic created in 1111 days ago, the information mentioned may be changed or developed.
 |
nomagickOct 23, 2023
1
testcase 太烂，什么乱七八糟的，完全就是先入为主。
prompt 完全就是驴唇不对马嘴，这个任务给人类做别人都要骂娘，起码找个能和人正常交流的的出题吧。 合情推断就是把手上在 GPT4 上能运行的 prompt 拿过来，放在其他模型上测。 不如说是模型容错性能测试，模型 SB 耐受指数测试 |
 |
codehzOct 23, 2023
2
汉语精调大模型用纯英语 testcase ，这不是为难人嘛。。。
|
 |
yanyao233Oct 23, 2023
3
啥？ baichuan2 这么差？不至于吧....其他很多评测报告+我自己的主观体验感觉并没有这么差啊
|
|
codehzOct 24, 2023
6
评价是有很多维度的，排序只是恰好命中了合适的维度，举个例子，中文大模型（包括精调的）的使用场景，除了一个合规性，还有一个就是回答问题的时候不会无故蹦出英语答案。即使是 GPT-4 ，有时候也会在要求用中文回复的时候使用英语回答，如果把这种 testcase 加进去，那排序就不好说了。
最离谱的是啥，这 repo 只给了 15 个 testcases ，怎么看怎么像写论文的时候从实验数据里 cherry pick 出想要的结果的那种情形，你要说这玩意有啥代表性，反正我是看不出。 |
 |
8
@nomagick 这个 gpt4 还真行……
|
|
nomagickOct 24, 2023
9
@Bazingawang 后半段就不对了，很多模型都有这毛病
|
|
10
@nomagick 看了下确实
|
Select Language