关于评估大型语言模型的一切

引言

大型语言模型基准测试

LLM排行榜

• Open LLM排行榜：提供了LM evaluation harness的封装

• HELM：在各种公开数据集和指标上评估了开放LLM。

• Chatbot Arena：指令微调LLM的Elo评分

评估指标

传统指标

• WER (词错误率)：这是一系列基于WER的指标，用于衡量编辑距离 𝑑 (𝑐, 𝑟)，即转换候选文本到参考字符串所需的插入、删除、替换以及可能的换位次数。

• 精确匹配：通过将生成的文本与参考文本进行匹配来衡量候选文本的准确性。任何与参考文本的偏差都将被视为不正确。这仅适用于需要从原文提取答案或简短回答的情况，其中预计与参考文本偏差很小或没有偏差。

• BLEU (双语评估替补)：它基于生成的文本中有多少n-gram出现在参考文本中来评估候选文本。这最初是为评估机器翻译系统而提出的。可以使用几何平均（BLEU-N）计算并组合多个n-gram分数（2-gram/3-gram）。由于它是基于精确度的指标，因此不会惩罚假阴性。

非传统指标

基于嵌入的方法

• BERTScore：这是一种基于双编码器的方法，即将候选文本和参考文本分别输入到深度学习模型中以获得嵌入向量。然后使用词元级别的嵌入向量计算成对余弦相似度矩阵。然后选择参考文本中最相似词元与候选文本的相似度分数，并用于计算精确率、召回率和f1分数。

• MoverScore：使用了词语移动距离的概念，该概念认为嵌入式词向量之间的距离在某种程度上具有语义意义（vector(king) - vector(queen) = vector(man)），并使用上下文嵌入向量计算n-gram之间的欧氏相似度。与BERTscore允许词语一对一硬匹配不同，MoverScore使用软/部分对齐，允许多对一匹配。



尽管基于嵌入的方法很鲁棒，但它们假设训练和测试数据是同分布的，这并非总是如此。

基于语言模型的指标

• 蕴含分数：这种方法利用语言模型的自然语言推理能力来判断NLG（自然语言生成）。这种方法有不同的变体，但基本概念是使用NLI模型生成针对参考文本的蕴含分数来评价生成文本。对于文本限定的生成任务（如文本摘要），这种方法对于确保忠实度非常有用。



 
• BLEURT：引入了一种方法，通过在大量合成数据上预训练一个完全学习的指标，然后在人工评分上进行微调，以结合表达能力和鲁棒性。该方法利用BERT模型来实现这一点。为了使该模型能够评估任何新任务或领域，提出了一种新的预训练方法，包括对合成数据进行额外的预训练。从维基百科收集文本片段，然后通过词语替换、反向翻译等技术进行增强，形成合成对 ，然后在BLUE、ROGUE分数、反向翻译概率、自然语言推理等目标上进行训练。
• 问答-问题生成 (QA-QG)：此范式可用于衡量任何候选文本与参考文本的一致性。该方法首先从候选文本中形成（候选答案，问题）对，然后将参考文本对相同问题集生成的答案进行比较和验证。

LLM辅助方法

LLM辅助方法中可能的陷阱

• 一项初步研究) 一些研究揭示了这种方法的陷阱。《大型语言模型不是公平的评估器》等研究表明，LLM存在位置偏差，因此它偏好特定位置的响应为更好。

• LLM在为候选响应分配分数时也倾向于偏好整数。

• LLM本质上也是随机的，这导致它们在单独调用时会为相同的输出分配不同的分数。

• 在用于比较答案时，发现GPT4偏好其自身的回答风格，甚至胜过人工编写的答案。

评估基于LLM的应用

选择评估指标

• 知识探索：向LLM提供问题或指令，并期望得到真实的答案。例如，印度的人口是多少？

• 文本限定：向LLM提供文本和指令，并期望答案完全基于给定的文本。例如，总结给定的文本..

• 创意：向LLM提供问题或指令，并期望得到富有创意的答案。例如，写一个关于阿育王王子的故事。

评估评估方法！

• 获取或标注包含人工评分基准的测试集

• 使用你的方法对测试集中的生成结果进行评分。

• 使用Kendall秩相关系数等相关性度量来衡量人工评分与自动评分之间的相关性。

构建评估数据集

• 数据集应足够大，以产生统计学上显著的结果

• 它应尽可能全面地代表在生产环境中预期的数据。

开源库

OpenAI Evals

{"input": [{"role": "system", "content": "Complete the phrase as concisely as possible."}, 
{"role": "user", "content": "ABC AI is a company specializing in ML "}], "ideal": "observability"}

Ragas

from ragas.metrics import LLMContextRecall, Faithfulness, FactualCorrectness
from langchain_openai.chat_models import ChatOpenAI
from ragas.llms import LangchainLLMWrapper

evaluator_llm = LangchainLLMWrapper(ChatOpenAI(model="gpt-4o"))
metrics = [LLMContextRecall(), FactualCorrectness(), Faithfulness()]
results = evaluate(dataset=eval_dataset, metrics=metrics, llm=evaluator_llm)

挑战

结论

参考文献

• 自然语言生成系统评估指标综述

• BERTScore：使用BERT评估文本生成

• 如何最佳利用OpenAI的Evals框架

• ChatGPT是好的NLG评估器吗？一项初步研究

• 大型语言模型不是公平的评估器

• G-Eval：使用GPT-4进行更符合人类判断的NLG评估

• SelfCheckGPT：生成式大型语言模型的零资源黑盒幻觉检测