Evaluate

用选定指标比较预测与参考结果

准备输入

• 模型预测结果、对应参考结果及任务所需的指标名称。
• 已在独立 Python 环境安装的 Evaluate。

操作步骤

1. 安装 Evaluate，列出可用评估模块并选择适合任务的指标。
2. 通过 evaluate.load 加载模块，阅读指标卡确认输入格式、数值范围及限制。
3. 向模块的 compute 传入相匹配的预测与参考数据，保存指标结果，并结合样本情况解释分数。

不同指标的输入格式、数值范围和限制不同，不能直接把异类指标混为同一评分；对于较新的大语言模型评估方法，官方指向更新且维护更活跃的 LightEval。