上下文精确度检查管道的语义搜索部分从知识库中提取正确信息的效果，而上下文召回率则衡量系统检索回答问题所需的所有相关和必要信息的效果。实际上，上下文精确度得分高意味着您的应用提取的是与问题直接相关的高度相关的信息，而上下文精确度低则表示检索到的信息可能部分或完全不相关，从而导致响应不太准确或没有帮助。
忠实度是 LLM 评估指标之一，用于衡量生成的响应与知识库中的源材料或事实的匹配程度。例如，如果 LLM 突然引入知识库中未找到的事实，即使信息正确，其忠实度得分也会很低；此指标可帮 玻利维亚 Whatsapp 数据 助确定您的应用程序是否正在生成包含未经验证的信息甚至幻觉的输出。在辩论类比中，这就像评估参与者的回答是否合乎逻辑且与他们提供的证据在事实上一致，而不是偏离不受支持的主张或不正确的细节。
此类指标不仅可以帮助您确定 LLM 是否发挥了作用，而且还提供了一个一致、客观的框架来比较不同的模型和设置。这样做的好处是，您可以测试不同的配置，并根据真实数据（而不是直觉）客观地比较结果。
为了通过定制的见解扩展标准指标集，专家还可以使用 Python 代码定义自定义指标。Dataiku 包含模板和代码示例，以加快构建自定义指标的过程。作为额外奖励，Dataiku 甚至会在每个单独的 LLM 评估中保存并显示用于计算任何自定义指标的确切代码，以防定义在应用程序生命周期的某个时刻发生变化！