一份基于研究的指南,介绍用于 LLM 与 AI 模型评估的统计方法。学习如何使用置信区间、自助抽样法和假设检验来比较模型、提示词和代理。
AI 翻译
A research-backed guide to statistical methods for LLM and AI model evaluations. Learn to compare models, prompts, and agents with confidence intervals, bootstrap methods, and hypothesis tests.
数据Python · Jupyter NotebookGitHub @ianarawjo在线运营者未确认
试用过了吗? 点一下就好,无需登录。
尚未检测到更新。GitHub 发布版本后会显示在这里。
个人 GitHub 账号下公开仓库的所有者可以登录并验证所有权,自行管理介绍,无需管理员批准。
登录并生成验证文件,在 30 分钟内将其提交到此仓库的默认分支。其他分支或分叉仓库中的文件无效。然后在下方检查文件,即可无需管理员批准直接管理项目。请保留文件以维持管理权限。
如需登录,将前往登录页面。登录后请回到此处,再次点击所选的验证按钮。
在项目文件夹中运行 /nomorevibe verify,即可验证所有权并自行管理介绍。
一分钟完成验证统计推断用于 AI 评估,从模型比较到对 LLM 判官偏差的校正,针对小样本量进行优化。所有默认设置均在蒙特卡罗模拟中经受战斗考验。
AI 翻译
Statistical inference for AI evaluations, from model comparisons to corrections for LLM judge bias, optimized for small sample sizes. All defaults battle-tested in Monte Carlo simulations.
取自仓库 README
正在加载完整 README。 以下为已保存的摘录。
Rigorous statistical analysis for LLM evaluations: from model and prompt comparisons to statistical tests resilient to LLM judge bias, including in small-sample data regimes.查看完整 README ↗目前无法加载完整 README。请通过原文链接阅读。 以下为已保存的摘录。
Rigorous statistical analysis for LLM evaluations: from model and prompt comparisons to statistical tests resilient to LLM judge bias, including in small-sample data regimes.查看完整 README ↗