IT之家 1 月 4 日音书彩娱乐专线，阿里通义千问 Qwen 最新推出 CodeElo 基准测试，通过和东说念主类本领员对比的 Elo 评级系统，来评估谎言语模子（LLM）的编程水平。
神色配景谎言语模子的 AI 场景应用之一，便是生成、补全代码，仅仅现阶段评估编程信得过智商方面存在诸多挑战。
包括 LiveCodeBench 和 USACO 在内的现存基准测试均存在局限性，枯竭健壮的独有测试用例，不支持专诚的判断系统，况且往往使用不一致的执行环境。
CodeElo：借力 CodeForces，打造更精确的 LLM 评估体系IT之家注：Qwen 接头团队为了惩办这些挑战，推出了 CodeElo 基准测试，旨在诈欺与东说念主类本领员相比的 Elo 评级系统，来评估 LLM 的编程竞赛水平。
CodeElo 的题目来自 CodeForces 平台，该平台以其严格的编程竞赛而驰名，通过获胜向 CodeForces 平台提交惩办有策划，CodeElo 确保了评估的准确性，惩办了误报等问题，并支持需要特等评判机制的题目。此外，Elo 评级系统反应了东说念主类的名次，不错灵验相比 LLM 和东说念主类参赛者的弘扬。
CodeElo 三大中枢身分：全面、肃穆、秩序化
彩娱乐专线
五代时李冰为大安王，应圣灵感王，川人号二郎为护国灵应王，可见五代时期，二郎既是王子，也本身尊为王侯。北宋仁宗嘉祐八年（1063），诏永康军广济王庙郎君神特封灵惠侯，二郎为侯爵；北宋哲宗元祐二年（1087）二郎神由“灵惠侯”被封“灵惠应感公”，彩娱乐二郎为公爵；北宋徽宗崇宁二年（1103）时因护佑战胜西夏，诏令二郎神“能出云雨，遂殄丑类”，保佑官军战胜西夏，以此功从“灵惠应感公”加封为“昭惠灵显王”，二郎神此时成为王爵。已经完全具备了富贵身份。
武则天初入皇宫，如一缕清新的乡间微风，给唐太宗带来了不一样的感觉。
CodeElo 基于三个关键身分：
全面的问题选拔: 题目按比赛分区、难度级别和算法标签进行分类，提供全面评估。
肃穆的评估花式: 提交的代码在 CodeForces 平台上进行测试，诈欺其特等评估机制确保准确判断，无需袒护测试用例，并提供可靠反馈。
秩序化的评级筹画: Elo 评级系统评估代码的正确性，考虑问题难度，并对罪恶进行处分，激发高质料的惩办有策划，为评估编码模子提供了考究灵验的器用。
测试效果在对 30 个开源 LLM 和 3 个专有 LLM 进行测试后，OpenAI 的 o1-mini 模子弘扬最好，Elo 评分为 1578，跳跃了 90% 的东说念主类参与者；开源模子中，QwQ-32B-Preview 以 1261 分位居榜首。
然则，好多模子在惩办通俗问题时仍显忙活，平庸名次在东说念主类参与者的后 20%。分析流露，模子在数学和达成等类别弘扬出色，但在动态主义和树形算法方面存在不及。
此外，模子使用 C++ 编码时弘扬更佳，这与竞技本领员的偏好一致彩娱乐专线，这些效果隆起了 LLM 需要创新的限制。