上交等构建跨平台基准,Pass@1跨度达68.5个百分点
前沿快讯 · 共 500 条
上交等构建168个任务,分Apply/Repro/Resolved指标,Kimi-K3修复率66.7%
英矽智能研发,多答案生成替代单答案评价,分布外基准领先
清华等研发,纯图像三维跟踪达66.9 MOTA,覆盖16个路口问答对
复旦等构建,含2亿样本的基准,测试图像模型将人手操作转换为机器人操作的能力
国科大等开发,通过看-描述-重画-回答的闭环流程,检验多模态模型系统级能力
穆罕默德·本·扎耶德AI大学等提出,通过雅可比透镜检查内部可访问性,评估遗忘效果
上交大、创智学院等联合提出,将测试时训练拆为可组合模块,训练吞吐最高提升3.3倍且性能接近基准模型
上海交大等打造的约4000条样本基准,评测语音、音乐、音效与时间控制能力
上交大与上海 AI 实验室构建,要求判断器检查 Agent 执行证据而非仅看最终答案,提升长链任务验证准确性
新国立与牛津构建 3108 样本数据集,测试模型从文本与图像中恢复真实社会意图与立场的能力
马里兰大学与 Scale AI 构建可控视频数据集,发现视频模型对短暂闪烁事件计数存在严重缺陷
上海AI实验室与港科大联合研发,以现实实验数据评估物理模型准确性
字节跳动Seed与浙大联合推出的基准,移除单帧捷径测试长视频全局空间定位能力
南大与上海AI实验室提出的模型能力审计方法,区分实际答对与可达上限的差异
苏黎世联邦理工与Cohere提出的评测优化方法,用40%预算以95%可靠度确定模型排名
发生了什么:腾讯混元团队联合清华 AIR、东南大学计算机学院发布智能体评测基准 E-Bench(论文 arXiv:2607.23722)。它以王者荣耀、QQ 音乐、腾讯会议三个产品为原型构建全合成虚拟环境,共 323 个「改状态」任务,覆盖 41 张数据库表、逾 7.6 万条数据行与 60 万个数据单元;评分采用确定…
北邮、港中文联合发布的图任务基准,含10400项可执行任务与84个工具
美多家机构联合构建的多智能体商业模拟环境,支持交易过程全链路审计
上交、vivo联合发布的基准与评分模型,适配多图编辑的人类偏好评价
中科院自动化所发布的软件工程基准,模拟用户代码改动测试智能体协作能力
中山大学研发,动态提取局部异常语义,分别处理结构与纹理异常
中科大、北通用智能院联合打造的基准,追踪知识编辑后随后续修改的保留与衰减规律
百度团队推出的长周期办公智能体基准,以交付质量、时间成本等多维度评测,而非仅看操作完成度
中山医院等联合发布的基准,七个大模型总体宏平均分仅62.55,心电图解读仅17.25
上交等联合发布的基准,将多模态上下文学习分为三级,最高模型综合得分仅0.2847
月之暗面发布的基准,拆解10类原子视觉能力,无模型总体准确率超60%
浙大等联合发布的基准,通过物理知识图谱双路径验证,使文生图模型物理一致性提升一倍
上海交大发布,含近万组样本,专门评测生成模型对小区域 Logo 的精准遗忘能力
北大等联合提出,五层数据体系平衡采集成本与控制精度
上交大提出,用Q-Score替代单一准确率,识别低效模型
腾讯混元与港科大联合开发,事后审计基准捷径利用与分数虚高
安大、中科大联合腾讯推出的统一基准,用五大超大规模数据集复现15种主流排序模型,排除工程干扰
北理工与奥克兰大学联合构建的可控证据环境,可量化四类恶意内容对事实核查模型的影响
马里兰、德州奥斯汀等校联合推出的评测基准,串联同场景具身问答,验证结构化三维记忆的复用价值
南京理工大学与中科大举办的挑战赛,构建统一框架处理模糊、低照度等五类真实图像退化,提供可重复评测基准
腾讯发布的编程智能体基准,通过反向构造任务减少训练数据污染,覆盖代码、网页等四类真实工作场景
川大、华西医院等构建的病理多模态模型评估基准,同时测试答案正确性、图像依赖度与病变定位能力
复旦、美团等联合推出的编程智能体基准,以真实产品模糊需求替代明确任务,测试智能体主动追问与项目交付能力
卡内基梅隆等提出,从预测、解释、机制三维度评估媒体偏见检测模型,发现解释与内部机制未必一致
