内地首个AI高考评测 数学全不及格
图:AI得分情况。内
【大公报讯】据第一财经报道:高考这一高难度综合性测试,地首目前普遍被研究者用于考察大模型的个AI高格智能水平。在前不久高考结束后,考评上海人工智能实验室旗下司南评测体系OpenCompass选取了7个大模型进行高考“语数外”全卷能力测试,测数并于19日发布了首个大模型高考全卷评测结果。学全
语数外三科加起来的不及满分为420分,此次高考测试结果显示,内阿里通义千问2-72B得303分排名第一,地首OpenAI的个AI高格GPT-4o得296分排名第二,上海人工智能实验室的考评书生.浦语2.0排名第三,三个大模型的测数得分率均超过70%,但大模型的学全数学都不及格,最高分也只有75分。不及在数学试卷上,内阅卷老师们发现,大模型的主观题回答相对凌乱,且过程具有迷惑性,甚至出现过程错误但得到正确答案的情况。大模型的公式记忆能力较强,但是无法在解题过程中灵活引用。可以看出,在数学方面大模型还有很大的提升空间。
数学关乎复杂推理相关能力,这是大模型普遍面临的难题,也是大模型在金融、工业等要求可靠的场景落地需要的关键能力。上海人工智能实验室领军科学家林达华表示,“现在很多大模型的应用场景是客服、聊天等,在聊天场景一本正经胡说八道影响不太大,但它很难在非常严肃的商业场合去落地。”
- ·赢了!恭喜黄一鸣,王思聪已承认是孩子的父亲,双方达成和解
- ·“星际客机”故障频发 艰难对接国际空间站
- ·被“大肆破坏”的共享电动车背后究竟是道德沦丧,还是压抑的民心
- ·湖南35岁女孩相亲被8人看中,秒杀所有年轻女子,网友:太美了
- ·温网男单抽签:德约2号种子冲赛会8冠王 张之臻有望再战梅总
- ·鱼肉是癌症的“发物”吗?医生提醒:这6样东西,能不吃就不吃
- ·闹大了!海南省在高考发卷前,发现学生条形码错误,及时采取措施
- ·特稿/上天落地入海 建设者大显身手
- ·太扎心了!老婆回家停车场删聊天记录,老公驻足15分钟竟毫无察觉
- ·柬埔寨8月开挖中国承建运河,美越坚决反对!
- ·AI改AI!国内两大AI互改对方的湖南高考作文,结局出乎意料
- ·《庆余年》:结局最惨的六个角色,陈萍萍排在第一位
- ·A股传来三大重磅消息,其中一条股民惊呆了,下周的行情稳了?
- ·特稿/上天落地入海 建设者大显身手
- ·国足或提前晋级,2大喜讯传来,泰国、新加坡大概率被淘汰
- ·老人长寿并非是好事,活多少岁足够了?能达到这个岁数,就算有福