广告投放

实锤了,Llama 4重测排名掉至32名!远不及DeepSeek和Qwen

目录

    4月13日消息,LMArena 更新了Meta最新发布的开源大模型Llama-4-Maverick的排名,从此前的第2名,直线掉到了第32名!

    这也实锤了此前开发者对Meta为刷榜排名向LMArena提供了“特供版”的Llama 4大模型的质疑。(详情:Llama 4大模型跌落神坛:作弊刷榜、代码能力极差、和DeepSeek比就是伪开源)

    4月6日,Meta发布了最新的大模型Llama 4,包含Scout、Maverick和Behemoth三个版本。其中,Llama-4-Maverick在LMArena公布的Chatbot Arena LLM 排行榜中的排名第二,仅次于Gemini 2.5 Pro。

    然而,随着开发者实际使用Llama 4大模型开源版的效果陆续曝出,Llama 4口碑急转直下。有开发者发现Meta提供给LMArena的Llama 4版本与提交给社区的开源版本不同,因而Meta被质疑为刷榜作弊。

    4月8日,Chatbot Arena官方发文确认了用户的上述质疑,公开表示Meta提供给他们的是“特供版”,并考虑更新排行榜。

    根据Chatbot Arena官方消息,Meta首次提交LMArena的Llama-4-Maverick-03-26-Experimental是一个实验性聊天优化版本,当时该版本的排名为第二。修正后的模型为HuggingFace开源版同款Llama-4-Maverick-17B-128E-Instruct,是17B激活参数、128个MoE专家的指令微调模型。

    目前,开源版同款Llama-4-Maverick-17B-128E-Instruct在LMArena的排名为32名,远低于Gemini 2.5 Pro(1)、GPT4o(2)、DeepSeek-V3-0324(5)、DeepSeek-R1(7)、Qwen2.5-Max(11),甚至连英伟达基于上一代Llama 3.3改造的Llama-3.3-Nemotron-Super-49B-v1(17)都不如。

    LMArena详细排名如下:

    实锤了,Llama 4重测排名掉至32名!远不及DeepSeek和Qwen
    实锤了,Llama 4重测排名掉至32名!远不及DeepSeek和Qwen
    实锤了,Llama 4重测排名掉至32名!远不及DeepSeek和Qwen
    声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

    给TA打赏
    共{{data.count}}人
    人已打赏
    广告位招租919838898
    0 条回复 A文章作者 M管理员
      暂无讨论,说说你的看法吧
    个人中心
    购物车
    优惠劵
    今日签到
    有新私信 私信列表
    搜索