腾讯发布开源MoE大语言模型Hunyuan
发布时间：2024-12-27 04:09:55 作者：玩站小弟 
我要评论
我要评论11月5日消息，腾讯今日宣布推出业界参数规模最大、效果最好的开源MoE大语言模型Hunyuan-Large。Huanyuan-large模型的总参数量为389B、激活参数为52B、训练token数量为
。
11月5日消息，腾讯腾讯今日宣布推出业界参数规模最大、发布效果最好的开源开源MoE大语言模型Hunyuan-Large。
Huanyuan-large模型的模型总参数量为389B、激活参数为52B、腾讯训练token数量为7T、发布最大上下文长度为256K、开源词表大小为12.8w。模型
在技术创新方面，腾讯Hunyuan-large通过高质量的发布合成数据来增强模型训练，弥补了自然数据的开源不足。
其中，模型该模型预训练支持处理高达256K的腾讯文本序列，大幅提升了长文本上下文的发布处理能力，能够更高效地完成长文本任务。开源
据了解，Hunyuan-large在CMMLU、MMLU、CEva1、MATH等多学科综合评测集上表现优异，在中英文自然语言处理、代码生成、数学运算等9大能力维度中全面领先，超越了Llama3.1和Mixtral等一流开源模型。
此外，腾讯还宣布将推出自研的长文评测集“企鹅卷轴（PenguinScrolls）”，以填补行业在真实长文评测集上的空白。
企鹅卷轴基于公开的金融、法律、学术论文等长文本构建，文本长度从1K到128K不等，覆盖深度阅读理解和长文推理任务。
相关文章
比亚迪首批电动皮卡SHARK已从中国发运：明年1月于澳大利亚交付
12月26日消息，比亚迪电动皮卡SHARK 6将于明年1月在澳大利亚交付，第一批车型已从中国发运。据悉，SHARK 6搭载1.5T发动机与电机组成的插电混合动力系统。这款电动皮卡如今正式发往海外，标志2024-12-27
身价2500万欧元！官方：国米与23岁后卫比塞克续约至2029年
11月15日讯官方消息，国米与23岁后卫比塞克续约至2029年6月30日。本赛季，23岁的比塞克为国米出战11场比赛，没有进球和助攻，出场652分钟，德转身价2500万欧元。2023年7月，国米以722024-12-27
11月15日讯在接受曼城新闻采访时，转会专家格雷姆-贝利就曼城希望哈兰德签署新合同的幕后进展分享了他的见解。哈兰德在2022年夏季转会窗口以总价5100万英镑加盟球队，最初签署了一份为期5年的合同。早2024-12-27
小因扎吉：四后卫是一种解决方案，还需要7、8分确保晋级欧冠16强
直播吧11月24日讯 在昨晚进行的第13轮意甲联赛，国米客场5-0大胜维罗纳。赛后国米主帅小因扎吉接受了DAZN的采访。比赛下半场国米使用了四后卫阵型，小因扎吉表示：“这是一种解决方案，而且下半场我需2024-12-27
[流言板]欧文独行侠生涯至今场均25.5分，三项命中率50/42/91%
[流言板]欧文独行侠生涯至今场均25.5分，三项命中率50/42/91%由篮球资讯发表在篮球资讯 50212月19日讯 独行侠记者Landon Thomas分享了一个关于凯里-欧文的数据。欧文至今已为2024-12-27
黄仁勋获香港科技大学荣誉博士亲自送10张4060 Ti显卡 网友：不缺钱 应该送最好的
11月24日消息，据香港科技大学官网，日前，英伟达CEO黄仁勋出席香港科技大学学位颁授典礼，获颁授工程学荣誉博士学位。香港科技大学在致辞中表示，黄仁勋带领公司走在尖端科技世代的前沿，驱动社会变革。在他2024-12-27
最新评论