文章来源:
腾赚网
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 wulanwray@foxmail.com 举报,一经查实,本站将立刻删除。
小米今日开源了首个专注于推理的大模型「Xiaomi MiMo」,其在数学推理和代码竞赛的公开测评中表现亮眼。仅用7B参数规模,MiMo便超越了OpenAI的o1-mini以及阿里Qwen更大规模的QwQ-32B-Preview。与此同时,在相同强化学习训练数据下,MiMo-7B于数学与代码领域的潜力显著领先经典开源32B模型。
MiMo的推理能力提升源于预训练和后训练阶段的多层面创新。预训练阶段通过挖掘丰富推理语料,合成约200B tokens推理数据,并经三阶段逐步提升难度的训练,总计达25T tokens。后训练阶段则采用高效稳定的强化学习算法与框架,设计Seamless Rollout系统加速训练与验证。目前,MiMo-7B全系列已开源4个模型至HuggingFace,技术细节可见官方报告。作为小米大模型Core团队的初步成果,MiMo展现了小米在AGI领域持续探索的决心。
抱歉,评论功能暂时关闭!