小米开源大模型MiMo,数学推理超OpenAI

腾赚网 20 0

小米今日开源了首个专注于推理的大模型「Xiaomi MiMo」,其在数学推理和代码竞赛的公开测评中表现亮眼。仅用7B参数规模,MiMo便超越了OpenAI的o1-mini以及阿里Qwen更大规模的QwQ-32B-Preview。与此同时,在相同强化学习训练数据下,MiMo-7B于数学与代码领域的潜力显著领先经典开源32B模型。

小米开源大模型MiMo,数学推理超OpenAI-第1张图片-腾赚网

MiMo的推理能力提升源于预训练和后训练阶段的多层面创新。预训练阶段通过挖掘丰富推理语料,合成约200B tokens推理数据,并经三阶段逐步提升难度的训练,总计达25T tokens。后训练阶段则采用高效稳定的强化学习算法与框架,设计Seamless Rollout系统加速训练与验证。目前,MiMo-7B全系列已开源4个模型至HuggingFace,技术细节可见官方报告。作为小米大模型Core团队的初步成果,MiMo展现了小米在AGI领域持续探索的决心。

抱歉,评论功能暂时关闭!