文章来源:
腾赚网
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 wulanwray@foxmail.com 举报,一经查实,本站将立刻删除。
阿里云自研的计算池化方案“Aegaeon”成功入选全球顶级学术会议SOSP 2025,引发业界关注。该方案直击AI模型服务中GPU资源浪费的痛点,通过创新的系统架构大幅提升资源利用率,核心技术已落地阿里云百炼平台。SOSP素有计算机系统领域“奥斯卡”之称,每年仅收录数十篇高质量论文,此次入选也印证了Aegaeon在系统与AI融合方向上的前沿地位。
在真实场景测试中,Aegaeon将服务720亿参数大模型所需的H20 GPU数量从1192张锐减至213张,节省高达82%。其核心突破在于打破“一模型一GPU”的固定模式,实现GPU资源池化。通过token级调度、显存优化和KV缓存同步等技术,模型切换开销降低97%,支持单卡并发运行最多7个模型,有效吞吐量提升1.5到9倍。这一成果标志着AI基础设施正从拼硬件转向拼系统效率,为大规模模型部署提供更经济高效的底层支撑。
抱歉,评论功能暂时关闭!