阿里云Aegaeon入选SOSP

阿里云自研的计算池化方案“Aegaeon”成功入选全球计算机系统顶级会议SOSP 2025，引发业界关注。该方案直击AI模型服务中GPU资源浪费的痛点，通过打破“一个模型独占一张GPU”的传统模式，实现多模型共享GPU资源。核心技术已在阿里云百炼平台落地，在测试中服务数十个720亿参数大模型时，所需英伟达H20 GPU从1192块降至213块，用量减少82%，大幅压缩硬件成本。

Aegaeon的突破在于“token级调度”和全栈优化。系统在生成每个token后动态切换模型，配合显存管理、组件复用与KV缓存同步等技术，将模型切换开销降低97%，响应速度达到亚秒级。单张GPU可同时运行最多7个不同模型，有效吞吐量提升1.5至9倍，请求处理能力翻倍。随着AI进入系统软件与大模型深度融合的新阶段，这类底层创新正成为释放算力潜能的关键推力。