端侧AI迈入轻量化时代

腾赚网 132 0

端侧AI正加速迈向轻量化时代。过去两年,7B模型曾是主流,但受限于内存占用高、功耗大,实际体验并不理想。如今,3B模型凭借更小体积和更强推理能力脱颖而出,成为新宠。vivo在开发者大会上推出专为端侧打造的3B多模态模型,支持128K长上下文,出词速度超每秒200 token。苹果也在最新iPhone中将运存提升至12GB,强化本地AI能力。行业普遍认为,3B模型在算力、功耗与性能之间实现了更好平衡,甚至更低功耗的1B模型也已进入探索阶段,为全天候运行提供可能。

AI与操作系统的深度融合正成为下一个突破口。vivo、OPPO、荣耀等厂商纷纷布局智能体,推动AI从功能辅助转向主动服务。原系统6即将上线大量智能体,联合高德、百度、支付宝等实现任务拆解与跨应用协作。但挑战依然存在,4G内存设备难以支撑本地化运行,安全授权标准缺失,跨应用权限边界模糊,用户隐私保护机制尚不完善。当前智能体尚未真正融入高频刚需场景,如何让AI切实解决问题,仍是产业突破的关键方向。

抱歉,评论功能暂时关闭!