想要使用大模型，但必须联网？未来可能一部手机便能支撑起AI对话的进行。3月28日，贝壳财经记者获悉，全球最大的智能手机芯片厂商MediaTek联发科，已成功在天玑9300等旗舰芯片上部署通义千问大模型，首次实现大模型在手机芯片端深度适配。
通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台，可离线运行即时多轮AI对话应用，连续推理功耗增量不到3W。这一突破意味着大模型可以在手机芯片上实现高效推理，为用户提供个性化体验。
端侧AI是大模型落地的重要场景之一。利用终端算力进行AI推理，可以降低推理成本、保证数据安全并提升AI响应速度。然而，要将大模型部署并运行在终端，需要完成软硬一体深度适配，克服技术挑战。
阿里巴巴通义实验室业务负责人徐栋介绍称，阿里云与MediaTek在多个维度展开合作，实现了高效异构加速，将大模型成功“装进”手机芯片中。这一合作为端侧AI的Model-on-Chip部署开辟了新模式。
基于天玑9300芯片，通义千问18亿参数大模型在推理时CPU占有率为30%左右，RAM占用少于2GB，推理速度超过20tokens/秒，可在离线环境下流畅实现多轮AI对话。相关成果将以SDK的形式提供给手机厂商和开发者。
双方团队已完成了通义千问40亿参数大模型与天玑9300的适配，未来还将支持更多尺寸大模型的开发。MediaTek表示，期待通过合作为应用开发者和终端客户提供更强大的硬件和软件解决方案，促进AI应用生态的快速发展。