如何构建通用智能“底座” ?
AI在赋能千行百业并加速向垂直场景渗透的过程中,面临着需求碎片化、多样化的问题,这正是AI大模型研发和应用的核心驱动力。AI大模型能有效地从海量无标注数据中学习并总结不同行业、不同场景、不同任务下的基础共性知识,以备下游任务运用。将具备通用基础能力的AI大模型作为智能底座,结合行业知识和场景数据进行微调,能有效应对碎片化和多样化需求,并大幅缩减研发、定制、部署等工程化过程中的人力、时间、费用等成本投入。
未来AI大模型的发展方向是什么?
未来,AI大模型有三个重要的发展方向。一是有效平衡模型精度和参数规模。参数量对AI大模型的能力泛化、知识承载具有重要影响,未来亟须借助知识蒸馏、模型裁剪等技术实现大小模型协同。二是持续加强模型框架设计和优化。积极探索Transformer以外的模型基础框架,加强对模型结构的理论研究和工程实践,从本质上、源头上提升AI大模型精度。三是充分释放算力、算法、数据、知识等要素的发展红利。