2025世界人工智能大会（WAIC）即将开幕，本次大会提出了“AI三问”：数学之问、科学之问和模型之问。这些问题旨在超越技术应用的喧嚣，探讨人工智能发展的核心。本文将聚焦于“模型之问”，探讨大模型的发展历程及其未来方向。
大模型的技术雏形可以追溯到2013年Google推出的Word2vec，它首次证明无监督词向量能够有效捕获语义关系。2018年，Google的BERT模型与OpenAI的GPT-1相继问世，确立了“预训练+微调”的技术范式。2025年，GPT-3以1750亿参数规模震撼业界，验证了“规模即能力”的猜想。此后，大模型进入参数军备竞赛阶段，参数量年均增长率高达650%。2022年，OpenAI引入人类反馈强化学习技术，使模型更符合用户需求。大模型技术逐渐多元化，包括智能体框架、模型轻量化技术和模型蒸馏等。这些进展得益于深度学习、GPU算力和互联网数据洪流的推动。
然而，随着参数量激增，达到物理极限，大模型面临新的挑战。例如，GPT系列模型参数从2018年的1.17亿级增长到2023年的5000亿至一万亿之间。但新一代顶尖模型如Claude 3.5 Sonnet和Llama 3的参数规模反而有所下降，表明效率和智能并不完全依赖于参数量。百度CEO李彦宏认为，千亿参数是通用大模型的门槛，超过千亿后效果未必更好。当前主流大模型基于Transformer架构，虽然创新但也存在O(n²)自注意力复杂度的问题。为解决这一问题，研究人员尝试了多种优化方案，如MoE架构和Mamba架构。腾讯混元T1采用Hybrid-Mamba-Transformer融合架构，在保持准确性的同时降低计算复杂度。
除了架构创新，训练方法也在演进。预训练技术尽管强大，但也带来数据污染等问题。因此，“后训练”模式应运而生，通过量化、蒸馏、剪枝等技术优化已训练模型，使其输出更符合人类价值观。Gartner预测到2027年，70%的企业AI系统将采用“预训练-微调-后训练优化”三级流水线。
此外，高质量数据的稀缺成为大模型发展的瓶颈。传统依赖公开数据驱动模型能力增长的方式难以持续。为此，业界提出SICOG框架，通过后训练增强、推理优化和再预训练强化的协同机制，利用少量高质量标注数据提升模型能力。这一技术路线有望缓解大模型的数据焦虑。
大模型的快速发展引发了一系列社会经济变革。360董事长周鸿祎宣布用AI替代市场部，招商银行智能助手替代45%客服岗位，美国影视行业大量特效镜头由AI生成，降低成本。AI正在无差别地替代蓝领和白领工作，改变企业结构。一些小而精的团队利用AI实现了惊人的财富效应，如Midjourney和Cursor。AI不仅延伸了人类的肌肉力量，更是对思维能力的一次突破。尽管大模型发展仍面临诸多困难，但技术创新不断涌现。2025年我们将更接近AI的真相，WAIC2025或许会带来更多答案。
