公开的高质量数据即将用尽了吗？如何未雨绸缪”“不同具身智能技术路线的能力边界在哪里”“我们需要什么样的AI4S基座模型”“当前大模型是否遭遇瓶颈”……12月13日～14日，数十个人工智能领域最前沿的关键话题出现在浦江西岸，在由上海人工智能实验室发起并主办的首届“浦江AI学术年会”上，全球150余名人工智能领域专家学者就这些话题进行了深入研讨。
两年前，ChatGPT横空出世，掀起一场超强的“AI旋风”；最近，OpenAI用连续12天的发布会再次让全球进入“AI狂欢”。但不同于两年前的震惊、兴奋与困惑，今天的学界和产业界对于AGI路线有了更多的“中国思考”。
定义“智能”
什么是“智能”？
尽管人工智能这个词来源于1956年著名的达特茅斯会议，但会议的发起人麦卡锡却并不喜欢这个名字，“毕竟，我们的目标是‘真正的’智能，而非‘人工的’智能。”
2022年底，ChatGPT的出现惊艳了世人，也被认为出现了智能“涌现”，但香港大学计算与数据科学学院院长马毅对此并不认同，他认为，GPT有的只是知识，而不是智能，“智能系统一定是具有自我纠正和自我完善现有知识体制的系统”。
马毅最近几年一直致力于研究“白盒大模型”，“白盒”概念对应的正是基于深度学习模型的“AI黑盒说”——尽管大模型给出了令人满意的结果，但人们对其决策过程却并不了解，甚至输出结果很难预测和控制，也即出现所谓的“幻觉”。
马毅认为，现有的深度学习模型，例如 Transformer（主流大语言模型架构），本质上是“减墒”，从高维的图像、声音、语言等信号里，不断压缩、去噪，然后找到核心规律、低维结构，而白盒就是要清晰解释这个压缩过程。
Transformer
简单理解，与ChatGPT的“暴力出奇迹”不同，“白盒”反其道而行之，试图先搭建一个可解释的框架，然后在这个框架下设计出能被解释的网络和模型。由于知之而为之，大大减少了Transformer架构的试错成本，从而从根本上解决当前遇到的“数据墙”和“算力墙”问题。
稀宇科技创始人闫俊杰则认为，智能的定义可以非常广泛，黑盒模型在某些应用中足够，但白盒模型在理解人类的智能上可能有优势。尽管当前的模型和产品已取得一定进展，但未来将会有更多创新出现，不同研究机构和企业将提出各自对智能的理解，并在特定领域内超越现有水平。
新解“Scaling Law”
论坛现场，马毅的观点迅速成为学者们热议的焦点，而在“什么是智能”的问题背后，隐藏着的另一个提问是，“Scaling Law（尺度定律）还能走多久？”
大洋彼岸，几乎同时举行的另一场学术重磅会议——NeurIPS 2024上，OpenAI的前首席科学家Ilya Sutskever语出惊人，“预训练时代即将终结（Pre-training as we know it will end）”，理由是作为AI发展燃料的数据即将枯竭，依赖海量数据的预训练模型将难以为继。
数据枯竭、算力昂贵、效果下降……最近半年，Scaling Law“撞墙”的反思频繁出现在学术界和工业界。闫俊杰指出，当前全球有效数据被清洗后大概只有20万亿Token。
同时，要想和人脑实现同样功能的计算量是巨大的，图灵奖得主杨立昆在其新书《科学之路》中指出，为了达到人脑的计算能力，必须将10万个GPU连接上功耗至少25兆瓦的巨型计算机才能实现，能量消耗是人脑的 100 万倍，因此深度学习的能力十分强大却又十分有限。
图源：pixabay
“根据我们的观察，随着大模型规模的不断扩大，归纳相关的能力快速提升，而且可能会继续遵循Scaling Law，但其演绎能力，包括数学和推理方面的能力，随着模型Side进一步提升，不仅没有增长，反而在下降。”会议间隙，阶跃星辰首席科学家张祥雨告诉《IT时报》记者，他对万亿以上参数大模型的能力提升，并不绝对乐观。
包括OpenAI在内的全球顶尖AI公司和科学家们都在“另辟蹊径”。北京时间12 月 6 日凌晨2点钟，OpenAI 宣布推出满血版o1和o1 pro mode，紧接着，谷歌祭出最强下一代新模型Gemini 2.0 Flash，第一时间都“尝鲜”之后，张祥雨对两个大模型的创新颇为赞赏，不过，虽然“视觉和推理都有很大突破，但离真正的AGI仍有很长的路要走，未来需要更智能的目标导向和试错机制”。