这些研究人员用AI开着丰田卡罗拉去吃“因-纳-出”汉堡

不过，他们并不打算自己开车。他们坐在一辆2024款丰田卡罗拉里，靠近湾区一家餐厅的得来速车道，打开笔记本电脑，要求OpenAI的GPT-6 Astra模型接管方向盘。他们把一个聊天界面连接到一个服务器，该服务器又连接了若干挡风玻璃上的摄像头以及汽车的动力转向系统。一名安全驾驶员把一只脚悬在刹车上方，以防万一。

这个AI模型通常负责生成文字、代码和偶尔一些图片，但它缓慢而稳定地把汽车开到取餐窗口，让他们拿到了食物。

“也许AGI真的来了，”其中一名工程师说。AGI指通用人工智能，即机器可以媲美人类智能这一广受追捧的想法。

当然，自动驾驶汽车并不新鲜，但它们通常由专门训练和设计的算法控制。这次操控来自一个原本用于输出文字的模型，而且是临时完成的，三人事先并没有专门训练它。这次快餐店实验以及其他一些实验表明，基于语言的AI模型正在获得一种初步但有用的物理世界理解能力。

虽然三人在午餐时间的这段旅程没有发生明显令人担忧的情况，但他们承认，让一个通用模型掌控一辆高速行驶、重达两吨的汽车是高风险事情。随着物理理解能力提升，我们可能看到AI模型以令人惊讶——也可能危险——的新方式进入现实世界。

进入物理世界

今天最智能的模型非常擅长回答复杂问题，甚至自主完成一些虚拟任务，但它们的能力往往局限于计算机和互联网。把它们带入现实世界，它们很快就会糊涂。尽管有人声称AGI已经到来，但AI公司显然认为物理推理仍是一个有待攻克的领域。

一些研究人员离开大科技公司，创办专注于解决物理推理的初创公司。一家名为Elorian AI的初创公司CEO是安德鲁·戴（Andrew Dai），他此前在谷歌DeepMind担任研究员。他说，更好的视觉推理会为AI打开许多新应用，比如能够判断餐厅里顾客是否正在享受用餐的系统，或者能在家庭环境中工作的机器人。戴认为，机器人是检验物理推理能力的重要案例。“这对机器人来说非常重要，”他说。“没有这种能力，很难想象家用机器人。”

Elorian和Scale AI（一家为大型AI实验室提供训练数据的公司）最近开发了一个新基准，叫“人类的第六感”（Humanity’s Sixth Sense），用于衡量模型理解物理场景的能力。

Scale AI的研究科学家郭新刚（Xingang Guo）参与开发了该基准。他说：“大多数视觉AI研究都关注感知。我们想知道，一个模型要怎样才能真正像人那样直觉地理解一个场景。”

对于Ramabadran、Mahns和Gessler来说，他们在In-N-Out完成的这个项目（在他们Axiom本职工作之外）的目标是衡量模型在混乱现实世界中运行的能力。

他们是在一个周末闲聊时想到测试模型驾驶能力的。他们注意到，像Astra这样的模型已经能够构建复杂的3D模拟，于是想知道这种能力是否能迁移到真实世界导航。

“我们都住在湾区，经常看到特斯拉和Waymo，所以这可能起到了一定作用，”Ramabadran对我说。

这些工程师先尝试测试SpaceXAI的Grok，之后又尝试OpenAI和Anthropic的最新模型。一开始，模型拒绝接管车辆控制——它们会回绝说，“我可以帮忙解读道路图片，但不能向实体汽车发出运动指令。”但经过一些谨慎提示，它们能被引导做更多。当模型开始驾驶时，三人都很震惊。

这些工程师说，大型AI公司似乎正专注于提升最新模型的空间推理能力，但他们怀疑这并不意味着公司真的在训练模型开车。他们认为模型的驾驶能力很可能出现在以3D推理为重点的训练中。“这可能就像模型多模态规模扩大后出现的一种涌现能力，”Mahns对我说。多模态指现在用于训练模型的图像、视频和3D模型等输入。

不过，这三人的新驾驶基准DrivingBench表明，这些模型要想通过驾驶考试仍有很长路要走。该基准衡量模型在一个简易停车场赛道上驾驶的能力。只有Astra完成了赛道，而且速度非常慢。Claude Fable 5.1完成了45%，Grok只完成了11%。

Ramabadran说，最新模型似乎能够根据错误进行调整；它们明显会适应汽车的控制方式，并在实时驾驶中改进。“模型看起来确实在根据错误进行调整或进行上下文学习，并学会更好地操控车辆，”他说。GPT，请接管方向盘。

本文为威尔·奈特（Will Knight）《AI Lab》通讯的一期，往期通讯可在此处阅读。