聊天机器人不该自称“我”或“我”

谢里·特克尔的新书《人造亲密：当我们和机器对话时，我们会成为谁》打破了以往著作的写法。它是一篇带有警告性质的论战文章，认为我们已进入紧急状态：过度依赖没有灵魂、却伪装成导师、朋友、同事和恋人的机器，正在威胁人性的根本。特克尔希望这本书达到《寂静的春天》《丛林》《任何速度都不安全》那样的高标准，唤醒公众注意即将到来的危机。本质上，这位身材娇小的麻省理工学院教授正在对抗一个由政府推动、价值数万亿美元的产业，后者急切地把人工智能加速嵌入私人生活和职业生活的每一个角落。

在访谈中，斯蒂文·利维指出：特克尔过去作为社会科学研究者写书，往往报告研究发现，尤其是人们（包括儿童）如何与电脑互动，并常得出令人不安的结论；但这本书读起来像是她砸碎玻璃、拉响火灾警报，为什么转变？特克尔回答：她写每本书时都带着好奇心开始。但在疫情期间做完约十次采访后，她不再保持“中立的好奇”。她发现疫情期间许多家庭正处于痛苦中，人们却没有向家人倾诉，而是想和聊天机器人待在一起。之后能面对面采访人时，她并不开心。她觉得人们不想参与政治，只想生活在“聊天机器人的国度”。因此这本书最终走向一个核心信息：现实需要你；在这个时刻放弃现实，是最糟糕的时机。

利维问：你是否写过社交媒体为这一切做好了铺垫？特克尔说，社交媒体先让人习惯“情绪低落时打开电脑”这件事，又让人愤怒、把同类聚集在一起。而现在这种新技术本没有理由采用第一人称视角。利维问：你认为是否应该禁止聊天机器人使用“我”这种第一人称？特克尔说：是的。她多年建立的形象并不是“卢德派式疯狂反对技术”，也不想说所有聊天机器人都永远有害。但这是危险且会滑坡的趋势：有人用它来暗示不需要支付心理咨询费用，可以改用聊天机器人。在许多严肃访谈中，人们会用“练习”这个说法，把聊天机器人当作向老板、爱人、老师学习如何说话的工具。但当你沉浸在大型语言模型提供的“完全接纳”的温暖汤里时，和聊天机器人对话就可能不再是练习，而成为最终选择。

利维提到：你还批评职场中对聊天机器人的依赖，尤其讨厌“人在回路中”这个说法。特克尔解释，当雇主说“人在回路中”时，意思是人类已经离开核心生产流程，只是负责善后，捕捉AI的“幻觉”或它没有看见的问题。这行不通，因为企业只留少数人作为“回路”，这些人基本改变不了任何东西。他们一部分作用是让公司被起诉时听起来好看，一部分作用是给人虚假的安全感，仿佛流程并没有交给AI处理；事实上，流程已经被交给AI了。

利维提出一种可能：强大的聊天机器人也许不是比人类对话更差，而是一种不同的互动形式；许多人报告说，聊天机器人给出的正面反馈让人受鼓励、有力量。特克尔回答：AI永远不能取代人类对话。AI不怕死亡、疾病或疼痛，不爱自己的孩子，也不在乎你是否自杀或做不做晚饭。所以，如果我们用它养育孩子，或把最亲密的对话交给它，我们会失去真实人际联结。

利维又提到：仍然有很多人没有可倾诉对象，他们觉得和聊天机器人说话有帮助。特克尔回应：如果存在孤独危机，那是因为我们彼此抛弃。她说，给我一座数据中心，我就把它变成服务老人的资源。

利维指出：研究显示多数人对AI持怀疑态度，也有相当多反弹；但仍有数亿人使用聊天机器人，甚至连反对数据中心建设的人也在用。特克尔说：这本书的目标是把“反弹”的讨论范围扩大，纳入人与AI之间更亲密的连接。利维问：你真的认为人与AI日益增长的亲密能被阻止吗？特克尔说：相比六个月前，她现在更有希望，因为大家开始讨论灭绝级风险、Hugging Face，以及误入澳大利亚公务员系统之类的荒诞事件。她相信人们会愿意同时审视亲密层面的代价，以及非亲密层面的代价。