飞鱼博客 
当人工智能聊天机器人“产生幻觉”时，它们到底在做什么?这个术语是否准确地解释了为什么所谓的生成式人工智能工具——在许多专业环境中几乎无处不在——有时会在提示时生成错误信息?
随着关于人工智能应用的真实性质、能力和发展轨迹的争论在幕后不断发酵，该领域的一位权威专家反驳了“幻觉”的概念，认为它误解了当前人工智能模型的运作方式。
“一般来说，我们不喜欢这个术语，因为这些模型会犯错误，而我们可以解释它们为什么会犯错误，”东北大学体验式人工智能研究所的执行主任乌萨马·法耶德说。
Fayyad说，“幻觉”这个词是b谷歌对OpenAI推出的极具影响力的ChatGPT的回应而流行起来的。虽然它是该技术类似人类的品质和缺点的一个令人信服的类比，但这个术语有点用词不当，可能会对公众对人工智能技术的理解产生负面影响。
“当你说到幻觉时，你把太多归因于模型，”Fayyad继续说。“你是在归因意图;你在归因意识;你认为这是一种默认的理性运作模式;你把某种形式的理解归功于机器。”
法耶德强调，聊天机器人“没有意图;(他们)不理解。”他说，他们所犯的错误与任何预测模型固有的错误并没有什么不同，比如那些用于经济或金融预测的模型，在这些模型中，错误很容易被预测到，并被适当地考虑在内。
尽管一些公司一直在努力量化广泛使用的大型语言模型的错误率，但聊天机器人“产生幻觉”的频率仍然鲜为人知。据《纽约时报》报道，一家由谷歌前员工创建的名为vectara的初创公司发现，OpenAI的模型在大约3%的时间里产生了幻觉，而谷歌的一个名为“Palm chat”的平台产生虚假信息的比例为27%。
Fayyad说，更复杂的是，当前生成式人工智能模型产生的自动完成输出高度依赖于提示。即使稍微调整一下提示，也会得到非常不同的结果。
数据科学项目主任、霍利学院(Khoury College) Sy和Laurie Sternberg跨学科副教授拜伦·华莱士(Byron Wallace)曾将这些提示设计称为“不完全是提示工程”——为聊天机器人设计输入的过程——而更像是“咒语和黑魔法”。
Fayyad希望简化围绕生成式人工智能工具潜在应用的对话。
“我可以说——这些模型产生了幻觉;或者，更准确地说，我可以说，嗯，模型犯了一个错误，我们理解这些模型会犯错误，”法耶德说。
为了进一步混合隐喻，法耶德提出，人类和人工智能机器之间需要更大的信任。他认为“从业者、用户和组织需要相信系统是如何做出决策的，它是如何运作的，以及它不会表现出不稳定、[不可预测的]或危险行为的事实。”
他写道:“人工智能的话题带来了神秘感和模糊性。“揭开算法所展示的技术和行为的神秘面纱，无论是好是坏，都能建立真正的进步，并在理论、学术、商业和实践等各个方面创造有价值的成果。”
目前，像ChatGPT这样的大型语言模型的功能是“美化的自动完成”应用程序，对来自在线数据库、文章和其他来源的大量数字文本进行训练。“它们只是像任何自动补全设备一样产生输出，就像你的手机或其他任何设备一样。”
“这些模型不知道正确序列和错误序列之间的区别，”Fayyad说。“了解错误发生的地方，并试图从中恢复——这是一个非常困难的人工智能问题，我们目前还没有很好的解决方案。”
为了控制幻觉，研究人员已经开始使用其他大型语言模型来检查各种聊天机器人的准确性。当然，这些工具也会产生错误(幻觉)，Fayyad指出。
他强调需要人类继续检查这些工具产生的输出——这个概念被称为“人在循环”。
他说:“它留给你——用户说，‘这个自动补全功能不正确’，然后修复它。”引文:当人工智能聊天机器人“产生幻觉”时，它们到底在做什么?以下是为什么专家们不喜欢这个词(2023,11月13日)从https://techxplore.com/news/2023-11-ai-chatbots-hallucinate-experts-dont.html检索2023年11月14日。除为私人学习或研究目的而进行的任何公平交易外，未经书面许可，不得转载任何部分。内容仅供参考之用。
