机器人会嘲笑电子羊吗？研究挑战人工智能模型识别幽默

　　大型神经网络是人工智能的一种形式，它可以产生成千上万的笑话，比如“为什么鸡要过马路?”但他们知道自己为什么好笑吗?

　　研究人员使用来自《纽约客》杂志漫画标题大赛的数百个参赛作品作为测试平台，向人工智能模型和人类提出了三个任务:将笑话与漫画相匹配;确定获奖标题;并解释为什么获奖的标题很有趣。

　　在所有任务中，人类的表现都明显好于机器，尽管ChatGPT等人工智能的进步已经缩小了性能差距。那么，机器开始“理解”幽默了吗?简而言之，他们正在取得一些进展，但还没有完全实现。

　　“人们挑战人工智能模型的理解方式是为它们建立测试——选择题测试或其他具有准确性分数的评估，”杰克·赫塞尔博士说。1990年，艾伦人工智能研究所(AI2)的研究科学家。“如果一个模型最终超过了人类在这个测试中的得分，你会想，‘好吧，这是否意味着它真的理解了?’”说机器不能真正“理解”是站得住脚的，因为理解是人类的事情。但是，无论机器是否理解，它们在这些任务中的表现仍然令人印象深刻。”

　　Hessel是《机器人会嘲笑电子羊吗?》《纽约客标题竞赛》中的幽默“理解”基准，在7月9日至14日于多伦多举行的第61届计算语言学协会年会上获得了最佳论文奖。

　　Lillian Lee '93是康奈尔大学计算机与信息科学学院Charles Roy Davis教授，Yejin Choi博士。他是华盛顿大学保罗·g·艾伦计算机科学与工程学院的教授，也是AI2常识情报研究的高级主管，也是这篇论文的合著者。

　　在他们的研究中，研究人员收集了14年来《纽约客》的配文比赛，总共超过700次。每场比赛包括:一幅没有字幕的漫画;那一周的条目;《纽约客》编辑选出的三名决赛选手;而且，对于一些竞赛，对每个提交的作品进行人群质量评估。

　　在每次比赛中，研究人员测试了两种人工智能——“来自像素”(计算机视觉)和“来自描述”(分析人类对漫画的总结)——用于三项任务。

　　“有来自Flickr的照片数据集，标题是‘这是我的狗’，”埃塞尔说。“《纽约客》案例的有趣之处在于，图片和标题之间的关系是间接的、有趣的，并且引用了许多现实世界的实体和规范。因此，‘理解’这些事物之间关系的任务需要更复杂一点。”

　　在实验中，匹配需要人工智能模型从入围决赛但用于其他比赛的“干扰因素”中选择给定漫画的最终标题;质量排名要求模型区分入围标题和非入围标题;解释需要模型生成免费文本，说明高质量的标题如何与漫画相关。

　　在众包这项任务被证明不令人满意之后，埃塞尔自己写了大部分人工生成的解释。他为650多幅漫画创作了60个单词的解释。

　　“像650这样的数字在机器学习环境中看起来并不大，因为你通常有数千或数百万个数据点，”埃塞尔说，“直到你开始把它们写出来。”

　　这项研究揭示了人工智能和人类对动画片为什么有趣的“理解”之间的巨大差距。在将漫画与标题匹配的多项选择测试中，人工智能的最佳表现只有62%的准确率，远远落后于人类在相同环境下94%的准确率。当比较人类和人工智能生成的解释时，人类的偏好大约是2比1。

　　作者写道，虽然人工智能可能还无法“理解”幽默，但它可能是幽默作家用来集思广益的协作工具。

　　其他贡献者包括犹他大学计算机学院助理教授Ana Marasovic;AI2研究员黄哲伦(Jena D. Hwang);华盛顿大学研究助理Jeff Da, OpenAI研究员Rowan Zellers;以及幽默作家罗伯特·曼科夫，他是《纽约客》漫画集的总裁和长期担任漫画编辑。

　　作者本着主题的精神写了这篇论文，在整个过程中都有有趣的评论和脚注。

　　“这三四年的研究并不总是超级有趣，”李说，“但我们在工作中，或者至少在写作中，试图做的事情是鼓励更多的乐趣精神。”

　　更多信息:论文:aclanthology.org/2023.acl-long.41/由康奈尔大学提供引文:机器人会嘲笑电子羊吗?研究挑战人工智能模型识别幽默(2023,July 26)检索自https://techxplore.com/news/2023-07-androids-electric-sheep-ai-humor.html本文档受版权保护。除为私人学习或研究目的而进行的任何公平交易外，未经书面许可，不得转载任何部分。内容仅供参考之用。