科技日报记者张佳欣
图灵测试是一种检验机器是否具有人类智能的方法。ChatGPT在AI领域成为“新星”的过程中,有一个问题一直存在:它是否通过了图灵测试。
美国加州大学圣迭戈分校的研究人员卡梅隆·琼斯和本杰明·卑尔根借鉴了艾伦·图灵的研究成果,设计了一个程序,以确定机器是否能够达到人类智力和对话能力的临界点。倘若达到临界点,那么它就足以让人误以为它是人类。结果显示,GPT-4未通过测试。相关研究报告《GPT-4能通过图灵测试吗?》于10月31日发表在预印本网站arXiv上。
ChatGPT给人的印象大多是聪明的、快捷的。在与人交谈时,它的回答很人性化,甚至可以表现得幽默风趣,能模仿青少年的措辞,并通过了美国法学院的考试。但有时,人们会发现它提供的信息完全是错误的,是胡编乱造的。
卡梅隆·琼斯和本杰明·卑尔根召集了650名参与者,参与者会和人或GPT模型进行简短对话,并被要求确定他们在与谁交谈。结果发现,GPT-4模型在41%的情况下骗过了参与者,而GPT-3.5模型成功骗过参与者的几率仅为5%至14%。有趣的是,人类仅在63%的试验中成功地让参与者相信他们不是机器。
研究人员总结道:“我们没有发现GPT-4通过图灵测试的证据。”