DALL-E 和 ChatGPT 背后的公司 OpenAI 发布了一款免费工具,据称该工具旨在“区分人类编写的文本和人工智能编写的文本”。它在新闻稿中警告说,分类器“不完全可靠”,“不应用作主要决策工具”。根据 OpenAI 的说法,它可以用来确定某人是否试图将生成的文本冒充为人写的内容。

该工具称为分类器,相对简单,但您必须拥有免费的 OpenAI 帐户才能使用它。你只需将文本粘贴到一个框中,单击一个按钮,它就会告诉你它是否认为该文本是非常不可能、不太可能、不清楚它是否是、可能或可能是人工智能生成的。

在测试中,它将 26% 的人工智能编写的文本识别为“可能是人工智能编写的”

OpenAI 在其新闻稿中表示,它使用“关于同一主题的成对的人类编写文本和人工智能编写文本”来训练为该工具提供支持的模型。

然而,它确实提供了很多有关使用该工具的警告。在文本框上方,该公司指出了一些限制:

至少需要 1,000 个字符,即大约 150 - 250 个单词。

分类器并不总是准确的;它可能会错误地标记人工智能生成的文本和人类编写的文本。

人工智能生成的文本可以轻松编辑以逃避分类器。

分类器可能会在儿童编写的文本和非英语文本上出现错误,因为它主要是根据成人编写的英语内容进行训练的。

该公司还表示,有时它会“错误但自信地”将人类编写的文本标记为来自人工智能,特别是如果它与训练数据中的任何内容都非常不同。这清楚地表明分类器仍然是一个“正在进行的工作”。

这些警告似乎是有道理的——我通过该工具运行了自己工作的一些片段,并将它们全部标记为“不太可能是人工智能生成的”。 (又愚弄了他们。)然而,它也表示不清楚这是否 Buzzfeed 新闻 文章是由人工智能撰写的,尽管底部的通知写着“这篇文章完全由 ChatGPT 撰写”。

我还得到了一些文章的“不清楚”结果 CNET 财经,而其他人则得到“不太可能”的分类。该媒体表示,这些文章“由人工智能引擎协助,并由我们的编辑人员进行审查、事实核查和编辑”,因此其中可能存在一些人为调整(特别是因为 科技资讯网 已对其中一半以上进行了更正)。尽管 科技资讯网的所有者尚未透露其文章使用的是哪个特定系统,但我的同事 Mia Sato 报告说,它使用了一种名为 Wordsmith 的工具来处理其某些内容。 OpenAI 表示,它的工具不仅仅适用于 GPT,而且它应该检测“来自不同提供商的人工智能编写的文本”。

有关的

我并不是说 OpenAI 的分类器根本不起作用。我运行了一些人们通过 ChatGPT 发布的回复示例,并将其中大多数标记为“可能”或“可能”由人工智能生成。 OpenAI 还表示,在测试中,该工具在 26% 的情况下将 AI 编写的文本标记为“可能是 AI 编写的”,并在 9% 的情况下给出错误的 AI 检测,优于之前用于嗅探 AI 检测到的文本的工具。

OpenAI 并不是第一个推出检测 ChatGPT 生成文本的工具的公司;聊天机器人迅速走红后,GPTZero 等网站也迅速走红,该网站是由一位名叫 Edward Tian 的学生创建的,旨在“检测人工智能抄袭”。

OpenAI 真正关注这一检测技术的地方是教育。其新闻稿称,“识别人工智能编写的文本一直是教育工作者讨论的一个重要问题”,因为不同的学校对 ChatGPT 的反应是禁止或接受它。该公司表示,它正在“与美国的教育工作者合作”,了解他们在课堂上从 ChatGPT 中看到的内容,并征求所有参与教育的人的反馈。