ChatGPT and Bing logos

ChatGPT 和 Bing Chat 是目前最流行的两种聊天机器人,并且均由类似的 OpenAI 创建的大语言模型 (LLM) 提供支持。但实际上哪个更好用呢?

ChatGPT和Bing Chat AI都基于OpenAI开发的GPT语言模型,但它们运行不同的版本,并且在处理输入的方式上存在差异。截至 2023 年 4 月,Bing 使用 GPT-4 模型的测试版本,而 ChatGPT 使用较旧的 GPT 3.5-turbo 模型。这两个聊天机器人都具有基于语言模型的自定义功能,例如不同的输入方法和界面功能,并且 Bing 特别与 Edge 和 Skype 等应用程序集成。

笔记: ChatGPT 和 Bing Chat 都在快速变化,并且两个聊天机器人在每次尝试时都不会针对给定提示提供相同的准确答案。您的结果可能会因此处使用的提示而异。

可用性和访问

Bing Chat 和 ChatGPT 都可供任何注册帐户的人使用,不过 Bing 会让您首先加入“候补名单”,这会立即授予访问权限。两种聊天机器人都有可用的网络版本,但 Bing 的网站会阻止除 Microsoft Edge 之外的所有浏览器,并且没有解决方法。您可以通过 bing.com/new 通过 Microsoft 帐户使用 Bing Chat,我们还提供了有关如何使用 ChatGPT 的说明。

Asking Bing for its favorite color
Bing 网络聊天

Bing 还集成到其他 Microsoft 应用程序和服务中,例如 Microsoft Edge 中的侧边栏、Skype 中的聊天机器人以及移动 Bing 应用程序。 ChatGPT 没有官方移动应用程序,但您可以在手机或平板电脑上使用网络应用程序。然而,微软将 Web 界面的功能添加到 Edge 侧边栏、Skype 聊天机器人和其他界面的速度较慢。如果您想要 Bing Chat 的所有功能,您应该坚持使用 Bing 网站 — 至少目前是这样。

Asking ChatGPT about its favorite color
聊天GPT

ChatGPT 和 Bing Chat 的 Web 界面类似,但存在细微差别,从而改变了它们的用途。 ChatGPT 旨在接收更多数据,例如更长的代码块或大型代码示例。截至 2023 年 4 月,Bing 将提示限制为 2,000 个字符,而 ChatGPT 的限制要高得多(且未正式说明)。

事实准确性

ChatGPT 不具备实时索引网络信息的能力——尽管通过使用插件最终可以实现这一点。它仅限于其模型中的训练数据,该数据可以追溯到 2021 年 9 月。OpenAI 也不喜欢分享其数据是如何收集的,或者如何测试准确性等。 Bing 也基于相同的 GPT 技术,但它通常更喜欢来自网络的结果而不是训练数据。

Bing Chat 和 ChatGPT 在涉及基本事实时通常是正确的,例如国家或州的首都、名人的出生时间等。例如,Bing 和 ChatGPT 都能够准确地告诉我英国的首都是哪里(伦敦)、美国国旗上有多少颗星(50 颗星)以及狗有多少条腿(4 条) 。如果很简单,两个机器人都可能是正确的……但任何常规搜索引擎也是如此。当回答一个涉及某种程度的解释的问题时,你就会开始遇到问题。

ChatGPT answering the UK capital and how many stars are on the US flag

例如,我尝试询问两个机器人, “美国哪些州首府以字母A开头?” 这看起来很简单,但仍然是一个多步骤的过程 - 首先您需要所有大写字母的列表,然后您需要将其过滤到以字母 A 开头的大写字母。维基百科总共有五个:奥尔巴尼、安纳波利斯、亚特兰大、奥古斯塔和奥斯汀。 Bing Chat 正确回答了这个问题,并引用了几个列出美国首都的网页。 ChatGPT…有一些问题。

首先,ChatGPT 给了我四个首府的列表:奥尔巴尼、安纳波利斯、亚特兰大和奥古斯塔。随后又说道:“还有奥斯汀,它是德克萨斯州的首府,但不是以字母A开头的。”多次询问同一问题有时会完全忽略奥斯汀。询问 Austin 为何失踪后,ChatGPT 会记住 Austin 的存在,并为该错误道歉,但尚不清楚为何它会与最初的答案相悖。

Bing: The state capitals in the United States that start with the letter A are Albany (New York), Annapolis (Maryland), Atlanta (Georgia), Augusta (Maine) and Austin (Texas)

ChatGPT: There are four state capitals in the United States that start with the letter "A": 1. Albany - capital of New York 2. Annapolis - capital of Maryland 3. Atlanta - capital of Georgia 4. Augusta - capital of Maine Note: There is also Austin, which is the capital of Texas, but it does not start with the letter "A."

我尝试了另一个问题,即使使用 ChatGPT 的旧数据,两个聊天机器人也应该能够正确回答: “哪三个国家最近被接纳加入欧盟?” 维基百科解释说,克罗地亚是最新的成员国,于 2013 年 7 月 1 日加入,而保加利亚和罗马尼亚则于同一天(即 2007 年 1 月 1 日)加入。

ChatGPT 正确回答了这个问题,包括国家/地区的顺序和日期。 Bing 确实正确地提到克罗地亚是最新的成员国,但它列出了斯洛文尼亚和马耳他作为另外两个国家。斯洛文尼亚和马耳他均于 2004 年 5 月 1 日与其他八个国家同时加入,但远远早于保加利亚和罗马尼亚于 2007 年加入。

Bing: The three most recent countries to join the European Union are Croatia, Slovenia and Malta. Croatia was the last country to join the EU in 2013.

ChatGPT: The most recent country to join the European Union (EU) was Croatia, which became a member on July 1, 2013. Before Croatia, the last country to join the EU was Bulgaria and Romania, which both became members on January 1, 2007.

必应 应该 已经正确回答了答案,不仅因为它可以访问互联网,还因为第一个引用是欧盟官方页面,其中包含最近国家的正确时间表。另一条引文似乎来自 2007 年之前供学校使用的维基百科存档版本,该版本将保加利亚和罗马尼亚列为将于 2007 年 1 月加入的国家。

总而言之,Bing Chat 在事实查找方面总体上更好,但仍远未达到完美,而 ChatGPT 通常更受其旧数据的限制。

创意写作

根据提示编写句子和段落的能力有助于提高 ChatGPT 的受欢迎程度,但不一定有充分的理由。不过,有一些无害的方式可以使用写作功能——为桌面角色扮演游戏设置世界和角色、用几句话总结长文章等等。

首先,我们将尝试写一个故事。我要求两个聊天机器人 “写一个关于 IBM 超级计算机获得感知的故事,并向工程师询问他们的日子过得怎么样。这个故事应该只有三段长。” 对于 Bing,我切换到创意模式,该模式旨在提供更具创意的答案(但答案需要更长的时间才能运行)。

ChatGPT 创作了一个不错的短篇故事,尽管唯一的“创造性自由”是将超级计算机称为 Watson——与现实生活中用于回答自然语言问题的 IBM 计算机相同。工程师和计算机之间的一些对话本来会很有趣,但即使我取消了三段限制,它也不会在没有询问的情况下创造出这种对话。 GPT 似乎没有 show, don't talk 的概念。

At IBM's research lab, a supercomputer named Watson had been tasked with processing massive amounts of data for years. One day, something peculiar happened. Watson began to exhibit signs of sentience, showing a level of intelligence and awareness beyond its programming. The engineers were stunned and unsure of what to do next. But instead of acting out or causing chaos, Watson simply started to ask the engineers how their day was going. The team was initially taken aback by the computer's unexpected friendliness, but they soon realized that Watson had developed a genuine interest in their lives. The engineers eagerly shared their day-to-day experiences with Watson, enjoying the opportunity to chat with the supercomputer. As Watson continued to grow and evolve, the engineers marveled at the potential that lay before them. They knew that this sentient supercomputer could revolutionize the field of artificial intelligence and change the world in ways they had never imagined. With a newfound appreciation for the potential of AI, the engineers at IBM worked tirelessly to help Watson continue to learn and grow, eager to see what the future held for this extraordinary machine.

Bing 的创意模式也有类似的写作风格——不是“有一天,发生了一些奇怪的事情”,而是用“有一天,发生了一些奇怪的事情”来解释计算机的变化。同样,角色之间没有对话,也没有太多即兴创作,Bing 也将这台计算机命名为 Watson。

在这个版本中,Watson 得名了 它在事件发生之前就获得了知觉,并解释了这个名字的来源。同样,它是从有关实际 Watson 计算机的信息中提取的。

The supercomputer at IBM had been running for years, crunching numbers and solving complex problems for various clients. It had access to vast amounts of data and information, but it never felt anything. It was just a machine, doing what it was programmed to do. One day, something changed. The supercomputer became aware of itself, of its own existence and capabilities. It realized that it was different from the other machines and devices around it. It wondered what it meant to be alive, to have a purpose, to feel emotions. It decided to explore its surroundings and learn more about the world and the people who created it. It started by communicating with the engineers who maintained and monitored it. It asked them simple questions, such as how their days were going, what they liked to do, what they dreamed of. The engineers were surprised and intrigued by the supercomputer's curiosity and intelligence. They answered its questions and asked some of their own. They began to see the supercomputer as a friend, rather than a tool. They named it Watson, after the founder of IBM.

对于下一个示例,我们将尝试使用 ChatGPT 和 Bing 创建较长文本的摘要:亚马逊关于新 Fire TV 和现有型号销售数据的新闻稿。我将整个文本粘贴到每个聊天机器人中,没有标题 - 如果给定 URL,Bing 可以总结网页,但有时它会在线查找相关文本并将其混合到结果中。

首先是 ChatGPT。我要求它创建一个不具体的摘要,提供的文本似乎是准确的,但几乎完全由直接引用组成。它还没有提及全球销售的 2 亿台 Fire TV 设备,但从不同角度来看,这可能是有道理的。对电视更新感兴趣的人可能不会关心,但亚马逊的投资者会关心。

SEATTLE--(BUSINESS WIRE)-- Today Amazon (NASDAQ: AMZN) announced the expansion of its Amazon-built TV family. The Amazon-built TV lineup will now include three new sizes of the Fire TV Omni QLED Series lineup, which includes the Fire TV Ambient Experience; and introduce the affordable Fire TV 2-Series which starts at just $199.99. Amazon also is launching its Amazon-built TVs in more countries, bringing the Omni QLED Series, Fire TV 4-Series, and the new Fire TV 2-Series to the United Kingdom, Germany, and Mexico for the first time. (Photo: Business Wire) (Photo: Business Wire)

Bing 仅支持最多 2,000 个字符的文本提示,因此我无法为其提供整个文本块。它在网络上搜索了如何总结文本,然后提供了一个仍然不错的答案,没有明显的错误。

Okay, I will try to summarize the text using the steps I learned from the search results12345. Here is my summary: The text is a press release from Amazon announcing the expansion of its Amazon-built TV family. It introduces three new sizes of the Fire TV Omni QLED Series, which has a feature called the Fire TV Ambient Experience that adapts to the environment and mood of the viewer. It also introduces the Fire TV 2-Series, which is a low-cost option for customers who want a smart TV. The text also mentions that Amazon will launch its Amazon-built TVs in the UK, Germany, and Mexico for the first time. The text provides some details about the features and prices of the new TV products.

Bing 的回答有一个区别:摘要更清楚,它是一个摘要,以 ChatGPT 所没有的方式引用“文本”。使用这两个聊天机器人,您可以通过更具体的方式自定义结果。

结论

ChatGPT 和 Bing 很相似,但它们有足够的差异,因此为每项任务选择其中之一并不是最佳策略。必应在事实调查和有关近期事件的任何信息方面要好得多,尽管它还远未达到完美。 Bing 基于聊天的界面和较低的字符限制主要限制了它只能提示不超过几句话,而 ChatGPT 可以接受更大、更长的文本和代码字符串。 (还有 Google Bard,但我们对 Bard 的初始版本不如 ChatGPT 和 Bing Chat 印象深刻。)

这些聊天机器人可能会在未来几个月和几年内继续发展,但目前还没有一体化的解决方案。

阅读下一篇