·如果用户发送冰箱内部的照片,AI虚拟志愿者不仅能够正确识别里面的东西,还能推断和分析可以用这些东西做什么菜,并为这些食材提供食谱。

·学习法语的用户可以假装在巴黎的一家咖啡馆点咖啡,或者与AI扮演的某个人讨论未来的假期计划。完成对话后,用户将获得有关其准确性的AI反馈。

人工智能研究机构OpenAI 3月14日发布了其大型语言模型的最新版本GPT-4。GPT-4是一个多模态大模型,可以接受图像和文本输入,相比GPT-3能够更准确地解决难题,更具创造性和协作性,可处理超过25000个单词的文本。

在正式发布前,GPT-4就已为微软公司的新必应(New Bing)提供了支持。此外,还有多款日常应用选择“尝鲜”与GPT-4合作,包括教育学习软件、残障人士助手和支付平台,展示了这一新的大模型在应用上更多的可能性。

为有视觉障碍人士提供图像信息指导

成立于2012年的Be My Eyes是一家丹麦初创公司,致力于为盲人或视力低下的人提供技术帮助。该公司协助有视觉障碍的人与志愿者联系,志愿者可以帮助他们完成日常生活任务,比如导航到目的地。

人工智能虚拟志愿者可帮助视障人士了解图片信息。

在GPT-4的支持下,Be My Eyes应用程序现在拥有一个人工智能虚拟志愿者,它可以像人类志愿者一样帮助残障人士。这家初创公司分享了一个例子,视障人士能够在轨道交通系统中获取AI导航,以了解他们在地图上的位置,并逐步获得提示到达目的地。

Be My Eyes应用程序的新版本是第一个集成GPT-4多模态功能的应用程序,不仅能够清晰地聊天,还能够检查和理解用户提供的图像。用户可以通过该应用程序将图像发送给人工智能虚拟志愿者,该志愿者将回答有关该图像的任何问题,并为各种任务提供即时的视觉帮助。

例如,如果用户发送他们冰箱内部的照片,虚拟志愿者不仅能够正确识别里面的东西,还能推断和分析可以用这些东西做什么菜。然后,该工具还可以为这些食材提供食谱,发送有关如何制作菜肴的指南。

Be My Eyes的一位用户展示了该应用程序如何帮助她完成一系列实时操作。新的机器人可以用来描述裙子的外观、识别植物、阅读地图、翻译标签、引导她去健身房的某台跑步机,并告诉她在自动售货机上按哪个按钮。

但目前,容易犯错的AI还难以完全取代人类志愿者。

这项新功能正在Be My Eyes的小部分用户中进行封闭测试,将在未来几周扩大测试范围。“我们希望在未来几个月内广泛地提供虚拟志愿者。”该团队写道,“而且就像我们现有的志愿者服务一样,这个工具对所有使用Be My Eyes应用程序的盲人和低视力成员免费。”

AI陪你学习英语

语言学习软件提供商多邻国(Duolingo)3月14日宣布,该公司正在推出一个新的“Duolingo Max”订阅,为在iOS操作系统上学习西班牙语和法语的英语用户提供由GPT-4支持的新功能。该公司还计划短期内将新功能推广到更多课程和平台。

Duolingo Max服务界面。

Duolingo Max每月收费29.99美元或每年167.99美元,可解锁两项新的人工智能功能——“角色扮演”和“解释我的答案”。

其中,“角色扮演”功能提供了一个AI聊天机器人,允许用户与AI练习真实世界中的对话技巧。得益于GPT-4,机器人的响应与互动能力将十分强大,可指导用户完成不同的场景对话。例如,用户可以假装在巴黎的一家咖啡馆点咖啡,或者与AI扮演的某个人讨论未来的假期计划。完成对话后,用户将获得有关其准确性的AI反馈。

在多邻国上与人工智能练习外语。

多邻国表示,人类专家会编写用户在角色扮演中所处的场景,并确保最开始的场景提示与用户在其课程中学到的一样。专家们还在聊天中写下初始消息,并告诉AI模型从哪里开始对话。

“解释我的答案”功能则让用户可以更深层次了解自己在练习中给出的答案。用户可以在完成某些练习后点击一个按钮,开始与多邻国的吉祥物、一只可爱的卡通绿色鸟聊天,了解答案正确或错误的原因,并可以要求AI提供示例或进一步说明。该公司表示,该功能旨在在用户犯错却不知道原因时提供帮助。

多邻国表示,AI会不断审查这两项功能中生成的回答,以确保答案是正确的。当微软今年早些时候将GPT-4纳入必应时,用户经常收到令人不安的回答。多邻国可能希望防止类似情况发生在其聊天机器人上,因此,多邻国表示将确保AI的语气是有趣的、鼓励性的。

GPT-4总结的摘要优于人撰写的摘要

Stripe是一个流行的支付网关平台,帮助企业和个人处理国际支付事务。该公司已经在使用GPT-3完成分发票据和总结用户问题等任务,目前开始使用GPT-4。

Stripe表示,GPT-4可以更好地了解用户业务,并比人工审查人员更好地扫描网站以获得工作摘要。该公司的开发人员说,更新后的模型可以很容易地理解用户的问题,突出重要的部分,总结解决方案,甚至阅读十分详细的文档。

该公司还使用GPT-4分析社交媒体Discord上帖子的语法,以标记可疑账户,扫描入站通信并识别协同攻击。

Stripe应用机器学习团队的产品负责人尤金·曼恩(Eugene Mann)表示:“GPT-4改变了游戏规则。它开辟了很多领域。”他说,许多企业,比如夜总会都会保持其网站的神秘,因此需要大量搜索和点击才能了解发生了什么。现在,Stripe使用GPT-4扫描这些网站并提供摘要,这些摘要的表现优于人撰写的摘要。“当我们开始检查结果时,我们意识到,‘等一下,人类错了,模型是正确的。’”曼恩说,“GPT-4基本上比人类评论员好。”

为学生定制个性化课程

可汗学院(Khan Academy)是一家非营利性教育组织,其使命是为任何地方的任何人提供免费、世界一流的教育。该组织为所有年龄段的学生提供数千门数学、科学和人文学科课程。

3月14日,可汗学院宣布,它将使用GPT-4为其人工智能驱动的助手Khanmigo提供动力,Khanmigo既是学生的虚拟导师,也是教师的课堂助手。

可汗学院2022年开始测试OpenAI语言模型的最新版本,并将首先向数量有限的参与者提供Khanmigo试点计划,公众被邀请加入候补名单。早期的参与者将观察错误,特别是在数学问题中,并标记它们以进行纠正。

GPT-4的主要能力之一是能够理解自由形式的问题和提示。这种能力为可汗学院提供了最关键的支持:向每个学生提出个性化的问题,以促进更深入的学习。

可汗学院表示,目前开发人员在测试一些功能,帮助教师编写课堂提示和教学材料,或是在计算机编程课程中总结某些特定要点。

可汗学院首席学习官克里斯汀·迪塞尔博(Kristen DiCerbo)表示,“我们认为GPT-4正在为教育开辟新的领域。”“长期以来,很多人都梦想着这种技术。这是变革性的,我们计划负责任地进行测试,以探索它是否可以有效地用于学习和教学。”