AstroBeam 推出首款采用实时 AI 语音对话的 VR 游戏《Stellar Cafe》

新兴虚拟现实游戏工作室 AstroBeam 推出了其首款游戏《Stellar Cafe》，该游戏展示了玩家与 AI 之间的实时语音对话。

Stellar Cafe 由 Owlchemy Labs 前联合创始人兼首席执行官 Devin Reimer 创建，是第一款完全围绕实时 AI 对话构建的 VR 游戏，它使用大型语言模型通过解释语音输入并实时生成语音输出来实现非脚本的动态交互。

这是一款创新的喜剧游戏，由 Owlchemy Labs 团队开发，该团队曾制作过《假期模拟器》和《工作模拟器》等游戏。

AstroBeam 还宣布，他们已获得 Owlchemy Labs 的手势追踪技术授权，让玩家能够仅凭手势和语音即可在《Stellar Cafe》中导航。《Stellar Cafe》将于今年晚些时候登陆 Meta Quest，并于今日在 VR Showcase 上首次亮相。

Stellar Cafe 诚邀您走进星空下充满活力、别致独特的咖啡馆。这里咖啡香醇，机器人们的故事娓娓道来。您需要揭开它们的故事和个性，并帮助它们解决难题。

但这些机器人并非刻板的NPC，它们会按照脚本对话。Stellar Cafe 的顾客会记住你所说的话，根据上下文做出理解和回应，并随着你对它们的了解不断加深，通过对话展现真实的自我。

AstroBeam 首席执行官兼创始人 Devin Reimer 表示：“Stellar Cafe 是我们迈向利用语音输入讲述故事并在 VR 中互动的伟大可能性的第一步。通过将手工绘制的角色与实时 AI 对话相结合，我们创造出了自然真实的互动。我们并非利用 AI 取代创造力，而是利用它来实现一种全新的语音互动形式。”

游戏概述

Stella Cafe 是一家由机器人经营的古怪咖啡馆。你可以用语音告诉机器人，你想喝一杯加番茄酱、芥末和酸辣酱的冰沙（见视频）。机器人会不假思索地回答：“一杯热狗冰沙马上来。”

你可能不会注意到，这些机器人正在运用它们自身的AI智能做出反应。这标志着AI终于实现了用动态智能响应取代NPC的梦想。

来到咖啡馆，你就像人类一样。机器人咖啡师詹姆斯遇到了一个问题：他计划在几天后举办一个大型派对，但所有机器人都没有回复邀请。

以机器人辛迪为例，她超级喜欢播客，但她不能去参加派对，因为她需要解决一个问题，以免她的赞助商放弃她。你经常回到咖啡馆，而且每天都会有一组新的机器人出现。

以下是您在 Stellar Cafe 可以享受到的服务： 

• 一群需要您帮助的古怪角色：结识咖啡馆里的各种机器人，并与它们聊天，发现它们需要帮助解决的问题，无论是帮助他们辞去工作还是成为它们的第一个人类播客嘉宾。 
• 完全无需控制器的交互：借助语音输入和 Owlchemy Labs 的标志性手部追踪技术，您可以像真正的星际本地人一样在咖啡馆中导航，无需控制器或菜单。
• 一杯超凡脱俗的咖啡：感觉口渴了吗？借助人工智能对话功能，您可以与咖啡师聊天，订购各种宇宙饮品，无论您是想喝流星摩卡、天文海藻冰沙，还是想即兴调制自己的银河饮品。 

起源

AstroBeatm 成立于两年半前，拥有一支六人团队，外加一些合同工。该公司于 2023 年底完成了 300 万美元的种子轮融资。团队必须构建和试验如何制作一款语音驱动的游戏。

AstroBeam 由 Owlchemy Labs 联合创始人兼前首席执行官/首席技术官 Reimer 创立，Owlchemy Labs 是 Job Simulator 和 Vacation Simulator 的开发者。AstroBeam 致力于创造极其自然且高度互动的语音游戏和 NPC 互动方式。

Reimer 表示，团队已经花了两年多的时间探索如何让游戏真正以语音作为输入方式。

“到目前为止，已经有少数游戏使用了语音。有些游戏可能需要你说出某个特定的词，然后识别出这个词并执行相应的动作，”Reimer 说道。

他说，团队考虑过，如果从根本上来说，玩家只是自然地说话，而不是必须弄清楚要说哪些具体的事情，那么应该构建什么。

Reimer 说：“我们一直在努力构建服务器端基础设施，以处理这项非常复杂的任务，即能够获取你所说的内容，将其转换为文本，通过我们的动态提示和 LLMss 运行以获得响应，然后将其转化为动作和语音，从文本转换回语音，所有这些都是在实时的状态下完成的，对吗？”

Reimer 补充道：“我们试图让它感觉像是一场与这些角色的对话，一场来回的互动。所以我们有了这部分内容，然后另一部分内容是，‘我们如何将我们想从游戏中获得的东西融入其中——我们如何实现一些进程？我们如何设置动作？我们如何在游戏世界中实现互动？’所以这是一个巨大的挑战。”

LLM 必须具备智慧、处理能力和速度来处理言语、情感、行动、下一步做什么以及目标的任何变化。

“所有这些东西都极具挑战性，但它是其中之一，特别是在虚拟现实中，你会开始感受到这些机器人的存在感，这是我以前从未体验过的方式，”Reimer 说。

这是一个棘手的技术问题，因为人工智能大型语言模型需要数据中心的大量处理能力才能实时识别自然语言。虽然可以在手机或电脑等“边缘”设备上进行部分处理，但通常不足以实时完成大部分处理。

因此，Reimer 的团队必须“构建相当复杂的服务器端技术来处理将文本转换为语音的所有步骤，这些步骤必须以真正高质量、高速度、LLM 的方式运行，然后以我们无法在设备本身上完成的方式将其转换回来。”

“这对于如今的个人电脑来说太难了。而对于移动设备，以及虚拟现实（VR），这根本站不住脚。”他说道。

这项技术最终将通过AI PC等拟议技术实现这一目标，这些技术有望在边缘设备上进行更多处理。但由于对低延迟或短响应时间的需求，目前尚未实现。在这种情况下，游戏必须在Meta Quest 2和Meta Quest 3设备上运行，它们是独立的VR设备。

其中一个优势是，最新的 Quest VR 设备配备了多个麦克风，能够拾取高质量的声音。VR 的临场感让你仿佛置身于一个 NPC 的对面，与他对话。

“在实时对话方面，我们需要在数百毫秒内做出响应，以确保对话感觉自然自然。所以我相信最终会实现这个目标，”Reimer 说道。“但我也认为，随着设备端技术的进步，我们想要运行的 LLM 质量也会随之提升，这其中也存在着一种推拉关系。所以，这需要一段时间的追求。正因如此，我们才坚信，构建一个良好的服务器端架构在一段时间内将是正确的选择。”

有些想法可以追溯到几年前。但突然之间，机器学习领域出现了一大批同时发生的事，让公司能够挑选出质量更好的词语，在文本转语音的过程中生成更好的内容，在推理过程中提供更好的内容，这真是一个巨大的进步，Reimer说道。

Reimer表示，他总是试图在设计趣味游戏时突破技术壁垒。《Job Simulator》就是一个很好的例子，这是一款以空间计算VR空间为背景的喜剧游戏。

“这让我们能够在一个人们更乐于尝试不同事物的环境中测试所有这些事情。有些成功了，有些失败了，但这让我们能够为此铺平道路。我在这里也看到了同样的机会，如果我们能够成功，那绝对是一次渺茫的尝试。但我非常高兴我选择了这条路，因为一切正在开始成形，”Reimer 说道。

目前为止，游戏时长大约为30到40分钟。虽然这看起来很长，但对于一个玩家有时无法坚持太久的媒介来说，这已经是一段很长的时间了。令我惊讶的是，Reimder表示游戏没有固定的台词，所有对话都是动态的。

这款游戏的目标玩家是13岁以上的玩家，因此他们不得不花费大量时间构建安全机制，同时又要兼顾即兴的个性。团队必须确定什么样的解说才适合这个年龄段。Reimer表示，他的团队一直在学习，并渴望分享一些经验，分享他们如何克服挑战，最终宣布游戏的进展。

“这是一段漫长的旅程。我非常高兴能让人们看到这款游戏。其中一件非常棒的事情就是，我们一直在面向不同年龄段的玩家进行游戏测试，”Reimer说道。