9月20号,形界智能正式发布Genesis1.0,进一步探索视频生成从“生成即完成”迈向“实时交互、持续感知回应”的形态。
人与AI的交互方式正在被重新塑造。在形界智维CEO王裕鑫看来,视频终将代替文本和语音,成为人际交互更自然的方式。用户成为内容生成的实时参与者,一个由模型持续生成、用户深度参与的全新互动内容范式正在形成。
在数美科技近日举办的Agent安全系列沙龙中,王裕鑫分享了形界智能在实时生成互动领域的技术路线与应用实践。会后采访中,他进一步谈到实时互动内容的发展方向,以及当模型持续接收用户输入、实时生成内容并进入更多应用场景后,安全能力如何同步融入生成与交互过程。

理解与生成协同,形界智能探索实时互动新范式
形界智能(Frame-X)聚焦实时互动视频生成,通过模型能力让视频从一次性生成,成为能够持续运行、理解用户并实时回应的互动世界。
围绕这一方向,形界智能推出「Era」系列模型,先后通过Genesis探索虚拟人直播、AI陪伴、互动娱乐等场景,并通过Rise将实时生成进一步拓展至体感交互和开放场景。
今年7月,Genesis作为Era系列首个面向社交场景的互动视频生成模型亮相WAIC。模型可以感知用户摄像头输入,并根据用户动作实时作出反馈,用户也可以随时进入虚拟世界互动。展会期间,Genesis 累计体验时长超十小时,Waiting List 申请团队超过100个。
最新正式发布的Genesis 1.0,则在此前预览版本基础上进一步升级。
作为面向开发者的长时、智能AI互动娱乐基础设施,它基于全新的视频双工范式,在生成时长、响应速度与应用成本上,均已达到业内领先的Interactive Avatar水准。在 AI 陪伴、虚拟人、直播互动等持续互动场景中,Genesis-1.0 不仅能够24小时稳定在线,还可通过摄像头实时感知用户,实现聆听、思考、反馈、表达的类人行为闭环。
Rise-V0.2模型则从社交互动场景进一步拓展到开放场景和体感交互。在沙龙现场展示的赛车交互Demo中,Rise可以直接接收摄像头视频流,用户无需预先学习复杂指令,也不必依赖传统控制器,直接可以拿手机、笔甚至空手便可以模拟方向盘,模型便可以理解转向动作,并实时改变后续生成画面。
无论是Genesis还是Rise,形界智能探索的核心都指向同一个方向:降低用户参与生成内容的交互门槛,让模型能够直接理解用户状态,并及时作出反馈。
王裕鑫表示,“用户不只是在体验内容,也会感觉到生成内容正在理解自己”。这背后对应的是形界智能正在探索的一条技术路线:让理解和生成发生在同一个模型中。
在他看来,用户对类人感有天然诉求,而响应速度则直接影响互动能否持续。
王裕鑫介绍,目前一类实时视频方案会先通过独立的理解模型识别用户状态,再将结果转换成生成模型能够理解的指令。多一次理解和转换过程,也会增加响应延迟。
形界智能的将视频理解与生成放入同一模型架构,能够进一步降低交互延迟,让理解、生成与反馈发生在更紧密的链路中。
安全如何跟上交互速度?形界智能携手数美科技,安全能力融入实时链路
当视频从“生成完成后观看”,进入“边生成、边交互、边触达”的状态,实时性在提升用户交互体验的同时,也对内容安全提出了新的要求。
王裕鑫表示,实时视频由模型持续接收用户输入并生成内容,视频和语音也会快速触达用户,因此安全判断需要在非常有限的毫秒级时间内完成。相比离线内容,实时生成场景对安全响应速度提出了更高要求。
与此同时,实时互动中的内容形态也更加丰富。用户语音、摄像头画面等信息持续进入模型,模型不断生成新的视频和语音内容,安全治理需要适应动态、多样的内容形态。
谈及安全与用户体验之间的平衡,王裕鑫态度明确:“安全一定优先。可以通过链路优化减少对用户体验的影响,但安全是最重要的。”
围绕实时视频生成中的安全需求,形界智能与数美科技通过动态评测提前发现风险,依托实时围栏持续识别并处置风险,构建从风险发现到运行防护的安全治理闭环。双方将围绕虚拟直播、AI陪伴等实时互动场景持续探索,在保障内容安全的同时,尽量降低对实时交互体验的影响。
对于更进一步的安全治理,王裕鑫认为,首先要把控用户最终获得的内容,在此基础上再向前分析风险来源,判断问题来自用户输入,还是模型自身的控制能力。
在他看来,当前实时互动内容仍处于技术与体验快速演进的早期阶段。随着模型能力不断提升、应用场景持续拓展,以及产业上下游协作进一步深入,对安全能力的需求也会同步增长。
未来,形界智能将更专注模型能力,持续优化模型架构和数据利用效率,并将模型开放给更多互动内容开发者使用。
双方也将持续推动安全能力与实时生成技术协同,在保障用户互动体验的同时,让安全判断更贴近实时生成过程,为更多实时互动场景落地提供安全支撑。
版权声明:本文内容转自互联网,本文观点仅代表作者本人。本站仅提供信息存储空间服务,所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至1393616908@qq.com 举报,一经查实,本站将立刻删除。