Krafton于29日宣布，已在全球AI平台Hugging Face开源语音AI基础模型“A.X K2 Raon-Speech”。
据介绍，该模型是韩国科学技术信息通信部主导的“自主AI基础模型”项目第二阶段研究成果之一。Krafton在SK Telecom小型语言模型“A.X K2”的基础上，结合自研语音编码器和语音编解码器，构建出可直接理解并生成语音的端到端模型。
与传统“语音转文本—语义理解—语音合成”的处理流程不同，“A.X K2 Raon-Speech”采用语音到语音的直接转换方式，可在转换过程中尽可能减少用户语音中的情感和语调信息损失。
Krafton表示，公司自主研发并训练了两项核心组件：一是将人声转换为AI可处理信息的语音编码器，二是将其还原为自然语音的语音编解码器。在保留语言模型文本处理能力的同时，该模型还打通了语音输入与输出链路，从而更完整地保留人声的音色和情绪信息。
参数规模方面，“A.X K2 Raon-Speech”为21B（210亿）参数。Krafton称，在参数规模30B以下的开源语音语言模型中，该模型韩语综合表现排名第一、英语排名第三。模型能力覆盖语音识别、语音合成、语音理解、语音问答、文本问答和工具调用等6个领域，并已完成46项基准测试，其中韩语24项、英语22项。
今年4月，Krafton推出AI品牌“Raon”，并开源了语音语言模型、实时语音对话模型、文本转语音模型和视觉编码器等4类模型。此次发布的“A.X K2 Raon-Speech”，是在上述基础技术之上的进一步升级成果。
Krafton首席AI官（CAIO）Lee Kang-wook表示，“A.X K2 Raon-Speech”是公司持续推进AI基础技术研发和迭代的阶段性成果。接下来，Krafton将继续强化面向游戏场景的AI基础能力，打造新的游戏体验。
按照规划，Krafton还将把此次研究积累的语音AI技术应用于旗下游戏中的CPC（Co-Playable Character）同伴角色。其目标是让AI角色不再局限于固定台词输出，而是能够实时理解玩家的声音和意图，并以符合情境的语音方式作出互动回应。
本文来自作者投稿，版权归原作者所有。如需转载，请注明出处：https://www.nxrte.com/zixun/70469.html
