阿里发布 Fun-ASR-Realtime 实时语音识别模型 ,支持16种方言和30种语言!

今天,阿里通义升级实时语音识别大模型Fun-ASR-Realtime——一款首字延迟控制在百毫秒级别、识别准确率接近离线模型的流式语音识别模型,支持16种方言和30种语言。

阿里云百炼:

Fun-ASR-Realtime:

https://help.aliyun.com/zh/model-studio/real-time-speech-recognition-user-guide

Fun-ASR-Flash:

https://bailian.console.aliyun.com/cn-beijing#/doc/?type=model&url=2979031

在7月2日结束的影视飓风「重返荒岛」100小时直播中,实时字幕由Fun-ASR-Realtime全程提供,累计识别字幕6万余条、共计132万字。

语音识别模型分为离线和实时两类。离线模型可一次性输入录好的音频,准确度更高;实时模型边录边识,需又准又快,识别难度更高,适合直播字幕、会议实时转写、客服通话等低延迟场景。

Fun-ASR-Realtime面向的正是后一种——让”又快”和”又准”同时成立。

速度:首字百毫秒,尾字不掉队

在速度上,模型首字时延控制在百毫秒级别,话音刚落,文字即开始呈现;对很长的句子,尾字输出的延迟同样很低。

以「重返荒岛」100小时直播为例,多人两岛互动、说话人频繁切换,赛制复杂还遇上了暴雨,观众可即时看到Tim和中国boy等嘉宾的发言字幕,直接增强了观看体验。

准确率:接近离线模型,还能“越听越准”

在准确率上,Fun-ASR-Realtime接近其离线模型Fun-ASR-Flash,并面向泛 Context(包含历史对话上下文和实时热词)进行了专项强化,具备上下文理解能力。

举一个直播里的真实例子:Tim说出的”夜鹭”最初被误识为”叶鹿”,在补充上下文”观鸟的朋友应该知道”后,模型立刻自我纠正。

阿里发布 Fun-ASR-Realtime 实时语音识别模型 ,支持16种方言和30种语言!
在影视飓风“重返荒岛”100小时直播节目中,实时字幕根据上下文纠错,将“叶鹿”改为“夜鹭”。

多语言和方言:这是Fun-ASR-Realtime最能听的部分

相较于市面上的实时模型,Fun-ASR-Realtime 支持的语音种类更加丰富,可识别16种方言和30种语言。

在覆盖八大方言区的16种方言识别测试中,Fun-ASR-Realtime字符准确率平均为 88.62%,在12类方言上领先,超越火山与腾讯相关产品。尤其在高难度的吴语系方言上表现惊艳——上海话:92.41%,苏州话:89.21%,温州话(号称”最难懂方言”):82.74%。

在福建话、客家话等复杂方言上,模型同样全面领先。

复杂场景与多语种:从工业远场到出海市场

在5类工业中文和英文场景的语音识别横向测评中,针对复杂背景、远场嘈杂以及各种带口音的场景,Fun-ASR-Realtime依然表现良好,中文平均字符准确率88.42%、英文91.58%,均领先相关产品。

在此基础上,模型面向泰语等东亚、东南亚多语言场景进行了专项优化,识别准确率提升了20%,适用于出海客服、国际会议等场景。

阿里发布 Fun-ASR-Realtime 实时语音识别模型 ,支持16种方言和30种语言!
Fun-ASR-Realtime在5 类工业中文和英文场景的语音识别横向测评中领先

离线模型Fun-ASR-Flash:全球权威榜单第一

Fun-ASR-Realtime的离线模式模型Fun-ASR-Flash也已于近期上线。在全球权威AI评测平台Artificial Analysis上,Fun-ASR-Flash(榜单上为该模型曾用名”Fun-realtime-ASR-preview”)字错率1.7%,位列全球第一。

版权声明:本文内容转自互联网,本文观点仅代表作者本人。本站仅提供信息存储空间服务,所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至1393616908@qq.com 举报,一经查实,本站将立刻删除。

(0)

相关推荐