Cloudflare Clef-omni：一个面向音频、视频、图像与文本的 30B-A3B 多模态决策模型

Cloudflare 发布了 Clef-omni，这是其 Clef 决策模型家族中新增的开放权重成员。Clef-omni 是 Cloudflare 的一款决策模型，能在一次调用中对文本、图像、音频和视频进行打分。它于 2026 年 10 月 9 日面世，距最初的 Clef 与 Clef-flash 发布仅 8 天。同一次更新还把 Clef-flash 的价格压到了 TypeSafe 的 Jev 之下，并让托管的 Clef 速度大约提升了一倍。对开发者而言，这意味着可以省掉多模态智能体流水线通常需要的转录和字幕生成步骤。

核心要点

规模： 总参数 30B，激活参数 3B（MoE）；在 Workers AI 上上下文为 64,000 tokens
运行环境： 在 Workers AI 上以 @cf/cloudflare/clef-omni 形式提供；自托管已在单张 H200 上测试通过，bfloat16 精度下约需 64 GB 显存
性能： 在路由与意图任务上接近 Clef，但在大多数推理与工作流评测中落后于它
最好的一项： CLINC150+OOS 上 macro-F1 达 97.7，在 4 个 Clef 与 Jev 模型中居首
最差的一项： POP909-CL 上准确率仅 2.6；GPQA Diamond 上为 47.4，而 Jev 为 78.3
结论：
- 优点：一次调用即可跨 4 种模态做决策。
- 缺点：在困难推理任务上准确率弱于以文本为核心的 Clef。

什么是决策模型？

决策模型返回的是带概率的类型化答案，而不是生成的文本。你发送一个 state 和一组问题 schema，模型为每个允许的选项返回一个概率。Clef 支持3 种问题类型：noul（真或假）、choice（选择）和 score（打分）。该格式沿用了 TypeSafe AI 的 Jev 与 SystemOne API。

Clef-omni 是如何工作的？

Clef-omni 是在 Qwen3-Omni-30B-A3B-Instruct 基础上后训练而来。Cloudflare 保留了其理解主干，去掉了文本转语音的输出通路。该模型对完整输入载荷执行单次 prefill 前向计算，视频帧与音频被同步为一条序列进行联合处理。

随后，一个小型的联合 schema head 对选项打分。每个有效选项先从输入中汇集证据，各字段向量再跨完整上下文做交叉注意力，计算出置信度分数。Cloudflare 冻结了 Qwen3 主干，仅训练 LoRA 适配器。训练目标将标签平滑交叉熵与 Brier 分数校准结合起来。

根据开发者文档，Workers AI 上支持的输入为：

图像：最多 4 张，PNG、JPEG 或 WebP，每张 64 至 1,024 tokens
音频：最多 4 段，WAV 或 MP3，每段 300 秒，约每分钟 780 tokens
视频：最多 2 段，MP4 或 WebM，每段 60 秒，按每秒 2 帧采样
问题：每次请求 1 至 64 个

Cloudflare 报告称，文本决策的中位延迟约 130 ms，图像约 150 ms。一段带声音的 21 秒视频约 1.5 秒完成打分。

Clef-omni 在基准测试上表现如何？

Cloudflare 在其 Decision Index 测试中，将 Clef-omni 与 Clef、Clef-flash 和 Jev 进行了对比。Clef-omni 在意图分类上领先：BANKING77 上 macro-F1 为 94.8，CLINC150+OOS 上为 97.7。它在 Amazon ESCI 上也以 57.8 居首。

但在其他方面它落后了。家电（Home appliances）用例的精确匹配准确率为 69.3，而 Clef-flash 为 97.73。When2Call 准确率为 63.3，而 Jev 为 80.97。在 TypeSafe 的工作流评测中，Clef-omni 在全部 5 项已报告指标上均低于 Clef。

Clef-omni vs Clef vs Clef-flash vs Jev

特性	Clef-omni	Clef	Clef-flash	Jev
开发方	Cloudflare	Cloudflare	Cloudflare	TypeSafe AI
参数量	总计 30B，激活 3B（MoE）	27B 稠密	9B 稠密	未披露
基座模型	Qwen3-Omni-30B-A3B-Instruct	Qwen3.8-27B	Qwen3.5-9B	未披露
输入	文本、图像、音频、视频	文本、图像、视频帧	文本、图像、视频帧	文本（据 Cloudflare）
托管上下文	64,000 tokens	64k	24k（自托管 256k）	TypeSafe 未披露（Cloudflare 引述为 32k）
输入价格（每百万 tokens）	$0.15	$0.24	$0.038	$0.042
许可证	Apache-2.0	Apache-2.0	Apache-2.0	仅 API，早期访问
BANKING77（macro-F1）	94.8	94.20	90.93	79.74
CLINC150+OOS（macro-F1）	97.7	97.43	66.77	89.27
When2Call（准确率）	63.3	72.37	65.58	80.97
BRIGHT（nDCG@10）	42.0	45.91	39.26	47.52
发票处理，主操作	82.0	86.2	73.3	83.1

基准分数来自 Cloudflare 的发布公告，未经独立验证。

Clef 变快了多少？

Cloudflare 将托管的 Clef 迁移到了 SGLang，并调优了其服务栈。没有发布新权重。在约 800 tokens 时，中位延迟从 262 ms 降至 152 ms，提速 1.7 倍；在约 3,400 tokens 时，从 616 ms 降至 305 ms，提速 2.0 倍；在约 16,000 tokens 时，从 2,721 ms 降至 1,635 ms。Clef 支持已进入 SGLang 0.5.22。