feat(eval): ASR 模型评估框架

横向对比云端 gummy 与本地开源模型(faster-whisper/SenseVoice/Paraformer)，重点覆盖中英混说，产出准确率(CER/WER/MER)/速度(延迟/RTF)/资源(cpu/mem/模型大小) 对比报告。公共集(ASCEND/AISHELL/LibriSpeech)统一走 HF 适配器 + 自定义 JSONL manifest。 gummy 引擎对照 server/internal/asr/gummy.go 协议移植。 Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-13 11:25:04 +08:00
parent 40760aa884
commit 25acf9db6e
25 changed files with 1594 additions and 0 deletions
@@ -0,0 +1,74 @@
+# dudu ASR 评估配置。改这里即可调整跑哪些引擎/数据集、采样多少。
+# 跑法：rbw get dashscope-api-key | python -m asr_eval run --config config.yaml
+
+output_dir: results
+audio_cache: datasets/_audio_cache
+sample_limit: null          # null=全量；整数=每个数据集采样上限（冒烟用小值）
+
+# ---------------- 数据集 ----------------
+# 公共集统一走 type=hf（差异全在配置里）；自定义集 type=custom 指向 JSONL manifest。
+datasets:
+  - name: ascend           # 中英混说金标准（headline）
+    type: hf
+    hf_id: CAiRE/ASCEND
+    split: test
+    text_field: transcription
+    lang: zh-en
+    domain: general
+
+  - name: aishell1         # 纯普通话
+    type: hf
+    hf_id: AISHELL/AISHELL-1
+    split: test
+    text_field: text
+    lang: zh
+    domain: general
+    trust_remote_code: true
+
+  - name: librispeech      # 纯英文
+    type: hf
+    hf_id: openslr/librispeech_asr
+    hf_config: clean
+    split: test
+    text_field: text
+    lang: en
+    domain: general
+    trust_remote_code: true
+
+  - name: custom           # 你的自录/业务场景音频
+    type: custom
+    manifest: manifests/custom.example.jsonl
+
+# ---------------- 引擎 ----------------
+# 云端 gummy 与本地开源横向对比。本地引擎需先装 extras：pip install '.[whisper]' 或 '.[funasr]'
+engines:
+  - name: gummy
+    type: gummy
+    model: gummy-realtime-v1
+    realtime_factor: 2.0     # 推流倍速（同 gummycheck）；影响延迟口径，不影响准确率
+    cost_per_min: 0.09       # ⚠️占位：按 dudu 实付 DashScope 单价改（此处暂用售价 ¥9/100min）
+    enabled: true
+
+  - name: whisper-small
+    type: whisper
+    model_size: small
+    device: cpu
+    compute_type: int8
+    enabled: true
+
+  - name: whisper-large-v3
+    type: whisper
+    model_size: large-v3
+    device: cpu
+    compute_type: int8
+    enabled: false           # 体积大(~1.5GB)，按需开
+
+  - name: sensevoice
+    type: sensevoice         # 多语，中英混说强
+    device: cpu
+    enabled: false
+
+  - name: paraformer-zh
+    type: funasr             # 纯中 SOTA，英文/混说较弱
+    device: cpu
+    enabled: false