docs

游雁

2023-04-21 3cd3473bf7a3b41484baa86d9092248d78e7af39

 docs_m2met2_cn/ÈüµÀÉèÖÃÓëÆÀ¹À.md

@@ -1,6 +1,8 @@
# èµ›é“设置与评估
## è¯´è¯äººç›¸å…³çš„语音识别 (主赛道)
说话人相关的ASR任务需要从重叠的语音中识别每个说话人的语音，并为识别内容分配一个说话人标签。在本次竞赛中AliMeeting、Aishell4和Cn-Celeb数据集可作为受限数据源。在M2MeT挑战赛中使用的AliMeeting数据集包含训练、评估和测试集，在M2MET2.0可以在训练和评估中使用。此外，一个包含约10小时会议数据的新的Test-2023集将根据赛程安排发布并用于挑战赛的评分和排名。值得注意的是，组织者将不提供耳机的近场音频、转录以及真实时间戳。主办方将不再提供每个说话人的真实时间戳，而是在Test-2023集上提供包含多个说话人的片段。这些片段可以通过一个简单的vad模型获得。
说话人相关的ASR任务需要从重叠的语音中识别每个说话人的语音，并为识别内容分配一个说话人标签。图2展示了说话人相关语音识别任务和多说话人语音识别任务的主要区别。在本次竞赛中AliMeeting、Aishell4和Cn-Celeb数据集可作为受限数据源。在M2MeT挑战赛中使用的AliMeeting数据集包含训练、评估和测试集，在M2MET2.0可以在训练和评估中使用。此外，一个包含约10小时会议数据的新的Test-2023集将根据赛程安排发布并用于挑战赛的评分和排名。值得注意的是，组织者将不提供耳机的近场音频、转录以及真实时间戳。主办方将不再提供每个说话人的真实时间戳，而是在Test-2023集上提供包含多个说话人的片段。这些片段可以通过一个简单的vad模型获得。

![task difference](images/task_diff.png)

## è¯„估方法
使用串联最优排序字符错误率（cpCER）指标来评估说话人相关的ASR系统的准确性。cpCER的计算包括三个步骤。首先，将一场会议中每个说话人的参考和假设转录按时间顺序串联起来。其次，计算真实标签和预测输出之间的字符错误率（CER），并对所有可能的说话人排列组合重复这一过程。最后，选择CER最低的排列组合作为该时段的cpCER。CER是通过将ASR输出转化为参考抄本所需的插入（Ins）、替换（Sub）和删除（Del）的字符总数除以参考抄本的字符总数得到的。具体来说，CER的计算方法是：
@@ -10,6 +12,6 @@
其中 $\mathcal N_{\text{Ins}}$ , $\mathcal N_{\text{Sub}}$ , $\mathcal N_{\text{Del}}$ æ˜¯ä¸‰ç§é”™è¯¯çš„字符数, $\mathcal N_{\text{Total}}$ æ˜¯å­—符总数.
## å­èµ›é“设置
### å­èµ›é“一 (限定训练数据):
参与者只能使用限定数据构建两个系统，严禁使用额外数据。参赛者在系统构建过程中仅能使用AliMeeting、AISHELL-4和CN Celeb。参赛者可以使用[Hugging Face](https://huggingface.co/models)以及[ModelScope](https://www.modelscope.cn/models)上提供的开源预训练模型，并且需要在最终的系统描述文档中详细列出使用的预训练模型名称以及链接。
参赛者在系统构建过程中仅能使用AliMeeting、AISHELL-4和CN Celeb，严禁使用额外数据。参赛者可以任何第三方开源的预训练模型，如[Hugging Face](https://huggingface.co/models)以及[ModelScope](https://www.modelscope.cn/models)上提供的模型。参赛者需要在最终的系统描述文档中详细列出使用的预训练模型名称以及链接。
### å­èµ›é“二 (开放训练数据):
除了限定数据外，参与者可以使用任何公开可用、私人录制和模拟仿真的数据集。但是，参与者必须清楚地列出使用的数据。如果使用模拟仿真数据，请详细描述数据模拟的方案。
除了限定数据外，参与者可以使用任何公开可用、私人录制和模拟仿真的数据集。但是，参与者必须清楚地列出使用的数据。同样，参赛者也可以使用任何第三方开源的预训练模型，但必须在最后的系统描述文件中明确的列出所使用的数据和模型链接，如果使用模拟仿真数据，请详细描述数据模拟的方案。