FUNASR训练
blame | 历史 | 原始文档
yhliang
2023-05-24 72b2f1a02331328aba9d4a2442ff9e36b7c7dc0a 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

€•Z1Œsphinx.addnodes”Œdocument”“”)”}”(Œ    rawsource”Œ”Œchildren”]”Œdocutils.nodes”Œsection”“”)”}”(hhh]”(h    Œtitle”“”)”}”(hŒTrack & Evaluation”h]”h    ŒText”“”ŒTrack & Evaluation”…””}”(Œparent”hŒ    _document”hŒsource”NŒline”NubaŒ


attributes”}”(Œids”]”Œclasses”]”Œnames”]”Œdupnames”]”Œbackrefs”]”uŒtagname”hhKhŒ?/mnt/yhliang/FunASR/docs/m2met2/Track_setting_and_evaluation.md”hhhhubh)”}”(hhh]”(h)”}”(hŒSpeaker-Attributed ASR”h]”hŒSpeaker-Attributed ASR”…””}”(hh0hhhNhNubah}”(h!]”h#]”h%]”h']”h)]”uh+hhKhh,hh-hhubh    Œ    paragraph”“”)”}”(hXåThe speaker-attributed ASR task poses a unique challenge of transcribing speech from multiple speakers and assigning a speaker label to the transcription. Figure 2 illustrates the difference between the speaker-attributed ASR task and the multi-speaker ASR task. This track allows for the use of the AliMeeting, Aishell4, and Cn-Celeb datasets as constrained data sources during both training and evaluation. The AliMeeting dataset, which was used in the M2MeT challenge, includes Train, Eval, and Test sets. Additionally, a new Test-2023 set, consisting of approximately 10 hours of meeting data recorded in an identical acoustic setting as the AliMeeting corpus, will be released soon for challenge scoring and ranking. It's worth noting that the organizers will not provide the near-field audio, transcriptions, or oracle timestamps of the Test-2023 set. Instead, segments containing multiple speakers will be provided, which can be obtained using a simple voice activity detection (VAD) model.”h]”hXçThe speaker-attributed ASR task poses a unique challenge of transcribing speech from multiple speakers and assigning a speaker label to the transcription. Figure 2 illustrates the difference between the speaker-attributed ASR task and the multi-speaker ASR task. This track allows for the use of the AliMeeting, Aishell4, and Cn-Celeb datasets as constrained data sources during both training and evaluation. The AliMeeting dataset, which was used in the M2MeT challenge, includes Train, Eval, and Test sets. Additionally, a new Test-2023 set, consisting of approximately 10 hours of meeting data recorded in an identical acoustic setting as the AliMeeting corpus, will be released soon for challenge scoring and ranking. It’s worth noting that the organizers will not provide the near-field audio, transcriptions, or oracle timestamps of the Test-2023 set. Instead, segments containing multiple speakers will be provided, which can be obtained using a simple voice activity detection (VAD) model.”…””}”(hh@hhhNhNubah}”(h!]”h#]”h%]”h']”h)]”uh+h>hKhh,hh-hhubh?)”}”(hŒ(![task difference](images/task_diff.png)”h]”h    Œimage”“”)”}”(hŒtask difference”h]”h}”(h!]”h#]”h%]”h']”h)]”Œuri”Œimages/task_diff.png”Œalt”hVŒ


candidates”}”Œ*”h_suh+hRhKhh,hhNhhubah}”(h!]”h#]”h%]”h']”h)]”uh+h>hKhh,hh-hhubeh}”(h!]”Œspeaker-attributed-asr”ah#]”h%]”Œspeaker-attributed asr”ah']”h)]”Œslug”Œspeaker-attributed-asr”uh+h


hKhh,hhhhubh)”}”(hhh]”(h)”}”(hŒEvaluation metric”h]”hŒEvaluation metric”…””}”(hhwhhhNhNubah}”(h!]”h#]”h%]”h']”h)]”uh+hhKhh,hhthhubh?)”}”(hXpThe accuracy of a speaker-attributed ASR system is evaluated using the concatenated minimum permutation character error rate (cpCER) metric. The calculation of cpCER involves three steps. Firstly, the reference and hypothesis transcriptions from each speaker in a session are concatenated in chronological order. Secondly, the character error rate (CER) is calculated between the concatenated reference and hypothesis transcriptions, and this process is repeated for all possible speaker permutations. Finally, the permutation with the lowest CER is selected as the cpCER for that session. TThe CER is obtained by dividing the total number of insertions (Ins), substitutions (Sub), and deletions(Del) of characters required to transform the ASR output into the reference transcript by the total number of characters in the reference transcript. Specifically, CER is calculated by:”h]”hXpThe accuracy of a speaker-attributed ASR system is evaluated using the concatenated minimum permutation character error rate (cpCER) metric. The calculation of cpCER involves three steps. Firstly, the reference and hypothesis transcriptions from each speaker in a session are concatenated in chronological order. Secondly, the character error rate (CER) is calculated between the concatenated reference and hypothesis transcriptions, and this process is repeated for all possible speaker permutations. Finally, the permutation with the lowest CER is selected as the cpCER for that session. TThe CER is obtained by dividing the total number of insertions (Ins), substitutions (Sub), and deletions(Del) of characters required to transform the ASR output into the reference transcript by the total number of characters in the reference transcript. Specifically, CER is calculated by:”…””}”(hh…hhhNhNubah}”(h!]”h#]”h%]”h']”h)]”uh+h>hKhh,hhthhubh    Œ


math_block”“”)”}”(hŒŠ\text{CER} = \frac {\mathcal N_{\text{Ins}} + \mathcal N_{\text{Sub}} + \mathcal N_{\text{Del}} }{\mathcal N_{\text{Total}}} \times 100\%,”h]”hŒŠ\text{CER} = \frac {\mathcal N_{\text{Ins}} + \mathcal N_{\text{Sub}} + \mathcal N_{\text{Del}} }{\mathcal N_{\text{Total}}} \times 100\%,”…””}”hh•sbah}”(h!]”h#]”h%]”h']”h)]”Œnowrap”‰Œnumber”NŒ    xml:space”Œpreserve”uh+h“hK


hh,hhthhubh?)”}”(hŒÆwhere $\mathcal N_{\text{Ins}}$, $\mathcal N_{\text{Sub}}$, $\mathcal N_{\text{Del}}$ are the character number of the three errors, and $\mathcal N_{\text{Total}}$ is the total number of characters.”h]”(hŒwhere ”…””}”(hh§hhhNhNubh    Œmath”“”)”}”(hŒ\mathcal N_{\text{Ins}}”h]”hŒ\mathcal N_{\text{Ins}}”…””}”(hh±hhhNhNubah}”(h!]”h#]”h%]”h']”h)]”uh+h¯hKhh,hh§hhubhŒ, ”…””}”(hh§hhhNhNubh°)”}”(hŒ\mathcal N_{\text{Sub}}”h]”hŒ\mathcal N_{\text{Sub}}”…””}”(hhÃhhhNhNubah}”(h!]”h#]”h%]”h']”h)]”uh+h¯hKhh,hh§hhubhŒ, ”…””}”(hh§hhhh,hKubh°)”}”(hŒ\mathcal N_{\text{Del}}”h]”hŒ\mathcal N_{\text{Del}}”…””}”(hhÕhhhNhNubah}”(h!]”h#]”h%]”h']”h)]”uh+h¯hKhh,hh§hhubhŒ3 are the character number of the three errors, and ”…””}”(hh§hhhNhNubh°)”}”(hŒ\mathcal N_{\text{Total}}”h]”hŒ\mathcal N_{\text{Total}}”…””}”(hhçhhhNhNubah}”(h!]”h#]”h%]”h']”h)]”uh+h¯hKhh,hh§hhubhŒ# is the total number of characters.”…””}”(hh§hhhNhNubeh}”(h!]”h#]”h%]”h']”h)]”uh+h>hKhh,hhthhubeh}”(h!]”Œevaluation-metric”ah#]”h%]”Œevaluation metric”ah']”h)]”hrŒevaluation-metric”uh+h


hKhh,hhhhubh)”}”(hhh]”(h)”}”(hŒSub-track arrangement”h]”hŒSub-track arrangement”…””}”(hjhhhNhNubah}”(h!]”h#]”h%]”h']”h)]”uh+hhK hh,hjhhubh)”}”(hhh]”(h)”}”(hŒ'Sub-track I (Fixed Training Condition):”h]”hŒ'Sub-track I (Fixed Training Condition):”…””}”(hjhhhNhNubah}”(h!]”h#]”h%]”h']”h)]”uh+hhKhh,hjhhubh?)”}”(hXáParticipants are required to use only the fixed-constrained data (i.e., AliMeeting, Aishell-4, and CN-Celeb) for system development. The usage of any additional data is strictly prohibited. However, participants can use open-source pre-trained models from third-party sources, such as [Hugging Face](https://huggingface.co/models) and [ModelScope](https://www.modelscope.cn/models), provided that the list of utilized models is clearly stated in the final system description paper.”h]”(hXParticipants are required to use only the fixed-constrained data (i.e., AliMeeting, Aishell-4, and CN-Celeb) for system development. The usage of any additional data is strictly prohibited. However, participants can use open-source pre-trained models from third-party sources, such as ”…””}”(hj*hhhNhNubh    Œ    reference”“”)”}”(hŒHugging Face”h]”hŒHugging Face”…””}”(hj4hhhNhNubah}”(h!]”h#]”h%]”h']”h)]”Œrefuri”Œhttps://huggingface.co/models”uh+j2hKhh,hj*hhubhŒ and ”…””}”(hj*hhhNhNubj3)”}”(hŒ


ModelScope”h]”hŒ


ModelScope”…””}”(hjHhhhNhNubah}”(h!]”h#]”h%]”h']”h)]”jBŒ https://www.modelscope.cn/models”uh+j2hKhh,hj*hhubhŒd, provided that the list of utilized models is clearly stated in the final system description paper.”…””}”(hj*hhhNhNubeh}”(h!]”h#]”h%]”h']”h)]”uh+h>hKhh,hjhhubeh}”(h!]”Œ$sub-track-i-fixed-training-condition”ah#]”h%]”Œ'sub-track i (fixed training condition):”ah']”h)]”uh+h


hKhh,hjhhubh)”}”(hhh]”(h)”}”(hŒ'Sub-track II (Open Training Condition):”h]”hŒ'Sub-track II (Open Training Condition):”…””}”(hjlhhhNhNubah}”(h!]”h#]”h%]”h']”h)]”uh+hhKhh,hjihhubh?)”}”(hXÅParticipants are allowed to use any publicly available data set, privately recorded data, and manual simulation to build their systems in addition to the fixed-constrained data. They can also utilize any open-source pre-trained models, but it is mandatory to provide a clear list of the data and models used in the final system description paper. If manually simulated data is used, a detailed description of the data simulation scheme must be provided.”h]”hXÅParticipants are allowed to use any publicly available data set, privately recorded data, and manual simulation to build their systems in addition to the fixed-constrained data. They can also utilize any open-source pre-trained models, but it is mandatory to provide a clear list of the data and models used in the final system description paper. If manually simulated data is used, a detailed description of the data simulation scheme must be provided.”…””}”(hjzhhhNhNubah}”(h!]”h#]”h%]”h']”h)]”uh+h>hKhh,hjihhubeh}”(h!]”Œ$sub-track-ii-open-training-condition”ah#]”h%]”Œ'sub-track ii (open training condition):”ah']”h)]”uh+h


hKhh,hjhhubeh}”(h!]”Œsub-track-arrangement”ah#]”h%]”Œsub-track arrangement”ah']”h)]”hrŒsub-track-arrangement”uh+h


hK hh,hhhhubeh}”(h!]”Œtrack-evaluation”ah#]”h%]”Œtrack & evaluation”ah']”h)]”hrŒtrack--evaluation”uh+h


hKhh,hhhhubah}”(h!]”h#]”h%]”h']”h)]”Œsource”h,uh+hŒcurrent_source”NŒcurrent_line”NŒsettings”Œdocutils.frontend”ŒValues”“”)”}”(hNŒ    generator”NŒ    datestamp”NŒsource_link”NŒ


source_url”NŒ toc_backlinks”Œentry”Œfootnote_backlinks”KŒ sectnum_xform”KŒstrip_comments”NŒstrip_elements_with_classes”NŒ strip_classes”NŒreport_level”KŒ


halt_level”KŒexit_status_level”KŒdebug”NŒwarning_stream”NŒ    traceback”ˆŒinput_encoding”Œ    utf-8-sig”Œinput_encoding_error_handler”Œstrict”Œoutput_encoding”Œutf-8”Œoutput_encoding_error_handler”jÅŒerror_encoding”ŒUTF-8”Œerror_encoding_error_handler”Œbackslashreplace”Œ language_code”Œen”Œrecord_dependencies”NŒconfig”NŒ    id_prefix”hŒauto_id_prefix”Œid”Œ dump_settings”NŒdump_internals”NŒdump_transforms”NŒdump_pseudo_xml”NŒexpose_internals”NŒstrict_visitor”NŒ_disable_config”NŒ_source”h,Œ_destination”NŒ _config_files”]”Œfile_insertion_enabled”ˆŒraw_enabled”KŒline_length_limit”M'Œpep_references”NŒpep_base_url”Œhttps://peps.python.org/”Œpep_file_url_template”Œpep-%04d”Œrfc_references”NŒrfc_base_url”Œ&https://datatracker.ietf.org/doc/html/”Œ    tab_width”KŒtrim_footnote_reference_space”‰Œsyntax_highlight”Œlong”Œsmart_quotes”ˆŒsmartquotes_locales”]”Œcharacter_level_inline_markup”‰Œdoctitle_xform”‰Œ docinfo_xform”KŒsectsubtitle_xform”‰Œ image_loading”Œlink”Œembed_stylesheet”‰Œcloak_email_addresses”ˆŒsection_self_link”‰Œenv”NubŒreporter”NŒindirect_targets”]”Œsubstitution_defs”}”(Œwordcount-words”h    Œsubstitution_definition”“”)”}”(hŒ409”h]”hŒ409”…””}”hjsbah}”(h!]”h#]”h%]”Œwordcount-words”ah']”h)]”uh+jhh,ubŒwordcount-minutes”j)”}”(hŒ2”h]”hŒ2”…””}”hjsbah}”(h!]”h#]”h%]”Œwordcount-minutes”ah']”h)]”uh+jhh,ubuŒsubstitution_names”}”(Œwordcount-words”jŒwordcount-minutes”juŒrefnames”}”Œrefids”}”Œnameids”}”(jžj›hohljjj•j’jfjcjjŠuŒ    nametypes”}”(jž‰ho‰j‰j•‰jf‰j‰uh!}”(j›hhlh-jhtj’jjcjjŠjiuŒ footnote_refs”}”Œ citation_refs”}”Œ autofootnotes”]”Œautofootnote_refs”]”Œsymbol_footnotes”]”Œsymbol_footnote_refs”]”Œ    footnotes”]”Œ    citations”]”Œautofootnote_start”KŒsymbol_footnote_start”KŒ


id_counter”Œcollections”ŒCounter”“”}”…”R”Œparse_messages”]”Œtransform_messages”]”Œtransformer”NŒinclude_log”]”Œ


decoration”NhhŒ


myst_slugs”}”(j¡Kj›ŒTrack & Evaluation”‡”hsKhlŒSpeaker-Attributed ASR”‡”jKjŒEvaluation metric”‡”j˜K j’ŒSub-track arrangement”‡”uub.