FUNASR训练
blame | 历史 | 补丁 | 提交 | 提交对比 | ignore whitespace
Yabin Li
2023-10-23 6eb0dfced4ab87b3fd831affd806aad84d37dc1f 
 funasr/datasets/large_datasets/utils/tokenize.py


@@ -54,9 +54,9 @@




    length = len(text)


    if 'hw_tag' in data:


        pre_index = None


        if hw_config['pre_hwlist'] is not None and hw_config['pre_prob'] > 0:


            # enable preset hotword detect in sampling


            pre_index = None


            for hw in hw_config['pre_hwlist']:


                hw = " ".join(seg_tokenize(hw, seg_dict))


                _find = " ".join(text).find(hw)