update

speech_asr

2023-03-22 4e7a8283bee800db1d5bb0f5b9414a11862a7772

update

 funasr/datasets/large_datasets/utils/tokenize.py

@@ -37,7 +37,7 @@
    vad = -2

    if bpe_tokenizer is not None:
        text = bpe_tokenizer.text2tokens(text)
        text = bpe_tokenizer.text2tokens("".join(text))

    if seg_dict is not None:
        assert isinstance(seg_dict, dict)