Merge pull request #1040 from alibaba-damo-academy/hnluo-patch-2

hnluo

2023-10-25 8a84ed6a4a6ac6958a480961dc2f1606b1ac7fb6

 funasr/bin/tokenize_text.py

@@ -7,7 +7,6 @@
from typing import List
from typing import Optional

from typeguard import check_argument_types

from funasr.utils.cli_utils import get_commandline_args
from funasr.text.build_tokenizer import build_tokenizer
@@ -81,7 +80,6 @@
    cleaner: Optional[str],
    g2p: Optional[str],
):
    assert check_argument_types()

    logging.basicConfig(
        level=log_level,