Shi Xian
2025-02-18 57e023e5cfa522007e24d87c8e3d82bf7c4a19cd
funasr/tokenizer/word_tokenizer.py
@@ -19,8 +19,7 @@
        if not remove_non_linguistic_symbols and non_linguistic_symbols is not None:
            warnings.warn(
                "non_linguistic_symbols is only used "
                "when remove_non_linguistic_symbols = True"
                "non_linguistic_symbols is only used " "when remove_non_linguistic_symbols = True"
            )
        if non_linguistic_symbols is None: