funasr/tokenizer/char_tokenizer.py @@ -59,4 +59,4 @@ def tokens2text(self, tokens: Iterable[str]) -> str: tokens = [t if t != self.space_symbol else " " for t in tokens] return "".join(tokens) return "".join(tokens)
