shixian.shi
2024-01-10 2d0c8274a6dd0db9d5f7a00e71401bf7b4d65553
funasr/tokenizer/abs_tokenizer.py
@@ -42,8 +42,9 @@
                self.token_list_repr = str(token_list)
                self.token_list: List[str] = []
                with open('data.json', 'r', encoding='utf-8') as f:
                    self.token_list = json.loads(f.read())
                with open(token_list, 'r', encoding='utf-8') as f:
                    self.token_list = json.load(f)
            else:
                self.token_list: List[str] = list(token_list)