update (debugging)

shixian.shi

2024-01-12 bcb8b0c3cbbdc7b3c246a28b3941a9f4301deac0

 funasr/tokenizer/abs_tokenizer.py

@@ -42,8 +42,9 @@
                self.token_list_repr = str(token_list)
                self.token_list: List[str] = []

                with open('data.json', 'r', encoding='utf-8') as f:
                    self.token_list = json.loads(f.read())
                with open(token_list, 'r', encoding='utf-8') as f:
                    self.token_list = json.load(f)
                    

            else:
                self.token_list: List[str] = list(token_list)