funasr1.0 paraformer_streaming

游雁

2024-01-11 a75bbb028e5966ddf02aae5bea05909be9a99826

 funasr/tokenizer/abs_tokenizer.py

@@ -42,8 +42,9 @@
                self.token_list_repr = str(token_list)
                self.token_list: List[str] = []

                with open('data.json', 'r', encoding='utf-8') as f:
                    self.token_list = json.loads(f.read())
                with open(token_list, 'r', encoding='utf-8') as f:
                    self.token_list = json.load(f)
                    

            else:
                self.token_list: List[str] = list(token_list)