Dev gzf exp (#1654)

zhifu gao

2024-04-24 861147c7308b91068ffa02724fdf74ee623a909e

 funasr/tokenizer/hf_tokenizer.py

@@ -1,7 +1,5 @@



from funasr.register import tables


@tables.register("tokenizer_classes", "HuggingfaceTokenizer")
def HuggingfaceTokenizer(init_param_path, **kwargs):
@@ -13,4 +11,3 @@
   tokenizer = AutoTokenizer.from_pretrained(init_param_path)
   
   return tokenizer