infer for word punc model

shixian.shi

2024-03-06 e451eb799a5bccd53dfd4b86cf66a4668b0088b7

 funasr/tokenizer/hf_tokenizer.py

@@ -2,7 +2,8 @@
try:
   from transformers import AutoTokenizer
except:
   print("If you want to use hugging, please `pip install -U transformers`")
   # print("If you want to use hugging, please `pip install -U transformers`")
   pass

from funasr.register import tables