add batch for offline-stream

雾聪

2024-03-29 445b7ec47cbc6ce37c985fdc7e8e55c130f1d391

 funasr/tokenizer/hf_tokenizer.py

@@ -2,7 +2,8 @@
try:
   from transformers import AutoTokenizer
except:
   print("If you want to use hugging, please `pip install -U transformers`")
   # print("If you want to use hugging, please `pip install -U transformers`")
   pass

from funasr.register import tables