Dev gzf exp (#1618)

zhifu gao

2024-04-16 a65016e23e6c829d61c63a68e27b24abf86e926a

 funasr/tokenizer/whisper_tokenizer.py

@@ -1,14 +1,14 @@

try:
   from whisper.tokenizer import get_tokenizer
except:
   print("If you want to use hugging, please `pip install -U transformers`")

from funasr.register import tables

@tables.register("tokenizer_classes", "WhisperTokenizer")
def WhisperTokenizer(**kwargs):

   try:
      from whisper.tokenizer import get_tokenizer
   except:
      print("Notice: If you want to use whisper, please `pip install -U openai-whisper`")
	
   language = kwargs.get("language", None)
   task = kwargs.get("task", "transcribe")
   is_multilingual = kwargs.get("is_multilingual", True)