16:37 java_http_client

VirtuosoQ

2024-04-28 476dc3f30c014e0d2ebdc46ce0283ddbfe63eeb8

 funasr/utils/load_utils.py

@@ -19,18 +19,19 @@

def is_ffmpeg_installed():
    try:
        # 尝试运行ffmpeg命令并获取其版本信息
        output = subprocess.check_output(['ffmpeg', '-version'], stderr=subprocess.STDOUT)
        return 'ffmpeg version' in output.decode('utf-8')
    except (subprocess.CalledProcessError, FileNotFoundError):
        # 若运行ffmpeg命令失败，则认为ffmpeg未安装
        return False
    
use_ffmpeg=False
if is_ffmpeg_installed():
    use_ffmpeg = True
else:
    print("Notice: ffmpeg is not installed. torchaudio is used to load audio")
    print("Notice: ffmpeg is not installed. torchaudio is used to load audio\n"
          "If you want to use ffmpeg backend to load audio, please install it by:"
          "\n\tsudo apt install ffmpeg # ubuntu"
          "\n\t# brew install ffmpeg # mac")

def load_audio_text_image_video(data_or_path_or_list, fs: int = 16000, audio_fs: int = 16000, data_type="sound", tokenizer=None, **kwargs):
    if isinstance(data_or_path_or_list, (list, tuple)):
@@ -50,13 +51,20 @@

    if isinstance(data_or_path_or_list, str) and os.path.exists(data_or_path_or_list): # local file
        if data_type is None or data_type == "sound":
            if use_ffmpeg:
                data_or_path_or_list = _load_audio_ffmpeg(data_or_path_or_list, sr=fs)
                data_or_path_or_list = torch.from_numpy(data_or_path_or_list).squeeze()  # [n_samples,]
            else:
            # if use_ffmpeg:
            #     data_or_path_or_list = _load_audio_ffmpeg(data_or_path_or_list, sr=fs)
            #     data_or_path_or_list = torch.from_numpy(data_or_path_or_list).squeeze()  # [n_samples,]
            # else:
            #     data_or_path_or_list, audio_fs = torchaudio.load(data_or_path_or_list)
            #     if kwargs.get("reduce_channels", True):
            #         data_or_path_or_list = data_or_path_or_list.mean(0)
            try:
                data_or_path_or_list, audio_fs = torchaudio.load(data_or_path_or_list)
                if kwargs.get("reduce_channels", True):
                    data_or_path_or_list = data_or_path_or_list.mean(0)
            except:
                data_or_path_or_list = _load_audio_ffmpeg(data_or_path_or_list, sr=fs)
                data_or_path_or_list = torch.from_numpy(data_or_path_or_list).squeeze()  # [n_samples,]
        elif data_type == "text" and tokenizer is not None:
            data_or_path_or_list = tokenizer.encode(data_or_path_or_list)
        elif data_type == "image": # undo