load_audio_text_image_video

游雁

2024-01-05 e6a7bbe1ca6690faa23d29e22cb74a8d67c09ed3

load_audio_text_image_video

 funasr/utils/load_utils.py

@@ -10,52 +10,52 @@
import logging
from torch.nn.utils.rnn import pad_sequence

# def load_audio(audio_or_path_or_list, fs: int=16000, audio_fs: int=16000):
# def load_audio(data_or_path_or_list, fs: int=16000, audio_fs: int=16000):
#
#     if isinstance(audio_or_path_or_list, (list, tuple)):
#         return [load_audio(audio, fs=fs, audio_fs=audio_fs) for audio in audio_or_path_or_list]
#     if isinstance(data_or_path_or_list, (list, tuple)):
#         return [load_audio(audio, fs=fs, audio_fs=audio_fs) for audio in data_or_path_or_list]
#
#     if isinstance(audio_or_path_or_list, str) and os.path.exists(audio_or_path_or_list):
#         audio_or_path_or_list, audio_fs = torchaudio.load(audio_or_path_or_list)
#         audio_or_path_or_list = audio_or_path_or_list[0, :]
#     elif isinstance(audio_or_path_or_list, np.ndarray): # audio sample point
#         audio_or_path_or_list = np.squeeze(audio_or_path_or_list) #[n_samples,]
#     if isinstance(data_or_path_or_list, str) and os.path.exists(data_or_path_or_list):
#         data_or_path_or_list, audio_fs = torchaudio.load(data_or_path_or_list)
#         data_or_path_or_list = data_or_path_or_list[0, :]
#     elif isinstance(data_or_path_or_list, np.ndarray): # audio sample point
#         data_or_path_or_list = np.squeeze(data_or_path_or_list) #[n_samples,]
#
#     if audio_fs != fs:
#         resampler = torchaudio.transforms.Resample(audio_fs, fs)
#         audio_or_path_or_list = resampler(audio_or_path_or_list[None, :])[0, :]
#     return audio_or_path_or_list
#         data_or_path_or_list = resampler(data_or_path_or_list[None, :])[0, :]
#     return data_or_path_or_list


def load_audio_text_image_video(audio_or_path_or_list, fs: int = 16000, audio_fs: int = 16000, data_type=None, tokenizer=None):
    if isinstance(audio_or_path_or_list, (list, tuple)):
def load_audio_text_image_video(data_or_path_or_list, fs: int = 16000, audio_fs: int = 16000, data_type=None, tokenizer=None):
    if isinstance(data_or_path_or_list, (list, tuple)):
        if data_type is not None and isinstance(data_type, (list, tuple)):

            data_types = [data_type] * len(audio_or_path_or_list)
            audio_or_path_or_list_ret = [[] for d in data_type]
            for i, (data_type_i, audio_or_path_or_list_i) in enumerate(zip(data_types, audio_or_path_or_list)):
            data_types = [data_type] * len(data_or_path_or_list)
            data_or_path_or_list_ret = [[] for d in data_type]
            for i, (data_type_i, data_or_path_or_list_i) in enumerate(zip(data_types, data_or_path_or_list)):
                
                for j, (data_type_j, audio_or_path_or_list_j) in enumerate(zip(data_type_i, audio_or_path_or_list_i)):
                for j, (data_type_j, data_or_path_or_list_j) in enumerate(zip(data_type_i, data_or_path_or_list_i)):
                    
                    audio_or_path_or_list_j = load_audio_text_image_video(audio_or_path_or_list_j, fs=fs, audio_fs=audio_fs, data_type=data_type_j, tokenizer=tokenizer)
                    audio_or_path_or_list_ret[j].append(audio_or_path_or_list_j)
                    data_or_path_or_list_j = load_audio_text_image_video(data_or_path_or_list_j, fs=fs, audio_fs=audio_fs, data_type=data_type_j, tokenizer=tokenizer)
                    data_or_path_or_list_ret[j].append(data_or_path_or_list_j)

            return audio_or_path_or_list_ret
            return data_or_path_or_list_ret
        else:
            return [load_audio_text_image_video(audio, fs=fs, audio_fs=audio_fs) for audio in audio_or_path_or_list]
            return [load_audio_text_image_video(audio, fs=fs, audio_fs=audio_fs) for audio in data_or_path_or_list]
    
    if isinstance(audio_or_path_or_list, str) and os.path.exists(audio_or_path_or_list):
        audio_or_path_or_list, audio_fs = torchaudio.load(audio_or_path_or_list)
        audio_or_path_or_list = audio_or_path_or_list[0, :]
    elif isinstance(audio_or_path_or_list, np.ndarray):  # audio sample point
        audio_or_path_or_list = np.squeeze(audio_or_path_or_list)  # [n_samples,]
    elif isinstance(audio_or_path_or_list, str) and data_type is not None and data_type == "text" and tokenizer is not None:
        audio_or_path_or_list = tokenizer.encode(audio_or_path_or_list)
    if isinstance(data_or_path_or_list, str) and os.path.exists(data_or_path_or_list):
        data_or_path_or_list, audio_fs = torchaudio.load(data_or_path_or_list)
        data_or_path_or_list = data_or_path_or_list[0, :]
    elif isinstance(data_or_path_or_list, np.ndarray):  # audio sample point
        data_or_path_or_list = np.squeeze(data_or_path_or_list)  # [n_samples,]
    elif isinstance(data_or_path_or_list, str) and data_type is not None and data_type == "text" and tokenizer is not None:
        data_or_path_or_list = tokenizer.encode(data_or_path_or_list)
        
    if audio_fs != fs and data_type != "text":
        resampler = torchaudio.transforms.Resample(audio_fs, fs)
        audio_or_path_or_list = resampler(audio_or_path_or_list[None, :])[0, :]
    return audio_or_path_or_list
        data_or_path_or_list = resampler(data_or_path_or_list[None, :])[0, :]
    return data_or_path_or_list

def load_bytes(input):
    middle_data = np.frombuffer(input, dtype=np.int16)