add lora finetune code

haoneng.lhn

2023-07-20 b8e2cab7ee61cb7762ca628f52bff7f6f32f1793

 funasr/bin/build_trainer.py

@@ -1,7 +1,7 @@
import os

import yaml

import logging

def update_dct(fin_configs, root):
    if root == {}:
@@ -22,6 +22,8 @@
    if mode == "asr":
        from funasr.tasks.asr import ASRTask as ASRTask
    elif mode == "paraformer":
        from funasr.tasks.asr import ASRTaskParaformer as ASRTask
    elif mode == "paraformer_streaming":
        from funasr.tasks.asr import ASRTaskParaformer as ASRTask
    elif mode == "paraformer_vad_punc":
        from funasr.tasks.asr import ASRTaskParaformer as ASRTask
@@ -53,7 +55,7 @@
                  scheduler_conf=None,
                  specaug=None,
                  specaug_conf=None,
                  param_dict=None,
                  mate_params=None,
                  **kwargs):
    mode = modelscope_dict['mode']
    args, ASRTask = parse_args(mode=mode)
@@ -83,6 +85,7 @@
        finetune_configs = yaml.safe_load(f)
        # set data_types
        if dataset_type == "large":
            # finetune_configs["dataset_conf"]["data_types"] = "sound,text"
            if 'data_types' not in finetune_configs['dataset_conf']:
                finetune_configs["dataset_conf"]["data_types"] = "sound,text"
    finetune_configs = update_dct(configs, finetune_configs)
@@ -141,6 +144,10 @@
        args.patience = None
    args.local_rank = local_rank
    args.distributed = distributed
    if mate_params is not None:
        for key, value in mate_params.items():
            if hasattr(args, key):
                setattr(args, key, value)
    ASRTask.finetune_args = args

    return ASRTask