| | |
|---|
| | | type=sound |
|---|
| | | scp=wav.scp |
|---|
| | | speed_perturb="0.9 1.0 1.1" |
|---|
| | | stage=3 |
|---|
| | | stop_stage=4 |
|---|
| | | stage=0 |
|---|
| | | stop_stage=5 |
|---|
| | | |
|---|
| | | skip_extract_embed=false |
|---|
| | | bert_model_name="bert-base-chinese" |
|---|
| | |
|---|
| | | nj=64 |
|---|
| | | |
|---|
| | | # data |
|---|
| | | raw_data= |
|---|
| | | raw_data=../raw_data |
|---|
| | | data_url=www.openslr.org/resources/33 |
|---|
| | | |
|---|
| | | # exp tag |
|---|
| | |
|---|
| | | |
|---|
| | | if [ ${stage} -le 1 ] && [ ${stop_stage} -ge 1 ]; then |
|---|
| | | echo "stage 1: Feature and CMVN Generation" |
|---|
| | | utils/compute_cmvn.sh --cmd "$train_cmd" --nj $nj --feats_dim ${feats_dim} ${feats_dir}/data/${train_set} |
|---|
| | | utils/compute_cmvn.sh --fbankdir ${feats_dir}/data/${train_set} --cmd "$train_cmd" --nj $nj --feats_dim ${feats_dim} --config_file "$asr_config" --scale 1.0 |
|---|
| | | fi |
|---|
| | | |
|---|
| | | token_list=${feats_dir}/data/${lang}_token_list/char/tokens.txt |
|---|
| | | token_list=${feats_dir}/data/${lang}_token_list/$token_type/tokens.txt |
|---|
| | | echo "dictionary: ${token_list}" |
|---|
| | | if [ ${stage} -le 2 ] && [ ${stop_stage} -ge 2 ]; then |
|---|
| | | echo "stage 2: Dictionary Preparation" |
|---|
| | | mkdir -p ${feats_dir}/data/${lang}_token_list/char/ |
|---|
| | | mkdir -p ${feats_dir}/data/${lang}_token_list/$token_type/ |
|---|
| | | |
|---|
| | | echo "make a dictionary" |
|---|
| | | echo "<blank>" > ${token_list} |
|---|
| | |
|---|
| | | echo "<unk>" >> ${token_list} |
|---|
| | | fi |
|---|
| | | |
|---|
| | | # Training Stage |
|---|
| | | # LM Training Stage |
|---|
| | | world_size=$gpu_num # run on one machine |
|---|
| | | if [ ${stage} -le 3 ] && [ ${stop_stage} -ge 3 ]; then |
|---|
| | | echo "stage 3: Training" |
|---|
| | | echo "stage 3: LM Training" |
|---|
| | | fi |
|---|
| | | |
|---|
| | | # ASR Training Stage |
|---|
| | | world_size=$gpu_num # run on one machine |
|---|
| | | if [ ${stage} -le 4 ] && [ ${stop_stage} -ge 4 ]; then |
|---|
| | | echo "stage 4: ASR Training" |
|---|
| | | if ! "${skip_extract_embed}"; then |
|---|
| | | echo "extract embeddings..." |
|---|
| | | local/extract_embeds.sh \ |
|---|
| | | --bert_model_name ${bert_model_name} \ |
|---|
| | | --raw_dataset_path ${feats_dir} |
|---|
| | | --raw_dataset_path ${feats_dir} \ |
|---|
| | | --nj $nj |
|---|
| | | fi |
|---|
| | | mkdir -p ${exp_dir}/exp/${model_dir} |
|---|
| | | mkdir -p ${exp_dir}/exp/${model_dir}/log |
|---|
| | |
|---|
| | | --task_name asr \ |
|---|
| | | --gpu_id $gpu_id \ |
|---|
| | | --use_preprocessor true \ |
|---|
| | | --token_type char \ |
|---|
| | | --token_type $token_type \ |
|---|
| | | --token_list $token_list \ |
|---|
| | | --data_dir ${feats_dir}/data \ |
|---|
| | | --train_set ${train_set} \ |
|---|
| | | --valid_set ${valid_set} \ |
|---|
| | | --cmvn_file ${feats_dir}/data/${train_set}/cmvn/cmvn.mvn \ |
|---|
| | | --data_file_names "wav.scp,text,embeds.scp" \ |
|---|
| | | --cmvn_file ${feats_dir}/data/${train_set}/cmvn/am.mvn \ |
|---|
| | | --speed_perturb ${speed_perturb} \ |
|---|
| | | --resume true \ |
|---|
| | | --output_dir ${exp_dir}/exp/${model_dir} \ |
|---|
| | |
|---|
| | | fi |
|---|
| | | |
|---|
| | | # Testing Stage |
|---|
| | | if [ ${stage} -le 4 ] && [ ${stop_stage} -ge 4 ]; then |
|---|
| | | echo "stage 4: Inference" |
|---|
| | | if [ ${stage} -le 5 ] && [ ${stop_stage} -ge 5 ]; then |
|---|
| | | echo "stage 5: Inference" |
|---|
| | | for dset in ${test_sets}; do |
|---|
| | | asr_exp=${exp_dir}/exp/${model_dir} |
|---|
| | | inference_tag="$(basename "${inference_config}" .yaml)" |
|---|
| | |
|---|
| | | exit 0 |
|---|
| | | fi |
|---|
| | | mkdir -p "${_logdir}" |
|---|
| | | _data="${feats_dir}/${dumpdir}/${dset}" |
|---|
| | | _data="${feats_dir}/data/${dset}" |
|---|
| | | key_file=${_data}/${scp} |
|---|
| | | num_scp_file="$(<${key_file} wc -l)" |
|---|
| | | _nj=$([ $inference_nj -le $num_scp_file ] && echo "$inference_nj" || echo "$num_scp_file") |
|---|
| | |
|---|
| | | --njob ${njob} \ |
|---|
| | | --gpuid_list ${gpuid_list} \ |
|---|
| | | --data_path_and_name_and_type "${_data}/${scp},speech,${type}" \ |
|---|
| | | --cmvn_file ${feats_dir}/data/${train_set}/cmvn/am.mvn \ |
|---|
| | | --key_file "${_logdir}"/keys.JOB.scp \ |
|---|
| | | --asr_train_config "${asr_exp}"/config.yaml \ |
|---|
| | | --asr_model_file "${asr_exp}"/"${inference_asr_model}" \ |
|---|
| | |
|---|
| | | done |
|---|
| | | fi |
|---|
| | | |
|---|
| | | # Prepare files for ModelScope fine-tuning and inference |
|---|
| | | if [ ${stage} -le 6 ] && [ ${stop_stage} -ge 6 ]; then |
|---|
| | | echo "stage 6: ModelScope Preparation" |
|---|
| | | cp ${feats_dir}/data/${train_set}/cmvn/am.mvn ${exp_dir}/exp/${model_dir}/am.mvn |
|---|
| | | vocab_size=$(cat ${token_list} | wc -l) |
|---|
| | | python utils/gen_modelscope_configuration.py \ |
|---|
| | | --am_model_name $inference_asr_model \ |
|---|
| | | --mode paraformer \ |
|---|
| | | --model_name paraformer_bert \ |
|---|
| | | --dataset aishell \ |
|---|
| | | --output_dir $exp_dir/exp/$model_dir \ |
|---|
| | | --vocab_size $vocab_size \ |
|---|
| | | --nat _nat \ |
|---|
| | | --tag $tag |
|---|
| | | fi |
|---|
