python/FunASR-XL.git

Merge pull request #518 from alibaba-damo-academy/dev_wjm2

jmwang66

2023-05-16 6f7e27eb7c2d0a7649ec8f14d167c8da8e29f906

refs
用户	jmwang66 <wangjiaming.wjm@alibaba-inc.com>
	星期二, 五月 16, 2023 15:07 +0800
提交者	GitHub <noreply@github.com>
	星期二, 五月 16, 2023 15:07 +0800
提交	6f7e27eb7c2d0a7649ec8f14d167c8da8e29f906
目录	4dae7bd5fc3c554b8bb6570a29341d9391a89c5e 目录 \| zip \| gz
parent	4cd79db451786548d8a100f25c3b03da0eb30f4b 查看 \| 对比 8629d30d3db981a0bc12549932c190221e17202b 查看 \| 对比

Merge pull request #518 from alibaba-damo-academy/dev_wjm2

update train

91个文件已修改

40个文件已添加

3 文件已重命名

20个文件已删除

1 文件已复制

	docs/reference/build_task.md	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/conformer/conf/train_asr_conformer.yaml	28 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/conformer/local/download_and_untar.sh	105 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/conformer/local/prepare_data.sh	53 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/conformer/run.sh	103 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/data2vec_paraformer_finetune/conf/train_asr_paraformer_transformer_12e_6d_3072_768.yaml	29 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/data2vec_paraformer_finetune/local/download_and_untar.sh	105 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/data2vec_paraformer_finetune/local/prepare_data.sh	53 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/data2vec_paraformer_finetune/run.sh	112 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/data2vec_transformer_finetune/conf/train_asr_transformer_12e_6d_3072_768.yaml	39 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/data2vec_transformer_finetune/local/download_and_untar.sh	105 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/data2vec_transformer_finetune/local/prepare_data.sh	53 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/data2vec_transformer_finetune/run.sh	110 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/paraformer/conf/train_asr_paraformer_conformer_12e_6d_2048_256.yaml	29 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/paraformer/local/download_and_untar.sh	105 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/paraformer/local/prepare_data.sh	53 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/paraformer/run.sh	100 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/paraformerbert/conf/train_asr_paraformerbert_conformer_12e_6d_2048_256.yaml	39 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/paraformerbert/local/aishell_data_prep.sh	23 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/paraformerbert/local/download_and_untar.sh	105 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/paraformerbert/local/extract_embeds.sh	12 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/paraformerbert/run.sh	114 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/transformer/conf/train_asr_transformer.yaml	30 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/transformer/local/download_and_untar.sh	105 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/transformer/local/prepare_data.sh	53 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/transformer/path.sh	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/transformer/run.sh	112 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/transformer/utils/cmvn_converter.py	6 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/transformer/utils/combine_cmvn_file.py	27 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/transformer/utils/compute_cmvn.py	88 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell/transformer/utils/compute_cmvn.sh	21 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/conformer/conf/train_asr_conformer.yaml	22 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/conformer/local/prepare_data.sh	6 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/conformer/run.sh	95 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/data2vec_pretrain/conf/train_pretrain_transformer.yaml	68 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/data2vec_pretrain/run.sh	131 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/paraformer/conf/train_asr_paraformer_conformer_20e_1280_320_6d_1280_320.yaml	22 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/paraformer/local/prepare_data.sh	6 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/paraformer/run.sh	105 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/paraformerbert/conf/train_asr_paraformerbert_conformer_20e_6d_1280_320.yaml	29 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/paraformerbert/local/extract_embeds.sh	31 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/paraformerbert/local/prepare_data.sh	7 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/paraformerbert/run.sh	136 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/transformer/conf/train_asr_transformer.yaml	22 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/transformer/local/prepare_data.sh	6 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/transformer/run.sh	101 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/transformer/utils/cmvn_converter.py	51 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/transformer/utils/combine_cmvn_file.py	27 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/transformer/utils/compute_cmvn.py	88 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/transformer/utils/compute_cmvn.sh	21 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/transformer/utils/compute_fbank.py	24 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/transformer/utils/compute_fbank.sh	5 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/transformer/utils/compute_wer.py	4 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/transformer/utils/download_model.py	20 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/transformer/utils/fix_data.sh	4 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/aishell2/transformer/utils/fix_data_feat.sh	8 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/librispeech/conformer/conf/train_asr_conformer.yaml	14 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/librispeech/conformer/local/data_prep.sh	对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/librispeech/conformer/local/download_and_untar.sh	97 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/librispeech/conformer/local/spm_encode.py	98 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/librispeech/conformer/local/spm_train.py	12 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/librispeech/conformer/run.sh	143 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/librispeech_100h/conformer/conf/decode_asr_transformer.yaml	6 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/librispeech_100h/conformer/conf/train_asr_conformer.yaml	32 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/librispeech_100h/conformer/local/data_prep.sh	对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/librispeech_100h/conformer/local/download_and_untar.sh	97 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/librispeech_100h/conformer/local/spm_encode.py	98 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/librispeech_100h/conformer/local/spm_train.py	12 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/librispeech_100h/conformer/path.sh	对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/librispeech_100h/conformer/run.sh	212 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/librispeech_100h/conformer/utils -> ../../aishell/transformer/utils	1 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/mars/sd/conf/SOND_ECAPATDNN_None_Dot_SAN_L4N512_FSMN_L6N512_n16k2.yaml	121 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/mars/sd/local_run.sh	171 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/mars/sd/scripts/calculate_shapes.py	45 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/mars/sd/scripts/dump_rttm_to_labels.py	140 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/mars/sd/scripts/extract_nonoverlap_segments_v2.py	115 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/mars/sd/scripts/real_meeting_process/calc_real_meeting_labels.py	73 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/mars/sd/scripts/real_meeting_process/clip_meeting_without_silence.py	53 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/mars/sd/scripts/real_meeting_process/convert_rttm_to_seg_file.py	57 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/mars/sd/scripts/real_meeting_process/dump_real_meeting_chunks.py	138 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/mars/sd/scripts/real_meeting_process/extract_nonoverlap_segments.py	110 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/mars/sd/scripts/real_meeting_process/remove_silence_from_wav.py	60 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	egs/mars/sd/scripts/simu_chunk_with_labels.py	261 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/bin/asr_test.py	226 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/bin/build_trainer.py	151 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/bin/train.py	572 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/build_utils/__init__.py	对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/build_utils/build_args.py	93 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/build_utils/build_asr_model.py	352 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/build_utils/build_dataloader.py	15 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/build_utils/build_diar_model.py	296 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/build_utils/build_distributed.py	38 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/build_utils/build_lm_model.py	57 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/build_utils/build_model.py	25 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/build_utils/build_optimizer.py	28 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/build_utils/build_pretrain_model.py	107 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/build_utils/build_punc_model.py	68 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/build_utils/build_scheduler.py	44 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/build_utils/build_trainer.py	820 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/build_utils/build_vad_model.py	77 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/datasets/iterable_dataset_modelscope.py	349 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/datasets/large_datasets/build_dataloader.py	36 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/datasets/large_datasets/dataset.py	24 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/datasets/large_datasets/utils/tokenize.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/datasets/small_datasets/collate_fn.py	93 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/datasets/small_datasets/dataset.py	258 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/datasets/small_datasets/length_batch_sampler.py	147 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/datasets/small_datasets/preprocessor.py	875 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/datasets/small_datasets/sequence_iter_factory.py	189 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/fileio/sound_scp.py	15 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/layers/abs_normalize.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/layers/global_mvn.py	5 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/layers/inversible_interface.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/lm/abs_model.py	4 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/main_funcs/calculate_all_attentions.py	4 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/main_funcs/collect_stats.py	4 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/base_model.py	17 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/data2vec.py	6 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/e2e_asr.py	13 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/e2e_asr_mfcca.py	138 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/e2e_asr_paraformer.py	162 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/e2e_diar_eend_ola.py	5 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/e2e_diar_sond.py	8 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/e2e_sv.py	8 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/e2e_tp.py	15 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/e2e_uni_asr.py	11 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/e2e_vad.py	8 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/encoder/abs_encoder.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/encoder/conformer_encoder.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/encoder/data2vec_encoder.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/encoder/mfcca_encoder.py	120 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/encoder/resnet34_encoder.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/encoder/rnn_encoder.py	3 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/encoder/sanm_encoder.py	3 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/frontend/abs_frontend.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/frontend/default.py	4 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/frontend/fused.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/frontend/s3prl.py	1 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/frontend/wav_frontend.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/frontend/wav_frontend_kaldifeat.py	119 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/frontend/windowing.py	7 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/specaug/abs_specaug.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/target_delay_transformer.py	5 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/vad_realtime_transformer.py	3 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tasks/abs_task.py	55 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tasks/asr.py	18 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tasks/diar.py	12 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tasks/lm.py	3 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tasks/punctuation.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tasks/sv.py	10 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tasks/vad.py	79 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/train/abs_espnet_model.py	55 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/train/abs_model.py	28 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/train/trainer.py	4 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/utils/prepare_data.py	209 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史