decoding

游雁

2024-06-11 05f05e7421da12e38109df8ba75be52e90f15092

 examples/industrial_data_pretraining/llm_asr/demo_speech2text.sh

@@ -12,6 +12,7 @@
out_dir="${ckpt_dir}/inference-${ckpt_id}"
mkdir -p ${out_dir}
for data_set in "librispeech_test_clean_speech2text.jsonl" "librispeech_test_other_speech2text.jsonl"; do
{
    jsonl=${jsonl_dir}/${data_set}
    output_dir=${out_dir}/${data_set}
    mkdir -p ${output_dir}
@@ -22,10 +23,12 @@

    python /mnt/workspace/zhifu.gzf/codebase/FunASR/funasr/metrics/wer.py ++ref_file=${ref_file} ++hyp_file=${pred_file} ++cer_file=${pred_file}.cer ++cn_postprocess=false

}&
done
wait


for data_set in "aishell1_test_speech2text.jsonl" "aishell2_ios_test_speech2text.jsonl" "librispeech_test_other_speech2text.jsonl"; do
for data_set in "aishell1_test_speech2text.jsonl" "aishell2_ios_test_speech2text.jsonl"; do
{
    jsonl=${jsonl_dir}/${data_set}
    output_dir=${out_dir}/${data_set}
    mkdir -p ${output_dir}
@@ -36,30 +39,27 @@

    python /mnt/workspace/zhifu.gzf/codebase/FunASR/funasr/metrics/wer.py ++ref_file=${ref_file} ++hyp_file=${pred_file} ++cer_file=${pred_file}.cer ++cn_postprocess=true

}&
done

for data_set in "s2tt_en2zh.v20240605.test.jsonl"; do
    jsonl=${jsonl_dir}/${data_set}
    output_dir=${out_dir}/${data_set}
    mkdir -p ${output_dir}
    pred_file=${output_dir}/1best_recog/text_tn
    ref_file=${output_dir}/1best_recog/label

    python ./demo_speech2text.py ${ckpt_dir} ${ckpt_id} ${jsonl} ${output_dir} ${device}

    python /mnt/workspace/zhifu.gzf/codebase/FunASR/funasr/metrics/wer.py ++ref_file=${ref_file} ++hyp_file=${pred_file} ++cer_file=${pred_file}.cer ++cn_postprocess=true

done

for data_set in "s2tt_zh2en.v20240605.test.jsonl"; do
    jsonl=${jsonl_dir}/${data_set}
    output_dir=${out_dir}/${data_set}
    mkdir -p ${output_dir}
    pred_file=${output_dir}/1best_recog/text_tn
    ref_file=${output_dir}/1best_recog/label

    python ./demo_speech2text.py ${ckpt_dir} ${ckpt_id} ${jsonl} ${output_dir} ${device}

    python /mnt/workspace/zhifu.gzf/codebase/FunASR/funasr/metrics/wer.py ++ref_file=${ref_file} ++hyp_file=${pred_file} ++cer_file=${pred_file}.cer ++cn_postprocess=false

done
#for data_set in "s2tt_en2zh.v20240605.test.jsonl"; do
#    jsonl=${jsonl_dir}/${data_set}
#    output_dir=${out_dir}/${data_set}
#    mkdir -p ${output_dir}
#    pred_file=${output_dir}/1best_recog/text_tn
#    ref_file=${output_dir}/1best_recog/label
#
#    python ./demo_speech2text.py ${ckpt_dir} ${ckpt_id} ${jsonl} ${output_dir} ${device}
#
#done
#
#for data_set in "s2tt_zh2en.v20240605.test.jsonl"; do
#    jsonl=${jsonl_dir}/${data_set}
#    output_dir=${out_dir}/${data_set}
#    mkdir -p ${output_dir}
#    pred_file=${output_dir}/1best_recog/text_tn
#    ref_file=${output_dir}/1best_recog/label
#
#    python ./demo_speech2text.py ${ckpt_dir} ${ckpt_id} ${jsonl} ${output_dir} ${device}
#
#done