hnluo
2023-07-21 c9cc99db50e2eb13c5abb4a7409f88bf0a8f108d
egs_modelscope/asr/paraformer/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch/RESULTS.md
@@ -72,7 +72,7 @@
## Fine-tuning
- Train config: 
  - Training data: aishell-1
  - Training info: lr 0.0002, batch size 2000, 2 gpu, acc_grad 1, 20 epochs
  - Training info: lr 0.0002, dataset_type: small, batch bins 2000, 2 gpu, acc_grad 1, 20 epochs
  - Decoding info: beam_size 1, average_num 10
| model    | dev cer(%) | test cer(%) |
@@ -82,14 +82,14 @@
- Train config: 
  - Training data: 16k sichuan dialect
  - Training info: lr 0.0002, batch size 2000, 2 gpu, acc_grad 1, 20 epochs
  - Training info: lr 0.0002, dataset_type: small, batch bins 2000, 2 gpu, acc_grad 1, 20 epochs
  - Decoding info: beam_size 1, average_num 10
  
  
|   model  | Training Data(h) | cn cer(%) | sichuan cer(%) |
|:--------:|:-------------:|:-------:|:------------:|
| Pretrain |               |   8.57  |     19.81    |
| Finetune |      50      |   8.8   |      12      |
| Full-tuning |      50      |   8.8   |      12      |
|          |      100     |   9.24  |     11.63    |
|          |      200     |   9.82  |     10.47    |
|          |      300     |   9.95  |     10.44    |
@@ -99,7 +99,7 @@
## Lora Fine-tuning
- Train config: 
  - Training data: 16k sichuan dialect
  - Training info: lr 0.0002, batch size 2000, 2 gpu, acc_grad 1, 20 epochs
  - Training info: lr 0.0002, dataset_type: small, batch bins 2000, 2 gpu, acc_grad 1, 20 epochs
  - Lora info: lora_bias: "all", lora_list ['q','v'], lora_rank:8, lora_alpha:16, lora_dropout:0.1
  - Decoding info: beam_size 1, average_num 10
  
@@ -107,8 +107,8 @@
|:-------------:|:----------------:|:-----------------------:|:---------:|:--------------:|
|    Pretrain   |                  |                         |    8.57   |      19.81     |
|               |                  |                         |           |                |
|    Finetune   |        50        |          220.9          |    8.8    |       12       |
|    Full-tuning   |        50        |          220.9          |    8.8    |       12       |
| Lora Finetune |        50        |           2.29          |    9.13   |      12.13     |
|               |                  |                         |           |                |
|    Finetune   |        200       |          220.9          |    9.82   |      10.47     |
|    Full-tuning   |        200       |          220.9          |    9.82   |      10.47     |
| Lora Finetune |        200       |           2.29          |    9.21   |      11.28     |