update

嘉渊

2023-04-24 df5f263e5fe3d7961b1aeb3589012400a9905a8f

 funasr/export/README.md

@@ -17,7 +17,7 @@
       --model-name [model_name] \
       --export-dir [export_dir] \
       --type [onnx, torch] \
       --quantize \
       --quantize [true, false] \
       --fallback-num [fallback_num]
   ```
   `model-name`: the model is to export. It could be the models from modelscope, or local finetuned model(named: model.pb).
@@ -30,6 +30,16 @@

   `fallback-num`: specify the number of fallback layers to perform automatic mixed precision quantization.

## Performance Benchmark of Runtime

### Paraformer on CPU

[onnx runtime](https://github.com/alibaba-damo-academy/FunASR/blob/main/funasr/runtime/python/benchmark_onnx.md)

[libtorch runtime](https://github.com/alibaba-damo-academy/FunASR/blob/main/funasr/runtime/python/benchmark_libtorch.md)

### Paraformer on GPU
[nv-triton](https://github.com/alibaba-damo-academy/FunASR/tree/main/funasr/runtime/triton_gpu)

## For example
### Export onnx format model
@@ -55,3 +65,4 @@

## Acknowledge
Torch model quantization is supported by [BladeDISC](https://github.com/alibaba/BladeDISC), an end-to-end DynamIc Shape Compiler project for machine learning workloads. BladeDISC provides general, transparent, and ease of use performance optimization for TensorFlow/PyTorch workloads on GPGPU and CPU backends. If you are interested, please contact us.