嘉渊
2023-04-24 6427c834dfd97b1f05c6659cdc7ccf010bf82fe1
funasr/runtime/python/benchmark_libtorch.md
@@ -4,53 +4,39 @@
Aishell1 [test set](https://www.openslr.org/33/) , the total audio duration is 36108.919 seconds.
### Tools
- Install
```shell
git clone https://github.com/alibaba-damo-academy/FunASR.git && cd FunASR
pip install --editable ./
cd funasr/runtime/python/utils
pip install -r requirements.txt
```
- Install ModelScope and FunASR
    ```shell
    pip install "modelscope[audio_asr]" --upgrade -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
    git clone https://github.com/alibaba-damo-academy/FunASR.git && cd FunASR
    pip install --editable ./
    cd funasr/runtime/python/utils
    pip install -r requirements.txt
    ```
- recipe
set the model, data path and output_dir
```shell
nohup bash test_rtf.sh &> log.txt &
```
    set the model, data path and output_dir
    ```shell
    nohup bash test_rtf.sh &> log.txt &
    ```
## [Paraformer-large](https://www.modelscope.cn/models/damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch/summary) 
### Intel(R) Xeon(R) Platinum 8369B CPU @ 2.90GHz   16core-32processor    with avx512_vnni
[//]: # (| concurrent-tasks | processing time(s) |  RTF   | Speedup Rate |)
[//]: # (|:----------------:|:------------------:|:------:|:------------:|)
[//]: # (|  1 (torch fp32)  |        3522        | 0.0976 |     10.3     |)
[//]: # (|  1 (torch int8)  |        1746        | 0.0484 |     20.7     |)
[//]: # (|  32 (torch fp32)  |        236         | 0.0066 |    152.7     |)
[//]: # (|  32 (torch int8)  |        114         | 0.0032 |    317.4     |)
[//]: # (|  64 (torch fp32)  |        235         | 0.0065 |    153.7     |)
[//]: # (|  64 (torch int8)  |        113         | 0.0031 |    319.2     |)
### Intel(R) Xeon(R) Platinum 8269CY CPU @ 2.50GHz   16core-32processor    with avx512_vnni
| concurrent-tasks | processing time(s) |  RTF   | Speedup Rate |
|:----------------:|:------------------:|:------:|:------------:|
|  1 (torch fp32)  |        3522        | 0.0976 |     10.3     |
| 1 (torch fp32)   |        3522        | 0.0976 |     10.3     |
|  1 (torch int8)  |        1746        | 0.0484 |     20.7     |
|  32 (torch fp32)  |        236         | 0.0066 |    152.7     |
|  32 (torch int8)  |        114         | 0.0032 |    317.4     |
|  64 (torch fp32)  |        235         | 0.0065 |    153.7     |
|  64 (torch int8)  |        113         | 0.0031 |    319.2     |
| 32 (torch fp32)  |        236         | 0.0066 |    152.7     |
| 32 (torch int8)  |        114         | 0.0032 |    317.4     |
| 64 (torch fp32)  |        235         | 0.0065 |    153.7     |
| 64 (torch int8)  |        113         | 0.0031 |    319.2     |
[//]: # (### Intel(R) Xeon(R) Platinum 8163 CPU @ 2.50GHz    32core-64processor   without avx512_vnni)