grpc

游雁

2023-03-21 779e5e4debca50a35c2c46f4db90c549cce1e191

 funasr/runtime/python/benchmark_onnx.md

@@ -77,6 +77,8 @@

| concurrent-tasks | processing time(s) |  RTF   | Speedup Rate |
|:----------------:|:------------------:|:------:|:------------:|
|  1 (onnx fp32)   |        1173        | 0.0325 |     30.8     |
|  1 (onnx int8)   |        976         | 0.0270 |     37.0     |
|  16 (onnx fp32)  |         91         | 0.0025 |    395.2     |
|  16 (onnx int8)  |         78         | 0.0022 |    463.0     |
|  32 (onnx fp32)  |         60         | 0.0017 |    598.8     |
@@ -85,7 +87,3 @@
|  64 (onnx int8)  |         31         | 0.0009 |    1162.8    |
|  96 (onnx fp32)  |         57         | 0.0016 |    632.9     |
|  96 (onnx int8)  |         33         | 0.0009 |    1098.9    |

[//]: # (|  1 (onnx fp32)   |        2806        | 0.0777 |     12.9     |)

[//]: # (|  1 (onnx int8)   |        1611        | 0.0446 |     22.4     |)