readme

游雁

2023-03-13 fc08b62d05723cdc1ce021bb8ba044ca014fb1f7

 funasr/runtime/python/grpc/Readme.md

@@ -5,7 +5,9 @@

## Steps

Step 1) Optional, prepare server environment (on server).  Install modelscope and funasr with pip or with cuda-docker image.
Step 1-1) Prepare server modelscope pipeline environment (on server).  

         Install modelscope and funasr with pip or with cuda-docker image.

         Option 1: Install modelscope and funasr with [pip](https://github.com/alibaba-damo-academy/FunASR#installation)

@@ -22,23 +24,60 @@
cd FunASR/funasr/runtime/python/grpc/
```

Step 1-2) Optional, Prepare server onnxruntime environment (on server). 

Step 2) Optional, generate protobuf file (run on server, the two generated pb file are both used for server and client).
Install [`rapid_paraformer`](https://github.com/alibaba-damo-academy/FunASR/tree/main/funasr/runtime/python/onnxruntime).

- Build the rapid_paraformer `whl`
```
# paraformer_pb2.py and paraformer_pb2_grpc.py are already generated.
git clone https://github.com/alibaba/FunASR.git && cd FunASR
cd funasr/runtime/python/onnxruntime/rapid_paraformer
python setup.py bdist_wheel
```

- Install the build `whl`
```
pip install dist/rapid_paraformer-0.0.1-py3-none-any.whl
```

Export the model, more details ref to [export docs](https://github.com/alibaba-damo-academy/FunASR/tree/main/funasr/runtime/python/onnxruntime).
```
python -m funasr.export.export_model 'damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch' "./export" true
```

Step 2) Optional, generate protobuf file (run on server, the two generated pb files are both used for server and client).
```
# Optional, Install dependency.
python -m pip install grpcio grpcio-tools
```

```
# paraformer_pb2.py and paraformer_pb2_grpc.py are already generated, 
# regenerate it only when you make changes to ./proto/paraformer.proto file.
python -m grpc_tools.protoc  --proto_path=./proto -I ./proto    --python_out=. --grpc_python_out=./ ./proto/paraformer.proto
```

Step 3) Start grpc server (on server).
```
python grpc_main_server.py --port 10095
# Optional, Install dependency.
python -m pip install grpcio grpcio-tools
```
```
# Start server.
python grpc_main_server.py --port 10095 --backend pipeline
```

If you want run server with onnxruntime, please set `backend` and `onnx_dir` paramater.
```
# Start server.
python grpc_main_server.py --port 10095 --backend onnxruntime --onnx_dir /models/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch
```


Step 4) Start grpc client (on client with microphone).

```
# Optional, Install dependency.
python -m pip install pyaudio webrtcvad
python -m pip install pyaudio webrtcvad grpcio grpcio-tools
```
```
# Start client.