FUNASR训练
blame | 历史 | 补丁 | 提交 | 提交对比 | ignore whitespace
kongdeqiang
5 天以前 28ccfbfc51068a663a80764e14074df5edf2b5ba 
 runtime/docs/SDK_advanced_guide_offline.md


@@ -1,44 +1,44 @@


 # Advanced Development Guide (File transcription service)


 


FunASR provides a Chinese offline file transcription service that can be deployed locally or on a cloud server with just one click. The core of the service is the FunASR runtime SDK, which has been open-sourced. FunASR-runtime combines various capabilities such as speech endpoint detection (VAD), large-scale speech recognition (ASR) using Paraformer-large, and punctuation detection (PUNC), which have all been open-sourced by the speech laboratory of DAMO Academy on the Modelscope community. This enables accurate and efficient high-concurrency transcription of audio files.




([简体中文](SDK_advanced_guide_offline_zh.md)|English)




[//]: # (FunASR provides a Chinese offline file transcription service that can be deployed locally or on a cloud server with just one click. The core of the service is the FunASR runtime SDK, which has been open-sourced. FunASR-runtime combines various capabilities such as speech endpoint detection (VAD), large-scale speech recognition (ASR) using Paraformer-large, and punctuation detection (PUNC), which have all been open-sourced by the speech laboratory of DAMO Academy on the Modelscope community. This enables accurate and efficient high-concurrency transcription of audio files.)


FunASR Offline File Transcription Software Package provides a powerful speech-to-text offline file transcription service. With a complete speech recognition pipeline, it combines models for speech endpoint detection, speech recognition, punctuation, etc., allowing for the transcription of long audio and video files, spanning several hours, into punctuated text. It supports simultaneous transcription of hundreds of concurrent requests. The output is text with punctuation, including word-level timestamps, and it supports ITN (Initial Time Normalization) and user-defined hotwords. The server-side integration includes ffmpeg, enabling support for various audio and video formats as input. The software package provides client libraries in multiple programming languages such as HTML, Python, C++, Java, and C#, allowing users to use and further develop the software.




This document serves as a development guide for the FunASR offline file transcription service. If you wish to quickly experience the offline file transcription service, please refer to the one-click deployment example for the FunASR offline file transcription service ([docs](./SDK_tutorial.md)).




## Installation of Docker


<img src="images/offline_structure.jpg"  width="900"/>




The following steps are for manually installing Docker and Docker images. If your Docker image has already been launched, you can ignore this step.




### Installation of Docker environment


| TIME       | INFO                                                                                                                             | IMAGE VERSION                | IMAGE ID     |


|------------|----------------------------------------------------------------------------------------------------------------------------------|------------------------------|--------------|


| 2024.09.26 | Fix memory leak, Support the SensevoiceSmall onnx model                 | funasr-runtime-sdk-cpu-0.4.6  | 8651c6b8a1ae |


| 2024.05.15 | Adapting to FunASR 1.0 model structure | funasr-runtime-sdk-cpu-0.4.5 | 058b9882ae67 |


| 2024.03.05 | docker image supports ARM64 platform, update modelscope | funasr-runtime-sdk-cpu-0.4.4 | 2dc87b86dc49 |


| 2024.01.25 | Optimized the VAD (Voice Activity Detection) data processing method, significantly reducing peak memory usage; memory leak optimization| funasr-runtime-sdk-cpu-0.4.2 | befdc7b179ed |


| 2024.01.08 | optimized format sentence-level timestamps | funasr-runtime-sdk-cpu-0.4.1 | 0250f8ef981b |


| 2024.01.03 | Added support for 8k models, optimized timestamp mismatch issues and added sentence-level timestamps, improved the effectiveness of English word FST hotwords, supported automated configuration of thread parameters, and fixed known crash issues as well as memory leak problems. | funasr-runtime-sdk-cpu-0.4.0 | c4483ee08f04 |


| 2023.11.08 | supporting punc-large model, Ngram model, fst hotwords, server-side loading of hotwords, adaptation to runtime structure changes | funasr-runtime-sdk-cpu-0.3.0 | caa64bddbb43 |


| 2023.09.19 | supporting ITN model                                                                                                             | funasr-runtime-sdk-cpu-0.2.2 | 2c5286be13e9 |


| 2023.08.22 | integrated ffmpeg to support various audio and video inputs, supporting nn-hotword model and timestamp model                     | funasr-runtime-sdk-cpu-0.2.0 | 1ad3d19e0707 |


| 2023.07.03 | 1.0 released                                                                                                                     | funasr-runtime-sdk-cpu-0.1.0 | 1ad3d19e0707 |






## Quick start


### Docker install


If you have already installed Docker, ignore this step!


```shell


# Ubuntu：


curl -fsSL https://test.docker.com -o test-docker.sh 


sudo sh test-docker.sh 


# Debian：


curl -fsSL https://get.docker.com -o get-docker.sh 


sudo sh get-docker.sh 


# CentOS：


curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun 


# MacOS：


brew install --cask --appdir=/Applications docker


curl -O https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/shell/install_docker.sh;


sudo bash install_docker.sh


```




More details could ref to [docs](https://alibaba-damo-academy.github.io/FunASR/en/installation/docker.html)




### Starting Docker




```shell


sudo systemctl start docker


```


If you do not have Docker installed, please refer to [Docker Installation](https://alibaba-damo-academy.github.io/FunASR/en/installation/docker.html)




### Pulling and launching images




Use the following command to pull and launch the Docker image for the FunASR runtime-SDK:




```shell


sudo docker pull registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-cpu-0.3.0


sudo docker pull registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-cpu-0.4.7




sudo docker run -p 10095:10095 -it --privileged=true -v /root:/workspace/models registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-cpu-0.3.0


sudo docker run -p 10095:10095 -it --privileged=true -v /root:/workspace/models registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-cpu-0.4.7


```




Introduction to command parameters: 


@@ -46,11 +46,9 @@


-p <host port>:<mapped docker port>: In the example, host machine (ECS) port 10095 is mapped to port 10095 in the Docker container. Make sure that port 10095 is open in the ECS security rules.




-v <host path>:<mounted Docker path>: In the example, the host machine path /root is mounted to the Docker path /workspace/models.




```




## Starting the server




### Starting the server


Use the flollowing script to start the server ：


```shell


nohup bash run_server.sh \


@@ -59,7 +57,8 @@


  --model-dir damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-onnx  \


  --punc-dir damo/punc_ct-transformer_cn-en-common-vocab471067-large-onnx \


  --lm-dir damo/speech_ngram_lm_zh-cn-ai-wesp-fst \


  --itn-dir thuduj12/fst_itn_zh > log.out 2>&1 &


  --itn-dir thuduj12/fst_itn_zh \


  --hotword /workspace/models/hotwords.txt > log.txt 2>&1 &




# If you want to close ssl，please add：--certfile 0


# If you want to deploy the timestamp or nn hotword model, please set --model-dir to the corresponding model:


@@ -67,7 +66,6 @@


#   damo/speech_paraformer-large-contextual_asr_nat-zh-cn-16k-common-vocab8404-onnx（hotword）


# If you want to load hotwords on the server side, please configure the hotwords in the host machine file ./funasr-runtime-resources/models/hotwords.txt (docker mapping address: /workspace/models/hotwords.txt):


# One hotword per line, format (hotword weight): 阿里巴巴 20"




```




### More details about the script run_server.sh:


@@ -78,33 +76,29 @@


cd /workspace/FunASR/runtime


nohup bash run_server.sh \


  --download-model-dir /workspace/models \


  --model-dir damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-onnx \


  --model-dir damo/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-onnx \


  --vad-dir damo/speech_fsmn_vad_zh-cn-16k-common-onnx \


  --punc-dir damo/punc_ct-transformer_cn-en-common-vocab471067-large-onnx \


  --itn-dir thuduj12/fst_itn_zh \


  --lm-dir damo/speech_ngram_lm_zh-cn-ai-wesp-fst \


  --decoder-thread-num 32 \


  --io-thread-num  8 \


  --port 10095 \


  --certfile  ../../../ssl_key/server.crt \


  --keyfile ../../../ssl_key/server.key \


  --hotword ../../hotwords.txt > log.out 2>&1 &


  --hotword ../../hotwords.txt > log.txt 2>&1 &


 ```




Introduction to run_server.sh parameters: 




```text


--download-model-dir: Model download address, download models from Modelscope by setting the model ID.


--model-dir: Modelscope model ID.


--quantize: True for quantized ASR model, False for non-quantized ASR model. Default is True.


--vad-dir: Modelscope model ID.


--vad-quant: True for quantized VAD model, False for non-quantized VAD model. Default is True.


--punc-dir: Modelscope model ID.


--punc-quant: True for quantized PUNC model, False for non-quantized PUNC model. Default is True.


--itn-dir modelscope model ID


--model-dir: modelscope model ID or local model path.


--vad-dir: modelscope model ID or local model path.


--punc-dir: modelscope model ID or local model path.


--itn-dir modelscope model ID or local model path.


--port: Port number that the server listens on. Default is 10095.


--decoder-thread-num: Number of inference threads that the server starts. Default is 8.


--io-thread-num: Number of IO threads that the server starts. Default is 1.


--decoder-thread-num: The number of thread pools on the server side that can handle concurrent requests.


                      The script will automatically configure parameters decoder-thread-num and io-thread-num based on the server's thread count.


--io-thread-num: Number of IO threads that the server starts.


--model-thread-num: The number of internal threads for each recognition route to control the parallelism of the ONNX model. 


        The default value is 1. It is recommended that decoder-thread-num * model-thread-num equals the total number of threads.


--certfile <string>: SSL certificate file. Default is ../../../ssl_key/server.crt. If you want to close ssl，set 0


--keyfile <string>: SSL key file. Default is ../../../ssl_key/server.key. 


--hotword: Hotword file path, one line for each hotword(e.g.:阿里巴巴 20), if the client provides hot words, then combined with the hot words provided by the client.


@@ -141,19 +135,14 @@




If you wish to deploy your fine-tuned model (e.g., 10epoch.pb), you need to manually rename the model to model.pb and replace the original model.pb in ModelScope. Then, specify the path as `model_dir`.








## Starting the client




After completing the deployment of FunASR offline file transcription service on the server, you can test and use the service by following these steps. Currently, FunASR-bin supports multiple ways to start the client. The following are command-line examples based on python-client, c++-client, and custom client Websocket communication protocol: 




### python-client


```shell


python funasr_wss_client.py --host "127.0.0.1" --port 10095 --mode offline --audio_in "./data/wav.scp" --send_without_sleep --output_dir "./results"


```




Introduction to command parameters:




```text


--host: the IP address of the server. It can be set to 127.0.0.1 for local testing.


--port: the port number of the server listener.


@@ -171,7 +160,6 @@


```




Introduction to command parameters:




```text


--server-ip: the IP address of the server. It can be set to 127.0.0.1 for local testing.


--port: the port number of the server listener.


@@ -182,19 +170,15 @@


```




### Custom client




If you want to define your own client, see the [Websocket communication protocol](./websocket_protocol.md)




## How to customize service deployment




The code for FunASR-runtime is open source. If the server and client cannot fully meet your needs, you can further develop them based on your own requirements:




### C++ client




https://github.com/alibaba-damo-academy/FunASR/tree/main/runtime/websocket




### Python client




https://github.com/alibaba-damo-academy/FunASR/tree/main/runtime/python/websocket




### C++ server


@@ -218,7 +202,6 @@


FUNASR_RESULT result=FunOfflineInfer(asr_hanlde, wav_file.c_str(), RASR_NONE, NULL, 16000);


// Where: asr_hanlde is the return value of FunOfflineInit, wav_file is the path to the audio file, and sampling_rate is the sampling rate (default 16k).


```




See the usage example for details, [docs](https://github.com/alibaba-damo-academy/FunASR/blob/main/runtime/onnxruntime/bin/funasr-onnx-offline.cpp)




#### PUNC