python/FunASR-XL.git

parent: 66df2172 | 补丁 | 提交 | ignore whitespace

游雁

2023-07-05 4e2fe544ae37174a3e09dfcdbbdae5abfe711e53

funasr sdk

6个文件已修改

	funasr/bin/asr_inference_launch.py	3 ●●●●● 补丁 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/runtime/deploy_tools/funasr-runtime-deploy-offline-cpu-zh.sh	583 ●●●●● 补丁 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/runtime/docs/SDK_advanced_guide_offline_zh.md	231 ●●●●● 补丁 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/runtime/docs/SDK_tutorial_zh.md	8 ●●●●● 补丁 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/runtime/python/websocket/funasr_wss_server.py	4 ●●●●● 补丁 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/runtime/run_server.sh	补丁 \| 查看 \| 原始文档 \| blame \| 历史

 funasr/bin/asr_inference_launch.py

@@ -255,9 +255,10 @@
    if param_dict is not None:
        hotword_list_or_file = param_dict.get('hotword')
        export_mode = param_dict.get("export_mode", False)
        clas_scale = param_dict.get('clas_scale', 1.0)
    else:
        hotword_list_or_file = None
    clas_scale = param_dict.get('clas_scale', 1.0)
        clas_scale = 1.0

    if kwargs.get("device", None) == "cpu":
        ngpu = 0

 funasr/runtime/deploy_tools/funasr-runtime-deploy-offline-cpu-zh.sh

@@ -1,7 +1,7 @@
#!/usr/bin/env bash

scriptVersion="0.0.4"
scriptDate="20230702"
scriptVersion="0.0.6"
scriptDate="20230705"


# Set color
@@ -22,16 +22,20 @@
UNDERLINE="\033[4m"

# Current folder
cur_dir=`pwd`
CUR_DIR=`pwd`
SUDO_CMD="sudo"


DEFAULT_DOCKER_OFFLINE_CPU_ZH_LISTS="https://raw.githubusercontent.com/alibaba-damo-academy/FunASR/main/funasr/runtime/docs/docker_offline_cpu_zh_lists"
DEFAULT_DOCKER_IMAGE_LISTS=$DEFAULT_DOCKER_OFFLINE_CPU_ZH_LISTS
DEFAULT_DOCKER_OFFLINE_CPU_ZH_LISTS_OSS="https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/docker_lists/docker_offline_cpu_zh_lists"
DEFAULT_DOCKER_OFFLINE_CPU_ZH_LISTS_GIT="https://raw.githubusercontent.com/alibaba-damo-academy/FunASR/main/funasr/runtime/docs/docker_offline_cpu_zh_lists"
DEFAULT_DOCKER_IMAGE_LISTS=$DEFAULT_DOCKER_OFFLINE_CPU_ZH_LISTS_OSS
DEFAULT_FUNASR_DOCKER_URL="registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr"
DEFAULT_FUNASR_RUNTIME_RESOURCES="funasr-runtime-resources"
DEFAULT_FUNASR_LOCAL_WORKSPACE="${cur_dir}/${DEFAULT_FUNASR_RUNTIME_RESOURCES}"
DEFAULT_FUNASR_CONFIG_DIR="/var/funasr"
DEFAULT_FUNASR_LOCAL_WORKSPACE=${CUR_DIR}/${DEFAULT_FUNASR_RUNTIME_RESOURCES}
DEFAULT_FUNASR_CONFIG_DIR=""
DEFAULT_FUNASR_CONFIG_DIR_BAK="/var/funasr"
DEFAULT_FUNASR_CONFIG_FILE="${DEFAULT_FUNASR_CONFIG_DIR}/config"
DEFAULT_FUNASR_SERVER_CONFIG_FILE="${DEFAULT_FUNASR_CONFIG_DIR}/server_config"
DEFAULT_FUNASR_PROGRESS_TXT="${DEFAULT_FUNASR_CONFIG_DIR}/progress.txt"
DEFAULT_FUNASR_SERVER_LOG="${DEFAULT_FUNASR_CONFIG_DIR}/server_console.log"
DEFAULT_FUNASR_WORKSPACE_DIR="/workspace/models"
@@ -308,11 +312,38 @@
}

initConfiguration(){
    if [ ! -z "$DEFAULT_FUNASR_CONFIG_DIR" ]; then
        mkdir -p $DEFAULT_FUNASR_CONFIG_DIR
    if [ -z "$DEFAULT_FUNASR_CONFIG_DIR" ];then
        DEFAULT_FUNASR_CONFIG_DIR="$HOME"
        if [ -z "$DEFAULT_FUNASR_CONFIG_DIR" ];then
            $DEFAULT_FUNASR_CONFIG_DIR=$(echo ~/)
            if [ -z "$DEFAULT_FUNASR_CONFIG_DIR" ];then
                $DEFAULT_FUNASR_CONFIG_DIR=$DEFAULT_FUNASR_CONFIG_DIR_BAK
            fi
        fi
        DEFAULT_FUNASR_CONFIG_DIR=${DEFAULT_FUNASR_CONFIG_DIR}/.funasr
    fi

    if [ ! -z "$DEFAULT_FUNASR_CONFIG_DIR" ]; then
        $SUDO_CMD mkdir -p $DEFAULT_FUNASR_CONFIG_DIR
    else
        echo -e "    ${RED}DEFAULT_FUNASR_CONFIG_DIR is empty!${PLAIN}"
        exit 1
    fi
    if [ ! -d "$DEFAULT_FUNASR_CONFIG_DIR" ]; then
        echo -e "    ${RED}${DEFAULT_FUNASR_CONFIG_DIR} does not exist!${PLAIN}"
        exit 2
    fi

    DEFAULT_FUNASR_CONFIG_FILE="${DEFAULT_FUNASR_CONFIG_DIR}/config"
    DEFAULT_FUNASR_SERVER_CONFIG_FILE="${DEFAULT_FUNASR_CONFIG_DIR}/server_config"
    DEFAULT_FUNASR_PROGRESS_TXT="${DEFAULT_FUNASR_CONFIG_DIR}/progress.txt"
    DEFAULT_FUNASR_SERVER_LOG="${DEFAULT_FUNASR_CONFIG_DIR}/server_console.log"

    if [ ! -f $DEFAULT_FUNASR_CONFIG_FILE ]; then
        touch $DEFAULT_FUNASR_CONFIG_FILE
        $SUDO_CMD touch $DEFAULT_FUNASR_CONFIG_FILE
    fi
    if [ ! -f $DEFAULT_FUNASR_SERVER_CONFIG_FILE ]; then
        $SUDO_CMD touch $DEFAULT_FUNASR_SERVER_CONFIG_FILE
    fi
}

@@ -346,14 +377,21 @@

# Get a list of docker images.
readDockerInfoFromUrl(){
    list_url=$DEFAULT_DOCKER_IMAGE_LISTS
    while true
    do
        list_url=$DEFAULT_DOCKER_IMAGE_LISTS
        content=$(curl --connect-timeout 10 -m 10 -s $list_url)
        if [ ! -z "$content" ]; then
            break
        else
            echo -e "    ${RED}Unable to get docker image list due to network issues, try again.${PLAIN}"

            # switch sources of docker image lists
            if [ "$list_url" = "$DEFAULT_DOCKER_OFFLINE_CPU_ZH_LISTS_OSS" ]; then
                DEFAULT_DOCKER_IMAGE_LISTS=$DEFAULT_DOCKER_OFFLINE_CPU_ZH_LISTS_GIT
            else
                DEFAULT_DOCKER_IMAGE_LISTS=$DEFAULT_DOCKER_OFFLINE_CPU_ZH_LISTS_OSS
            fi
        fi
    done
    array=($(echo "$content"))
@@ -397,7 +435,12 @@
        echo -e "  ${ERROR} MUST RUN AS ${RED}ROOT${PLAIN} USER!"
    fi

    cd $cur_dir
    check_sudo=$(which sudo | wc -l)
    if [ $check_sudo -eq 0 ]; then
        SUDO_CMD=""
    fi

    cd $CUR_DIR
    echo
}

@@ -408,22 +451,42 @@
    readDockerInfoFromUrl
    echo

    the_latest_docker_image=$PARAMS_DOCKER_IMAGE

    echo -e "  ${YELLOW}Please choose the Docker image.${PLAIN}"
    menuSelection ${DOCKER_IMAGES[*]}
    result=$?
    index=`expr $result - 1`
    index=`expr ${result} - 1`

    PARAMS_DOCKER_IMAGE=${DOCKER_IMAGES[${index}]}
    echo -e "  ${UNDERLINE}You have chosen the Docker image:${PLAIN} ${GREEN}${PARAMS_DOCKER_IMAGE}${PLAIN}"

    checkDockerExist
    result=$?
    result=`expr $result + 0`
    if [ ${result} -eq 50 ]; then
        return 50
    if [ -z "$the_latest_docker_image" ] && [ -z "$PARAMS_FUNASR_DOCKER_ID" ]; then
        result=0
    else
        #  0: DOCKER is not running
        # 60: DOCKER_ID is empty
        # 61: DOCKER_IMAGE is empty
        # 62: DOCKER is running
        # 63: DOCKER_ID and DOCKER_IMAGE are empty
        checkDockerIdExist "install"
        result=$?
        result=`expr ${result} + 0`
        if [ $result -eq 60 ]; then
            result=0
        elif [ $result -eq 61 ]; then
            echo
            echo -e "  ${RED}Please run (${PLAIN}${GREEN}${SUDO_CMD} bash funasr-runtime-deploy-offline-cpu-zh.sh install${PLAIN}${RED}) to install Docker first.${PLAIN}"
        elif [ $result -eq 62 ]; then
            echo
            echo -e "  ${RED}Docker: ${PARAMS_DOCKER_IMAGE} ${PARAMS_FUNASR_DOCKER_ID} has been launched, please run (${PLAIN}${GREEN}${SUDO_CMD} bash funasr-runtime-deploy-offline-cpu-zh.sh remove${PLAIN}${RED}) to remove Docker first ant then install.${PLAIN}"
        elif [ $result -eq 63 ]; then
            result=0
        fi
    fi

    echo
    return $result
}

# Configure FunASR server host port setting.
@@ -530,10 +593,6 @@
    if [ ! -z "$funasr_local_models_dir" ]; then
        PARAMS_FUNASR_LOCAL_MODELS_DIR=$funasr_local_models_dir
    fi
    funasr_config_path=`sed '/^PARAMS_FUNASR_CONFIG_PATH=/!d;s/.*=//' ${DEFAULT_FUNASR_CONFIG_FILE}`
    if [ ! -z "$funasr_config_path" ]; then
        PARAMS_FUNASR_CONFIG_PATH=$funasr_config_path
    fi

    docker_image=`sed '/^PARAMS_DOCKER_IMAGE=/!d;s/.*=//' ${DEFAULT_FUNASR_CONFIG_FILE}`
    if [ ! -z "$docker_image" ]; then
@@ -599,6 +658,15 @@
    if [ ! -z "$io_thread_num" ]; then
        PARAMS_IO_THREAD_NUM=$io_thread_num
    fi

    ssl_flag=`sed '/^PARAMS_SSL_FLAG=/!d;s/.*=//' ${DEFAULT_FUNASR_CONFIG_FILE}`
    if [ ! -z "$ssl_flag" ]; then
        PARAMS_SSL_FLAG=$ssl_flag
    fi
    docker_id=`sed '/^PARAMS_FUNASR_DOCKER_ID=/!d;s/.*=//' ${DEFAULT_FUNASR_CONFIG_FILE}`
    if [ ! -z "$docker_id" ]; then
        PARAMS_FUNASR_DOCKER_ID=$docker_id
    fi
}

saveParams(){
@@ -611,7 +679,6 @@
    echo "PARAMS_FUNASR_SAMPLES_LOCAL_DIR=${PARAMS_FUNASR_SAMPLES_LOCAL_DIR}" >> $DEFAULT_FUNASR_CONFIG_FILE
    echo "PARAMS_FUNASR_SAMPLES_LOCAL_PATH=${PARAMS_FUNASR_SAMPLES_LOCAL_PATH}" >> $DEFAULT_FUNASR_CONFIG_FILE
    echo "PARAMS_FUNASR_LOCAL_MODELS_DIR=${PARAMS_FUNASR_LOCAL_MODELS_DIR}" >> $DEFAULT_FUNASR_CONFIG_FILE
    echo "PARAMS_FUNASR_CONFIG_PATH=${PARAMS_FUNASR_CONFIG_PATH}" >> $DEFAULT_FUNASR_CONFIG_FILE

    echo "PARAMS_DOWNLOAD_MODEL_DIR=${PARAMS_DOWNLOAD_MODEL_DIR}" >> $DEFAULT_FUNASR_CONFIG_FILE

@@ -640,12 +707,19 @@
    echo "PARAMS_DOCKER_PORT=${PARAMS_DOCKER_PORT}" >> $DEFAULT_FUNASR_CONFIG_FILE
    echo "PARAMS_DECODER_THREAD_NUM=${PARAMS_DECODER_THREAD_NUM}" >> $DEFAULT_FUNASR_CONFIG_FILE
    echo "PARAMS_IO_THREAD_NUM=${PARAMS_IO_THREAD_NUM}" >> $DEFAULT_FUNASR_CONFIG_FILE
    echo "PARAMS_SSL_FLAG=${PARAMS_SSL_FLAG}" >> $DEFAULT_FUNASR_CONFIG_FILE
    echo "PARAMS_FUNASR_DOCKER_ID=${PARAMS_FUNASR_DOCKER_ID}" >> $DEFAULT_FUNASR_CONFIG_FILE

    serverConfigGeneration
    echo "${daemon_server_config}" > $DEFAULT_FUNASR_SERVER_CONFIG_FILE
}

showAllParams(){
    echo -e "${UNDERLINE}${BOLD}[3/5]${PLAIN}"
    echo -e "  ${YELLOW}Show parameters of FunASR server setting and confirm to run ...${PLAIN}"
    echo

    only_show_flag=$1

    if [ ! -z "$PARAMS_DOCKER_IMAGE" ]; then
        echo -e "  The current Docker image is                                    : ${GREEN}${PARAMS_DOCKER_IMAGE}${PLAIN}"
@@ -696,8 +770,19 @@
    if [ ! -z "$PARAMS_FUNASR_SAMPLES_LOCAL_DIR" ]; then
        echo -e "  Sample code will be store in local                             : ${GREEN}${PARAMS_FUNASR_SAMPLES_LOCAL_DIR}${PLAIN}"
    fi
    if [ ! -z "$PARAMS_SSL_FLAG" ]; then
        echo -e "  The flag for the use of SSL                                    : ${GREEN}${PARAMS_SSL_FLAG}${PLAIN}"
    fi
    if [ "$only_show_flag" = "only_show" ] && [ ! -z "$PARAMS_FUNASR_DOCKER_ID" ]; then
        echo -e "  The docker ID that already exists is                           : ${GREEN}${PARAMS_FUNASR_DOCKER_ID}${PLAIN}"
    fi

    echo

    if [ "$only_show_flag" = "only_show" ]; then
        return 0
    fi

    while true
    do
        params_confirm="y"
@@ -746,22 +831,22 @@
        case "$lowercase_osid" in
            ubuntu)
                DOCKER_INSTALL_CMD="curl -fsSL https://test.docker.com -o test-docker.sh"
                DOCKER_INSTALL_RUN_CMD="sudo sh test-docker.sh"
                DOCKER_INSTALL_RUN_CMD="${SUDO_CMD} sh test-docker.sh"
                ;;
            centos)
                DOCKER_INSTALL_CMD="curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun"
                ;;
            debian)
                DOCKER_INSTALL_CMD="curl -fsSL https://get.docker.com -o get-docker.sh"
                DOCKER_INSTALL_RUN_CMD="sudo sh get-docker.sh"
                DOCKER_INSTALL_RUN_CMD="${SUDO_CMD} sh get-docker.sh"
                ;;
            \"alios\")
                DOCKER_INSTALL_CMD="curl -fsSL https://get.docker.com -o get-docker.sh"
                DOCKER_INSTALL_RUN_CMD="sudo sh get-docker.sh"
                DOCKER_INSTALL_RUN_CMD="${SUDO_CMD} sh get-docker.sh"
                ;;
            \"alinux\")
                DOCKER_INSTALL_CMD="sudo yum -y install dnf"
                DOCKER_INSTALL_RUN_CMD="sudo dnf -y install docker"
                DOCKER_INSTALL_CMD="${SUDO_CMD} yum -y install dnf"
                DOCKER_INSTALL_RUN_CMD="${SUDO_CMD} dnf -y install docker"
                ;;
            *)
                echo -e "  ${RED}$lowercase_osid is not supported.${PLAIN}"
@@ -775,13 +860,13 @@
        if [ ! -z "$DOCKER_INSTALL_RUN_CMD" ]; then
            $DOCKER_INSTALL_RUN_CMD
        fi
        sudo systemctl start docker
        $SUDO_CMD systemctl start docker

        DOCKERINFO=$(sudo docker info | wc -l)
        DOCKERINFO=$(${SUDO_CMD} docker info | wc -l)
        DOCKERINFOLEN=`expr ${DOCKERINFO} + 0`
        if [ $DOCKERINFOLEN -gt 30 ]; then
            echo -e "  ${GREEN}Docker install success, start docker server.${PLAIN}"
            sudo systemctl start docker
            $SUDO_CMD systemctl start docker
        else
            echo -e "  ${RED}Docker install failed!${PLAIN}"
            exit 1
@@ -794,7 +879,7 @@
    # Download docker image
    echo -e "  ${YELLOW}Pull docker image(${PARAMS_DOCKER_IMAGE})...${PLAIN}"

    sudo docker pull $PARAMS_DOCKER_IMAGE
    ${SUDO_CMD} docker pull $PARAMS_DOCKER_IMAGE

    echo
    sleep 1
@@ -804,74 +889,41 @@
    echo -e "${UNDERLINE}${BOLD}[5/5]${PLAIN}"
    echo -e "  ${YELLOW}Construct command and run docker ...${PLAIN}"

    run_cmd="sudo docker run"
    port_map=" -p ${PARAMS_HOST_PORT}:${PARAMS_DOCKER_PORT}"
    dir_params=" --privileged=true"
    dir_map_params=""
    if [ ! -z "$PARAMS_LOCAL_ASR_DIR" ]; then
        if [ -z "$dir_map_params" ]; then
            dir_map_params="${dir_params} -v ${PARAMS_LOCAL_ASR_DIR}:${PARAMS_DOCKER_ASR_DIR}"
        else
            dir_map_params="${dir_map_params} -v ${PARAMS_LOCAL_ASR_DIR}:${PARAMS_DOCKER_ASR_DIR}"
    start_flag=$1
    if [ "$start_flag" = "install" ]; then
        run_cmd="${SUDO_CMD} docker run"
        port_map=" -p ${PARAMS_HOST_PORT}:${PARAMS_DOCKER_PORT}"
        env_params=" --privileged=true"
        dir_map_params=" -v ${DEFAULT_FUNASR_CONFIG_DIR}:/workspace/.config -v ${PARAMS_FUNASR_LOCAL_MODELS_DIR}:${PARAMS_DOWNLOAD_MODEL_DIR}"

        serverConfigGeneration
        env_params=" ${env_params} --env DAEMON_SERVER_CONFIG=${daemon_server_config}"

        run_cmd="${run_cmd}${port_map}${dir_map_params}${env_params}"
        run_cmd="${run_cmd} -it -d ${PARAMS_DOCKER_IMAGE}"
    else
        #  0: DOCKER is not running
        # 60: DOCKER_ID is empty
        # 61: DOCKER_IMAGE is empty
        # 62: DOCKER is running
        checkDockerIdExist $start_flag
        result=$?
        result=`expr ${result} + 0`
        if [ $result -eq 60 ]; then
            echo
            echo -e "  ${RED}Please run (${PLAIN}${GREEN}${SUDO_CMD} bash funasr-runtime-deploy-offline-cpu-zh.sh install${PLAIN}${RED}) to install Docker first.${PLAIN}"
            return $result
        elif [ $result -eq 61 ]; then
            echo
            echo -e "  ${RED}Please run (${PLAIN}${GREEN}${SUDO_CMD} bash funasr-runtime-deploy-offline-cpu-zh.sh install${PLAIN}${RED}) to install Docker first.${PLAIN}"
            return $result
        elif [ $result -eq 62 ]; then
            echo
            echo -e "  ${RED}Docker: ${PARAMS_DOCKER_IMAGE} ${PARAMS_FUNASR_DOCKER_ID} has been launched, please run (${PLAIN}${GREEN}${SUDO_CMD} bash funasr-runtime-deploy-offline-cpu-zh.sh stop${PLAIN}${RED}) to stop Docker first.${PLAIN}"
            return $result
        fi
    fi
    if [ ! -z "$PARAMS_LOCAL_VAD_DIR" ]; then
        if [ -z "$dir_map_params" ]; then
            dir_map_params="${dir_params} -v ${PARAMS_LOCAL_VAD_DIR}:${PARAMS_DOCKER_VAD_DIR}"
        else
            dir_map_params="${dir_map_params} -v ${PARAMS_LOCAL_VAD_DIR}:${PARAMS_DOCKER_VAD_DIR}"
        fi
    fi
    if [ ! -z "$PARAMS_LOCAL_PUNC_DIR" ]; then
        if [ -z "$dir_map_params" ]; then
            dir_map_params="${dir_params} -v ${PARAMS_LOCAL_PUNC_DIR}:${PARAMS_DOCKER_PUNC_DIR}"
        else
            dir_map_params="${dir_map_params} -v ${PARAMS_LOCAL_VAD_DIR}:${PARAMS_DOCKER_VAD_DIR}"
        fi
    fi

    exec_params="\"exec\":\"${PARAMS_DOCKER_EXEC_PATH}\""
    if [ ! -z "$PARAMS_ASR_ID" ]; then
        asr_params="\"--model-dir\":\"${PARAMS_ASR_ID}\""
    else
        asr_params="\"--model-dir\":\"${PARAMS_DOCKER_ASR_PATH}\""
    fi
    if [ ! -z "$PARAMS_VAD_ID" ]; then
        vad_params="\"--vad-dir\":\"${PARAMS_VAD_ID}\""
    else
        vad_params="\"--vad-dir\":\"${PARAMS_DOCKER_VAD_PATH}\""
    fi
    if [ ! -z "$PARAMS_PUNC_ID" ]; then
        punc_params="\"--punc-dir\":\"${PARAMS_PUNC_ID}\""
    else
        punc_params="\"--punc-dir\":\"${PARAMS_DOCKER_PUNC_PATH}\""
    fi
    download_params="\"--download-model-dir\":\"${PARAMS_DOWNLOAD_MODEL_DIR}\""
    if [ -z "$PARAMS_DOWNLOAD_MODEL_DIR" ]; then
        model_params="${asr_params},${vad_params},${punc_params}"
    else
        model_params="${asr_params},${vad_params},${punc_params},${download_params}"
    fi

    decoder_params="\"--decoder-thread-num\":\"${PARAMS_DECODER_THREAD_NUM}\""
    io_params="\"--io-thread-num\":\"${PARAMS_IO_THREAD_NUM}\""
    thread_params=${decoder_params},${io_params}
    port_params="\"--port\":\"${PARAMS_DOCKER_PORT}\""
    crt_path="\"--certfile\":\"/workspace/FunASR/funasr/runtime/ssl_key/server.crt\""
    key_path="\"--keyfile\":\"/workspace/FunASR/funasr/runtime/ssl_key/server.key\""

    env_params=" -v ${DEFAULT_FUNASR_CONFIG_DIR}:/workspace/.config"
    env_params=" ${env_params} --env DAEMON_SERVER_CONFIG={\"server\":[{${exec_params},${model_params},${thread_params},${port_params},${crt_path},${key_path}}]}"

    run_cmd="${run_cmd}${port_map}${dir_map_params}${env_params}"
    run_cmd="${run_cmd} -it -d ${PARAMS_DOCKER_IMAGE}"

    # check Docker
    checkDockerExist
    result=$?
    result=`expr ${result} + 0`
    if [ ${result} -eq 50 ]; then
        return 50
        run_cmd="${SUDO_CMD} docker restart ${PARAMS_FUNASR_DOCKER_ID}"
    fi

    rm -f ${DEFAULT_FUNASR_PROGRESS_TXT}
@@ -881,6 +933,9 @@

    echo
    echo -e "  ${YELLOW}Loading models:${PLAIN}"

    getDockerId
    saveParams

    # Hide the cursor, start draw progress.
    printf "\e[?25l"
@@ -915,8 +970,58 @@

    deploySamples
    echo -e "  ${BOLD}The sample code is already stored in the ${PLAIN}(${GREEN}${PARAMS_FUNASR_SAMPLES_LOCAL_DIR}${PLAIN}) ."
    echo -e "  ${BOLD}If you want to see an example of how to use the client, you can run ${PLAIN}${GREEN}sudo bash funasr-runtime-deploy-offline-cpu-zh.sh client${PLAIN} ."
    echo -e "  ${BOLD}If you want to see an example of how to use the client, you can run ${PLAIN}${GREEN}${SUDO_CMD} bash funasr-runtime-deploy-offline-cpu-zh.sh client${PLAIN} ."
    echo
}

daemon_server_config=""
serverConfigGeneration(){
    # params about models
    if [ ! -z "$PARAMS_ASR_ID" ]; then
        asr_params="\"--model-dir\":\"${PARAMS_ASR_ID}\""
    else
        if [ ! -z "$PARAMS_LOCAL_ASR_PATH" ]; then
            dir_map_params="${dir_map_params} -v ${PARAMS_LOCAL_ASR_PATH}:${PARAMS_DOCKER_ASR_PATH}"
        fi
        asr_params="\"--model-dir\":\"${PARAMS_DOCKER_ASR_PATH}\""
    fi
    if [ ! -z "$PARAMS_VAD_ID" ]; then
        vad_params="\"--vad-dir\":\"${PARAMS_VAD_ID}\""
    else
        if [ ! -z "$PARAMS_LOCAL_VAD_PATH" ]; then
            dir_map_params="${dir_map_params} -v ${PARAMS_LOCAL_VAD_PATH}:${PARAMS_DOCKER_VAD_PATH}"
        fi
        vad_params="\"--vad-dir\":\"${PARAMS_DOCKER_VAD_PATH}\""
    fi
    if [ ! -z "$PARAMS_PUNC_ID" ]; then
        punc_params="\"--punc-dir\":\"${PARAMS_PUNC_ID}\""
    else
        if [ ! -z "$PARAMS_LOCAL_PUNC_PATH" ]; then
            dir_map_params="${dir_map_params} -v ${PARAMS_LOCAL_VAD_PATH}:${PARAMS_DOCKER_VAD_PATH}"
        fi
        punc_params="\"--punc-dir\":\"${PARAMS_DOCKER_PUNC_PATH}\""
    fi
    download_params="\"--download-model-dir\":\"${PARAMS_DOWNLOAD_MODEL_DIR}\""
    model_params="${asr_params},${vad_params},${punc_params},${download_params}"

    # params about thread_num
    decoder_params="\"--decoder-thread-num\":\"${PARAMS_DECODER_THREAD_NUM}\""
    io_params="\"--io-thread-num\":\"${PARAMS_IO_THREAD_NUM}\""
    thread_params=${decoder_params},${io_params}

    # params about port and ssl
    port_params="\"--port\":\"${PARAMS_DOCKER_PORT}\""
    if [ $PARAMS_SSL_FLAG -eq 0 ]; then
        crt_path="\"--certfile\":\"\""
        key_path="\"--keyfile\":\"\""
    else
        crt_path="\"--certfile\":\"/workspace/FunASR/funasr/runtime/ssl_key/server.crt\""
        key_path="\"--keyfile\":\"/workspace/FunASR/funasr/runtime/ssl_key/server.key\""
    fi

    exec_params="\"exec\":\"${PARAMS_DOCKER_EXEC_PATH}\""

    daemon_server_config="{\"server\":[{${exec_params},${model_params},${thread_params},${port_params},${crt_path},${key_path}}]}"
}

installPythonDependencyForPython(){
@@ -940,19 +1045,19 @@
    lowercase_osid=$(echo ${OSID} | tr '[A-Z]' '[a-z]')
    case "$lowercase_osid" in
        ubuntu)
            pre_cmd="sudo apt-get install -y ffmpeg"
            pre_cmd="${SUDO_CMD} apt-get install -y ffmpeg"
            ;;
        centos)
            pre_cmd="sudo yum install -y ffmpeg"
            pre_cmd="${SUDO_CMD} yum install -y ffmpeg"
            ;;
        debian)
            pre_cmd="sudo apt-get install -y ffmpeg"
            pre_cmd="${SUDO_CMD} apt-get install -y ffmpeg"
            ;;
        \"alios\")
            pre_cmd="sudo yum install -y ffmpeg"
            pre_cmd="${SUDO_CMD} yum install -y ffmpeg"
            ;;
        \"alinux\")
            pre_cmd="sudo yum install -y ffmpeg"
            pre_cmd="${SUDO_CMD} yum install -y ffmpeg"
            ;;
        *)
            echo -e "  ${RED}$lowercase_osid is not supported.${PLAIN}"
@@ -985,21 +1090,83 @@
    fi
}

checkDockerExist(){
    result=$(sudo docker ps | grep ${PARAMS_DOCKER_IMAGE} | wc -l)
    result=`expr ${result} + 0`
    if [ ${result} -ne 0 ]; then
        echo
        echo -e "  ${RED}Docker: ${PARAMS_DOCKER_IMAGE} has been launched, please run (${PLAIN}${GREEN}sudo bash funasr-runtime-deploy-offline-cpu-zh.sh stop${PLAIN}${RED}) to stop Docker first.${PLAIN}"
        return 50
getDockerId(){
    id=""
    array=($(${SUDO_CMD} docker ps -a | grep ${PARAMS_DOCKER_IMAGE} | awk '{print $1}'))
    len=${#array[@]}
    if [ $len -ge 1 ]; then
        # get the first id
        id=$array
        if [ ! -z "$id" ]; then
            PARAMS_FUNASR_DOCKER_ID=$id
        fi
    fi
}

dockerExit(){
    echo -e "  ${YELLOW}Stop docker(${PLAIN}${GREEN}${PARAMS_DOCKER_IMAGE}${PLAIN}${YELLOW}) server ...${PLAIN}"
    sudo docker stop `sudo docker ps -a| grep ${PARAMS_DOCKER_IMAGE} | awk '{print $1}' `
checkDockerImageExist(){
    result=1
    if [ -z "$PARAMS_DOCKER_IMAGE" ]; then
        return 50
    else
        result=$(${SUDO_CMD} docker ps | grep ${PARAMS_DOCKER_IMAGE} | wc -l)
    fi
    result=`expr ${result} + 0`
    echo "checkDockerImageExist result0: " $result
    if [ $result -ne 0 ]; then
        # found docker
        return 51
    else
        return 0
    fi
}

checkDockerIdExist(){
    result=0
    if [ -z "$PARAMS_FUNASR_DOCKER_ID" ]; then
        if [ -z "$PARAMS_DOCKER_IMAGE" ]; then
            return 63
        else
            return 60
        fi
    else
        if [ -z "$PARAMS_DOCKER_IMAGE" ]; then
            return 61
        else
            if [ "$1" = "install" ]; then
                result=$(${SUDO_CMD} docker ps -a | grep ${PARAMS_DOCKER_IMAGE} | grep ${PARAMS_FUNASR_DOCKER_ID} | wc -l)
            else
                result=$(${SUDO_CMD} docker ps | grep ${PARAMS_DOCKER_IMAGE} | grep ${PARAMS_FUNASR_DOCKER_ID} | wc -l)
            fi
        fi
    fi
    result=`expr ${result} + 0`
    if [ $result -eq 1 ]; then
        # found docker
        return 62
    else
        return 0
    fi
}

dockerStop(){
    if [ -z "$PARAMS_FUNASR_DOCKER_ID" ]; then
        echo -e "  ${RED}DOCKER_ID is empty, cannot stop docker.${PLAIN}"
    else
        echo -e "  ${YELLOW}Stop docker(${PLAIN}${GREEN}${PARAMS_DOCKER_IMAGE} ${PARAMS_FUNASR_DOCKER_ID}${PLAIN}${YELLOW}) server ...${PLAIN}"
        ${SUDO_CMD} docker stop ${PARAMS_FUNASR_DOCKER_ID}
    fi
    echo
    sleep 1
}

dockerRemove(){
    if [ -z "$PARAMS_FUNASR_DOCKER_ID" ]; then
        echo -e "  ${RED}DOCKER_ID is empty, cannot remove docker.${PLAIN}"
    else
        echo -e "  ${YELLOW}Remove docker(${PLAIN}${GREEN}${PARAMS_DOCKER_IMAGE} ${PARAMS_FUNASR_DOCKER_ID}${PLAIN}${YELLOW}) ...${PLAIN}"
        ${SUDO_CMD} docker rm ${PARAMS_FUNASR_DOCKER_ID}
    fi

    echo
}

modelChange(){
@@ -1007,13 +1174,16 @@
    model_id=$2
    local_flag=0

    if [ -d "$model_id" ]; then
    relativePathToFullPath $model_id
    if [ -d "$full_path" ]; then
        local_flag=1
        model_id=$full_path
    else
        local_flag=0
    fi
    full_path=""

    result=$(echo $model_type | grep "--asr_model")
    result=$(echo ${model_type} | grep "\-\-asr_model")
    if [ "$result" != "" ]; then
        if [ $local_flag -eq 0 ]; then
            PARAMS_ASR_ID=$model_id
@@ -1029,13 +1199,12 @@
            else
                model_name=$(basename "${PARAMS_LOCAL_ASR_PATH}")
                PARAMS_LOCAL_ASR_DIR=$(dirname "${PARAMS_LOCAL_ASR_PATH}")
                middle=${PARAMS_LOCAL_ASR_DIR#*"${PARAMS_FUNASR_LOCAL_MODELS_DIR}"}
                PARAMS_DOCKER_ASR_DIR=$PARAMS_DOWNLOAD_MODEL_DIR
                PARAMS_DOCKER_ASR_PATH=${PARAMS_DOCKER_ASR_DIR}/${middle}/${model_name}
                PARAMS_DOCKER_ASR_PATH=${PARAMS_DOCKER_ASR_DIR}/${model_name}
            fi
        fi
    fi
    result=$(echo ${model_type} | grep "--vad_model")
    result=$(echo ${model_type} | grep "\-\-vad_model")
    if [ "$result" != "" ]; then
        if [ $local_flag -eq 0 ]; then
            PARAMS_VAD_ID=$model_id
@@ -1051,13 +1220,12 @@
            else
                model_name=$(basename "${PARAMS_LOCAL_VAD_PATH}")
                PARAMS_LOCAL_VAD_DIR=$(dirname "${PARAMS_LOCAL_VAD_PATH}")
                middle=${PARAMS_LOCAL_VAD_DIR#*"${PARAMS_FUNASR_LOCAL_MODELS_DIR}"}
                PARAMS_DOCKER_VAD_DIR=$PARAMS_DOWNLOAD_MODEL_DIR
                PARAMS_DOCKER_VAD_PATH=${PARAMS_DOCKER_VAD_DIR}/${middle}/${model_name}
                PARAMS_DOCKER_VAD_PATH=${PARAMS_DOCKER_VAD_DIR}/${model_name}
            fi
        fi
    fi
    result=$(echo $model_type | grep "--punc_model")
    result=$(echo ${model_type} | grep "\-\-punc_model")
    if [ "$result" != "" ]; then
        if [ $local_flag -eq 0 ]; then
            PARAMS_PUNC_ID=$model_id
@@ -1068,9 +1236,8 @@
        else
            model_name=$(basename "${PARAMS_LOCAL_PUNC_PATH}")
            PARAMS_LOCAL_PUNC_DIR=$(dirname "${PARAMS_LOCAL_PUNC_PATH}")
            middle=${PARAMS_LOCAL_PUNC_DIR#*"${PARAMS_FUNASR_LOCAL_MODELS_DIR}"}
            PARAMS_DOCKER_PUNC_DIR=$PARAMS_DOWNLOAD_MODEL_DIR
            PARAMS_DOCKER_PUNC_PATH=${PARAMS_DOCKER_PUNC_DIR}/${middle}/${model_name}
            PARAMS_DOCKER_PUNC_PATH=${PARAMS_DOCKER_PUNC_DIR}/${model_name}
        fi
    fi
}
@@ -1082,11 +1249,11 @@
    if [ -z "$val"]; then
        num=`expr ${val} + 0`
        if [ $num -ge 1 ] && [ $num -le 1024 ]; then
            result=$(echo ${type} | grep "--decode_thread_num")
            result=$(echo ${type} | grep "\-\-decode_thread_num")
            if [ "$result" != "" ]; then
                PARAMS_DECODER_THREAD_NUM=$num
            fi
            result=$(echo ${type} | grep "--io_thread_num")
            result=$(echo ${type} | grep "\-\-io_thread_num")
            if [ "$result" != "" ]; then
                PARAMS_IO_THREAD_NUM=$num
            fi
@@ -1164,12 +1331,8 @@
        pre_cmd=”“
        case "$lang" in
            Linux_Cpp)
                pre_cmd="export LD_LIBRARY_PATH=${PARAMS_FUNASR_SAMPLES_LOCAL_DIR}/cpp/libs:\$LD_LIBRARY_PATH"
                client_exec="${PARAMS_FUNASR_SAMPLES_LOCAL_DIR}/cpp/funasr-wss-client"
                run_cmd="${client_exec} --server-ip ${server_ip} --port ${host_port} --wav-path ${wav_path}"
                echo -e "  Run ${BLUE}${pre_cmd}${PLAIN}"
                $pre_cmd
                echo
                ;;
            Python)
                client_exec="${PARAMS_FUNASR_SAMPLES_LOCAL_DIR}/python/wss_client_asr.py"
@@ -1202,12 +1365,13 @@
    selectDockerImages
    result=$?
    result=`expr ${result} + 0`
    if [ ${result} -eq 50 ]; then
        return 50
    if [ $result -ne 0 ]; then
        return $result
    fi

    setupHostPort
    complementParameters
    return 0
}

# Display Help info
@@ -1220,14 +1384,17 @@
    echo -e "${UNDERLINE}Options${PLAIN}:"
    echo -e "   ${BOLD}-i, install, --install${PLAIN}    Install and run FunASR docker."
    echo -e "                install [--workspace] <workspace in local>"
    echo -e "                install [--ssl] <0: close SSL; 1: open SSL, default:1>"
    echo -e "   ${BOLD}-s, start  , --start${PLAIN}      Run FunASR docker with configuration that has already been set."
    echo -e "   ${BOLD}-p, stop   , --stop${PLAIN}       Stop FunASR docker."
    echo -e "   ${BOLD}-m, remove , --remove${PLAIN}     Remove FunASR docker installed."
    echo -e "   ${BOLD}-r, restart, --restart${PLAIN}    Restart FunASR docker."
    echo -e "   ${BOLD}-u, update , --update${PLAIN}     Update parameters that has already been set."
    echo -e "                update [--workspace] <workspace in local>"
    echo -e "                update [--asr_model | --vad_model | --punc_model] <model_id or local model path>"
    echo -e "                update [--host_port | --docker_port] <port number>"
    echo -e "                update [--decode_thread_num | io_thread_num] <the number of threads>"
    echo -e "                update [--ssl] <0: close SSL; 1: open SSL, default:1>"
    echo -e "   ${BOLD}-c, client , --client${PLAIN}     Get a client example to show how to initiate speech recognition."
    echo -e "   ${BOLD}-o, show   , --show${PLAIN}       Displays all parameters that have been set."
    echo -e "   ${BOLD}-v, version, --version${PLAIN}    Display current script version."
@@ -1253,9 +1420,12 @@
                if [ "$stage" = "--workspace" ]; then
                    relativePathToFullPath $val
                    PARAMS_FUNASR_LOCAL_WORKSPACE=$full_path
                    full_path=""
                    if [ ! -z "$PARAMS_FUNASR_LOCAL_WORKSPACE" ]; then
                        mkdir -p $PARAMS_FUNASR_LOCAL_WORKSPACE
                    fi
                elif [ "$stage" = "--ssl" ]; then
                    PARAMS_SSL_FLAG=`expr ${val} + 0`
                fi
            fi
        done
@@ -1266,8 +1436,8 @@
OSID=$(grep ^ID= /etc/os-release | cut -d= -f2)
OSVER=$(lsb_release -cs)
OSNUM=$(grep -oE  "[0-9.]+" /etc/issue)
CPUNUM=$(cat /proc/cpuinfo |grep "processor"|wc -l)
DOCKERINFO=$(sudo docker info | wc -l)
CPUNUM=$(cat /proc/cpuinfo | grep "processor"|wc -l)
DOCKERINFO=$(${SUDO_CMD} docker info | wc -l)
DOCKERINFOLEN=`expr ${DOCKERINFO} + 0`

# PARAMS
@@ -1279,8 +1449,8 @@
PARAMS_FUNASR_SAMPLES_LOCAL_PATH=${PARAMS_FUNASR_LOCAL_WORKSPACE}/${DEFAULT_SAMPLES_NAME}.tar.gz
#  The dir stored models in local
PARAMS_FUNASR_LOCAL_MODELS_DIR="${PARAMS_FUNASR_LOCAL_WORKSPACE}/models"
#  The path of configuration in local
PARAMS_FUNASR_CONFIG_PATH="${PARAMS_FUNASR_LOCAL_WORKSPACE}/config"
#  The id of started docker
PARAMS_FUNASR_DOCKER_ID=""

#  The server excutor in local
PARAMS_DOCKER_EXEC_PATH=$DEFAULT_DOCKER_EXEC_PATH
@@ -1329,6 +1499,7 @@
PARAMS_DOCKER_PORT="10095"
PARAMS_DECODER_THREAD_NUM="32"
PARAMS_IO_THREAD_NUM="8"
PARAMS_SSL_FLAG=1


echo -e "#############################################################"
@@ -1352,47 +1523,97 @@
        paramsConfigure
        result=$?
        result=`expr ${result} + 0`
        if [ ${result} -ne 50 ]; then
            showAllParams
        if [ $result -eq 0 ]; then
            showAllParams "install"
            installFunasrDocker
            dockerRun
            dockerRun "install"
            result=$?
            stage=`expr ${result} + 0`
            if [ $stage -eq 98 ]; then
                dockerExit
                dockerRun
            fi

            try_count=1
            while true
            do
                stage=`expr ${result} + 0`
                if [ $try_count -ge 10 ]; then
                    break
                else
                    # 98: cannot find progress from Docker
                    if [ $stage -eq 98 ]; then
                        dockerStop
                        dockerRun "start"
                        result=$?
                        let try_count=try_count+1
                    else
                        break
                    fi
                fi
            done
        fi
        ;;
    start|-s|--start)
        rootNess
        paramsFromDefault
        showAllParams
        dockerRun
        showAllParams "only_show"
        dockerRun "start"
        result=$?
        stage=`expr ${result} + 0`
        if [ $stage -eq 98 ]; then
            dockerExit
            dockerRun
        fi

        try_count=1
        while true
        do
            stage=`expr ${result} + 0`
            if [ $try_count -ge 10 ]; then
                break
            else
                # 98: cannot find progress from Docker
                if [ $stage -eq 98 ]; then
                    dockerStop
                    dockerRun "start"
                    result=$?
                    let try_count=try_count+1
                else
                    break
                fi
            fi
        done
        ;;
    restart|-r|--restart)
        rootNess
        paramsFromDefault
        showAllParams
        dockerExit
        dockerRun
        showAllParams "only_show"
        dockerStop
        dockerRun "start"
        result=$?
        stage=`expr ${result} + 0`
        if [ $stage -eq 98 ]; then
            dockerExit
            dockerRun
        fi
        
        try_count=1
        while true
        do
            stage=`expr ${result} + 0`
            if [ $try_count -ge 10 ]; then
                break
            else
                # 98: cannot find progress from Docker
                if [ $stage -eq 98 ]; then
                    dockerStop
                    dockerRun "start"
                    result=$?
                    let try_count=try_count+1
                else
                    break
                fi
            fi
        done
        ;;
    stop|-p|--stop)
        rootNess
        paramsFromDefault
        dockerExit
        dockerStop
        ;;
    remove|-m|--remove)
        rootNess
        paramsFromDefault
        dockerStop
        dockerRemove
        rm -f ${DEFAULT_FUNASR_CONFIG_FILE}
        rm -f ${DEFAULT_FUNASR_SERVER_CONFIG_FILE}
        ;;
    update|-u|--update)
        rootNess
@@ -1413,6 +1634,13 @@
                if [ ! -z "$PARAMS_FUNASR_LOCAL_WORKSPACE" ]; then
                    mkdir -p $PARAMS_FUNASR_LOCAL_WORKSPACE
                fi
            elif [ "$type" = "--ssl" ]; then
                switch=`expr ${val} + 0`
                if [ $switch -eq 0 ]; then
                    PARAMS_SSL_FLAG=0
                else
                    PARAMS_SSL_FLAG=1
                fi
            else
                displayHelp
            fi
@@ -1422,15 +1650,30 @@

        initParameters
        complementParameters
        showAllParams
        dockerExit
        dockerRun
        showAllParams "install"
        dockerStop
        dockerRun "start"
        result=$?
        stage=`expr ${result} + 0`
        if [ $stage -eq 98 ]; then
            dockerExit
            dockerRun
        fi

        try_count=1
        while true
        do
            stage=`expr ${result} + 0`
            if [ $try_count -ge 10 ]; then
                break
            else
                # 98: cannot find progress from Docker
                # 60: DOCKER_ID is empty
                if [ $stage -eq 98 ] || [ $stage -eq 60 ]; then
                    dockerStop
                    dockerRun "start"
                    result=$?
                    let try_count=try_count+1
                else
                    break
                fi
            fi
        done
        ;;
    client|-c|--client)
        rootNess
@@ -1441,7 +1684,7 @@
    show|-o|--show)
        rootNess
        paramsFromDefault
        showAllParams
        showAllParams "only_show"
        ;;
    *)
        displayHelp

 funasr/runtime/docs/SDK_advanced_guide_offline_zh.md

@@ -2,11 +2,47 @@

FunASR提供可一键本地或者云端服务器部署的中文离线文件转写服务，内核为FunASR已开源runtime-SDK。FunASR-runtime结合了达摩院语音实验室在Modelscope社区开源的语音端点检测(VAD)、Paraformer-large语音识别(ASR)、标点检测(PUNC) 等相关能力，可以准确、高效的对音频进行高并发转写。

本文档为FunASR离线文件转写服务开发指南。如果您想快速体验离线文件转写服务，请参考FunASR离线文件转写服务一键部署示例（[点击此处](./SDK_tutorial_cn.md)）。
本文档为FunASR离线文件转写服务开发指南。如果您想快速体验离线文件转写服务，可参考[快速上手](#快速上手)。

## 快速上手
### 镜像启动

通过下述命令拉取并启动FunASR runtime-SDK的docker镜像：

```shell
sudo docker pull registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-cpu-0.1.0

sudo docker run -p 10095:10095 -it --privileged=true -v /root:/workspace/models registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-cpu-0.1.0
```
如果您没有安装docker，可参考[Docker安装](#Docker安装)

### 服务端启动

docker启动之后，启动 funasr-wss-server服务程序：
```shell
cd FunASR/funasr/runtime
./run_server.sh \
  --download-model-dir /workspace/models \
  --vad-dir damo/speech_fsmn_vad_zh-cn-16k-common-onnx \
  --model-dir damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-onnx  \
  --punc-dir damo/punc_ct-transformer_zh-cn-common-vocab272727-onnx
```
服务端详细参数介绍可参考[服务端参数介绍](#服务端参数介绍)
### 客户端测试与使用

下载客户端测试工具目录samples
```shell
wget https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/sample/funasr_samples.tar.gz
```
我们以Python语言客户端为例，进行说明，支持多种音频格式输入（.wav, .pcm, .mp3等），也支持视频输入(.mp4等)，以及多文件列表wav.scp输入，其他版本客户端请参考文档（[点击此处](#客户端用法详解)），定制服务部署请参考[如何定制服务部署](#如何定制服务部署)
```shell
python3 wss_client_asr.py --host "127.0.0.1" --port 10095 --mode offline --audio_in "../audio/asr_example.wav" --output_dir "./results"
```

------------------
## Docker安装

下述步骤为手动安装docker及docker镜像的步骤，如您docker镜像已启动，可以忽略本步骤：
下述步骤为手动安装docker环境的步骤：

### docker环境安装
```shell
@@ -30,36 +66,63 @@
sudo systemctl start docker
```

### 镜像拉取及启动

通过下述命令拉取并启动FunASR runtime-SDK的docker镜像：
## 客户端用法详解

在服务器上完成FunASR服务部署以后，可以通过如下的步骤来测试和使用离线文件转写服务。
目前分别支持以下几种编程语言客户端

- [Python](#python-client)
- [CPP](#cpp-client)
- [html网页版本](#Html网页版)
- [Java](#Java-client)

### python-client
若想直接运行client进行测试，可参考如下简易说明，以python版本为例：

```shell
sudo docker pull registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-cpu-latest

sudo docker run -p 10095:10095 -it --privileged=true -v /root:/workspace/models registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-cpu-latest
python3 wss_client_asr.py --host "127.0.0.1" --port 10095 --mode offline --audio_in "../audio/asr_example.wav" --output_dir "./results"
```

命令参数介绍：
命令参数说明：
```text
-p <宿主机端口>:<映射到docker端口>
如示例，宿主机(ecs)端口10095映射到docker端口10095上。前提是确保ecs安全规则打开了10095端口。
-v <宿主机路径>:<挂载至docker路径>
如示例，宿主机路径/root挂载至docker路径/workspace/models
--host 为FunASR runtime-SDK服务部署机器ip，默认为本机ip（127.0.0.1），如果client与服务不在同一台服务器，需要改为部署机器ip
--port 10095 部署端口号
--mode offline表示离线文件转写
--audio_in 需要进行转写的音频文件，支持文件路径，文件列表wav.scp
--output_dir 识别结果保存路径
```


## 服务端启动

docker启动之后，启动 funasr-wss-server服务程序：
### cpp-client
进入samples/cpp目录后，可以用cpp进行测试，指令如下：
```shell
cd FunASR/funasr/runtime
./run_server.sh --vad-dir damo/speech_fsmn_vad_zh-cn-16k-common-onnx \
  --model-dir damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-onnx  \
  --punc-dir damo/punc_ct-transformer_zh-cn-common-vocab272727-onnx
./funasr-wss-client --server-ip 127.0.0.1 --port 10095 --wav-path ../audio/asr_example.wav
```

详细命令参数介绍：
命令参数说明：

```text
--server-ip 为FunASR runtime-SDK服务部署机器ip，默认为本机ip（127.0.0.1），如果client与服务不在同一台服务器，需要改为部署机器ip
--port 10095 部署端口号
--wav-path 需要进行转写的音频文件，支持文件路径
```

### Html网页版

在浏览器中打开 html/static/index.html，即可出现如下页面，支持麦克风输入与文件上传，直接进行体验

<img src="images/html.png"  width="900"/>

### Java-client

```shell
FunasrWsClient --host localhost --port 10095 --audio_in ./asr_example.wav --mode offline
```
详细可以参考文档（[点击此处](../java/readme.md)）



## 服务端参数介绍：

funasr-wss-server支持从Modelscope下载模型，设置模型下载地址（--download-model-dir，默认为/workspace/models）及model ID（--model-dir、--vad-dir、--punc-dir）,示例如下：
```shell
@@ -77,21 +140,21 @@
 ```
命令参数介绍：
```text
--download-model-dir #模型下载地址，通过设置model ID从Modelscope下载模型
--model-dir # modelscope model ID
--quantize  # True为量化ASR模型，False为非量化ASR模型，默认是True
--vad-dir # modelscope model ID
--vad-quant  # True为量化VAD模型，False为非量化VAD模型，默认是True
--punc-dir # modelscope model ID
--punc-quant  # True为量化PUNC模型，False为非量化PUNC模型，默认是True
--port # 服务端监听的端口号，默认为 10095
--decoder-thread-num # 服务端启动的推理线程数，默认为 8
--io-thread-num # 服务端启动的IO线程数，默认为 1
--certfile <string> # ssl的证书文件，默认为：../../../ssl_key/server.crt
--keyfile <string> # ssl的密钥文件，默认为：../../../ssl_key/server.key
--download-model-dir 模型下载地址，通过设置model ID从Modelscope下载模型
--model-dir  modelscope model ID
--quantize  True为量化ASR模型，False为非量化ASR模型，默认是True
--vad-dir  modelscope model ID
--vad-quant   True为量化VAD模型，False为非量化VAD模型，默认是True
--punc-dir  modelscope model ID
--punc-quant   True为量化PUNC模型，False为非量化PUNC模型，默认是True
--port  服务端监听的端口号，默认为 10095
--decoder-thread-num  服务端启动的推理线程数，默认为 8
--io-thread-num  服务端启动的IO线程数，默认为 1
--certfile  ssl的证书文件，默认为：../../../ssl_key/server.crt
--keyfile   ssl的密钥文件，默认为：../../../ssl_key/server.key
```

funasr-wss-server同时也支持从本地路径加载模型（本地模型资源准备详见[模型资源准备](#anchor-1)）示例如下：
funasr-wss-server同时也支持从本地路径加载模型（本地模型资源准备详见[模型资源准备](#模型资源准备)）示例如下：
```shell
cd /workspace/FunASR/funasr/runtime/websocket/build/bin
./funasr-wss-server  \
@@ -106,32 +169,32 @@
 ```
命令参数介绍：
```text
--model-dir # ASR模型路径，默认为：/workspace/models/asr
--quantize  # True为量化ASR模型，False为非量化ASR模型，默认是True
--vad-dir # VAD模型路径，默认为：/workspace/models/vad
--vad-quant  # True为量化VAD模型，False为非量化VAD模型，默认是True
--punc-dir # PUNC模型路径，默认为：/workspace/models/punc
--punc-quant  # True为量化PUNC模型，False为非量化PUNC模型，默认是True
--port # 服务端监听的端口号，默认为 10095
--decoder-thread-num # 服务端启动的推理线程数，默认为 8
--io-thread-num # 服务端启动的IO线程数，默认为 1
--certfile <string> # ssl的证书文件，默认为：../../../ssl_key/server.crt
--keyfile <string> # ssl的密钥文件，默认为：../../../ssl_key/server.key
--model-dir  ASR模型路径，默认为：/workspace/models/asr
--quantize   True为量化ASR模型，False为非量化ASR模型，默认是True
--vad-dir  VAD模型路径，默认为：/workspace/models/vad
--vad-quant   True为量化VAD模型，False为非量化VAD模型，默认是True
--punc-dir  PUNC模型路径，默认为：/workspace/models/punc
--punc-quant   True为量化PUNC模型，False为非量化PUNC模型，默认是True
--port  服务端监听的端口号，默认为 10095
--decoder-thread-num  服务端启动的推理线程数，默认为 8
--io-thread-num  服务端启动的IO线程数，默认为 1
--certfile ssl的证书文件，默认为：../../../ssl_key/server.crt
--keyfile  ssl的密钥文件，默认为：../../../ssl_key/server.key
```

## <a id="anchor-1">模型资源准备</a>
## 模型资源准备

如果您选择通过funasr-wss-server从Modelscope下载模型，可以跳过本步骤。

FunASR离线文件转写服务中的vad、asr和punc模型资源均来自Modelscope，模型地址详见下表：

| 模型 | Modelscope链接                                                                                                     |
|------|------------------------------------------------------------------------------------------------------------------|
| VAD  | https://www.modelscope.cn/models/damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch/summary |
| ASR  | https://www.modelscope.cn/models/damo/speech_fsmn_vad_zh-cn-16k-common-pytorch/summary                           |
| PUNC | https://www.modelscope.cn/models/damo/punc_ct-transformer_zh-cn-common-vocab272727-pytorch/summary               |
| 模型 | Modelscope链接                                                                                                  |
|------|---------------------------------------------------------------------------------------------------------------|
| VAD  | https://www.modelscope.cn/models/damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-onnx/summary |
| ASR  | https://www.modelscope.cn/models/damo/speech_fsmn_vad_zh-cn-16k-common-onnx/summary                           |
| PUNC | https://www.modelscope.cn/models/damo/punc_ct-transformer_zh-cn-common-vocab272727-onnx/summary               |

离线文件转写服务中部署的是量化后的ONNX模型，下面介绍下如何导出ONNX模型及其量化：您可以选择从Modelscope导出ONNX模型、从本地文件导出ONNX模型或者从finetune后的资源导出模型：
离线文件转写服务中部署的是量化后的ONNX模型，下面介绍下如何导出ONNX模型及其量化：您可以选择从Modelscope导出ONNX模型、从finetune后的资源导出模型：

### 从Modelscope导出ONNX模型

@@ -154,22 +217,6 @@
--type 模型类型，目前支持 ONNX、torch
--quantize  int8模型量化
```

### 从本地文件导出ONNX模型

设置model name为模型本地路径，导出量化后的ONNX模型：

```shell
python -m funasr.export.export_model --model-name /workspace/models/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch --export-dir ./export --type onnx --quantize True
```
命令参数介绍：
```text
--model-name  模型本地路径，例如/workspace/models/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch
--export-dir  ONNX模型导出地址
--type 模型类型，目前支持 ONNX、torch
--quantize  int8模型量化
```

### 从finetune后的资源导出模型

假如您想部署finetune后的模型，可以参考如下步骤：
@@ -180,36 +227,18 @@
python -m funasr.export.export_model --model-name /path/to/finetune/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch --export-dir ./export --type onnx --quantize True
```

## 客户端启动

在服务器上完成FunASR离线文件转写服务部署以后，可以通过如下的步骤来测试和使用离线文件转写服务。目前FunASR-bin支持多种方式启动客户端，如下是基于python-client、c++-client的命令行实例及自定义客户端Websocket通信协议：

### python-client
```shell
python funasr_wss_client.py --host "127.0.0.1" --port 10095 --mode offline --audio_in "./data/wav.scp" --send_without_sleep --output_dir "./results"
```
命令参数介绍：
```text
--host # 服务端ip地址，本机测试可设置为 127.0.0.1
--port # 服务端监听端口号
--audio_in # 音频输入，输入可以是：wav路径 或者 wav.scp路径（kaldi格式的wav list，wav_id \t wav_path）
--output_dir # 识别结果输出路径
--ssl # 是否使用SSL加密，默认使用
--mode # offline模式
```
## 如何定制服务部署

### c++-client：
```shell
. /funasr-wss-client --server-ip 127.0.0.1 --port 10095 --wav-path test.wav --thread-num 1 --is-ssl 1
```
命令参数介绍：
```text
--server-ip # 服务端ip地址，本机测试可设置为 127.0.0.1
--port # 服务端监听端口号
--wav-path # 音频输入，输入可以是：wav路径 或者 wav.scp路径（kaldi格式的wav list，wav_id \t wav_path）
--thread-num # 客户端线程数
--is-ssl # 是否使用SSL加密，默认使用
```
FunASR-runtime的代码已开源，如果服务端和客户端不能很好的满足您的需求，您可以根据自己的需求进行进一步的开发：
### c++ 客户端：

https://github.com/alibaba-damo-academy/FunASR/tree/main/funasr/runtime/websocket

### python 客户端：

https://github.com/alibaba-damo-academy/FunASR/tree/main/funasr/runtime/python/websocket

### 自定义客户端：

@@ -224,16 +253,6 @@
{"is_speaking": False}
```

## 如何定制服务部署

FunASR-runtime的代码已开源，如果服务端和客户端不能很好的满足您的需求，您可以根据自己的需求进行进一步的开发：
### c++ 客户端：

https://github.com/alibaba-damo-academy/FunASR/tree/main/funasr/runtime/websocket

### python 客户端：

https://github.com/alibaba-damo-academy/FunASR/tree/main/funasr/runtime/python/websocket
### c++ 服务端：

#### VAD
@@ -266,4 +285,4 @@
FUNASR_RESULT result=CTTransformerInfer(punc_hanlde, txt_str.c_str(), RASR_NONE, NULL);
// 其中：punc_hanlde为CTTransformerInit返回值，txt_str为文本
```
使用示例详见：https://github.com/alibaba-damo-academy/FunASR/blob/main/funasr/runtime/onnxruntime/bin/funasr-onnx-offline-punc.cpp
使用示例详见：https://github.com/alibaba-damo-academy/FunASR/blob/main/funasr/runtime/onnxruntime/bin/funasr-onnx-offline-punc.cpp

 funasr/runtime/docs/SDK_tutorial_zh.md

@@ -113,6 +113,13 @@
sudo bash funasr-runtime-deploy-offline-cpu-zh.sh stop
```

### 释放FunASR服务

释放已经部署的FunASR服务。
```shell
sudo bash funasr-runtime-deploy-offline-cpu-zh.sh remove
```

### 重启FunASR服务

根据上次一键部署的设置重启启动FunASR服务。
@@ -139,6 +146,7 @@
sudo bash funasr-runtime-deploy-offline-cpu-zh.sh update [--host_port | --docker_port] <port number>
sudo bash funasr-runtime-deploy-offline-cpu-zh.sh update [--decode_thread_num | --io_thread_num] <the number of threads>
sudo bash funasr-runtime-deploy-offline-cpu-zh.sh update [--workspace] <workspace in local>
sudo bash funasr-runtime-deploy-offline-cpu-zh.sh update [--ssl] <0: close SSL; 1: open SSL, default:1>

e.g
sudo bash funasr-runtime-deploy-offline-cpu-zh.sh update --decode_thread_num 32

 funasr/runtime/python/websocket/funasr_wss_server.py

@@ -10,7 +10,6 @@
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from modelscope.utils.logger import get_logger
from funasr.runtime.python.onnxruntime.funasr_onnx.utils.frontend import load_bytes

tracemalloc.start()

@@ -233,8 +232,6 @@
async def async_asr(websocket, audio_in):
            if len(audio_in) > 0:
                # print(len(audio_in))
                audio_in = load_bytes(audio_in)
                
                rec_result = inference_pipeline_asr(audio_in=audio_in,
                                                    param_dict=websocket.param_dict_asr)
                # print(rec_result)
@@ -249,7 +246,6 @@

async def async_asr_online(websocket, audio_in):
    if len(audio_in) > 0:
        audio_in = load_bytes(audio_in)
        # print(websocket.param_dict_asr_online.get("is_final", False))
        rec_result = inference_pipeline_asr_online(audio_in=audio_in,
                                                   param_dict=websocket.param_dict_asr_online)

 funasr/runtime/run_server.sh

old mode 100755
new mode 100644

			@@ -255,9 +255,10 @@
			if param_dict is not None:
			hotword_list_or_file = param_dict.get('hotword')
			export_mode = param_dict.get("export_mode", False)
			clas_scale = param_dict.get('clas_scale', 1.0)
			else:
			hotword_list_or_file = None
			clas_scale = param_dict.get('clas_scale', 1.0)
			clas_scale = 1.0

			if kwargs.get("device", None) == "cpu":
			ngpu = 0

			@@ -2,11 +2,47 @@

			FunASR提供可一键本地或者云端服务器部署的中文离线文件转写服务，内核为FunASR已开源runtime-SDK。FunASR-runtime结合了达摩院语音实验室在Modelscope社区开源的语音端点检测(VAD)、Paraformer-large语音识别(ASR)、标点检测(PUNC) 等相关能力，可以准确、高效的对音频进行高并发转写。

			本文档为FunASR离线文件转写服务开发指南。如果您想快速体验离线文件转写服务，请参考FunASR离线文件转写服务一键部署示例（[点击此处](./SDK_tutorial_cn.md)）。
			本文档为FunASR离线文件转写服务开发指南。如果您想快速体验离线文件转写服务，可参考[快速上手](#快速上手)。

			## 快速上手
			### 镜像启动

			通过下述命令拉取并启动FunASR runtime-SDK的docker镜像：

			```shell
			sudo docker pull registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-cpu-0.1.0

			sudo docker run -p 10095:10095 -it --privileged=true -v /root:/workspace/models registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-cpu-0.1.0
			```
			如果您没有安装docker，可参考[Docker安装](#Docker安装)

			### 服务端启动

			docker启动之后，启动 funasr-wss-server服务程序：
			```shell
			cd FunASR/funasr/runtime
			./run_server.sh \
			--download-model-dir /workspace/models \
			--vad-dir damo/speech_fsmn_vad_zh-cn-16k-common-onnx \
			--model-dir damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-onnx \
			--punc-dir damo/punc_ct-transformer_zh-cn-common-vocab272727-onnx
			```
			服务端详细参数介绍可参考[服务端参数介绍](#服务端参数介绍)
			### 客户端测试与使用

			下载客户端测试工具目录samples
			```shell
			wget https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/sample/funasr_samples.tar.gz
			```
			我们以Python语言客户端为例，进行说明，支持多种音频格式输入（.wav, .pcm, .mp3等），也支持视频输入(.mp4等)，以及多文件列表wav.scp输入，其他版本客户端请参考文档（[点击此处](#客户端用法详解)），定制服务部署请参考[如何定制服务部署](#如何定制服务部署)
			```shell
			python3 wss_client_asr.py --host "127.0.0.1" --port 10095 --mode offline --audio_in "../audio/asr_example.wav" --output_dir "./results"
			```

			------------------
			## Docker安装

			下述步骤为手动安装docker及docker镜像的步骤，如您docker镜像已启动，可以忽略本步骤：
			下述步骤为手动安装docker环境的步骤：

			### docker环境安装
			```shell
			@@ -30,36 +66,63 @@
			sudo systemctl start docker
			```

			### 镜像拉取及启动

			通过下述命令拉取并启动FunASR runtime-SDK的docker镜像：
			## 客户端用法详解

			在服务器上完成FunASR服务部署以后，可以通过如下的步骤来测试和使用离线文件转写服务。
			目前分别支持以下几种编程语言客户端

			- [Python](#python-client)
			- [CPP](#cpp-client)
			- [html网页版本](#Html网页版)
			- [Java](#Java-client)

			### python-client
			若想直接运行client进行测试，可参考如下简易说明，以python版本为例：

			```shell
			sudo docker pull registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-cpu-latest

			sudo docker run -p 10095:10095 -it --privileged=true -v /root:/workspace/models registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-cpu-latest
			python3 wss_client_asr.py --host "127.0.0.1" --port 10095 --mode offline --audio_in "../audio/asr_example.wav" --output_dir "./results"
			```

			命令参数介绍：
			命令参数说明：
			```text
			-p <宿主机端口>:<映射到docker端口>
			如示例，宿主机(ecs)端口10095映射到docker端口10095上。前提是确保ecs安全规则打开了10095端口。
			-v <宿主机路径>:<挂载至docker路径>
			如示例，宿主机路径/root挂载至docker路径/workspace/models
			--host 为FunASR runtime-SDK服务部署机器ip，默认为本机ip（127.0.0.1），如果client与服务不在同一台服务器，需要改为部署机器ip
			--port 10095 部署端口号
			--mode offline表示离线文件转写
			--audio_in 需要进行转写的音频文件，支持文件路径，文件列表wav.scp
			--output_dir 识别结果保存路径
			```


			## 服务端启动

			docker启动之后，启动 funasr-wss-server服务程序：
			### cpp-client
			进入samples/cpp目录后，可以用cpp进行测试，指令如下：
			```shell
			cd FunASR/funasr/runtime
			./run_server.sh --vad-dir damo/speech_fsmn_vad_zh-cn-16k-common-onnx \
			--model-dir damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-onnx \
			--punc-dir damo/punc_ct-transformer_zh-cn-common-vocab272727-onnx
			./funasr-wss-client --server-ip 127.0.0.1 --port 10095 --wav-path ../audio/asr_example.wav
			```

			详细命令参数介绍：
			命令参数说明：

			```text
			--server-ip 为FunASR runtime-SDK服务部署机器ip，默认为本机ip（127.0.0.1），如果client与服务不在同一台服务器，需要改为部署机器ip
			--port 10095 部署端口号
			--wav-path 需要进行转写的音频文件，支持文件路径
			```

			### Html网页版

			在浏览器中打开 html/static/index.html，即可出现如下页面，支持麦克风输入与文件上传，直接进行体验

			<img src="images/html.png" width="900"/>

			### Java-client

			```shell
			FunasrWsClient --host localhost --port 10095 --audio_in ./asr_example.wav --mode offline
			```
			详细可以参考文档（[点击此处](../java/readme.md)）



			## 服务端参数介绍：

			funasr-wss-server支持从Modelscope下载模型，设置模型下载地址（--download-model-dir，默认为/workspace/models）及model ID（--model-dir、--vad-dir、--punc-dir）,示例如下：
			```shell
			@@ -77,21 +140,21 @@
			```
			命令参数介绍：
			```text
			--download-model-dir #模型下载地址，通过设置model ID从Modelscope下载模型
			--model-dir # modelscope model ID
			--quantize # True为量化ASR模型，False为非量化ASR模型，默认是True
			--vad-dir # modelscope model ID
			--vad-quant # True为量化VAD模型，False为非量化VAD模型，默认是True
			--punc-dir # modelscope model ID
			--punc-quant # True为量化PUNC模型，False为非量化PUNC模型，默认是True
			--port # 服务端监听的端口号，默认为 10095
			--decoder-thread-num # 服务端启动的推理线程数，默认为 8
			--io-thread-num # 服务端启动的IO线程数，默认为 1
			--certfile <string> # ssl的证书文件，默认为：../../../ssl_key/server.crt
			--keyfile <string> # ssl的密钥文件，默认为：../../../ssl_key/server.key
			--download-model-dir 模型下载地址，通过设置model ID从Modelscope下载模型
			--model-dir modelscope model ID
			--quantize True为量化ASR模型，False为非量化ASR模型，默认是True
			--vad-dir modelscope model ID
			--vad-quant True为量化VAD模型，False为非量化VAD模型，默认是True
			--punc-dir modelscope model ID
			--punc-quant True为量化PUNC模型，False为非量化PUNC模型，默认是True
			--port 服务端监听的端口号，默认为 10095
			--decoder-thread-num 服务端启动的推理线程数，默认为 8
			--io-thread-num 服务端启动的IO线程数，默认为 1
			--certfile ssl的证书文件，默认为：../../../ssl_key/server.crt
			--keyfile ssl的密钥文件，默认为：../../../ssl_key/server.key
			```

			funasr-wss-server同时也支持从本地路径加载模型（本地模型资源准备详见[模型资源准备](#anchor-1)）示例如下：
			funasr-wss-server同时也支持从本地路径加载模型（本地模型资源准备详见[模型资源准备](#模型资源准备)）示例如下：
			```shell
			cd /workspace/FunASR/funasr/runtime/websocket/build/bin
			./funasr-wss-server \
			@@ -106,32 +169,32 @@
			```
			命令参数介绍：
			```text
			--model-dir # ASR模型路径，默认为：/workspace/models/asr
			--quantize # True为量化ASR模型，False为非量化ASR模型，默认是True
			--vad-dir # VAD模型路径，默认为：/workspace/models/vad
			--vad-quant # True为量化VAD模型，False为非量化VAD模型，默认是True
			--punc-dir # PUNC模型路径，默认为：/workspace/models/punc
			--punc-quant # True为量化PUNC模型，False为非量化PUNC模型，默认是True
			--port # 服务端监听的端口号，默认为 10095
			--decoder-thread-num # 服务端启动的推理线程数，默认为 8
			--io-thread-num # 服务端启动的IO线程数，默认为 1
			--certfile <string> # ssl的证书文件，默认为：../../../ssl_key/server.crt
			--keyfile <string> # ssl的密钥文件，默认为：../../../ssl_key/server.key
			--model-dir ASR模型路径，默认为：/workspace/models/asr
			--quantize True为量化ASR模型，False为非量化ASR模型，默认是True
			--vad-dir VAD模型路径，默认为：/workspace/models/vad
			--vad-quant True为量化VAD模型，False为非量化VAD模型，默认是True
			--punc-dir PUNC模型路径，默认为：/workspace/models/punc
			--punc-quant True为量化PUNC模型，False为非量化PUNC模型，默认是True
			--port 服务端监听的端口号，默认为 10095
			--decoder-thread-num 服务端启动的推理线程数，默认为 8
			--io-thread-num 服务端启动的IO线程数，默认为 1
			--certfile ssl的证书文件，默认为：../../../ssl_key/server.crt
			--keyfile ssl的密钥文件，默认为：../../../ssl_key/server.key
			```

			## <a id="anchor-1">模型资源准备</a>
			## 模型资源准备

			如果您选择通过funasr-wss-server从Modelscope下载模型，可以跳过本步骤。

			FunASR离线文件转写服务中的vad、asr和punc模型资源均来自Modelscope，模型地址详见下表：

			\| 模型 \| Modelscope链接 \|
			\|------\|------------------------------------------------------------------------------------------------------------------\|
			\| VAD \| https://www.modelscope.cn/models/damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch/summary \|
			\| ASR \| https://www.modelscope.cn/models/damo/speech_fsmn_vad_zh-cn-16k-common-pytorch/summary \|
			\| PUNC \| https://www.modelscope.cn/models/damo/punc_ct-transformer_zh-cn-common-vocab272727-pytorch/summary \|
			\| 模型 \| Modelscope链接 \|
			\|------\|---------------------------------------------------------------------------------------------------------------\|
			\| VAD \| https://www.modelscope.cn/models/damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-onnx/summary \|
			\| ASR \| https://www.modelscope.cn/models/damo/speech_fsmn_vad_zh-cn-16k-common-onnx/summary \|
			\| PUNC \| https://www.modelscope.cn/models/damo/punc_ct-transformer_zh-cn-common-vocab272727-onnx/summary \|

			离线文件转写服务中部署的是量化后的ONNX模型，下面介绍下如何导出ONNX模型及其量化：您可以选择从Modelscope导出ONNX模型、从本地文件导出ONNX模型或者从finetune后的资源导出模型：
			离线文件转写服务中部署的是量化后的ONNX模型，下面介绍下如何导出ONNX模型及其量化：您可以选择从Modelscope导出ONNX模型、从finetune后的资源导出模型：

			### 从Modelscope导出ONNX模型

			@@ -154,22 +217,6 @@
			--type 模型类型，目前支持 ONNX、torch
			--quantize int8模型量化
			```

			### 从本地文件导出ONNX模型

			设置model name为模型本地路径，导出量化后的ONNX模型：

			```shell
			python -m funasr.export.export_model --model-name /workspace/models/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch --export-dir ./export --type onnx --quantize True
			```
			命令参数介绍：
			```text
			--model-name 模型本地路径，例如/workspace/models/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch
			--export-dir ONNX模型导出地址
			--type 模型类型，目前支持 ONNX、torch
			--quantize int8模型量化
			```

			### 从finetune后的资源导出模型

			假如您想部署finetune后的模型，可以参考如下步骤：
			@@ -180,36 +227,18 @@
			python -m funasr.export.export_model --model-name /path/to/finetune/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch --export-dir ./export --type onnx --quantize True
			```

			## 客户端启动

			在服务器上完成FunASR离线文件转写服务部署以后，可以通过如下的步骤来测试和使用离线文件转写服务。目前FunASR-bin支持多种方式启动客户端，如下是基于python-client、c++-client的命令行实例及自定义客户端Websocket通信协议：

			### python-client
			```shell
			python funasr_wss_client.py --host "127.0.0.1" --port 10095 --mode offline --audio_in "./data/wav.scp" --send_without_sleep --output_dir "./results"
			```
			命令参数介绍：
			```text
			--host # 服务端ip地址，本机测试可设置为 127.0.0.1
			--port # 服务端监听端口号
			--audio_in # 音频输入，输入可以是：wav路径或者 wav.scp路径（kaldi格式的wav list，wav_id \t wav_path）
			--output_dir # 识别结果输出路径
			--ssl # 是否使用SSL加密，默认使用
			--mode # offline模式
			```
			## 如何定制服务部署

			### c++-client：
			```shell
			. /funasr-wss-client --server-ip 127.0.0.1 --port 10095 --wav-path test.wav --thread-num 1 --is-ssl 1
			```
			命令参数介绍：
			```text
			--server-ip # 服务端ip地址，本机测试可设置为 127.0.0.1
			--port # 服务端监听端口号
			--wav-path # 音频输入，输入可以是：wav路径或者 wav.scp路径（kaldi格式的wav list，wav_id \t wav_path）
			--thread-num # 客户端线程数
			--is-ssl # 是否使用SSL加密，默认使用
			```
			FunASR-runtime的代码已开源，如果服务端和客户端不能很好的满足您的需求，您可以根据自己的需求进行进一步的开发：
			### c++ 客户端：

			https://github.com/alibaba-damo-academy/FunASR/tree/main/funasr/runtime/websocket

			### python 客户端：

			https://github.com/alibaba-damo-academy/FunASR/tree/main/funasr/runtime/python/websocket

			### 自定义客户端：

			@@ -224,16 +253,6 @@
			{"is_speaking": False}
			```

			## 如何定制服务部署

			FunASR-runtime的代码已开源，如果服务端和客户端不能很好的满足您的需求，您可以根据自己的需求进行进一步的开发：
			### c++ 客户端：

			https://github.com/alibaba-damo-academy/FunASR/tree/main/funasr/runtime/websocket

			### python 客户端：

			https://github.com/alibaba-damo-academy/FunASR/tree/main/funasr/runtime/python/websocket
			### c++ 服务端：

			#### VAD
			@@ -266,4 +285,4 @@
			FUNASR_RESULT result=CTTransformerInfer(punc_hanlde, txt_str.c_str(), RASR_NONE, NULL);
			// 其中：punc_hanlde为CTTransformerInit返回值，txt_str为文本
			```
			使用示例详见：https://github.com/alibaba-damo-academy/FunASR/blob/main/funasr/runtime/onnxruntime/bin/funasr-onnx-offline-punc.cpp
			使用示例详见：https://github.com/alibaba-damo-academy/FunASR/blob/main/funasr/runtime/onnxruntime/bin/funasr-onnx-offline-punc.cpp

			@@ -113,6 +113,13 @@
			sudo bash funasr-runtime-deploy-offline-cpu-zh.sh stop
			```

			### 释放FunASR服务

			释放已经部署的FunASR服务。
			```shell
			sudo bash funasr-runtime-deploy-offline-cpu-zh.sh remove
			```

			### 重启FunASR服务

			根据上次一键部署的设置重启启动FunASR服务。
			@@ -139,6 +146,7 @@
			sudo bash funasr-runtime-deploy-offline-cpu-zh.sh update [--host_port \| --docker_port] <port number>
			sudo bash funasr-runtime-deploy-offline-cpu-zh.sh update [--decode_thread_num \| --io_thread_num] <the number of threads>
			sudo bash funasr-runtime-deploy-offline-cpu-zh.sh update [--workspace] <workspace in local>
			sudo bash funasr-runtime-deploy-offline-cpu-zh.sh update [--ssl] <0: close SSL; 1: open SSL, default:1>

			e.g
			sudo bash funasr-runtime-deploy-offline-cpu-zh.sh update --decode_thread_num 32

			@@ -10,7 +10,6 @@
			from modelscope.pipelines import pipeline
			from modelscope.utils.constant import Tasks
			from modelscope.utils.logger import get_logger
			from funasr.runtime.python.onnxruntime.funasr_onnx.utils.frontend import load_bytes

			tracemalloc.start()

			@@ -233,8 +232,6 @@
			async def async_asr(websocket, audio_in):
			if len(audio_in) > 0:
			# print(len(audio_in))
			audio_in = load_bytes(audio_in)

			rec_result = inference_pipeline_asr(audio_in=audio_in,
			param_dict=websocket.param_dict_asr)
			# print(rec_result)
			@@ -249,7 +246,6 @@

			async def async_asr_online(websocket, audio_in):
			if len(audio_in) > 0:
			audio_in = load_bytes(audio_in)
			# print(websocket.param_dict_asr_online.get("is_final", False))
			rec_result = inference_pipeline_asr_online(audio_in=audio_in,
			param_dict=websocket.param_dict_asr_online)