Merge pull request #2269 from modelscope/dev_sx2

Shi Xian

2024-12-05 22b928dd3ff37ccee57ab2b5c2e4fcda4d33d24d

 runtime/onnxruntime/src/ct-transformer-online.cpp

@@ -11,7 +11,7 @@
{
}

void CTTransformerOnline::InitPunc(const std::string &punc_model, const std::string &punc_config, int thread_num){
void CTTransformerOnline::InitPunc(const std::string &punc_model, const std::string &punc_config, const std::string &token_file, int thread_num){
    session_options.SetIntraOpNumThreads(thread_num);
    session_options.SetGraphOptimizationLevel(ORT_ENABLE_ALL);
    session_options.DisableCpuMemArena();
@@ -25,25 +25,10 @@
        exit(-1);
    }
    // read inputnames outputnames
    string strName;
    GetInputName(m_session.get(), strName);
    m_strInputNames.push_back(strName.c_str());
    GetInputName(m_session.get(), strName, 1);
    m_strInputNames.push_back(strName);
    GetInputName(m_session.get(), strName, 2);
    m_strInputNames.push_back(strName);
    GetInputName(m_session.get(), strName, 3);
    m_strInputNames.push_back(strName);
    
    GetOutputName(m_session.get(), strName);
    m_strOutputNames.push_back(strName);
    GetInputNames(m_session.get(), m_strInputNames, m_szInputNames);
    GetOutputNames(m_session.get(), m_strOutputNames, m_szOutputNames);

    for (auto& item : m_strInputNames)
        m_szInputNames.push_back(item.c_str());
    for (auto& item : m_strOutputNames)
        m_szOutputNames.push_back(item.c_str());

   m_tokenizer.OpenYaml(punc_config.c_str());
   m_tokenizer.OpenYaml(punc_config.c_str(), token_file.c_str());
}

CTTransformerOnline::~CTTransformerOnline()
@@ -120,9 +105,9 @@
    vector<string> WordWithPunc;
    for (int i = 0; i < sentence_words_list.size(); i++) // for i in range(0, len(sentence_words_list)):
    {
        if (i > 0 && !(sentence_words_list[i][0] & 0x80) && (i + 1) < sentence_words_list.size() && !(sentence_words_list[i + 1][0] & 0x80))
        if (!(sentence_words_list[i][0] & 0x80) && (i + 1) < sentence_words_list.size() && !(sentence_words_list[i + 1][0] & 0x80))
        {
            sentence_words_list[i] = sentence_words_list[i] + " ";
            sentence_words_list[i] = " " + sentence_words_list[i];
        }
        if (nSkipNum < arr_cache.size())  //    if skip_num < len(cache):
            nSkipNum++;