haoneng.lhn
2023-07-20 3e8159e5b0f6e7e96d4e6ca1f4b4d8ccb151ace5
funasr/runtime/onnxruntime/src/tokenizer.cpp
@@ -142,6 +142,14 @@
   return result;
}
bool CTokenizer::IsPunc(string& Punc)
{
   if (m_punc2id.find(Punc) != m_punc2id.end())
      return true;
   else
      return false;
}
vector<string> CTokenizer::SplitChineseString(const string & str_info)
{
   vector<string> list;