funasr/runtime/onnxruntime/src/tokenizer.cpp
@@ -5,6 +5,7 @@ #include "precomp.h" namespace funasr { CTokenizer::CTokenizer(const char* sz_yamlfile):m_ready(false) { OpenYaml(sz_yamlfile); @@ -141,6 +142,14 @@ return result; } bool CTokenizer::IsPunc(string& Punc) { if (m_punc2id.find(Punc) != m_punc2id.end()) return true; else return false; } vector<string> CTokenizer::SplitChineseString(const string & str_info) { vector<string> list; @@ -220,3 +229,5 @@ } id_out= String2Ids(str_out); } } // namespace funasr
