zhaomingwork
2023-06-13 38ccf84873508eb0153b5213b387cd20ce775a1b
funasr/runtime/onnxruntime/src/tokenizer.cpp
@@ -5,12 +5,17 @@
#include "precomp.h"
namespace funasr {
CTokenizer::CTokenizer(const char* sz_yamlfile):m_ready(false)
{
   OpenYaml(sz_yamlfile);
}
CTokenizer::CTokenizer():m_ready(false)
{
}
CTokenizer::~CTokenizer()
{
}
@@ -216,3 +221,5 @@
   }
   id_out= String2Ids(str_out);
}
} // namespace funasr