zhaomingwork
2023-05-19 b63e73ae4f5df9d4ed9fb0bee12ac2cc09d7f523
funasr/runtime/onnxruntime/src/tokenizer.cpp
@@ -5,12 +5,17 @@
#include "precomp.h"
namespace funasr {
CTokenizer::CTokenizer(const char* sz_yamlfile):m_ready(false)
{
   OpenYaml(sz_yamlfile);
}
CTokenizer::CTokenizer():m_ready(false)
{
}
CTokenizer::~CTokenizer()
{
}
@@ -216,3 +221,5 @@
   }
   id_out= String2Ids(str_out);
}
} // namespace funasr