aky15
2023-05-17 6f10b7bc41544371a2985ca426de905176a0766d
funasr/runtime/onnxruntime/src/tokenizer.cpp
@@ -5,12 +5,17 @@
#include "precomp.h"
namespace funasr {
CTokenizer::CTokenizer(const char* sz_yamlfile):m_ready(false)
{
   OpenYaml(sz_yamlfile);
}
CTokenizer::CTokenizer():m_ready(false)
{
}
CTokenizer::~CTokenizer()
{
}
@@ -216,3 +221,5 @@
   }
   id_out= String2Ids(str_out);
}
} // namespace funasr