update

shixian.shi

2023-06-27 2ddf9637fcaec3cd4057cfcbd8616f26ba567c36

 funasr/runtime/onnxruntime/src/tokenizer.cpp

@@ -5,12 +5,17 @@

#include "precomp.h"

namespace funasr {
CTokenizer::CTokenizer(const char* sz_yamlfile):m_ready(false)
{
   OpenYaml(sz_yamlfile);
}

CTokenizer::CTokenizer():m_ready(false)
{
}

CTokenizer::~CTokenizer()
{
}

@@ -216,3 +221,5 @@
   }
   id_out= String2Ids(str_out);
}

} // namespace funasr