update repo

嘉渊

2023-06-19 e2f8fa4b64bb7c058513bd1f5c970385d0d84672

 funasr/runtime/onnxruntime/src/tokenizer.cpp

@@ -5,12 +5,17 @@

#include "precomp.h"

namespace funasr {
CTokenizer::CTokenizer(const char* sz_yamlfile):m_ready(false)
{
   OpenYaml(sz_yamlfile);
}

CTokenizer::CTokenizer():m_ready(false)
{
}

CTokenizer::~CTokenizer()
{
}

@@ -216,3 +221,5 @@
   }
   id_out= String2Ids(str_out);
}

} // namespace funasr