update repo

嘉渊

2023-06-17 a17c5cc3e7c21391da469bc8ac5f40de3e9056b4

 funasr/runtime/onnxruntime/src/tokenizer.cpp

@@ -5,12 +5,17 @@

#include "precomp.h"

namespace funasr {
CTokenizer::CTokenizer(const char* sz_yamlfile):m_ready(false)
{
   OpenYaml(sz_yamlfile);
}

CTokenizer::CTokenizer():m_ready(false)
{
}

CTokenizer::~CTokenizer()
{
}

@@ -216,3 +221,5 @@
   }
   id_out= String2Ids(str_out);
}

} // namespace funasr