update with main (#1731)

zhifu gao

2024-05-15 0ef6f0813c4fbce20c83a1da829ff2aa08df2127

 runtime/onnxruntime/src/tokenizer.h

@@ -8,6 +8,7 @@
#include "cppjieba/DictTrie.hpp"
#include "cppjieba/HMMModel.hpp"
#include "cppjieba/Jieba.hpp"
#include "nlohmann/json.hpp"

namespace funasr {
class CTokenizer {
@@ -27,6 +28,7 @@
   CTokenizer();
   ~CTokenizer();
   bool OpenYaml(const char* sz_yamlfile);
   bool OpenYaml(const char* sz_yamlfile, const char* token_file);
   void ReadYaml(const YAML::Node& node);
   vector<string> Id2String(vector<int> input);
   vector<int> String2Ids(vector<string> input);