zhaomingwork
2023-05-19 b63e73ae4f5df9d4ed9fb0bee12ac2cc09d7f523
funasr/runtime/onnxruntime/src/tokenizer.h
@@ -6,6 +6,7 @@
#pragma once
#include <yaml-cpp/yaml.h>
namespace funasr {
class CTokenizer {
private:
@@ -17,6 +18,7 @@
   CTokenizer(const char* sz_yamlfile);
   CTokenizer();
   ~CTokenizer();
   bool OpenYaml(const char* sz_yamlfile);
   void ReadYaml(const YAML::Node& node);
   vector<string> Id2String(vector<int> input);
@@ -30,3 +32,5 @@
   void Tokenize(const char* str_info, vector<string>& str_out, vector<int>& id_out);
};
} // namespace funasr