嘉渊
2023-05-16 94a4dbba3d1f766001f9b40559efe1f76f9c108d
funasr/runtime/onnxruntime/src/tokenizer.h
@@ -6,6 +6,7 @@
#pragma once
#include <yaml-cpp/yaml.h>
namespace funasr {
class CTokenizer {
private:
@@ -31,3 +32,5 @@
   void Tokenize(const char* str_info, vector<string>& str_out, vector<int>& id_out);
};
} // namespace funasr