嘉渊
2023-06-14 adb8997b8023776ad1389ca8e9adcbaa1de4821e
funasr/runtime/onnxruntime/src/tokenizer.h
@@ -6,6 +6,7 @@
#pragma once
#include <yaml-cpp/yaml.h>
namespace funasr {
class CTokenizer {
private:
@@ -31,3 +32,5 @@
   void Tokenize(const char* str_info, vector<string>& str_out, vector<int>& id_out);
};
} // namespace funasr