Yabin Li
2023-05-09 7c4a0666c0e2666b5e9b3aac17d74910d8e9b4a1
funasr/runtime/onnxruntime/src/tokenizer.h
@@ -6,6 +6,7 @@
#pragma once
#include <yaml-cpp/yaml.h>
namespace funasr {
class CTokenizer {
private:
@@ -31,3 +32,5 @@
   void Tokenize(const char* str_info, vector<string>& str_out, vector<int>& id_out);
};
} // namespace funasr