FUNASR训练
blame | 历史 | 补丁 | 提交 | 提交对比 | ignore whitespace
Xuning Tan
2025-10-01 8c6d1642f5fbf1d55edb324e35e9fa6e89da25a1 
 runtime/onnxruntime/src/tokenizer.h


@@ -8,6 +8,7 @@


#include "cppjieba/DictTrie.hpp"


#include "cppjieba/HMMModel.hpp"


#include "cppjieba/Jieba.hpp"


#include "nlohmann/json.hpp"




namespace funasr {


class CTokenizer {


@@ -27,6 +28,7 @@


   CTokenizer();


   ~CTokenizer();


   bool OpenYaml(const char* sz_yamlfile);


   bool OpenYaml(const char* sz_yamlfile, const char* token_file);


   void ReadYaml(const YAML::Node& node);


   vector<string> Id2String(vector<int> input);


   vector<int> String2Ids(vector<string> input);