paraformer vad punc

游雁

2023-05-11 9d6aad2a442f96e3094f076f998766697eecd6bd

 funasr/runtime/onnxruntime/src/tokenizer.cpp

@@ -5,12 +5,17 @@

#include "precomp.h"

namespace funasr {
CTokenizer::CTokenizer(const char* sz_yamlfile):m_ready(false)
{
   OpenYaml(sz_yamlfile);
}

CTokenizer::CTokenizer():m_ready(false)
{
}

CTokenizer::~CTokenizer()
{
}

@@ -216,3 +221,5 @@
   }
   id_out= String2Ids(str_out);
}

} // namespace funasr