Merge pull request #473 from alibaba-damo-academy/dev_smohan

jmwang66

2023-05-09 8dab6d184a034ca86eafa644ea0d2100aadfe27d

 funasr/runtime/onnxruntime/src/tokenizer.cpp

@@ -1,11 +1,21 @@
 #include "precomp.h"
 /**
 * Copyright FunASR (https://github.com/alibaba-damo-academy/FunASR). All Rights Reserved.
 * MIT License  (https://opensource.org/licenses/MIT)
*/

#include "precomp.h"

namespace funasr {
CTokenizer::CTokenizer(const char* sz_yamlfile):m_ready(false)
{
   OpenYaml(sz_yamlfile);
}

CTokenizer::CTokenizer():m_ready(false)
{
}

CTokenizer::~CTokenizer()
{
}

@@ -24,15 +34,20 @@
      }
   }
   if (node.IsScalar()) {//�DZ�����
      cout << node.as<string>() << endl;
      LOG(INFO) << node.as<string>();
   }
}

bool CTokenizer::OpenYaml(const char* sz_yamlfile)
{
   YAML::Node m_Config = YAML::LoadFile(sz_yamlfile);
   if (m_Config.IsNull())
      return false;
   YAML::Node m_Config;
   try{
      m_Config = YAML::LoadFile(sz_yamlfile);
   }catch(exception const &e){
        LOG(INFO) << "Error loading file, yaml file error or not exist.";
        exit(-1);
    }

   try
   {
      auto Tokens = m_Config["token_list"];
@@ -61,7 +76,7 @@
      }
   }
   catch (YAML::BadFile& e) {
      std::cout << "read error!" << std::endl;
      LOG(ERROR) << "Read error!";
      return  false;
   }
   m_ready = true;
@@ -206,3 +221,5 @@
   }
   id_out= String2Ids(str_out);
}

} // namespace funasr