Merge pull request #427 from alibaba-damo-academy/dev_gflags

Lizerui9926

2023-04-26 b78d47f1efb3d0662fce1b8d45a9eb11b3caef02

 funasr/runtime/onnxruntime/src/tokenizer.cpp

@@ -1,4 +1,9 @@
 #include "precomp.h"
 /**
 * Copyright FunASR (https://github.com/alibaba-damo-academy/FunASR). All Rights Reserved.
 * MIT License  (https://opensource.org/licenses/MIT)
*/

#include "precomp.h"

CTokenizer::CTokenizer(const char* sz_yamlfile):m_ready(false)
{
@@ -24,15 +29,20 @@
      }
   }
   if (node.IsScalar()) {//�DZ�����
      cout << node.as<string>() << endl;
      LOG(INFO) << node.as<string>();
   }
}

bool CTokenizer::OpenYaml(const char* sz_yamlfile)
{
   YAML::Node m_Config = YAML::LoadFile(sz_yamlfile);
   if (m_Config.IsNull())
      return false;
   YAML::Node m_Config;
   try{
      m_Config = YAML::LoadFile(sz_yamlfile);
   }catch(exception const &e){
        LOG(INFO) << "Error loading file, yaml file error or not exist.";
        exit(-1);
    }

   try
   {
      auto Tokens = m_Config["token_list"];
@@ -61,7 +71,7 @@
      }
   }
   catch (YAML::BadFile& e) {
      std::cout << "read error!" << std::endl;
      LOG(ERROR) << "Read error!";
      return  false;
   }
   m_ready = true;