zhifu gao
2023-03-31 2a69e1984b143cd9e5f9c1d05071a7ef27f27a46
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
 
#ifndef VOCAB_H
#define VOCAB_H
 
#include <stdint.h>
#include <string>
#include <vector>
using namespace std;
 
class Vocab {
  private:
    vector<string> vocab;
    bool isChinese(string ch);
    bool isEnglish(string ch);
    void loadVocabFromYaml(const char* filename);
 
  public:
    Vocab(const char *filename);
    ~Vocab();
    int size();
    string vector2string(vector<int> in);
    string vector2stringV2(vector<int> in);
};
 
#endif