Merge pull request #185 from RapidAI/main

zhifu gao

2023-03-03 43204f038e8d11acb97e8938022251a46ce9eaf5

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
 
#ifndef VOCAB_H
#define VOCAB_H
 
#include <stdint.h>
#include <string>
#include <vector>
using namespace std;
 
class Vocab {
  private:
    vector<string> vocab;
    bool isChinese(string ch);
    bool isEnglish(string ch);
 
  public:
    Vocab(const char *filename);
    ~Vocab();
    int size();
    string vector2string(vector<int> in);
    string vector2stringV2(vector<int> in);
};
 
#endif