游雁
2024-02-19 94de39dde2e616a01683c518023d0fab72b4e103
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
// See www.openfst.org for extensive documentation on this weighted
// finite-state transducer library.
 
#ifndef FST_EXTENSIONS_SPECIAL_PHI_FST_H_
#define FST_EXTENSIONS_SPECIAL_PHI_FST_H_
 
#include <memory>
#include <string>
 
#include <fst/const-fst.h>
#include <fst/matcher-fst.h>
#include <fst/matcher.h>
 
DECLARE_int64(phi_fst_phi_label);
DECLARE_bool(phi_fst_phi_loop);
DECLARE_string(phi_fst_rewrite_mode);
 
namespace fst {
namespace internal {
 
template <class Label>
class PhiFstMatcherData {
 public:
  PhiFstMatcherData(
      Label phi_label = FLAGS_phi_fst_phi_label,
      bool phi_loop = FLAGS_phi_fst_phi_loop,
      MatcherRewriteMode rewrite_mode = RewriteMode(FLAGS_phi_fst_rewrite_mode))
      : phi_label_(phi_label),
        phi_loop_(phi_loop),
        rewrite_mode_(rewrite_mode) {}
 
  PhiFstMatcherData(const PhiFstMatcherData &data)
      : phi_label_(data.phi_label_),
        phi_loop_(data.phi_loop_),
        rewrite_mode_(data.rewrite_mode_) {}
 
  static PhiFstMatcherData<Label> *Read(std::istream &istrm,
                                        const FstReadOptions &read) {
    auto *data = new PhiFstMatcherData<Label>();
    ReadType(istrm, &data->phi_label_);
    ReadType(istrm, &data->phi_loop_);
    int32 rewrite_mode;
    ReadType(istrm, &rewrite_mode);
    data->rewrite_mode_ = static_cast<MatcherRewriteMode>(rewrite_mode);
    return data;
  }
 
  bool Write(std::ostream &ostrm, const FstWriteOptions &opts) const {
    WriteType(ostrm, phi_label_);
    WriteType(ostrm, phi_loop_);
    WriteType(ostrm, static_cast<int32>(rewrite_mode_));
    return !ostrm ? false : true;
  }
 
  Label PhiLabel() const { return phi_label_; }
 
  bool PhiLoop() const { return phi_loop_; }
 
  MatcherRewriteMode RewriteMode() const { return rewrite_mode_; }
 
 private:
  static MatcherRewriteMode RewriteMode(const string &mode) {
    if (mode == "auto") return MATCHER_REWRITE_AUTO;
    if (mode == "always") return MATCHER_REWRITE_ALWAYS;
    if (mode == "never") return MATCHER_REWRITE_NEVER;
    LOG(WARNING) << "PhiFst: Unknown rewrite mode: " << mode << ". "
                 << "Defaulting to auto.";
    return MATCHER_REWRITE_AUTO;
  }
 
  Label phi_label_;
  bool phi_loop_;
  MatcherRewriteMode rewrite_mode_;
};
 
}  // namespace internal
 
constexpr uint8 kPhiFstMatchInput = 0x01;   // Input matcher is PhiMatcher.
constexpr uint8 kPhiFstMatchOutput = 0x02;  // Output matcher is PhiMatcher.
 
template <class M, uint8 flags = kPhiFstMatchInput | kPhiFstMatchOutput>
class PhiFstMatcher : public PhiMatcher<M> {
 public:
  using FST = typename M::FST;
  using Arc = typename M::Arc;
  using StateId = typename Arc::StateId;
  using Label = typename Arc::Label;
  using Weight = typename Arc::Weight;
  using MatcherData = internal::PhiFstMatcherData<Label>;
 
  enum : uint8 { kFlags = flags };
 
  // This makes a copy of the FST.
  PhiFstMatcher(const FST &fst, MatchType match_type,
      std::shared_ptr<MatcherData> data = std::make_shared<MatcherData>())
      : PhiMatcher<M>(fst, match_type,
                      PhiLabel(match_type, data ? data->PhiLabel()
                                                : MatcherData().PhiLabel()),
                      data ? data->PhiLoop() : MatcherData().PhiLoop(),
                      data ? data->RewriteMode() : MatcherData().RewriteMode()),
        data_(data) {}
 
  // This doesn't copy the FST.
  PhiFstMatcher(const FST *fst, MatchType match_type,
      std::shared_ptr<MatcherData> data = std::make_shared<MatcherData>())
      : PhiMatcher<M>(fst, match_type,
                      PhiLabel(match_type, data ? data->PhiLabel()
                                                : MatcherData().PhiLabel()),
                      data ? data->PhiLoop() : MatcherData().PhiLoop(),
                      data ? data->RewriteMode() : MatcherData().RewriteMode()),
        data_(data) {}
 
  // This makes a copy of the FST.
  PhiFstMatcher(const PhiFstMatcher<M, flags> &matcher, bool safe = false)
      : PhiMatcher<M>(matcher, safe), data_(matcher.data_) {}
 
  PhiFstMatcher<M, flags> *Copy(bool safe = false) const override {
    return new PhiFstMatcher<M, flags>(*this, safe);
  }
 
  const MatcherData *GetData() const { return data_.get(); }
 
  std::shared_ptr<MatcherData> GetSharedData() const { return data_; }
 
 private:
  static Label PhiLabel(MatchType match_type, Label label) {
    if (match_type == MATCH_INPUT && flags & kPhiFstMatchInput) return label;
    if (match_type == MATCH_OUTPUT && flags & kPhiFstMatchOutput) return label;
    return kNoLabel;
  }
 
  std::shared_ptr<MatcherData> data_;
};
 
extern const char phi_fst_type[];
extern const char input_phi_fst_type[];
extern const char output_phi_fst_type[];
 
using StdPhiFst =
    MatcherFst<ConstFst<StdArc>, PhiFstMatcher<SortedMatcher<ConstFst<StdArc>>>,
               phi_fst_type>;
 
using LogPhiFst =
    MatcherFst<ConstFst<LogArc>, PhiFstMatcher<SortedMatcher<ConstFst<LogArc>>>,
               phi_fst_type>;
 
using Log64PhiFst = MatcherFst<ConstFst<Log64Arc>,
                               PhiFstMatcher<SortedMatcher<ConstFst<Log64Arc>>>,
                               input_phi_fst_type>;
 
using StdInputPhiFst =
    MatcherFst<ConstFst<StdArc>, PhiFstMatcher<SortedMatcher<ConstFst<StdArc>>,
                                               kPhiFstMatchInput>,
               input_phi_fst_type>;
 
using LogInputPhiFst =
    MatcherFst<ConstFst<LogArc>, PhiFstMatcher<SortedMatcher<ConstFst<LogArc>>,
                                               kPhiFstMatchInput>,
               input_phi_fst_type>;
 
using Log64InputPhiFst = MatcherFst<
    ConstFst<Log64Arc>,
    PhiFstMatcher<SortedMatcher<ConstFst<Log64Arc>>, kPhiFstMatchInput>,
    input_phi_fst_type>;
 
using StdOutputPhiFst =
    MatcherFst<ConstFst<StdArc>, PhiFstMatcher<SortedMatcher<ConstFst<StdArc>>,
                                               kPhiFstMatchOutput>,
               output_phi_fst_type>;
 
using LogOutputPhiFst =
    MatcherFst<ConstFst<LogArc>, PhiFstMatcher<SortedMatcher<ConstFst<LogArc>>,
                                               kPhiFstMatchOutput>,
               output_phi_fst_type>;
 
using Log64OutputPhiFst = MatcherFst<
    ConstFst<Log64Arc>,
    PhiFstMatcher<SortedMatcher<ConstFst<Log64Arc>>, kPhiFstMatchOutput>,
    output_phi_fst_type>;
 
}  // namespace fst
 
#endif  // FST_EXTENSIONS_SPECIAL_PHI_FST_H_