Dev gzf exp (#1654)

zhifu gao

2024-04-24 861147c7308b91068ffa02724fdf74ee623a909e

 fun_text_processing/text_normalization/token_parser.py

@@ -1,5 +1,3 @@


import string
from collections import OrderedDict
from typing import Dict, List, Union
@@ -76,9 +74,9 @@
        if self.char == ":":
            self.parse_char(":")
            self.parse_ws()
            self.parse_char("\"")
            self.parse_char('"')
            value_string = self.parse_string_value()
            self.parse_char("\"")
            self.parse_char('"')
            return value_string
        elif self.char == "{":
            d = OrderedDict()
@@ -147,7 +145,7 @@
        # assert self.char not in string.whitespace and self.char != EOS
        assert self.char != EOS
        l = []
        while self.char != "\"" or self.text[self.index + 1] != " ":
        while self.char != '"' or self.text[self.index + 1] != " ":
            l.append(self.char)
            if not self.read():
                raise ValueError()