update text postprocess

jmwang66

2022-12-23 d653df71cb5e6dd5acc321ead66d31c6ab036527

 funasr/utils/postprocess_utils.py

@@ -12,10 +12,8 @@

def isAllChinese(word: Union[List[Any], str]):
    word_lists = []
    table = str.maketrans('', '', string.punctuation)
    for i in word:
        cur = i.translate(table)
        cur = cur.replace(' ', '')
        cur = i.replace(' ', '')
        cur = cur.replace('</s>', '')
        cur = cur.replace('<s>', '')
        word_lists.append(cur)
@@ -31,10 +29,8 @@

def isAllAlpha(word: Union[List[Any], str]):
    word_lists = []
    table = str.maketrans('', '', string.punctuation)
    for i in word:
        cur = i.translate(table)
        cur = cur.replace(' ', '')
        cur = i.replace(' ', '')
        cur = cur.replace('</s>', '')
        cur = cur.replace('<s>', '')
        word_lists.append(cur)
@@ -43,7 +39,7 @@
        return False

    for ch in word_lists:
        if ch.isalpha() is False:
        if ch.isalpha() is False and ch != "'":
            return False
        elif ch.isalpha() is True and isChinese(ch) is True:
            return False