funasr2

游雁

2023-12-07 fc246ab820cf57ba08afbe3cbeb4d471036eb83c

funasr2

 funasr/tokenizer/abs_tokenizer.py

@@ -21,11 +21,12 @@


class BaseTokenizer(ABC):
    def __init__(self, token_list: Union[Path, str, Iterable[str]],
    def __init__(self, token_list: Union[Path, str, Iterable[str]]=None,
                 unk_symbol: str = "<unk>",
                 **kwargs,
                 ):
        
        if token_list is not None:
        if isinstance(token_list, (Path, str)):
            token_list = Path(token_list)
            self.token_list_repr = str(token_list)

 funasr/tokenizer/build_tokenizer.py

@@ -29,7 +29,7 @@
    delimiter: str = None,
    g2p_type: str = None,
    **kwargs,
) -> AbsTokenizer:
):
    """A helper function to instantiate Tokenizer"""
    if token_type == "bpe":
        if bpemodel is None: