add lora finetune code

haoneng.lhn

2023-07-20 3e8159e5b0f6e7e96d4e6ca1f4b4d8ccb151ace5

 funasr/text/build_tokenizer.py

@@ -2,7 +2,6 @@
from typing import Iterable
from typing import Union

from typeguard import check_argument_types

from funasr.text.abs_tokenizer import AbsTokenizer
from funasr.text.char_tokenizer import CharTokenizer
@@ -21,7 +20,6 @@
    g2p_type: str = None,
) -> AbsTokenizer:
    """A helper function to instantiate Tokenizer"""
    assert check_argument_types()
    if token_type == "bpe":
        if bpemodel is None:
            raise ValueError('bpemodel is required if token_type = "bpe"')