funasr sdk

游雁

2023-07-05 748fabf22fee0de834d8cd4a7bec0ba4a456d8c4

 funasr/datasets/large_datasets/build_dataloader.py

@@ -6,7 +6,6 @@

import sentencepiece as spm
from torch.utils.data import DataLoader
from typeguard import check_argument_types

from funasr.datasets.large_datasets.dataset import Dataset
from funasr.iterators.abs_iter_factory import AbsIterFactory
@@ -43,7 +42,6 @@

class SentencepiecesTokenizer(AbsTokenizer):
    def __init__(self, model: Union[Path, str]):
        assert check_argument_types()
        self.model = str(model)
        self.sp = None