funasr sdk

游雁

2023-07-05 61c24582f9483e7b4330b8a92e634110a98424e1

 funasr/datasets/large_datasets/build_dataloader.py

@@ -6,7 +6,6 @@

import sentencepiece as spm
from torch.utils.data import DataLoader
from typeguard import check_argument_types

from funasr.datasets.large_datasets.dataset import Dataset
from funasr.iterators.abs_iter_factory import AbsIterFactory
@@ -43,7 +42,6 @@

class SentencepiecesTokenizer(AbsTokenizer):
    def __init__(self, model: Union[Path, str]):
        assert check_argument_types()
        self.model = str(model)
        self.sp = None