Xuning Tan
2025-10-01 8c6d1642f5fbf1d55edb324e35e9fa6e89da25a1
funasr/tokenizer/sentencepiece_tokenizer.py
@@ -49,3 +49,9 @@
    def get_vocab_size(self):
        return self.sp.GetPieceSize()
    def ids2tokens(self, *args, **kwargs):
        return self.decode(*args, **kwargs)
    def tokens2ids(self, *args, **kwargs):
        return self.encode(*args, **kwargs)