解决python ws服务针对尾部非人声录音无结束标识返回的问题 (#2102)

wusong

2024-09-25 d20c030e5b75306dd67e8fe9924d5d94eac1bf30

 funasr/tokenizer/sentencepiece_tokenizer.py

@@ -49,3 +49,9 @@

    def get_vocab_size(self):
        return self.sp.GetPieceSize()

    def ids2tokens(self, *args, **kwargs):
        return self.decode(*args, **kwargs)

    def tokens2ids(self, *args, **kwargs):
        return self.encode(*args, **kwargs)