python/FunASR-XL.git

FUNASR训练

update funasr.text -> funasr.tokenizer fix bug export

游雁

2023-11-23 dc682db808eb5f425f0dbed4c5e7feb0a334955f

refs
用户	游雁 <zhifu.gzf@alibaba-inc.com>
	星期四, 十一月 23, 2023 11:43 +0800
提交者	游雁 <zhifu.gzf@alibaba-inc.com>
	星期四, 十一月 23, 2023 11:43 +0800
提交	dc682db808eb5f425f0dbed4c5e7feb0a334955f
目录	d868a6170aa2169705b2934abaff994a02d4b7af 目录 \| zip \| gz
parent	58440d9373b6b9ac6db1615b8c5bfcc848671e93 查看 \| 对比

update funasr.text -> funasr.tokenizer fix bug export

18个文件已修改

1个文件已添加

10 文件已重命名

1个文件已删除

	funasr/bin/asr_infer.py	4 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/bin/build_trainer.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/bin/tokenize_text.py	6 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/bin/tp_infer.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/bin/train.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/datasets/data_sampler.py	54 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/datasets/dataloader_fn.py	53 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/datasets/dataset_jsonl.py	89 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/datasets/large_datasets/build_dataloader.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/datasets/preprocessor.py	6 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/datasets/small_datasets/preprocessor.py	6 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/export/models/__init__.py	6 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/export/models/e2e_asr_conformer.py	69 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/models/frontend/wav_frontend.py	9 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tasks/asr.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tasks/data2vec.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tasks/lm.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tasks/punctuation.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tasks/sa_asr.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tasks/whisper.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tokenizer/__init__.py	对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tokenizer/abs_tokenizer.py	对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tokenizer/build_tokenizer.py	10 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tokenizer/char_tokenizer.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tokenizer/cleaner.py	对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tokenizer/korean_cleaner.py	对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tokenizer/phoneme_tokenizer.py	4 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tokenizer/sentencepiece_tokenizer.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tokenizer/token_id_converter.py	对比 \| 查看 \| 原始文档 \| blame \| 历史
	funasr/tokenizer/word_tokenizer.py	2 ●●●●● 对比 \| 查看 \| 原始文档 \| blame \| 历史