| | |
|---|
| | | exit 2 |
|---|
| | | fi |
|---|
| | | |
|---|
| | | ## use_word_lm=false |
|---|
| | | ## # Create word-list for word-LM training |
|---|
| | | ## if ${use_word_lm} && [ "${token_type}" != word ]; then |
|---|
| | | ## echo "Generate word level token_list from ${lm_train_text}" |
|---|
| | | ## python -m funasr.bin.tokenize_text \ |
|---|
| | | ## --token_type word \ |
|---|
| | | ## --input "${lm_train_text}" \ |
|---|
| | | ## --output "${token_list}" \ |
|---|
| | | ## --field 2- \ |
|---|
| | | ## --cleaner "${cleaner}" \ |
|---|
| | | ## --g2p "${g2p}" \ |
|---|
| | | ## --write_vocabulary true \ |
|---|
| | | ## --vocabulary_size "${word_vocab_size}" \ |
|---|
| | | ## --add_symbol "${blank}:0" \ |
|---|
| | | ## --add_symbol "${sos}:1" \ |
|---|
| | | ## --add_symbol "${eos}:2" \ |
|---|
| | | ## --add_symbol "${oov}:-1" |
|---|
| | | ## fi |
|---|
| | | |
|---|
| | | lm_token_list="${token_list}" |
|---|
| | | |
|---|
| | | fi |
|---|
