优化speakid和语句匹配逻辑，部分解决speakid不从0递增问题 (#1870)

wuhongsheng

2024-07-05 3a4281f4959534b1bf5d01acf0085f4f8e6f2ec8

 funasr/bin/tokenize_text.py

@@ -133,7 +133,7 @@

    if not write_vocabulary:
        return
    

    ## FIXME
    ## del duplicate add_symbols in counter
    for symbol_and_id in add_symbol:
@@ -197,12 +197,8 @@
        help="The verbose level of logging",
    )

    parser.add_argument(
        "--input", "-i", required=True, help="Input text. - indicates sys.stdin"
    )
    parser.add_argument(
        "--output", "-o", required=True, help="Output text. - indicates sys.stdout"
    )
    parser.add_argument("--input", "-i", required=True, help="Input text. - indicates sys.stdin")
    parser.add_argument("--output", "-o", required=True, help="Output text. - indicates sys.stdout")
    parser.add_argument(
        "--field",
        "-f",