kongdeqiang
2026-10-14 9f9e043849b6f497e00399900ff234cf097eba82
src/main/resources/application.yml
@@ -189,10 +189,23 @@
    # 上下文最多携带的历史消息条数(条数上限,非 token 上限)
    history-limit: 20
    # 整个 prompt 的字符预算。超出时必须由后端按优先级裁剪 ——
    # 否则 Ollama 会从开头静默截断,把最前面的 system 消息
    # 否则模型服务会从开头静默截断,把最前面的 system 消息
    #(RAG 资料 / 图片 OCR 文字)丢掉,表现为「模型没看到我给的图片」。
    # 中文场景 1 字符≈1 token,与 num-ctx=8192 配套取 4000。
    context-char-budget: 4000
    #
    # ⚠️ 这个值要**按模型的上下文窗口**来定,中文场景 1 字符 ≈ 1 token:
    #     预算 ≤ 窗口 - 输出上限(max-tokens) - 余量
    #
    #   本项目当前用的是本地大窗口模型(vLLM,max_model_len=133120),
    #   输出上限 8192,因此 16000 非常保守、完全安全。
    #   实测踩过的坑:这个值一度只有 4000,而模型的长回答动辄 4000~9000 字,
    #   结果「上一条回答」本身就把预算撑爆,历史对话整段进不去 ——
    #   用户看到的现象是「每轮对话都不记得上文」。
    #   (现在即使遇到超长消息也会截取摘要而不是整段丢弃,
    #     但预算给小了,模型能看到的上下文终究有限。)
    #
    #   若改用 Ollama 且 num_ctx=8192,请改回 4000 左右,
    #   或把 num_ctx 一起调大(如 32768 → 预算 20000)。
    context-char-budget: 16000
    # 单个部分(图片文字 / 知识库资料)各自的上限,防止某一部分独占预算
    per-part-char-limit: 2000