| | |
| | | # 上下文最多携带的历史消息条数(条数上限,非 token 上限) |
| | | history-limit: 20 |
| | | # 整个 prompt 的字符预算。超出时必须由后端按优先级裁剪 —— |
| | | # 否则 Ollama 会从开头静默截断,把最前面的 system 消息 |
| | | # 否则模型服务会从开头静默截断,把最前面的 system 消息 |
| | | #(RAG 资料 / 图片 OCR 文字)丢掉,表现为「模型没看到我给的图片」。 |
| | | # 中文场景 1 字符≈1 token,与 num-ctx=8192 配套取 4000。 |
| | | context-char-budget: 4000 |
| | | # |
| | | # ⚠️ 这个值要**按模型的上下文窗口**来定,中文场景 1 字符 ≈ 1 token: |
| | | # 预算 ≤ 窗口 - 输出上限(max-tokens) - 余量 |
| | | # |
| | | # 本项目当前用的是本地大窗口模型(vLLM,max_model_len=133120), |
| | | # 输出上限 8192,因此 16000 非常保守、完全安全。 |
| | | # 实测踩过的坑:这个值一度只有 4000,而模型的长回答动辄 4000~9000 字, |
| | | # 结果「上一条回答」本身就把预算撑爆,历史对话整段进不去 —— |
| | | # 用户看到的现象是「每轮对话都不记得上文」。 |
| | | # (现在即使遇到超长消息也会截取摘要而不是整段丢弃, |
| | | # 但预算给小了,模型能看到的上下文终究有限。) |
| | | # |
| | | # 若改用 Ollama 且 num_ctx=8192,请改回 4000 左右, |
| | | # 或把 num_ctx 一起调大(如 32768 → 预算 20000)。 |
| | | context-char-budget: 16000 |
| | | # 单个部分(图片文字 / 知识库资料)各自的上限,防止某一部分独占预算 |
| | | per-part-char-limit: 2000 |
| | | |