package com.custom.webui.service.impl; import com.custom.webui.config.props.LlmProperties; import com.custom.webui.service.LlmService; import lombok.extern.slf4j.Slf4j; import org.springframework.boot.autoconfigure.condition.ConditionalOnProperty; import org.springframework.stereotype.Service; import java.util.List; /** * 模拟 LLM 实现,用于在没有 Ollama 的环境下验证端到端链路。 * *

启用方式:{@code webui.llm.provider=mock}(smoke profile 默认开启)。 * *

它不是「假数据占位」,而是一个有价值的测试工具: *

*/ @Slf4j @Service @ConditionalOnProperty(name = "webui.llm.provider", havingValue = "mock") public class MockLlmService implements LlmService { private final LlmProperties properties; public MockLlmService(LlmProperties properties) { this.properties = properties; log.warn("LLM 实现: Mock —— 当前不会真正调用大模型,仅用于链路验证。" + "如需真实对话请设置 webui.llm.provider=ollama"); } @Override public void streamChat(List messages, LlmOptions options, TokenConsumer consumer) { String userInput = messages.stream() .filter(m -> "user".equals(m.role())) .reduce((first, second) -> second) .map(LlmMessage::content) // 截断用户输入:重新生成时历史会带上整段上文, // 若不截断,每次重新生成回复都会比上次更长,长度呈平方级增长, // 让本地测试变得非常慢。 .map(content -> abbreviate(content, 200)) .orElse("(空输入)"); boolean hasRagContext = messages.stream() .anyMatch(m -> "system".equals(m.role()) && m.content().contains("参考资料")); String reply = """ 【Mock 模式回复】当前后端未连接真实大模型,这条内容由本地模拟器生成,用于验证 \ SSE 流式链路、消息落库与消息树渲染是否正常。 收到你的问题:%s 当前上下文统计:共 %d 条消息,模型参数 model=%s, temperature=%s, topP=%s。 %s 要接入真实模型,请执行: 1. 安装 Ollama 并执行 OLLAMA_HOST=0.0.0.0 ollama serve 2. ollama pull qwen2.5:7b 3. 把配置 webui.llm.provider 改为 ollama 后重启后端 """.formatted( userInput, messages.size(), options != null && options.modelName() != null ? options.modelName() : defaultModel(), options != null && options.temperature() != null ? options.temperature() : "默认", options != null && options.topP() != null ? options.topP() : "默认", hasRagContext ? "已检测到 RAG 参考资料注入(说明知识库检索链路生效)。" : "本次未注入 RAG 参考资料。"); // 按字符切块,模拟真实模型逐 token 输出的节奏 int chunkSize = 2; for (int i = 0; i < reply.length(); i += chunkSize) { String chunk = reply.substring(i, Math.min(i + chunkSize, reply.length())); consumer.accept(chunk, false); try { // 25ms/块 → 约 80 字符/秒,接近真实模型的打字观感 Thread.sleep(25); } catch (InterruptedException e) { // 前端断开连接会中断本线程,属于正常流程,恢复中断标记后退出 Thread.currentThread().interrupt(); log.debug("Mock 流式输出被中断(客户端可能已断开)"); return; } } } @Override public String complete(List messages, LlmOptions options) { // 非流式同样返回可识别内容,方便测试标题生成 String userInput = messages.stream() .filter(m -> "user".equals(m.role())) .reduce((first, second) -> second) .map(LlmMessage::content) .orElse("新对话"); return abbreviate(userInput.replaceAll("\\s+", " ").trim(), 30); } @Override public String defaultModel() { return "mock-model"; } private String abbreviate(String s, int max) { if (s == null) { return ""; } return s.length() <= max ? s : s.substring(0, max) + "..."; } }