package com.custom.webui.config; import lombok.extern.slf4j.Slf4j; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor; import java.util.concurrent.ExecutorService; import java.util.concurrent.ThreadPoolExecutor; /** * SSE 与异步任务配置。 * *

为什么需要独立线程池? * SSE 的推送线程会被阻塞在「读取 LLM 流」上,单次对话可能持续数分钟。 * 如果复用 Spring MVC 的默认异步执行器或 Tomcat 工作线程, * 并发几十个对话就会把线程池打满,导致整个服务不可用。 * 这里给 SSE 单独划分线程池,实现故障隔离。 * *

队列满时采用 {@link ThreadPoolExecutor.CallerRunsPolicy}: * 由调用线程(即 Tomcat 请求线程)直接执行,产生自然的背压, * 比静默丢弃任务导致前端一直转圈更可控。 */ @Slf4j @Configuration public class SseConfig { /** * SSE 流式对话专用执行器的实际 Bean。 * *

为什么注入的是 JDK 的 {@link ThreadPoolExecutor} 而不是 * Spring 的 {@code ThreadPoolTaskExecutor}? * *

调用方需要在客户端断连时 {@code Future.cancel(true)} 来中断生成线程 —— * 这是防 SSE 线程泄漏的关键动作,而拿 Future 就必须有 {@code ExecutorService}。 * *

但 Spring 的 {@code ThreadPoolTaskExecutor} 只实现 {@code Executor}, * 并不实现 {@code ExecutorService}(它是对 JDK 线程池的包装, * 自己没实现 submit/shutdown 等方法)。因此常见写法 * {@code ((ExecutorService) taskExecutor).submit(...)} 会在运行期直接抛 * ClassCastException。 * *

正确做法是交出底层真正实现了 {@code ExecutorService} 的线程池实例: * {@code ThreadPoolTaskExecutor#getThreadPoolExecutor()}。 * 这样既保留了 Spring 的生命周期管理(优雅停机等), * 又拿到了 submit / Future 能力。 */ @Bean(name = "sseExecutor") public ExecutorService sseExecutor() { ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor(); taskExecutor.setCorePoolSize(8); taskExecutor.setMaxPoolSize(32); taskExecutor.setQueueCapacity(200); taskExecutor.setKeepAliveSeconds(120); taskExecutor.setThreadNamePrefix("sse-chat-"); // 队列满时由调用线程(Tomcat 请求线程)执行,形成自然背压, // 比静默丢弃任务导致前端一直转圈更可控 taskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy()); // 优雅停机:等待正在进行的流式对话写完,避免消息半截入库 taskExecutor.setWaitForTasksToCompleteOnShutdown(true); taskExecutor.setAwaitTerminationSeconds(30); taskExecutor.initialize(); ExecutorService executorService = taskExecutor.getThreadPoolExecutor(); log.info("SSE 线程池已初始化 core=8 max=32 queue=200(类型 {})", executorService.getClass().getSimpleName()); return executorService; } }