package com.custom.webui.config;
|
|
import lombok.extern.slf4j.Slf4j;
|
import org.springframework.context.annotation.Bean;
|
import org.springframework.context.annotation.Configuration;
|
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;
|
|
import java.util.concurrent.ExecutorService;
|
import java.util.concurrent.ThreadPoolExecutor;
|
|
/**
|
* SSE 与异步任务配置。
|
*
|
* <p><b>为什么需要独立线程池?</b>
|
* SSE 的推送线程会被阻塞在「读取 LLM 流」上,单次对话可能持续数分钟。
|
* 如果复用 Spring MVC 的默认异步执行器或 Tomcat 工作线程,
|
* 并发几十个对话就会把线程池打满,导致整个服务不可用。
|
* 这里给 SSE 单独划分线程池,实现故障隔离。
|
*
|
* <p>队列满时采用 {@link ThreadPoolExecutor.CallerRunsPolicy}:
|
* 由调用线程(即 Tomcat 请求线程)直接执行,产生自然的背压,
|
* 比静默丢弃任务导致前端一直转圈更可控。
|
*/
|
@Slf4j
|
@Configuration
|
public class SseConfig {
|
|
/**
|
* SSE 流式对话专用执行器的<b>实际 Bean</b>。
|
*
|
* <p><b>为什么注入的是 JDK 的 {@link ThreadPoolExecutor} 而不是
|
* Spring 的 {@code ThreadPoolTaskExecutor}?</b>
|
*
|
* <p>调用方需要在客户端断连时 {@code Future.cancel(true)} 来中断生成线程 ——
|
* 这是防 SSE 线程泄漏的关键动作,而拿 Future 就必须有 {@code ExecutorService}。
|
*
|
* <p>但 Spring 的 {@code ThreadPoolTaskExecutor} <b>只实现 {@code Executor},
|
* 并不实现 {@code ExecutorService}</b>(它是对 JDK 线程池的包装,
|
* 自己没实现 submit/shutdown 等方法)。因此常见写法
|
* {@code ((ExecutorService) taskExecutor).submit(...)} 会在运行期直接抛
|
* ClassCastException。
|
*
|
* <p>正确做法是交出底层真正实现了 {@code ExecutorService} 的线程池实例:
|
* {@code ThreadPoolTaskExecutor#getThreadPoolExecutor()}。
|
* 这样既保留了 Spring 的生命周期管理(优雅停机等),
|
* 又拿到了 submit / Future 能力。
|
*/
|
@Bean(name = "sseExecutor")
|
public ExecutorService sseExecutor() {
|
ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor();
|
taskExecutor.setCorePoolSize(8);
|
taskExecutor.setMaxPoolSize(32);
|
taskExecutor.setQueueCapacity(200);
|
taskExecutor.setKeepAliveSeconds(120);
|
taskExecutor.setThreadNamePrefix("sse-chat-");
|
// 队列满时由调用线程(Tomcat 请求线程)执行,形成自然背压,
|
// 比静默丢弃任务导致前端一直转圈更可控
|
taskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
|
// 优雅停机:等待正在进行的流式对话写完,避免消息半截入库
|
taskExecutor.setWaitForTasksToCompleteOnShutdown(true);
|
taskExecutor.setAwaitTerminationSeconds(30);
|
taskExecutor.initialize();
|
|
ExecutorService executorService = taskExecutor.getThreadPoolExecutor();
|
log.info("SSE 线程池已初始化 core=8 max=32 queue=200(类型 {})",
|
executorService.getClass().getSimpleName());
|
return executorService;
|
}
|
}
|