kongdeqiang
2026-10-14 9f9e043849b6f497e00399900ff234cf097eba82
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
package com.custom.webui.config;
 
import lombok.extern.slf4j.Slf4j;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;
 
import java.util.concurrent.ExecutorService;
import java.util.concurrent.ThreadPoolExecutor;
 
/**
 * SSE 与异步任务配置。
 *
 * <p><b>为什么需要独立线程池?</b>
 * SSE 的推送线程会被阻塞在「读取 LLM 流」上,单次对话可能持续数分钟。
 * 如果复用 Spring MVC 的默认异步执行器或 Tomcat 工作线程,
 * 并发几十个对话就会把线程池打满,导致整个服务不可用。
 * 这里给 SSE 单独划分线程池,实现故障隔离。
 *
 * <p>队列满时采用 {@link ThreadPoolExecutor.CallerRunsPolicy}:
 * 由调用线程(即 Tomcat 请求线程)直接执行,产生自然的背压,
 * 比静默丢弃任务导致前端一直转圈更可控。
 */
@Slf4j
@Configuration
public class SseConfig {
 
    /**
     * SSE 流式对话专用执行器的<b>实际 Bean</b>。
     *
     * <p><b>为什么注入的是 JDK 的 {@link ThreadPoolExecutor} 而不是
     * Spring 的 {@code ThreadPoolTaskExecutor}?</b>
     *
     * <p>调用方需要在客户端断连时 {@code Future.cancel(true)} 来中断生成线程 ——
     * 这是防 SSE 线程泄漏的关键动作,而拿 Future 就必须有 {@code ExecutorService}。
     *
     * <p>但 Spring 的 {@code ThreadPoolTaskExecutor} <b>只实现 {@code Executor},
     * 并不实现 {@code ExecutorService}</b>(它是对 JDK 线程池的包装,
     * 自己没实现 submit/shutdown 等方法)。因此常见写法
     * {@code ((ExecutorService) taskExecutor).submit(...)} 会在运行期直接抛
     * ClassCastException。
     *
     * <p>正确做法是交出底层真正实现了 {@code ExecutorService} 的线程池实例:
     * {@code ThreadPoolTaskExecutor#getThreadPoolExecutor()}。
     * 这样既保留了 Spring 的生命周期管理(优雅停机等),
     * 又拿到了 submit / Future 能力。
     */
    @Bean(name = "sseExecutor")
    public ExecutorService sseExecutor() {
        ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor();
        taskExecutor.setCorePoolSize(8);
        taskExecutor.setMaxPoolSize(32);
        taskExecutor.setQueueCapacity(200);
        taskExecutor.setKeepAliveSeconds(120);
        taskExecutor.setThreadNamePrefix("sse-chat-");
        // 队列满时由调用线程(Tomcat 请求线程)执行,形成自然背压,
        // 比静默丢弃任务导致前端一直转圈更可控
        taskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        // 优雅停机:等待正在进行的流式对话写完,避免消息半截入库
        taskExecutor.setWaitForTasksToCompleteOnShutdown(true);
        taskExecutor.setAwaitTerminationSeconds(30);
        taskExecutor.initialize();
 
        ExecutorService executorService = taskExecutor.getThreadPoolExecutor();
        log.info("SSE 线程池已初始化 core=8 max=32 queue=200(类型 {})",
                executorService.getClass().getSimpleName());
        return executorService;
    }
}