本文说明服务端推送在单机与集群下的实现差异。WebSocket 规范与容器支持见 Java Web 技术体系,连接与线程模型见 Servlet 容器运行时,长连接在入口层的代理配置见 Nginx 反向代理与负载均衡实践,Netty 与 IO 模型见 IO 模型与 Netty,广播通道可用 Redis 的发布订阅实现,其可靠性与集群形态见 Redis 高可用与集群,需要持久化与确认时改用消息队列,可靠性模型见 消息可靠性与幂等。
一、起源
1.1 HTTP 的请求响应模型不提供推送
HTTP 由客户端发起请求、服务端返回响应,服务端无法主动向客户端发送数据。需要服务端主动通知的场景(消息提醒、协同编辑、行情、任务进度)因此需要额外机制。
四类方式的演进方向是"减少无效请求":
| 方式 | 做法 | 无效请求 |
|---|---|---|
| 短轮询 | 客户端按固定间隔请求 | 大量请求返回无新数据 |
| 长轮询 | 服务端挂起请求直到有数据或超时 | 请求数减少,但仍每次重建连接 |
| SSE | 服务端在同一连接上持续推送事件流 | 无轮询,仅单向推送 |
| WebSocket | 协议升级为全双工 | 无轮询,双向通信 |
1.2 集群带来的根本问题
连接是有状态资源,绑定在建立它的那个节点的内存中。而触发推送的业务请求可能落在任意节点上,两者不一致时会出现:
- 用户在节点 A 建立了连接,业务事件在节点 B 产生,节点 B 无法直接写节点 A 的连接。
- 节点扩容或重启会断开该节点上的全部连接,客户端需要重新建立并重新绑定。
- 需要向"某个用户"或"某个房间"推送时,必须先确定该用户或房间的连接分布在哪些节点上。
这是实时通信在集群下的核心矛盾,与无状态的 HTTP 接口有本质差别:无状态接口可以通过增加节点线性扩容,而连接类服务需要考虑连接的分布与迁移。
1.3 取舍
| 目标 | 需要付出的代价 |
|---|---|
| 弱化连接与节点的绑定 | 引入广播通道或连接注册表,增加一次网络跳数与中间件依赖 |
| 保证消息不丢 | 引入消息存储、序号与确认机制,客户端需要处理补偿逻辑 |
| 保证顺序 | 同一会话内串行处理,牺牲部分并发度 |
| 降低连接成本 | 减少每连接的内存占用与心跳频率,代价是断线发现变慢 |
二、原理
2.1 四类方式的机制对比
| 维度 | 短轮询 | 长轮询 | SSE | WebSocket |
|---|---|---|---|---|
| 通信方向 | 客户端到服务端 | 客户端到服务端 | 服务端到客户端 | 双向 |
| 底层协议 | HTTP | HTTP | HTTP | HTTP 升级后为独立协议 |
| 每次推送是否重建连接 | 是 | 是 | 否 | 否 |
| 服务端资源占用 | 低(无挂起请求) | 高(请求被挂起占用线程或异步上下文) | 中(保持连接) | 中(保持连接) |
| 浏览器端自定义请求头 | 可以 | 可以 | 不可以 | 不可以 |
| 断线重连 | 天然支持 | 天然支持 | 内置重连与断点续传 | 需自行实现 |
| 适用 | 实时性要求低、实现成本优先 | 兼容性优先的临时方案 | 单向通知、进度推送 | 双向交互、高频消息 |
结论:单向推送且希望实现简单时用 SSE;需要双向或高频交互时用 WebSocket;短轮询与长轮询在实时性要求不高或需要兼容老旧环境时仍有位置。
2.2 协议升级过程
WebSocket 建立在 HTTP 之上,握手复用一次 HTTP 请求:
客户端 服务端
| GET /ws HTTP/1.1 |
| Connection: Upgrade |
| Upgrade: websocket |
| Sec-WebSocket-Key: <随机值> |
| Sec-WebSocket-Version: 13 |
|---------------------------------------------->|
| 101 Switching Protocols |
| Upgrade: websocket |
| Sec-WebSocket-Accept: <用于校验的摘要> |
|<----------------------------------------------|
| 此后按 WebSocket 帧格式通信(全双工) |
握手阶段的三个实践结论:
- 中间代理必须放行升级头。反向代理默认按 HTTP/1.0 或短连接处理,需要显式声明升级头与
HTTP/1.1,并放宽读超时,否则连接会在空闲一段时间后被代理断开。 - 浏览器的 WebSocket 接口不允许自定义请求头,因此无法沿用基于
Authorization头的鉴权方式。可行的替代是在查询参数中携带令牌、使用 Cookie,或通过子协议字段传递;令牌出现在 URL 中会进入访问日志,需要额外处理。 - SSE 使用浏览器的
EventSource接口,同样无法自定义请求头,且事件流响应的内容类型固定,需要在响应头中关闭中间层的缓冲,否则消息会被缓冲而无法及时到达。
2.3 连接在集群中的分布
每个连接只存在于一个节点上,因此需要维护两件事:
| 需要维护的信息 | 用途 | 存放位置 |
|---|---|---|
| 连接与用户或设备的映射 | 向指定用户推送 | 节点本地加全局注册表 |
| 用户或房间所在的节点 | 定向转发 | 全局注册表,或通过广播避开 |
映射关系具有时效性:连接断开后必须及时删除,否则会出现"注册表认为在线而实际已断开"的情况,推送被丢弃且无人察觉。因此注册表需要与连接生命周期绑定,并在心跳超时后由独立清理逻辑回收。
2.4 四种集群方案
| 方案 | 机制 | 优点 | 代价 |
|---|---|---|---|
| 粘性路由 | 负载均衡按会话标识把同一用户固定到同一节点 | 无需中间件,实现简单 | 节点故障时该批连接全部断开;负载分布易不均;无法解决"向其他节点上的用户推送" |
| 消息总线广播 | 推送消息发布到总线,所有节点订阅并各自检查本地是否有目标连接 | 实现简单,节点无状态化程度高 | 每次推送广播到全部节点,节点数多时会产生大量无效投递 |
| 一致性哈希定向转发 | 按用户标识哈希确定负责节点,消息只投递到该节点 | 投递量小 | 需要节点间直连与地址发现;节点变更会引起连接迁移 |
| 网关连接注册表 | 由接入层维护全局连接注册表,推送方查询后定向投递 | 投递精确,接入层统一承载连接 | 引入专用组件与单点风险,接入层需要高可用 |
选择依据是节点规模与推送频率:
- 节点数在十以内、推送频率不高时,消息总线广播是最低成本的方案。
- 节点数多或推送频率高时,广播的无效投递成为主要开销,此时结构更接近后者(注册表或定向转发)。
- 粘性路由通常只作为辅助手段,用于缓解单节点上的会话状态问题,不单独作为推送方案。
2.5 广播通道的可靠性差异
广播通道本身的可靠性决定消息是否会丢:
| 通道 | 投递语义 | 断线期间的消息 | 适用 |
|---|---|---|---|
| 发布订阅(无持久化) | 至多一次 | 丢失 | 可容忍丢失的在线通知 |
| 持久化队列或主题 | 至少一次 | 保留,恢复后投递 | 需要补偿的场景 |
| 需要严格不丢 | 由存储加序号实现 | 客户端补拉 | 消息、订单状态等 |
使用无持久化的广播通道时,节点与中间件之间的短暂断连会导致该节点错过消息且无感知,表现为部分用户收不到通知。需要可补偿时必须在应用层引入消息存储与序号机制,而不是依赖广播通道。
2.6 心跳、超时与重连
- 心跳的作用是在连接被中间设备静默中断时及时发现问题。TCP 层不会主动通知应用对端已不可达,只有心跳超时才能判定。
- 心跳间隔必须小于链路上所有代理的空闲超时,否则连接会被代理先行断开而应用无法感知;取值通常是代理超时的三分之一到一半。
- 断线重连必须采用退避并加入随机抖动,否则节点重启后大量客户端会在同一时刻集中重连,形成新的流量峰值。
- 重连后需要重新鉴权与重新注册连接映射,并向服务端报告最后收到的消息位置以补拉缺失消息。
2.7 消息可靠性与顺序
| 目标 | 机制 |
|---|---|
| 不丢 | 会话内序号、客户端确认、服务端保留离线消息、重连后按序号补拉 |
| 不重 | 消息标识去重,客户端按标识丢弃重复消息 |
| 有序 | 同一会话的消息串行处理与投递,跨会话不保证顺序 |
| 可追溯 | 消息持久化,接收方确认后才标记为已投递 |
关键判断:客户端在线时可以通过连接直接投递,但"已投递"与"已处理"是两件事,需要区分确认的语义,否则会出现服务端认为已送达而客户端未实际处理的情况。
2.8 连接容量
| 资源 | 消耗方 | 核对方式 |
|---|---|---|
| 文件句柄 | 每个连接在应用与代理各占一个 | 提升进程句柄上限并核对实际使用量 |
| 内存 | 每连接的缓冲区与应用层的连接对象 | 观察堆内存随连接数增长的斜率 |
| 代理连接数上限 | 反向代理的单进程连接上限 | 核对代理的连接配置与总连接数 |
| 端口 | 代理到应用的连接 | 核对连接复用配置 |
容量评估的方式是先用压测确定单节点可稳定承载的连接数,再按目标连接总量计算节点数并预留余量;连接数的增长是持续的(客户端会不断重连),因此容量需要按峰值而非均值规划。
2.9 SSE 与 WebSocket 的选择
| 判断项 | 选择 |
|---|---|
| 仅服务端到客户端的通知 | SSE |
| 需要客户端高频上行或双向交互 | WebSocket |
| 需要兼容不支持 WebSocket 的环境 | SSE |
| 需要二进制传输 | WebSocket |
| 希望复用 HTTP 的鉴权与缓存体系 | SSE |
| 受浏览器同域连接数限制约束(HTTP/1.1 下并发连接数有限) | WebSocket |
SSE 的额外优势是浏览器内置重连与断点续传(通过最后事件标识),实现成本明显低于自行实现 WebSocket 的心跳与重连;其劣势是单向且连接数受限。
三、实现
3.1 WebSocket 端点与跨节点广播
@Component
public class WebSocketSessionRegistry {
// 本节点持有的连接:用户标识 -> 会话集合(一个用户可能多端在线)
private final Map<String, Set<WebSocketSession>> sessions = new ConcurrentHashMap<>();
public void register(String userId, WebSocketSession session) {
sessions.computeIfAbsent(userId, k -> ConcurrentHashMap.newKeySet()).add(session);
}
public void unregister(String userId, WebSocketSession session) {
sessions.computeIfPresent(userId, (k, set) -> {
set.remove(session);
return set.isEmpty() ? null : set;
});
}
// 只投递给本节点持有的连接;跨节点投递由广播通道完成
public void sendLocal(String userId, String payload) {
Set<WebSocketSession> target = sessions.getOrDefault(userId, Set.of());
for (WebSocketSession session : target) {
if (session.isOpen()) {
session.sendMessage(new TextMessage(payload));
}
}
}
}
@Configuration
public class PushChannelConfig {
// 订阅广播通道:任意节点产生的推送消息在此被所有节点接收
@Bean
public RedisMessageListenerContainer pushListener(RedisConnectionFactory factory,
WebSocketSessionRegistry registry,
ObjectMapper objectMapper) {
RedisMessageListenerContainer container = new RedisMessageListenerContainer();
container.setConnectionFactory(factory);
container.addMessageListener((message, pattern) -> {
PushMessage push = objectMapper.readValue(message.getBody(), PushMessage.class);
// 本节点若无该用户的连接,跳过即可
registry.sendLocal(push.userId(), push.payload());
}, new ChannelTopic("push:broadcast"));
return container;
}
}
@Service
public class PushService {
// 业务侧统一入口:发布到广播通道,不关心用户在哪个节点
public void pushToUser(String userId, String payload) {
PushMessage message = new PushMessage(userId, payload);
redisTemplate.convertAndSend("push:broadcast", objectMapper.writeValueAsString(message));
}
}
要点:广播方案中每个节点都会收到全部消息,因此必须按用户标识先判断是否有本地连接再投递,避免无效处理;节点数量增长后无效投递的比例上升,此时应改为定向投递。
3.2 SSE 实现
@RestController
public class NotificationController {
private final Map<String, SseEmitter> emitters = new ConcurrentHashMap<>();
@GetMapping(value = "/api/notifications/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
public SseEmitter stream(@RequestParam String token) {
String userId = tokenService.verify(token); // 无法使用自定义请求头,令牌经参数传入
// 超时需大于心跳间隔,连接由心跳维持而不是靠超时参数维持
SseEmitter emitter = new SseEmitter(3_600_000L);
emitters.put(userId, emitter);
emitter.onCompletion(() -> emitters.remove(userId));
emitter.onTimeout(() -> emitters.remove(userId));
emitter.onError(e -> emitters.remove(userId));
return emitter;
}
}
# 反向代理必须关闭缓冲,否则事件会被缓冲而无法及时到达
location /api/notifications/stream {
proxy_pass http://backend;
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_buffering off; # 关闭响应缓冲
proxy_cache off; # 关闭缓存
proxy_read_timeout 3600s; # 放宽读超时,配合应用心跳
chunked_transfer_encoding on;
}
3.3 反向代理的升级配置
location /ws/ {
proxy_pass http://websocket_backend;
proxy_http_version 1.1; # HTTP/1.0 不支持升级
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade"; # 传递升级意图
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_read_timeout 3600s; # 大于心跳间隔,避免空闲被断开
proxy_send_timeout 3600s;
}
upstream websocket_backend {
# 长连接会长期占用后端连接,使用最少连接数调度更均衡
least_conn;
server 10.0.0.11:8080;
server 10.0.0.12:8080;
keepalive 32;
}
3.4 心跳与重连
// 应用层心跳:定时向所有本地连接发送,未收到响应或写失败的连接判定为断开
@Scheduled(fixedDelay = 25_000)
public void heartbeat() {
registry.allSessions().forEach(session -> {
try {
session.sendMessage(new PingMessage());
} catch (Exception e) {
registry.closeQuietly(session); // 写失败即视为断开
}
});
}
// 客户端重连:指数退避加随机抖动,避免节点重启后的集中重连
let attempt = 0;
function connect() {
const ws = new WebSocket(url);
ws.onopen = () => { attempt = 0; };
ws.onclose = () => {
const base = Math.min(30000, 1000 * Math.pow(2, attempt++));
const jitter = Math.random() * 1000;
setTimeout(connect, base + jitter);
};
ws.onmessage = (event) => {
// 记录最后收到的事件标识,重连后据此补拉缺失消息
lastEventId = JSON.parse(event.data).id ?? lastEventId;
};
}
connect();
3.5 鉴权与连接管理
| 环节 | 做法 | 注意点 |
|---|---|---|
| 握手鉴权 | 令牌经查询参数、Cookie 或子协议传递 | 令牌进入访问日志与代理日志,需要脱敏或改用短时票据 |
| 连接注册 | 鉴权通过后写入连接映射 | 映射必须与连接生命周期绑定 |
| 权限校验 | 订阅房间或主题时校验权限 | 校验在服务端完成,不能依赖客户端声明 |
| 断开清理 | 监听关闭、错误与超时事件 | 三个事件都要清理,否则映射残留 |
| 强制下线 | 按用户标识关闭其全部连接 | 需要跨节点时通过广播通道下发关闭指令 |
3.6 观测与容量核对
# 当前 WebSocket 连接数(按连接状态统计)
ss -ant state established '( sport = :8080 )' | wc -l
# 应用侧连接映射规模(通过 Actuator 自定义指标或日志输出)
curl -s http://localhost:8081/actuator/metrics/websocket.sessions.active | jq
# 反向代理侧的连接数与升级请求
tail -f /var/log/nginx/access.log | grep -c '101'
# 文件句柄使用量,确认是否接近上限
ls /proc/$(pgrep -f 'java.*application.jar')/fd | wc -l
# 观察心跳超时导致的断开次数(应用日志关键字)
grep -c 'heartbeat timeout\|session closed' /var/log/application/app.log
容量核对的三步:先测单节点稳定承载的连接数,再按目标连接总量计算节点数,最后核对代理与操作系统的文件句柄上限是否覆盖连接总数并留出余量。
3.7 常见问题对照
| 现象 | 常见原因 | 处理方式 |
|---|---|---|
| 连接建立后被代理在几十秒后断开 | 代理读超时小于心跳间隔 | 放宽代理读超时或缩短心跳间隔 |
| SSE 消息延迟到达或成批到达 | 代理或应用开启了响应缓冲 | 关闭代理缓冲与缓存 |
| 本地能推送,多节点部署后部分用户收不到 | 业务请求节点与连接节点不一致,未接入广播通道 | 引入广播通道或连接注册表 |
| 节点重启后集中重连导致流量峰值 | 客户端未退避或退避无抖动 | 加指数退避与随机抖动 |
| 注册表显示在线但推送失败 | 连接已断开而映射未清理 | 在关闭、错误、超时三类事件中统一清理 |
| 跨节点强制下线无效 | 只关闭了本节点连接 | 通过广播通道下发关闭指令 |
| 节点与中间件断连后部分用户收不到通知 | 广播通道无持久化,断连期间消息丢失 | 改用持久化通道或在应用层补拉 |
| 重连后丢失断连期间的消息 | 无序号与补拉机制 | 引入会话内序号并支持按位置补拉 |
| 连接数上升后内存持续增长 | 每连接内存开销与映射未释放 | 核对单连接开销与映射清理逻辑 |
| 浏览器同域连接数达到限制 | HTTP/1.1 下并发连接数受限 | SSE 与接口共用域名时注意连接数,必要时改用 WebSocket |
四、总结
- 推送能力与集群部署的矛盾在于连接是有状态资源,绑定在单个节点上,而触发推送的业务请求可能落在任意节点。
- 四类方式的选择依据是通信方向、实时性要求与实现成本:单向通知用 SSE,双向高频交互用 WebSocket,实时性要求低时轮询仍有位置。
- 协议升级复用一次 HTTP 握手,握手阶段无法自定义请求头,因此鉴权需要在查询参数、Cookie 或子协议中传递,并处理令牌进入日志的问题。
- 集群方案的取舍在于"投递精确度"与"中间件复杂度":小规模用总线广播,大规模用注册表或定向转发,粘性路由只能作为辅助手段。
- 广播通道的投递语义决定消息是否会丢,需要可补偿时必须引入消息存储与序号机制,而不是依赖无持久化通道。
- 心跳间隔必须小于链路上所有代理的空闲超时,否则连接会被代理先行断开而应用无法感知。
- 重连必须使用带抖动的退避策略,否则节点重启会引发集中重连的次生峰值。
- 可靠性由序号、确认与补拉三者共同保证,需区分"已投递"与"已处理"的语义。
- 连接容量受文件句柄、内存与代理连接上限共同约束,且客户端重连使其按峰值而非均值增长,容量规划必须留出余量。
- 代理层的升级头、读超时与缓冲设置是实时通信最常见的故障来源,接入前应逐项核对。