一、起源
1.1 独立安装形态下需要自行承担的工作
内嵌形态下容器的日志并入应用日志、管理入口不存在、参数由应用配置表达,因此以下三类工作并不存在。独立安装形态下它们全部暴露出来:
| 工作 | 具体内容 | 缺失的后果 |
|---|---|---|
| 日志治理 | 容器层日志与应用日志区分、访问日志配置、轮转与容量 | 磁盘被日志写满,或出问题时找不到容器层证据 |
| 入口治理 | 管理界面的可用性与访问范围 | 管理界面暴露在公网,成为直接的控制通道 |
| 安全加固 | 端口、连接器、示例应用、版本信息、运行身份、部署开关 | 攻击面扩大,且加固项分散在多个配置文件中容易被遗漏 |
1.2 与内嵌形态的差异
| 维度 | 内嵌形态 | 独立安装形态 |
|---|---|---|
| 日志归属 | 统一由应用日志框架处理 | 容器日志与应用日志并存,级别与格式各自独立 |
| 访问日志 | 由反向代理或应用框架记录 | 由容器阀记录,与代理层日志可能重复 |
| 管理能力 | 无容器管理界面 | 提供管理界面,可部署、启停、查看指标 |
| 应用隔离 | 一进程一应用 | 一容器多应用,故障与资源互相影响 |
| 升级方式 | 随应用发布 | 需单独规划容器版本升级 |
1.3 取舍
- 保留管理界面便于部署与排障,代价是必须严格限制来源地址与角色,否则等同于开放远程控制。
- 访问日志在容器层记录可获得应用未启动时的信息,代价是日志量翻倍,需要与应用日志、代理日志划分记录范围避免重复。
- 容器与应用共享一个 JVM,容器级参数(堆、GC)同时影响其上全部应用,资源隔离弱于"一进程一应用"的部署方式。
二、原理
2.1 日志体系的四类文件
| 文件 | 内容 | 管理方式 |
|---|---|---|
catalina.out | 进程的标准输出与标准错误 | 由启动脚本重定向产生,不受日志框架管理,也不会自动轮转 |
catalina.YYYY-MM-DD.log | 引擎与容器级日志 | 由容器日志框架按日期生成 |
localhost.YYYY-MM-DD.log | 应用级日志(应用未自带日志框架时的输出) | 同上 |
| 应用自身日志文件 | 应用日志框架输出 | 由应用配置决定,与容器日志相互独立 |
两点需要特别注意:
catalina.out是"逃逸"在日志框架之外的输出通道,任何直接打印到标准输出的内容(未捕获异常的堆栈、JVM 崩溃信息、第三方库的输出)都会进入该文件,而它不会轮转。长期运行必然增长到占满磁盘,必须纳入外部轮转管理。- 应用自带日志框架(如日志门面加实现)时,
localhost日志可能几乎是空的,而应用日志文件在应用配置的位置。排障时需要先确认日志到底写在哪一侧,否则会在错误的文件里找证据。
以 catalina.sh run 方式前台运行时不再产生 catalina.out,标准输出直接进入服务管理器(如 systemd 的日志)。两种方式只能选其一,混用时会出现日志分散在两处的情况。
2.2 访问日志与记录分工
访问日志由阀组件实现,挂在虚拟主机上,默认已启用。字段通过模式串声明,常用字段包括远程地址、请求行、状态码、响应字节数、耗时、线程名与请求头取值。
记录分工的判断依据是"哪一层能看到该信息":
| 信息 | 应记录的层 | 原因 |
|---|---|---|
| 真实客户端地址 | 入口代理层 | 容器看到的是代理地址,除非已在容器侧还原 |
| 请求在容器内的处理耗时 | 容器层 | 代理层只能看到端到端耗时 |
| 应用内部的处理阶段耗时 | 应用层 | 容器看不到应用内部逻辑 |
| 静态资源访问 | 代理层 | 静态资源通常由代理直接返回,不进入容器 |
| 容器未启动或不可用时的请求 | 代理层 | 容器此时无法记录 |
因此常规做法是代理层记录全量与端到端信息,容器层记录进入应用后的处理细节,并在一侧关闭对静态资源等无价值请求的记录以避免重复。
访问日志按日期生成多个文件,单文件大小不受控制。因此仍需外部轮转负责压缩与保留,不能只依赖按日期分文件。
2.3 管理入口与角色
管理功能由两个独立的应用提供:一个管理应用本身(部署、启停、查看会话与资源),一个管理虚拟主机(增删主机与应用)。两者都需要在用户配置文件中定义用户与角色。
角色划分的特点是"按能力拆分"而非"按界面拆分":
| 角色 | 能力 | 风险 |
|---|---|---|
| 图形界面管理 | 通过管理界面操作 | 浏览器请求可被诱导,存在跨站请求风险 |
| 脚本管理 | 通过接口执行部署等操作 | 通常与自动化流水线配合 |
| JMX 管理 | 通过 JMX 代理操作 | 可访问内部对象 |
| 状态查看 | 只读查看运行状态 | 风险最低 |
| 主机管理界面与脚本 | 管理虚拟主机 | 权限高于应用管理 |
两个实践约定:
- 图形界面角色与脚本角色不应授予同一用户。图形界面通过浏览器发起请求,脚本角色被诱导发起请求后会执行高权限操作,二者合并会放大跨站请求伪造的影响。
- 生产环境优先"移除管理应用"或"限制来源地址加只读角色",而不是仅靠强口令保护。
限制来源地址通过专用阀实现,可配置在最外层容器、单个应用或某个路径上,支持单个地址、网段与正则匹配。
2.4 加固项与原理
| 加固项 | 原理 | 不做的影响 |
|---|---|---|
| 关闭关闭指令端口 | 该端口接受一个约定的字符串即可停止容器,无认证 | 任何能访问该端口的主机均可停止服务 |
| 关闭 AJP 连接器 | 该连接器为二进制协议,且新版本已移除 | 暴露一个无需 HTTP 语义即可访问后端的通道 |
| 移除示例应用与管理应用 | 示例应用包含已知的演示接口,管理应用提供控制能力 | 攻击面扩大 |
| 隐藏版本信息 | 响应头与错误页默认包含版本号 | 便于攻击者按版本匹配已知问题 |
| 关闭自动部署 | 运行期扫描部署目录并部署新文件 | 误放文件即上线,绕过评审与发布流程 |
| 关闭热加载 | 后台线程持续扫描类文件 | 额外开销,且重新加载不彻底,易残留类引用 |
| 限制可用 HTTP 方法 | 应用通常只需要部分方法 | 未使用的方法仍可被调用,扩大攻击面 |
| 以非 root 运行 | root 运行的进程被攻破后权限不受限 | 影响范围从应用扩展到主机 |
| 限制目录权限 | 运行用户不需要写配置与脚本目录 | 配置可被篡改并随重启生效 |
| 限制请求体与请求头大小 | 与代理层的限制形成两层防护 | 大体积请求直接占用容器资源 |
| 配置错误页不显示详情 | 默认错误页包含异常堆栈与版本 | 泄露实现细节与路径信息 |
两个容易被遗漏的点:Server 响应头与错误页中的版本信息由不同机制控制,只改其一仍会泄露;容器的错误页显示开关由错误报告阀控制,需要显式配置。
2.5 故障分类与判定
| 故障类别 | 典型特征 | 判定依据 |
|---|---|---|
| 启动失败 | 进程未起来,端口未监听 | 日志中的配置解析错误、端口占用、环境变量缺失 |
| 部署失败 | 进程已起但应用不可访问 | 应用日志中的部署异常、部署目录中的 war 是否被展开 |
| 运行期崩溃或重启 | 进程存在但被反复拉起 | 服务管理器日志中的退出码、堆转储与致命错误日志 |
| 内存问题 | 响应变慢、出现内存告警 | 堆与元空间使用趋势、堆转储、日志中的内存溢出记录 |
| 线程问题 | 请求排队、响应变慢 | 线程转储中的线程数与状态分布 |
| 启动缓慢 | 启动时间随依赖增长 | 日志中的扫描阶段耗时 |
判定顺序是先看进程与端口,再看容器日志,最后看应用日志。跳过前两步直接查应用日志,会把容器级问题误判为应用问题。
三、实现
3.1 日志配置
# conf/logging.properties
handlers=1catalina.org.apache.juli.AsyncFileHandler, \
2localhost.org.apache.juli.AsyncFileHandler
# 1catalina 日志:容器与引擎级
1catalina.org.apache.juli.AsyncFileHandler.level=FINE
1catalina.org.apache.juli.AsyncFileHandler.directory=${catalina.base}/logs
1catalina.org.apache.juli.AsyncFileHandler.prefix=catalina.
1catalina.org.apache.juli.AsyncFileHandler.maxDays=15
1catalina.org.apache.juli.AsyncFileHandler.encoding=UTF-8
# 2localhost 日志:应用级
2localhost.org.apache.juli.AsyncFileHandler.level=INFO
2localhost.org.apache.juli.AsyncFileHandler.directory=${catalina.base}/logs
2localhost.org.apache.juli.AsyncFileHandler.prefix=localhost.
2localhost.org.apache.juli.AsyncFileHandler.maxDays=15
2localhost.org.apache.juli.AsyncFileHandler.encoding=UTF-8
# 全局级别
.level=INFO
# 只输出容器自身的关键日志,避免与应用日志重复
org.apache.catalina.level=INFO
org.apache.coyote.level=INFO
org.apache.jasper.level=INFO
# catalina.out 必须纳入外部轮转,否则会持续增长
# /etc/logrotate.d/tomcat
/opt/tomcat/logs/catalina.out {
daily
rotate 14
missingok
notifempty
compress
copytruncate # 进程持续写入该文件,用复制后截断避免重启容器
}
# 容器内部按日期生成的日志与访问日志,由外部统一压缩与保留
/opt/tomcat/logs/*.log /opt/tomcat/logs/*.txt {
daily
rotate 30
missingok
notifempty
compress
delaycompress
}
# 验证轮转配置
logrotate -d /etc/logrotate.d/tomcat
# 查看轮转后的效果与磁盘占用
du -sh /opt/tomcat/logs
ls -lt /opt/tomcat/logs | head
3.2 访问日志配置
<!-- server.xml 的 Host 内 -->
<Valve className="org.apache.catalina.valves.AccessLogValve"
directory="${catalina.base}/logs"
prefix="access_log"
suffix=".txt"
rotatable="true"
fileDateFormat="yyyy-MM-dd"
buffered="true"
pattern="%a %{X-Forwarded-For}i %{X-Request-Id}i [%{yyyy-MM-dd HH:mm:ss}t] "%r" %s %b %D %I "%{Referer}i" "%{User-Agent}i"" />
// 条件记录:condition 依据请求属性的存在与否决定是否记录,属性必须由 Filter 或 Servlet 显式设置,
// 阀本身不会自动生成属性。配置 condition="loggable" 时,只有被打标记的请求会被记录。
public class LogConditionFilter implements Filter {
@Override
public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain)
throws IOException, ServletException {
HttpServletRequest req = (HttpServletRequest) request;
if (!req.getRequestURI().startsWith("/static/")) {
req.setAttribute("loggable", Boolean.TRUE);
}
chain.doFilter(request, response);
}
}
要点:condition 是"属性存在则记录",conditionUnless 是"属性存在则不记录",二者都依赖应用侧先设置属性,因此条件记录需要应用与容器配置配合完成。
字段说明:
| 字段 | 含义 | 用途 |
|---|---|---|
%a | 对端地址 | 未还原真实地址时是代理地址 |
%{X-Forwarded-For}i | 代理传递的客户端地址链 | 核对还原结果 |
%{X-Request-Id}i | 链路标识 | 与代理日志、应用日志串联 |
%r | 请求行 | 方法与路径 |
%s | 状态码 | 错误分布统计 |
%b | 响应字节数 | 流量统计 |
%D | 处理耗时(毫秒) | 慢请求定位 |
%I | 处理线程名 | 与线程转储对应 |
要点:访问日志同时记录对端地址与代理传递的地址链,才能在还原配置变更后仍可回溯;链路标识字段是把容器日志、代理日志与应用日志串联起来的唯一手段,应在入口层生成并在全链路透传。
3.3 管理入口限制
<!-- conf/tomcat-users.xml:仅保留所需角色,且界面角色与脚本角色分配给不同用户 -->
<tomcat-users>
<role rolename="manager-gui"/>
<role rolename="manager-status"/>
<role rolename="manager-script"/>
<user username="ops_viewer" password="<受管口令>" roles="manager-status"/>
<user username="cd_runner" password="<受管口令>" roles="manager-script"/>
</tomcat-users>
<!-- 限制管理应用的来源地址:可配置在管理应用的 META-INF/context.xml 中 -->
<Context>
<Valve className="org.apache.catalina.valves.RemoteCIDRValve"
allow="127\.0\.0\.1,10\.0\.0\.0/8" />
</Context>
# 核对管理界面是否仅对允许来源可达
curl -s -o /dev/null -w '%{http_code}\n' http://127.0.0.1:8080/manager/html
curl -s -o /dev/null -w '%{http_code}\n' http://<本机对外地址>:8080/manager/html
# 生产环境建议直接移除管理应用与示例应用
rm -rf /opt/tomcat/webapps/{manager,host-manager,docs,examples}
3.4 加固配置片段
<!-- server.xml:关闭关闭指令端口,隐藏版本,关闭自动部署,限制错误页信息 -->
<Server port="-1" shutdown="SHUTDOWN">
<Service name="Catalina">
<!-- server 属性决定 Server 响应头内容 -->
<Connector port="8080" protocol="org.apache.coyote.http11.Http11NioProtocol"
address="127.0.0.1"
server="web"
maxHttpHeaderSize="16384"
maxPostSize="20971520"
connectionTimeout="5000" />
<Engine name="Catalina" defaultHost="localhost">
<Host name="localhost" appBase="webapps"
unpackWARs="true"
autoDeploy="false"
deployOnStartup="true">
<!-- 错误页不显示堆栈与版本 -->
<Valve className="org.apache.catalina.valves.ErrorReportValve"
showReport="false"
showServerInfo="false" />
<!-- 访问日志 -->
<Valve className="org.apache.catalina.valves.AccessLogValve"
directory="${catalina.base}/logs"
prefix="access_log" suffix=".txt" rotatable="true"
pattern="%a %{X-Request-Id}i %r %s %b %D" />
</Host>
</Engine>
</Service>
</Server>
<!-- conf/web.xml:限制可用 HTTP 方法,仅允许 GET 与 POST(按业务需要裁剪) -->
<security-constraint>
<web-resource-collection>
<web-resource-name>restricted methods</web-resource-name>
<url-pattern>/*</url-pattern>
<http-method-omission>GET</http-method-omission>
<http-method-omission>POST</http-method-omission>
<http-method-omission>HEAD</http-method-omission>
</web-resource-collection>
<auth-constraint />
</security-constraint>
# 以非 root 运行并收紧目录权限
useradd -r -s /sbin/nologin tomcat
chown -R tomcat:tomcat /opt/tomcat/{logs,temp,work}
chown -R root:tomcat /opt/tomcat/{conf,bin,lib}
chmod -R 750 /opt/tomcat/conf
chmod 640 /opt/tomcat/conf/tomcat-users.xml
# 核对运行身份
ps -o user,pid,cmd -p $(pgrep -f 'Bootstrap start')
3.5 排查命令
# 配置语法检查
/opt/tomcat/bin/catalina.sh configtest
# 容器版本与运行参数
/opt/tomcat/bin/version.sh
# 端口与进程
ss -tlnp | grep -E ':8080|:8443|:8009'
ps -o user,pid,ppid,etime,rss,cmd -p $(pgrep -f 'Bootstrap start')
# 容器日志中的错误与致命记录
grep -iE 'SEVERE|ERROR|OutOfMemory|PermGen|Metaspace' /opt/tomcat/logs/catalina.out | tail -50
# 部署异常
grep -iE 'deploy|Deployment|Context' /opt/tomcat/logs/catalina.*.log | tail -50
# 线程转储:判断线程数与状态分布,识别线程耗尽或阻塞
jcmd $(pgrep -f 'Bootstrap start') Thread.print > /tmp/tomcat_threads.txt
grep -oE 'java.lang.Thread.State: [A-Z_]+' /tmp/tomcat_threads.txt | sort | uniq -c | sort -rn
grep -c '^"' /tmp/tomcat_threads.txt
# 堆与元空间:判断是否接近上限
jcmd $(pgrep -f 'Bootstrap start') GC.heap_info
jcmd $(pgrep -f 'Bootstrap start') VM.metaspace | head -20
# 类加载器与类数量:判断是否存在热部署导致的数量增长
jcmd $(pgrep -f 'Bootstrap start') VM.classloader_stats | head -20
# 启动阶段耗时:确认扫描是否成为启动瓶颈
grep -iE 'scanning|deployment.*completed|Server startup' /opt/tomcat/logs/catalina.out | tail -20
3.6 监控项
| 层次 | 指标 | 观测目的 |
|---|---|---|
| 系统 | 进程存活、CPU、内存、文件句柄 | 主机侧资源与进程状态 |
| JVM | 堆与元空间使用、GC 次数与停顿、线程数 | 内存与停顿是否影响响应 |
| 连接器 | 当前线程数、繁忙线程数、连接数 | 是否接近线程或连接上限 |
| 请求处理 | 请求数、处理耗时、错误数 | 服务量与错误分布 |
| 会话 | 活跃会话数、会话创建与过期数 | 容量评估与异常会话增长 |
| 应用 | 应用级接口指标与错误率 | 业务视角的服务质量 |
通过 JMX 可获取容器暴露的连接器、请求处理、会话与数据源指标,指标名称按组件类型与连接器名称组织,接入监控系统时按组件类型建立看板,避免只监控进程存活。
3.7 常见问题对照
| 现象 | 常见原因 | 处理方式 |
|---|---|---|
| 磁盘被日志写满 | catalina.out 未纳入轮转 | 配置 logrotate 并启用复制截断 |
| 排障时找不到应用日志 | 日志写到了应用自身的文件而非容器日志目录 | 先确认日志框架与输出位置 |
| 日志重复记录 | 容器访问日志与代理访问日志记录了同一批请求 | 划分记录范围,在一侧关闭无价值记录 |
| 管理界面无法访问 | 来源地址限制生效或角色缺失 | 核对限制阀与角色分配 |
| 管理界面被公网访问 | 未限制来源或未移除管理应用 | 移除或配置来源限制 |
| 响应头仍显示版本 | 只改了 Server 属性,未处理错误页 | 同时配置错误报告阀 |
| 错误页显示堆栈与路径 | 未关闭错误页详情 | 配置错误报告阀的显示开关 |
| 应用在未发布的情况下出现 | 自动部署开启,文件被误放入部署目录 | 关闭自动部署并核对部署目录权限 |
| 允许了未使用的 HTTP 方法 | 未做方法限制 | 通过安全约束裁剪允许的方法 |
| 内存持续增长且重启后恢复 | 存在对象累积或类加载器无法回收 | 采集堆转储比对,核对热部署与缓存 |
| 元空间增长 | 反复热部署导致类加载器残留 | 关闭热加载,减少重部署次数 |
| 线程数接近上限且大量等待 | 下游响应慢占用请求线程 | 结合线程转储与下游耗时定位 |
| 启动时间随依赖增长 | jar 扫描量过大 | 配置扫描过滤 |
| 容器被意外停止 | 关闭指令端口可访问 | 关闭该端口 |
四、总结
- 独立安装形态下容器本身是需要维护的软件,日志、入口与加固三件事必须显式处理,内嵌形态下它们由应用一并解决。
- 日志分为容器日志与访问日志两类,
catalina.out是逃逸在日志框架之外的输出通道且不会轮转,必须纳入外部轮转并采用复制截断方式。 - 访问日志的字段需要包含链路标识与代理传递的地址,否则日志之间无法串联,也无法核对真实地址还原是否生效。
- 记录分工按"哪一层能看到该信息"划分,代理层负责端到端与未进入容器的请求,容器层负责容器内处理细节,避免重复记录。
- 管理应用的角色按能力拆分,界面角色与脚本角色不应授予同一用户,生产环境优先移除管理应用或限制来源地址。
- 加固项分散在多个配置文件,其中关闭指令端口、关闭 AJP、移除示例与管理应用、隐藏版本、关闭自动部署、限制 HTTP 方法与非 root 运行属于基础项。
- 版本信息的泄露点有两处,
Server响应头与错误页由不同机制控制,必须同时处理。 - 故障判定顺序是先看进程与端口,再看容器日志,最后看应用日志,跳过前两步容易把容器级问题误判为应用问题。
- 内存与线程类问题的证据来自堆转储与线程转储,判断依据是关键指标相对于上限的位置,而不是单次绝对值。
- 监控需要覆盖系统、JVM、连接器、请求处理、会话与应用六个层次,只监控进程存活无法发现容量类问题。