一、起源

1.1 独立安装形态下需要自行承担的工作

内嵌形态下容器的日志并入应用日志、管理入口不存在、参数由应用配置表达,因此以下三类工作并不存在。独立安装形态下它们全部暴露出来:

工作 具体内容 缺失的后果
日志治理 容器层日志与应用日志区分、访问日志配置、轮转与容量 磁盘被日志写满,或出问题时找不到容器层证据
入口治理 管理界面的可用性与访问范围 管理界面暴露在公网,成为直接的控制通道
安全加固 端口、连接器、示例应用、版本信息、运行身份、部署开关 攻击面扩大,且加固项分散在多个配置文件中容易被遗漏

1.2 与内嵌形态的差异

维度 内嵌形态 独立安装形态
日志归属 统一由应用日志框架处理 容器日志与应用日志并存,级别与格式各自独立
访问日志 由反向代理或应用框架记录 由容器阀记录,与代理层日志可能重复
管理能力 无容器管理界面 提供管理界面,可部署、启停、查看指标
应用隔离 一进程一应用 一容器多应用,故障与资源互相影响
升级方式 随应用发布 需单独规划容器版本升级

1.3 取舍

  • 保留管理界面便于部署与排障,代价是必须严格限制来源地址与角色,否则等同于开放远程控制。
  • 访问日志在容器层记录可获得应用未启动时的信息,代价是日志量翻倍,需要与应用日志、代理日志划分记录范围避免重复。
  • 容器与应用共享一个 JVM,容器级参数(堆、GC)同时影响其上全部应用,资源隔离弱于"一进程一应用"的部署方式。

二、原理

2.1 日志体系的四类文件

文件 内容 管理方式
catalina.out 进程的标准输出与标准错误 由启动脚本重定向产生,不受日志框架管理,也不会自动轮转
catalina.YYYY-MM-DD.log 引擎与容器级日志 由容器日志框架按日期生成
localhost.YYYY-MM-DD.log 应用级日志(应用未自带日志框架时的输出) 同上
应用自身日志文件 应用日志框架输出 由应用配置决定,与容器日志相互独立

两点需要特别注意:

  • catalina.out 是"逃逸"在日志框架之外的输出通道,任何直接打印到标准输出的内容(未捕获异常的堆栈、JVM 崩溃信息、第三方库的输出)都会进入该文件,而它不会轮转。长期运行必然增长到占满磁盘,必须纳入外部轮转管理。
  • 应用自带日志框架(如日志门面加实现)时,localhost 日志可能几乎是空的,而应用日志文件在应用配置的位置。排障时需要先确认日志到底写在哪一侧,否则会在错误的文件里找证据。

以 catalina.sh run 方式前台运行时不再产生 catalina.out,标准输出直接进入服务管理器(如 systemd 的日志)。两种方式只能选其一,混用时会出现日志分散在两处的情况。

2.2 访问日志与记录分工

访问日志由阀组件实现,挂在虚拟主机上,默认已启用。字段通过模式串声明,常用字段包括远程地址、请求行、状态码、响应字节数、耗时、线程名与请求头取值。

记录分工的判断依据是"哪一层能看到该信息":

信息 应记录的层 原因
真实客户端地址 入口代理层 容器看到的是代理地址,除非已在容器侧还原
请求在容器内的处理耗时 容器层 代理层只能看到端到端耗时
应用内部的处理阶段耗时 应用层 容器看不到应用内部逻辑
静态资源访问 代理层 静态资源通常由代理直接返回,不进入容器
容器未启动或不可用时的请求 代理层 容器此时无法记录

因此常规做法是代理层记录全量与端到端信息,容器层记录进入应用后的处理细节,并在一侧关闭对静态资源等无价值请求的记录以避免重复。

访问日志按日期生成多个文件,单文件大小不受控制。因此仍需外部轮转负责压缩与保留,不能只依赖按日期分文件。

2.3 管理入口与角色

管理功能由两个独立的应用提供:一个管理应用本身(部署、启停、查看会话与资源),一个管理虚拟主机(增删主机与应用)。两者都需要在用户配置文件中定义用户与角色。

角色划分的特点是"按能力拆分"而非"按界面拆分":

角色 能力 风险
图形界面管理 通过管理界面操作 浏览器请求可被诱导,存在跨站请求风险
脚本管理 通过接口执行部署等操作 通常与自动化流水线配合
JMX 管理 通过 JMX 代理操作 可访问内部对象
状态查看 只读查看运行状态 风险最低
主机管理界面与脚本 管理虚拟主机 权限高于应用管理

两个实践约定:

  • 图形界面角色与脚本角色不应授予同一用户。图形界面通过浏览器发起请求,脚本角色被诱导发起请求后会执行高权限操作,二者合并会放大跨站请求伪造的影响。
  • 生产环境优先"移除管理应用"或"限制来源地址加只读角色",而不是仅靠强口令保护。

限制来源地址通过专用阀实现,可配置在最外层容器、单个应用或某个路径上,支持单个地址、网段与正则匹配。

2.4 加固项与原理

加固项 原理 不做的影响
关闭关闭指令端口 该端口接受一个约定的字符串即可停止容器,无认证 任何能访问该端口的主机均可停止服务
关闭 AJP 连接器 该连接器为二进制协议,且新版本已移除 暴露一个无需 HTTP 语义即可访问后端的通道
移除示例应用与管理应用 示例应用包含已知的演示接口,管理应用提供控制能力 攻击面扩大
隐藏版本信息 响应头与错误页默认包含版本号 便于攻击者按版本匹配已知问题
关闭自动部署 运行期扫描部署目录并部署新文件 误放文件即上线,绕过评审与发布流程
关闭热加载 后台线程持续扫描类文件 额外开销,且重新加载不彻底,易残留类引用
限制可用 HTTP 方法 应用通常只需要部分方法 未使用的方法仍可被调用,扩大攻击面
以非 root 运行 root 运行的进程被攻破后权限不受限 影响范围从应用扩展到主机
限制目录权限 运行用户不需要写配置与脚本目录 配置可被篡改并随重启生效
限制请求体与请求头大小 与代理层的限制形成两层防护 大体积请求直接占用容器资源
配置错误页不显示详情 默认错误页包含异常堆栈与版本 泄露实现细节与路径信息

两个容易被遗漏的点:Server 响应头与错误页中的版本信息由不同机制控制,只改其一仍会泄露;容器的错误页显示开关由错误报告阀控制,需要显式配置。

2.5 故障分类与判定

故障类别 典型特征 判定依据
启动失败 进程未起来,端口未监听 日志中的配置解析错误、端口占用、环境变量缺失
部署失败 进程已起但应用不可访问 应用日志中的部署异常、部署目录中的 war 是否被展开
运行期崩溃或重启 进程存在但被反复拉起 服务管理器日志中的退出码、堆转储与致命错误日志
内存问题 响应变慢、出现内存告警 堆与元空间使用趋势、堆转储、日志中的内存溢出记录
线程问题 请求排队、响应变慢 线程转储中的线程数与状态分布
启动缓慢 启动时间随依赖增长 日志中的扫描阶段耗时

判定顺序是先看进程与端口,再看容器日志,最后看应用日志。跳过前两步直接查应用日志,会把容器级问题误判为应用问题。

三、实现

3.1 日志配置

# conf/logging.properties
handlers=1catalina.org.apache.juli.AsyncFileHandler, \
         2localhost.org.apache.juli.AsyncFileHandler

# 1catalina 日志:容器与引擎级
1catalina.org.apache.juli.AsyncFileHandler.level=FINE
1catalina.org.apache.juli.AsyncFileHandler.directory=${catalina.base}/logs
1catalina.org.apache.juli.AsyncFileHandler.prefix=catalina.
1catalina.org.apache.juli.AsyncFileHandler.maxDays=15
1catalina.org.apache.juli.AsyncFileHandler.encoding=UTF-8

# 2localhost 日志:应用级
2localhost.org.apache.juli.AsyncFileHandler.level=INFO
2localhost.org.apache.juli.AsyncFileHandler.directory=${catalina.base}/logs
2localhost.org.apache.juli.AsyncFileHandler.prefix=localhost.
2localhost.org.apache.juli.AsyncFileHandler.maxDays=15
2localhost.org.apache.juli.AsyncFileHandler.encoding=UTF-8

# 全局级别
.level=INFO

# 只输出容器自身的关键日志,避免与应用日志重复
org.apache.catalina.level=INFO
org.apache.coyote.level=INFO
org.apache.jasper.level=INFO
# catalina.out 必须纳入外部轮转,否则会持续增长
# /etc/logrotate.d/tomcat
/opt/tomcat/logs/catalina.out {
    daily
    rotate 14
    missingok
    notifempty
    compress
    copytruncate        # 进程持续写入该文件,用复制后截断避免重启容器
}
# 容器内部按日期生成的日志与访问日志,由外部统一压缩与保留
/opt/tomcat/logs/*.log /opt/tomcat/logs/*.txt {
    daily
    rotate 30
    missingok
    notifempty
    compress
    delaycompress
}
# 验证轮转配置
logrotate -d /etc/logrotate.d/tomcat

# 查看轮转后的效果与磁盘占用
du -sh /opt/tomcat/logs
ls -lt /opt/tomcat/logs | head

3.2 访问日志配置

<!-- server.xml 的 Host 内 -->
<Valve className="org.apache.catalina.valves.AccessLogValve"
       directory="${catalina.base}/logs"
       prefix="access_log"
       suffix=".txt"
       rotatable="true"
       fileDateFormat="yyyy-MM-dd"
       buffered="true"
       pattern="%a %{X-Forwarded-For}i %{X-Request-Id}i [%{yyyy-MM-dd HH:mm:ss}t] &quot;%r&quot; %s %b %D %I &quot;%{Referer}i&quot; &quot;%{User-Agent}i&quot;" />
// 条件记录:condition 依据请求属性的存在与否决定是否记录,属性必须由 Filter 或 Servlet 显式设置,
// 阀本身不会自动生成属性。配置 condition="loggable" 时,只有被打标记的请求会被记录。
public class LogConditionFilter implements Filter {

    @Override
    public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain)
            throws IOException, ServletException {
        HttpServletRequest req = (HttpServletRequest) request;
        if (!req.getRequestURI().startsWith("/static/")) {
            req.setAttribute("loggable", Boolean.TRUE);
        }
        chain.doFilter(request, response);
    }
}

要点:condition 是"属性存在则记录",conditionUnless 是"属性存在则不记录",二者都依赖应用侧先设置属性,因此条件记录需要应用与容器配置配合完成。

字段说明:

字段 含义 用途
%a 对端地址 未还原真实地址时是代理地址
%{X-Forwarded-For}i 代理传递的客户端地址链 核对还原结果
%{X-Request-Id}i 链路标识 与代理日志、应用日志串联
%r 请求行 方法与路径
%s 状态码 错误分布统计
%b 响应字节数 流量统计
%D 处理耗时(毫秒) 慢请求定位
%I 处理线程名 与线程转储对应

要点:访问日志同时记录对端地址与代理传递的地址链,才能在还原配置变更后仍可回溯;链路标识字段是把容器日志、代理日志与应用日志串联起来的唯一手段,应在入口层生成并在全链路透传。

3.3 管理入口限制

<!-- conf/tomcat-users.xml:仅保留所需角色,且界面角色与脚本角色分配给不同用户 -->
<tomcat-users>
  <role rolename="manager-gui"/>
  <role rolename="manager-status"/>
  <role rolename="manager-script"/>

  <user username="ops_viewer" password="<受管口令>" roles="manager-status"/>
  <user username="cd_runner"  password="<受管口令>" roles="manager-script"/>
</tomcat-users>
<!-- 限制管理应用的来源地址:可配置在管理应用的 META-INF/context.xml 中 -->
<Context>
  <Valve className="org.apache.catalina.valves.RemoteCIDRValve"
         allow="127\.0\.0\.1,10\.0\.0\.0/8" />
</Context>
# 核对管理界面是否仅对允许来源可达
curl -s -o /dev/null -w '%{http_code}\n' http://127.0.0.1:8080/manager/html
curl -s -o /dev/null -w '%{http_code}\n' http://<本机对外地址>:8080/manager/html

# 生产环境建议直接移除管理应用与示例应用
rm -rf /opt/tomcat/webapps/{manager,host-manager,docs,examples}

3.4 加固配置片段

<!-- server.xml:关闭关闭指令端口,隐藏版本,关闭自动部署,限制错误页信息 -->
<Server port="-1" shutdown="SHUTDOWN">

  <Service name="Catalina">
    <!-- server 属性决定 Server 响应头内容 -->
    <Connector port="8080" protocol="org.apache.coyote.http11.Http11NioProtocol"
               address="127.0.0.1"
               server="web"
               maxHttpHeaderSize="16384"
               maxPostSize="20971520"
               connectionTimeout="5000" />

    <Engine name="Catalina" defaultHost="localhost">
      <Host name="localhost" appBase="webapps"
            unpackWARs="true"
            autoDeploy="false"
            deployOnStartup="true">

        <!-- 错误页不显示堆栈与版本 -->
        <Valve className="org.apache.catalina.valves.ErrorReportValve"
               showReport="false"
               showServerInfo="false" />

        <!-- 访问日志 -->
        <Valve className="org.apache.catalina.valves.AccessLogValve"
               directory="${catalina.base}/logs"
               prefix="access_log" suffix=".txt" rotatable="true"
               pattern="%a %{X-Request-Id}i %r %s %b %D" />
      </Host>
    </Engine>
  </Service>
</Server>
<!-- conf/web.xml:限制可用 HTTP 方法,仅允许 GET 与 POST(按业务需要裁剪) -->
<security-constraint>
  <web-resource-collection>
    <web-resource-name>restricted methods</web-resource-name>
    <url-pattern>/*</url-pattern>
    <http-method-omission>GET</http-method-omission>
    <http-method-omission>POST</http-method-omission>
    <http-method-omission>HEAD</http-method-omission>
  </web-resource-collection>
  <auth-constraint />
</security-constraint>
# 以非 root 运行并收紧目录权限
useradd -r -s /sbin/nologin tomcat
chown -R tomcat:tomcat /opt/tomcat/{logs,temp,work}
chown -R root:tomcat /opt/tomcat/{conf,bin,lib}
chmod -R 750 /opt/tomcat/conf
chmod 640 /opt/tomcat/conf/tomcat-users.xml

# 核对运行身份
ps -o user,pid,cmd -p $(pgrep -f 'Bootstrap start')

3.5 排查命令

# 配置语法检查
/opt/tomcat/bin/catalina.sh configtest

# 容器版本与运行参数
/opt/tomcat/bin/version.sh

# 端口与进程
ss -tlnp | grep -E ':8080|:8443|:8009'
ps -o user,pid,ppid,etime,rss,cmd -p $(pgrep -f 'Bootstrap start')

# 容器日志中的错误与致命记录
grep -iE 'SEVERE|ERROR|OutOfMemory|PermGen|Metaspace' /opt/tomcat/logs/catalina.out | tail -50

# 部署异常
grep -iE 'deploy|Deployment|Context' /opt/tomcat/logs/catalina.*.log | tail -50

# 线程转储:判断线程数与状态分布,识别线程耗尽或阻塞
jcmd $(pgrep -f 'Bootstrap start') Thread.print > /tmp/tomcat_threads.txt
grep -oE 'java.lang.Thread.State: [A-Z_]+' /tmp/tomcat_threads.txt | sort | uniq -c | sort -rn
grep -c '^"' /tmp/tomcat_threads.txt

# 堆与元空间:判断是否接近上限
jcmd $(pgrep -f 'Bootstrap start') GC.heap_info
jcmd $(pgrep -f 'Bootstrap start') VM.metaspace | head -20

# 类加载器与类数量:判断是否存在热部署导致的数量增长
jcmd $(pgrep -f 'Bootstrap start') VM.classloader_stats | head -20

# 启动阶段耗时:确认扫描是否成为启动瓶颈
grep -iE 'scanning|deployment.*completed|Server startup' /opt/tomcat/logs/catalina.out | tail -20

3.6 监控项

层次 指标 观测目的
系统 进程存活、CPU、内存、文件句柄 主机侧资源与进程状态
JVM 堆与元空间使用、GC 次数与停顿、线程数 内存与停顿是否影响响应
连接器 当前线程数、繁忙线程数、连接数 是否接近线程或连接上限
请求处理 请求数、处理耗时、错误数 服务量与错误分布
会话 活跃会话数、会话创建与过期数 容量评估与异常会话增长
应用 应用级接口指标与错误率 业务视角的服务质量

通过 JMX 可获取容器暴露的连接器、请求处理、会话与数据源指标,指标名称按组件类型与连接器名称组织,接入监控系统时按组件类型建立看板,避免只监控进程存活。

3.7 常见问题对照

现象 常见原因 处理方式
磁盘被日志写满 catalina.out 未纳入轮转 配置 logrotate 并启用复制截断
排障时找不到应用日志 日志写到了应用自身的文件而非容器日志目录 先确认日志框架与输出位置
日志重复记录 容器访问日志与代理访问日志记录了同一批请求 划分记录范围,在一侧关闭无价值记录
管理界面无法访问 来源地址限制生效或角色缺失 核对限制阀与角色分配
管理界面被公网访问 未限制来源或未移除管理应用 移除或配置来源限制
响应头仍显示版本 只改了 Server 属性,未处理错误页 同时配置错误报告阀
错误页显示堆栈与路径 未关闭错误页详情 配置错误报告阀的显示开关
应用在未发布的情况下出现 自动部署开启,文件被误放入部署目录 关闭自动部署并核对部署目录权限
允许了未使用的 HTTP 方法 未做方法限制 通过安全约束裁剪允许的方法
内存持续增长且重启后恢复 存在对象累积或类加载器无法回收 采集堆转储比对,核对热部署与缓存
元空间增长 反复热部署导致类加载器残留 关闭热加载,减少重部署次数
线程数接近上限且大量等待 下游响应慢占用请求线程 结合线程转储与下游耗时定位
启动时间随依赖增长 jar 扫描量过大 配置扫描过滤
容器被意外停止 关闭指令端口可访问 关闭该端口

四、总结

  1. 独立安装形态下容器本身是需要维护的软件,日志、入口与加固三件事必须显式处理,内嵌形态下它们由应用一并解决。
  2. 日志分为容器日志与访问日志两类,catalina.out 是逃逸在日志框架之外的输出通道且不会轮转,必须纳入外部轮转并采用复制截断方式。
  3. 访问日志的字段需要包含链路标识与代理传递的地址,否则日志之间无法串联,也无法核对真实地址还原是否生效。
  4. 记录分工按"哪一层能看到该信息"划分,代理层负责端到端与未进入容器的请求,容器层负责容器内处理细节,避免重复记录。
  5. 管理应用的角色按能力拆分,界面角色与脚本角色不应授予同一用户,生产环境优先移除管理应用或限制来源地址。
  6. 加固项分散在多个配置文件,其中关闭指令端口、关闭 AJP、移除示例与管理应用、隐藏版本、关闭自动部署、限制 HTTP 方法与非 root 运行属于基础项。
  7. 版本信息的泄露点有两处,Server 响应头与错误页由不同机制控制,必须同时处理。
  8. 故障判定顺序是先看进程与端口,再看容器日志,最后看应用日志,跳过前两步容易把容器级问题误判为应用问题。
  9. 内存与线程类问题的证据来自堆转储与线程转储,判断依据是关键指标相对于上限的位置,而不是单次绝对值。
  10. 监控需要覆盖系统、JVM、连接器、请求处理、会话与应用六个层次,只监控进程存活无法发现容量类问题。