一、起源:从物理机到虚拟化与云主机的运维差异

物理机运维的对象是可见的硬件:操作系统直接运行在处理器、内存与磁盘之上,任何资源变更都意味着一台机器的停机、拆装或更换。引入 hypervisor 后,操作系统运行在其构造的虚拟硬件之上;云主机进一步把 hypervisor 与资源调度封装为按需购买的服务。运维对象因此多出几层边界,差异集中在四个方面。

  1. 资源可弹性:物理机扩容需采购、上架、停机;虚拟化可在宿主容量范围内调整 vCPU 与内存,云主机可在控制台或 API 变更规格、挂载云盘、调整带宽。弹性的边界是宿主剩余容量与平台配额,并非随时无限。
  2. 故障域与宿主机依赖:物理机故障只影响自身;虚拟机的可用性依赖宿主机,宿主宕机时其上全部实例同时不可用。故障域由"单机"扩展为"宿主"与"可用区"两级。
  3. 不可直接接触硬件:无法拔插内存、更换硬盘、按电源键。带外管理(IPMI)被平台控制台、图形控制台与串口控制台替代,硬件健康信息改为由平台汇总呈现。
  4. 按需计费:资源以时长或用量计费,闲置即成本。容量决策从一次性采购转为持续的成本与容量平衡,选型需要同时考虑性能与账单。

客户机内部仍是标准 Linux:磁盘、分区、文件系统、网络与进程的运维方法不变,变化的是这些对象的底层实现与可见边界。

二、原理:虚拟化的层次、磁盘、网络与云主机模型

2.1 虚拟化的层次

宿主型与裸金属型

  • 类型 1(裸金属型):hypervisor 直接运行在硬件之上,如 ESXi、Xen。KVM 以 Linux 内核模块的形式提供虚拟化能力,复用成熟的内核调度、内存管理与设备驱动,属于这一类的特殊形态。
  • 类型 2(宿主型):hypervisor 作为通用操作系统上的一个应用运行,如 VirtualBox、VMware Workstation,依赖宿主系统提供驱动与调度。
  • 差异体现为开销与设备生态:越靠近硬件,IO 路径越短;越依赖宿主,设备兼容性越好但开销越高。

KVM 与 QEMU 的分工

  • KVM 是内核模块,提供硬件虚拟化的核心能力:通过 /dev/kvm 暴露创建 vCPU、映射客户机内存、注入中断等 ioctl,负责客户机代码的直接执行。
  • QEMU 是用户态的虚拟机进程,负责设备模拟(磁盘控制器、网卡、USB、显示)、内存布局、迁移与生命周期管理。每个运行中的虚拟机对应一个 QEMU 进程。
  • 二者协作方式:QEMU 通过 ioctl 请求 KVM 运行客户机代码;客户机执行特权指令或访问模拟设备时由硬件触发 VM exit 返回 KVM,再由 QEMU 决定模拟结果或转发。需要硬件辅助的部分交给 KVM,设备语义部分交给 QEMU。
  • libvirt 位于 QEMU 之上,用 XML 描述域、存储池与虚拟网络,为 virsh、virt-manager 与上层 API 提供统一入口。直接调用 QEMU 参数难以维护,生产环境以 libvirt 作为管理层。

半虚拟化驱动 virtio 的作用

  • 全虚拟化模拟真实硬件(如 e1000 网卡、IDE 控制器),客户机使用标准驱动即可识别,但每次 IO 都要模拟寄存器与中断,VM exit 次数多、开销大。
  • virtio 是半虚拟化协议:客户机装载 virtio 驱动,与 hypervisor 约定通过共享内存环 virtqueue 提交请求,取代逐寄存器模拟,仅保留必要的通知。virtio-blk 与 virtio-scsi 用于磁盘,virtio-net 用于网络。
  • 效果是吞吐提升与 CPU 占用下降,代价是客户机内核必须自带 virtio 驱动。协议细节、vhost 线程与 vhost-net 零拷贝见 块设备驱动层。

CPU 特性透传与嵌套虚拟化

  • CPU 模式决定客户机可见的特性集:host-passthrough 把宿主 CPU 特性完整暴露给客户机,性能最好但不保证跨宿主迁移;host-model 按宿主型号选取兼容特性集,便于同代宿主之间迁移;custom 用于手工裁剪特性。
  • 迁移兼容性由 CPU 特性集决定:源与目标宿主可提供的特性必须一致,否则迁移失败。集群内通常统一宿主型号,或统一到较低的公共基线,牺牲少量特性换取可迁移性。
  • 嵌套虚拟化指在客户机内再运行一层 hypervisor,需宿主开启 kvm_intel.nested=1 或 kvm_amd.nested=1,并向客户机透传 vmx 或 svm 特性。多一层地址翻译与退出,性能与稳定性均低于单层虚拟化,适合测试与开发,不适合承载生产负载。

2.2 虚拟磁盘的形态

raw 与 qcow2

  • raw 为无元数据的原始镜像,读写路径最短,性能最好;不支持快照、压缩与后备链。使用 qemu-img、fallocate 或 truncate 创建时可得到稀疏文件。
  • qcow2 是 QEMU 的写时复制格式,带二级查找表等元数据;支持内部快照、压缩、加密与后备文件(backing file),并按需分配簇。
  • 取舍原则:对性能敏感且不需要快照与克隆的卷用 raw;需要快照、精简分配与快速克隆的用 qcow2。同一宿主上混用会增加运维复杂度,应统一约定。

稀疏文件

  • 稀疏文件只为已写入的块分配空间:ls -l 显示的是逻辑大小,du -h 显示的是实际占用,两者相差可能很大。
  • 复制与转换会改变稀疏性:cp 默认展开空洞,需 cp --sparse=always;qemu-img convert 会按目标格式重新写出,可用于压缩与回收空间。
  • 判断真实占用以 qemu-img info 的 disk size 与 du 的输出为准,不能依据文件的逻辑大小估算存储需求。

快照链与写时复制

base.qcow2(只读基镜像)
  └── vm01.snap1.qcow2(覆盖层,记录相对基镜像的变更)
        └── vm01.snap2.qcow2(当前活动层,接收新写入)
  • 外部快照以后备链实现:底层转为只读,新写入落在活动覆盖层,读取时自上而下查找最新数据。
  • 链越长,单次读取需要穿透的层数越多,性能下降且故障面扩大;链中任何一层文件损坏或丢失都会使整条链不可用。
  • 内部快照把快照点与后续变更记录保存在同一个 qcow2 文件内,管理简单,但快照与数据同文件,文件损坏时一并失效。

精简置备与超额分配风险

  • 精简置备(thin provisioning):卷按实际写入量增长,创建时不预留全部虚拟容量。
  • 超额分配(overprovisioning):存储池售出的虚拟容量之和大于物理容量,依赖"所有卷不会同时写满"的假设。
  • 风险在于故障范围:池空间耗尽时池内所有卷进入不可写状态,表现为多台实例同时故障,而非单台。该风险与 LVM thin pool 同源,见 逻辑卷LVM。

存储后端类型

后端类型 特点 典型适用
本地文件或目录 部署简单,无共享能力 单机测试、无迁移需求
LVM 逻辑卷 块设备直接映射,性能稳定 单宿主上的稳定 IO 负载
NFS 文件级共享,配置简单 小规模共享镜像
iSCSI 与 FC 块级共享,延迟可控 集群与在线迁移
Ceph RBD 等分布式存储 多副本、可横向扩展 云平台与跨宿主调度
  • 存储是否共享决定虚拟机能否在线迁移:本地盘无法在不停机的情况下随实例迁移;跨宿主恢复需要共享存储或块级复制。存储层的设备映射与多路径知识见 块设备层与 IO 调度器。

2.3 虚拟网络

  • 桥接(bridge):宿主物理网卡与虚拟网卡加入同一个 Linux bridge(如 br0),虚拟机直接参与物理二层,可获取同网段地址。服务器场景常用,链路路径短,但虚拟机暴露在物理网络中,隔离依赖上层设备。
  • NAT:libvirt 默认网络 virbr0,由宿主完成地址转换。虚拟机可访问外网,外部无法主动连入,需要入方向时配置端口转发。
  • 仅主机(host-only):只在宿主机与虚拟机之间连通,不转发到物理网络,适合隔离实验与内部联调。
  • 虚拟交换机与安全组的关系:Open vSwitch 等虚拟交换机把接入、隔离与策略集中到可编程的二层设备,支持 VLAN tag、ACL、流量镜像与 QoS;云平台的多租户隔离由它承担。安全组是云平台在虚拟交换机或宿主层实现的有状态包过滤,作用在实例网卡之外的一层;主机内的 ufw、iptables 或 nftables 是另一层。数据包须依次通过云侧安全组与主机防火墙,任一层拒绝即不通,规则层次与排查方法见 网络诊断与远程连接。
  • VLAN 与内部网络:VLAN tag 把同一物理交换网络划分为多个二层广播域,实现接入隔离;内部网络通常使用私有地址段,实例默认只有内网地址,出网经 NAT 网关或绑定弹性 IP,入网经弹性 IP 或负载均衡。

2.4 云主机模型

实例规格与 vCPU 超卖

  • 规格由 vCPU 核数、内存容量、网络基准与突发带宽,以及可挂载云盘数量共同定义;同一规格族按 CPU 与内存配比分为通用、计算、内存、GPU 等类型。
  • vCPU 是宿主物理线程上的时间片,不是独占物理核。云平台按一定比例超卖(vCPU 与物理核之比大于 1),在多数实例空闲时可容纳更多实例;一旦多数实例同时繁忙,客户机表现为 CPU 被抢占,steal 升高,判定方式见 3.5。

云盘类型与性能上限

  • 常见档位按介质与性能分层,如普通云盘、SSD 云盘、增强型 SSD。性能以 IOPS 与吞吐衡量,且有明确上限。
  • 多数云盘的性能随容量线性增长:小容量盘即使属于高性能档位,也受容量对应的 IOPS 上限约束。判断存储瓶颈需同时核对容量档位与实测值,不能只看类型名称。

弹性 IP 与 NAT 网关

  • 弹性 IP 是可独立申请、绑定与解绑的公网地址,绑定后通过一对一 NAT 映射到实例网卡;解绑后实例仅保留内网地址。实例内部始终只看到私网地址,因此绑定或解绑不影响实例内的网络配置。
  • NAT 网关为私网实例提供共享出口,多实例共用一个公网地址访问外网;入方向不经过 NAT 网关,需要弹性 IP 或负载均衡承载。

可用区与容灾概念

  • 可用区(AZ)是区域内电力、网络与机房相互独立的故障域;同一区域内的可用区之间延迟低、带宽高,可承载同步或半同步复制。
  • 单可用区内部署只能抵御单机故障,不抵御可用区级故障;跨可用区部署把故障域从实例扩大到可用区。区域(Region)之间距离远,通常以异步复制与备份承担容灾,见 高可用与集群。

元数据服务与初始化

  • 实例可访问链路本地地址 169.254.169.254 获取实例 ID、内网 IP、可用区、镜像 ID、临时凭证与实例数据(user-data),平台借此把实例身份注入运行中的系统。
  • 首次启动由 cloud-init 之类的初始化代理读取元数据与 user-data,完成主机名、登录密钥、网络与软件包配置;不使用平台初始化机制时,可由首次启动脚本实现同等效果。
  • 元数据服务的风险是访问控制:任何能访问该地址的进程都可取出实例凭证。把用户可控地址转发到该地址的 SSRF 漏洞等同于交出实例权限,应在入口与代理层拦截发往 169.254.169.254 的请求。

三、实现:管理、扩容、交付与运维处置

3.1 KVM 与 libvirt 基础

环境确认

# 硬件虚拟化扩展是否存在,输出大于 0 表示可用
grep -c -E 'vmx|svm' /proc/cpuinfo

# 内核模块与设备节点
lsmod | grep kvm
ls -l /dev/kvm

# 当前环境是否为虚拟机,以及具体虚拟化类型
systemd-detect-virt
  • 输出为 0 时先确认 CPU 虚拟化在固件中已开启;/dev/kvm 的属主与权限决定哪些用户可以运行虚拟机。
  • 嵌套虚拟化需求先用 cat /sys/module/kvm_intel/parameters/nested 或 kvm_amd 对应文件确认当前开关状态。

virsh 常用命令

命令 作用
virsh list --all 列出全部域及其状态
virsh dominfo <域> 域的基本信息与资源上限
virsh domstate <域> 当前状态,如 running、paused、shut off
virsh domiflist <域> 域的网卡与所属虚拟网络
virsh domblklist <域> 域的磁盘设备与后端文件
virsh start <域> 启动域
virsh shutdown <域> ACPI 优雅关机
virsh reboot <域> 优雅重启
virsh destroy <域> 强制关机,等同断电
virsh define <域> 由 XML 定义域
virsh undefine <域> 删除域定义
virsh edit <域> 编辑域 XML
virsh dumpxml <域> 导出域 XML
virsh console <域> 连接串口控制台
  • 域的生命周期为:define(定义,不启动)→ start → running → shutdown 或 reboot → shut off → undefine(移除定义)。destroy 跳过关机流程直接终止进程,客户机没有刷盘机会,属高危操作,见 3.6。

存储池与卷

# 查看存储池与卷
sudo virsh pool-list --all
sudo virsh vol-list --pool default

# 定义并启动目录型存储池
sudo virsh pool-define-as data dir --target /var/lib/libvirt/images/data
sudo virsh pool-build data
sudo virsh pool-start data
sudo virsh pool-autostart data

# 创建、查看与扩容卷
sudo virsh vol-create-as data vm01.qcow2 40G --format qcow2
sudo virsh vol-info vm01.qcow2 --pool data
sudo virsh vol-resize vm01.qcow2 80G --pool data
  • 存储池是 libvirt 对存储后端的抽象,同一套命令可操作目录、LVM、iSCSI 与 RBD 等后端。
  • vol-resize 只支持扩大,缩小需要重建卷。卷容量变更只作用于卷本身,客户机内的分区与文件系统仍需按 3.2 逐层处理。

虚拟网络

# 查看网络与定义
sudo virsh net-list --all
sudo virsh net-dumpxml default

# 启动并设置自启
sudo virsh net-start default
sudo virsh net-autostart default

控制台与串口访问

# 图形控制台端口,注意监听地址,暴露到公网前需加访问控制
sudo virsh vncdisplay <域>

# 串口控制台,需客户机内核与 getty 已配置
sudo virsh console <域>
  • 客户机无网络、SSH 不可用时,图形控制台与串口控制台是唯一的进入路径。串口控制台需要在客户机内核参数中加入 console=ttyS0 并启用对应的 getty 服务,未配置时只能使用图形控制台。
# /etc/default/grub 中的内核参数示例,修改后需更新 grub 配置
GRUB_CMDLINE_LINUX="console=tty0 console=ttyS0,115200n8"

配置导出与备份

# 导出域定义,与磁盘镜像一同归档
sudo virsh dumpxml vm01 > /backup/vm01-$(date +%F).xml

# 持久化配置文件位置
sudo ls /etc/libvirt/qemu/
  • 一台虚拟机的完整备份包含域 XML 与磁盘镜像两部分:只有镜像无法恢复网卡、CPU 模式与启动项等定义,只有 XML 缺少数据。恢复时先恢复镜像,再 virsh define 导入定义。
  • 备份应在域关机或已创建外部快照的状态下进行;运行中直接复制镜像会得到不一致的数据。

3.2 虚拟机磁盘与扩容

格式选择与查看

# 查看镜像格式、虚拟大小与实际占用
qemu-img info /var/lib/libvirt/images/vm01.qcow2

# 创建精简分配的 qcow2 卷,preallocation=metadata 只预分配元数据
qemu-img create -f qcow2 -o preallocation=metadata vm02.qcow2 40G

磁盘格式转换 高危

# qcow2 转 raw,输出到新文件,不改动源镜像
qemu-img convert -p -O raw vm01.qcow2 vm01.raw

# 转换后核对格式与大小,确认无误再替换域 XML 中的磁盘路径
qemu-img info vm01.raw
  • 高危:格式转换会重写整盘数据,耗时与磁盘容量成正比,运行中转换只能得到不一致的映像。执行前须停机或使用快照,并始终输出到新文件、保留源镜像。
  • 回滚方式:源镜像未被覆盖时可直接把域 XML 的磁盘路径改回原文件并启动;已替换文件时用备份的镜像恢复,不要依赖 qemu-img 逆向转换找回未刷盘的数据。

扩容链路

虚拟磁盘容量 → 分区 → LVM 物理卷 → 逻辑卷 → 文件系统
  • 顺序不可颠倒:先扩大虚拟磁盘,再让客户机内核识别新容量,最后逐层向上扩展。任一环缺失都会表现为"已扩容但 df 不变"。
  • 客户机内的分区扩容、物理卷刷新、逻辑卷扩展与文件系统刷新命令及前提条件见 磁盘存储与文件系统操作命令 的 12.1 与 逻辑卷LVM,本节不重复。
  • 在线扩容前确认客户机内文件系统已挂载且可写(XFS 必须已挂载),卷组仍有足够剩余扩展块。宿主侧扩容后先核对 lsblk 已看到新容量,再进入客户机操作。
  • 缩减客户机磁盘需要重建卷并回拷数据,不存在可靠的在线缩小路径;空间规划失误时的安全做法是备份、重建、恢复。

快照创建与合并

# 查看现有快照
sudo virsh snapshot-list vm01

# 创建外部快照(磁盘快照)
sudo virsh snapshot-create-as vm01 snap-20260921 --disk-only --atomic

# 查看后备链关系与各层实际占用
qemu-img info --backing-chain /var/lib/libvirt/images/vm01.snap-20260921
  • 外部快照在链上新开一个覆盖层,原文件转为只读基镜像,此后所有写入落在覆盖层。创建前需确认存储池空间足以容纳变更量,空间耗尽时覆盖层无法写入,客户机随即出现 IO 错误。
  • --disk-only 只保存磁盘状态,客户机继续运行但不再保留该时间点的内存状态;带内存的快照受内存容量与磁盘空间限制,创建时客户机短暂暂停。

快照合并 高危:

# 把覆盖层的变更合并回基镜像,客户机保持运行
sudo virsh blockcommit vm01 vda --active --pivot

# 或把基镜像内容拉取到当前层,消除对基镜像的依赖
sudo virsh blockpull vm01 vda --wait
  • 高危:合并会改动块设备数据与后备链结构,方向判断错误或中途中断会留下无法挂载的链。合并前应停止对客户机的写入或先做磁盘备份,核对链的层数与合并方向;执行期间不要对同一磁盘再做扩容或快照。
  • 合并失败时不要删除任何一层文件,保留现场后用 qemu-img info --backing-chain 核对链结构再处置。
  • 回滚方式:合并前分别备份活动层与基镜像,失败后按备份还原链结构;已在客户机内产生的新数据以客户机中的应用级备份为准。
  • 快照不等于备份:快照与源盘位于同一存储,存储损坏时一并失效。需要长期保留的数据应导出为独立备份,方法见 备份与灾难恢复。

精简置备空间回收

# 客户机内丢弃未使用的块
sudo fstrim -av

# 宿主侧回收镜像中的空洞,会重写镜像
sudo virt-sparsify --in-place vm01.qcow2
  • 客户机磁盘控制器需支持 discard 且域 XML 中该磁盘已启用 unmap,fstrim 才能真正把块归还存储;未启用时只更新文件系统视图。
  • virt-sparsify --in-place 会重写镜像内容,执行前须关机或完成备份。

3.3 模板与克隆

模板制作要点

  • 最小化安装,只保留运行所需组件;在模板阶段完成系统更新与基础配置,避免每台新实例重复操作。
  • 清理实例唯一性信息:machine-id、SSH 主机密钥、持久化网络设备命名规则、日志、命令历史与临时文件。
  • 清除 cloud-init 的已执行标记,使克隆后的实例能够重新执行初始化;未清理时新实例不会再次初始化。
# 清理实例状态的一般顺序
sudo cloud-init clean --logs
sudo rm -f /etc/ssh/ssh_host_*
sudo truncate -s 0 /etc/machine-id
  • virt-sysprep 可一次性完成上述清理,适合批量制作。

完整克隆与链接克隆

# 完整克隆:重写整个镜像,与源镜像不再有依赖
qemu-img convert -O qcow2 -o preallocation=metadata base.qcow2 vm03.qcow2

# 链接克隆:新镜像作为基镜像的覆盖层,创建快且节省空间
qemu-img create -f qcow2 -b /var/lib/libvirt/images/base.qcow2 -F qcow2 vm04.qcow2
对比项 完整克隆 链接克隆
磁盘占用 与源盘实际占用相当 仅新增写入量
创建速度 与镜像大小相关 接近瞬时
独立性 完全独立 依赖基镜像
风险 无共享依赖 基镜像被移动、修改或删除后全部失效
  • 链接克隆的基镜像必须保持只读且路径不变;对基镜像的任何写入都会影响全部派生实例。生产环境应把基镜像放在独立目录并限制写权限。

初始化流程

  • cloud-init 的常见配置来源为 NoCloud(挂载 seed 镜像或通过元数据服务提供 user-data)与平台元数据服务。实例首次启动时读取配置,完成主机名、用户、密钥、网络与软件包安装。
#cloud-config
hostname: vm04
manage_etc_hosts: true
users:
  - name: deploy
    sudo: ALL=(ALL) NOPASSWD:ALL
    ssh_authorized_keys:
      - ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAI**** deploy@example
package_update: true
packages:
  - qemu-guest-agent
  • 初始化只在首次启动执行一次,重新执行需先清理 cloud-init 状态。注入的密钥应使用交付专用密钥,并在首次登录后轮换。
  • 不使用 cloud-init 时,可用首次启动脚本实现同等效果:由 systemd 单元或启动脚本在首次启动时生成主机名与主机密钥、写入公钥,完成后创建标记文件避免重复执行。
  • 另一种方式是离线注入,适合镜像交付前的批量定制:
sudo virt-customize -a vm04.qcow2 \
  --hostname vm04 \
  --ssh-inject deploy:file:/root/deploy.pub

3.4 云主机日常运维

规格变更后的验证

  • 核对客户机看到的资源:lscpu、free -h、nproc、ip -s link,确认核数、内存与网卡队列数与新规格一致。
  • 核对拓扑变化:规格变更可能改变 NUMA 拓扑与队列数,应重新记录基线,指标口径见 监控与告警 与 性能测试与基线。
  • 核对应用侧配置:以核数或内存比例推导线程数、工作进程数、JVM 堆上限的服务需要同步调整,否则规格变更不会带来预期收益。
  • 规格变更 高危:变更通常伴随重启,部分平台不支持向下变更或要求关机后操作,变更期间业务中断。执行前确认实例内服务具备开机自启与优雅停止能力,在监控中创建静默窗口,并记录当前规格与云盘挂载关系以便回退。
  • 回滚方式:新规格不适用时改回原规格并再次重启;变更前制作云盘快照,可在验证发现异常时回滚数据状态到变更前的存储视图。

云盘挂载与识别

# 查看新挂载的云盘与文件系统
lsblk -f
sudo blkid
  • 云盘挂载后设备名可能因枚举顺序变化,持久挂载应使用 UUID;分区、格式化、挂载与写入 fstab 的完整流程见 磁盘存储与文件系统操作命令 的 12.2。
  • 解绑云盘前先在实例内卸载文件系统并停止写入,再做平台侧解绑;顺序颠倒会让文件系统停留在未刷盘状态。

安全组与主机防火墙的叠加关系

  • 云侧安全组与主机防火墙是两道独立过滤:入方向流量的判定顺序通常为安全组 → 主机防火墙 → 服务监听。任一层拒绝即不通,只在其中一层放行无法连通。
  • 排查端口不通时先用安全组规则与流日志确认云侧是否放行,再在实例内查看 ufw、iptables 或 nftables 规则,方法见 网络诊断与远程连接 的防火墙章节。
  • 出方向同样受两层控制:安全组的出方向规则与服务自身的绑定地址都会影响连通性,诊断顺序与地址、路由的排查一致。

弹性 IP 绑定

# 实例内部看到的始终是私网地址
ip -4 addr show
ip route get 8.8.8.8
  • 绑定与解绑不改变实例内部配置,应用无需感知;变更后从外部验证连通性与访问来源地址。
  • 绑定前确认安全组已放行对应端口,否则会出现地址已绑定但端口仍不可达的现象,容易误判为绑定失败。

快照与镜像制作

  • 云盘快照用于时间点回滚,通常以增量方式存储,与云盘同平台;镜像用于批量创建实例,包含系统盘内容与部分平台配置。
  • 制作镜像前清理实例唯一性信息(方法见 3.3),并关机或使用平台提供的制作流程保证一致性;运行中直接制作会得到不一致的文件系统。
  • 快照与自定义镜像都会持续产生存储成本,应按保留策略定期清理,过期制品纳入巡检。

实例元数据的使用与风险

# 读取实例身份信息
curl -s http://169.254.169.254/latest/meta-data/instance-id
curl -s http://169.254.169.254/latest/meta-data/local-ipv4

# 读取实例的初始化数据
curl -s http://169.254.169.254/latest/user-data
  • 平台通过该地址向实例注入身份与配置,运维脚本可据此获取实例 ID、内网 IP 与可用区,避免手工维护映射表;curl 的参数用法见 curl。
  • 风险与缓解同 2.4:转发到该地址的请求会泄露实例凭证,应在入口与代理层拦截发往 169.254.169.254 的请求,不在实例上运行可被任意输入驱动的转发代理。

3.5 性能与资源争抢

宿主机 CPU 就绪时间与 steal

  • 客户机看不到宿主的调度等待,只看到自身时间被"偷走":top 与 mpstat 中的 st 即 steal,含义与判读方法见 系统与进程管理 的 steal time 部分。
  • 判定顺序:先在客户机确认 st 持续偏高,再在宿主用 vmstat 1 的运行队列列、mpstat -P ALL 1 与 virsh schedinfo 观察运行队列与 vCPU 就绪延迟,最后核对宿主的 vCPU 超卖比例。
  • 处置方式:降低宿主超卖比例、把负载分散到其他宿主、为关键实例使用独占或高优先级配置。在客户机内调整调度参数无法解决宿主侧的争抢。

内存气球与 swap

  • 内存气球(balloon)驱动允许宿主在客户机运行时回收其未使用内存:宿主内存紧张时气球膨胀、客户机可用内存随之减少,客户机看到的只是自身内存变少,而非外部告警。
  • KSM 合并内容相同的内存页以降低宿主内存占用,代价是额外的 CPU 开销与潜在的侧信道风险。
  • 宿主内存超分后压力会传导到客户机的 swap,客户机 si、so 升高与 SWAP 使用量增长常是宿主回收压力的下游表现。定位应在宿主侧观察回收与 OOM 记录,内存回收机制见 内存管理。

磁盘 IO 争抢的判定

# 客户机侧观察设备级延迟与利用率
iostat -x 1
  • 判据:客户机内 await 偏高而设备队列不深时,瓶颈可能在宿主或共享存储。需在宿主侧对同一后端卷查看 iostat -x 与 virsh domblkstat,两端对照才能区分是应用自身 IO 量过大还是被其他实例挤占。
  • iostat 各列含义与解读见 磁盘存储与文件系统操作命令 的磁盘健康与性能章节。
  • 共享存储后端上多实例的 IO 相互影响,对延迟敏感的业务应避免与其他高 IO 实例共用同一后端卷。

网卡队列与带宽限制

# 查看队列数与网卡统计
ethtool -l eth0
ethtool -S eth0 | head
  • virtio-net 支持多队列,队列数不足时中断处理集中在单个 vCPU,形成吞吐瓶颈;队列数应随 vCPU 核数与并发连接数调整。
  • 带宽限制可能在客户机内的流量整形、宿主侧 QoS 与云平台规格上限三处生效,实际可用带宽取三者中的最小值。判断前先确认规格的基准带宽与突发带宽。网卡统计与队列查看见 网络诊断与远程连接。

3.6 故障与迁移

宿主机故障对实例的影响

  • 本地盘实例随宿主宕机同时不可用,数据能否恢复取决于镜像与云盘的完整性以及最近的备份;宿主重启后实例通常需要重新调度或人工恢复。
  • 使用共享存储或分布式存储的实例可在其他宿主上重新启动,代价是重启期间的服务中断,是否自动恢复由平台的高可用策略决定。
  • 故障域判断:同一宿主上的多个实例、同一可用区内的全部实例都属于同一故障域。冗余部署须跨宿主或跨可用区,分层高可用的取舍见 高可用与集群。

热迁移的前提与影响

  • 前提:源与目标宿主可访问同一存储,或使用块迁移在线同步磁盘;CPU 特性集兼容;网络配置在目标侧可复现;宿主间带宽足以承载内存脏页的生成速率。
  • 过程:先整体复制内存页,再反复传输脏页,最后短暂暂停客户机、传输剩余状态并切换。停顿时间与内存大小及脏页速率相关。
  • 影响:迁移期间宿主间带宽占用升高,客户机时钟与定时器可能跳变,依赖严格时钟的应用需关注时间同步;迁移后网卡 MAC 与 IP 保持不变,但宿主侧本地资源(如本地盘)不会随实例迁移。

迁移 高危:

  • 高危:迁移失败可能导致实例在目标侧无法启动,或内存状态不完整。执行前应确认实例有可用备份或快照,确认目标宿主的 CPU 与存储兼容,并避免与磁盘扩容、快照合并等操作并发。
  • 回滚方式:迁移期间保留原宿主资源不释放,确认目标侧运行正常并核对业务后再清理;失败时优先在原宿主恢复运行。

强制关机 高危

# 强制关机,等同断电
sudo virsh destroy vm01
  • 高危:跳过 ACPI 关机流程直接终止虚拟机进程,客户机内的页缓存没有刷盘机会,文件系统可能损坏,数据库等有写事务的服务存在数据风险。
  • 优先使用 virsh shutdown 触发优雅关机;确需强制关机时先评估数据丢失范围,开机后按 磁盘存储与文件系统操作命令 的只读文件系统排障流程检查。
  • 回滚方式:事前有磁盘快照或备份时,可在文件系统修复无效后回滚到该时间点;无快照时只能依赖文件系统自身日志恢复能力,并接受部分数据无法恢复。强制关机前后应保存串口输出以判断是否发生文件系统损坏。

实例无响应时的排查顺序

云控制台状态与监控 → 图形或串口控制台 → 宿主 virsh 状态 → 客户机内系统日志 → 应用日志
  1. 云控制台确认实例状态、宿主机状态与平台侧告警,排除平台维护与配额问题。
  2. 尝试图形控制台或串口控制台,判断是操作系统无响应还是仅网络不可达。
  3. 控制台无输出时,在宿主上查 virsh list --all、virsh domstate、virsh dominfo,确认域是否仍在运行;域处于 paused 状态时进一步查看宿主日志与存储状态。
  4. 网络可达但登录异常时,进入客户机查 dmesg、journalctl -b -p err、systemctl --failed,日志命令见 日志查询与审计。
  5. 系统层排除后再处理应用层问题,避免在平台侧反复重启掩盖真实原因。

云控制台与串口日志的取证

  • 串口日志是客户机完全无网络时唯一的输出通道,内核启动信息、panic 与 OOM 记录都会出现在其中,配置方式见 3.1。
  • 平台侧通常保留实例的操作记录、重启记录与屏幕截图,可用于判断是人为操作还是异常重启。
  • 取证顺序:先保存串口与控制台输出,再保留宿主侧的域 XML 与日志,最后在实例内收集系统与应用日志。重启或重建实例前完成取证,否则现场不可恢复。

3.7 成本与容量

实例与云盘选型思路

  • 按峰值而非平均值选型,并区分负载类型:以 CPU 为主的服务关注单核性能与核数,缓存类服务关注内存容量,数据库关注云盘 IOPS 与延迟。
  • 云盘按实测 IOPS 与吞吐选择档位;小容量盘受容量对应的性能上限约束,必要时用多块云盘分别承载数据文件与日志,避免相互干扰。

闲置资源识别

  • 低负载实例:CPU、内存、网络与连接数长期处于基线以下。
  • 未挂载的云盘、未绑定的弹性 IP、长期未使用的快照与自定义镜像、遗留的负载均衡与 NAT 网关。
  • 识别依赖指标基线,采集方式与阈值设置见 监控与告警。

预留与按量取舍

  • 长期稳定负载使用包年包月或预留实例,单位成本低于按量计费;波动明显的负载使用按量计费,避免为峰值长期付费。
  • 可中断任务可使用竞价或抢占式实例,前提是业务能容忍随时回收,并具备检查点与重试能力。

容量规划与监控衔接

  • 容量规划按基线、增长速率、耗尽时间、触发点与幅度五步执行,方法与阈值见 监控与告警 的容量规划方法。
  • 虚拟化与云环境增加两层容量约束:宿主的物理资源与平台的配额。宿主容量不足时变更规格会失败,配额不足时创建资源会失败,两者都应纳入规划与告警。

3.8 与容器与编排的关系

  • 同一宿主上容器与虚拟机共享 CPU、内存、磁盘 IO 与网络:容器以 cgroup 限制自身资源,虚拟机以 vCPU 与内存配额参与宿主调度。两类负载叠加时宿主仍可能被推至饱和,应分别设置限制并留出余量,cgroup 的接口与限制方式见 进程管理与 cgroups。
  • 容器运行在云主机上是常见形态:虚拟机内运行容器运行时,容器共享该虚拟机的内核与资源视图。桌面环境下的等价关系与实现见 Docker Desktop 与 WSL2/Hyper-V,容器网络模型见 Docker 网络。
  • Kubernetes 节点通常部署在云主机上,节点需为系统与 kubelet 预留资源,否则容器会把整机推向内存耗尽并触发节点级 OOM,表现为节点失联而非单个容器被杀。Allocatable 的计算方式、驱逐阈值与资源配额见 Kubernetes 运维与排障 的调度与集群资源章节。
  • 层次关系为:物理资源 → 宿主 hypervisor → 虚拟机 → 容器运行时 → 容器。每一层都有独立的限制与配额,排查性能问题时需逐层核对限制值与实际用量,而不是只看最内层。

四、总结

  • 虚拟化把操作系统与硬件解耦,云主机把虚拟化与资源调度封装为按需服务;运维对象因此新增宿主、存储后端、虚拟网络与平台配额四类边界。
  • 运行原理:KVM 借助 CPU 硬件虚拟化扩展执行客户机代码,QEMU 负责设备模拟与生命周期,libvirt 提供统一管理接口,virtio 通过共享内存环降低 IO 开销。
  • 磁盘形态决定能力:raw 性能优先,qcow2 支持快照、后备链与精简分配;快照链越长风险越高,超额分配的空间耗尽会同时影响池内全部卷。
  • 网络分为接入方式与过滤隔离两层:桥接、NAT、仅主机是接入方式,安全组、VLAN 与虚拟交换机承担隔离与过滤,安全组与主机防火墙是叠加关系而非替代关系。
  • 云主机模型的关键概念:实例规格与 vCPU 超卖、云盘档位与性能上限、弹性 IP 与 NAT 网关、可用区故障域、元数据服务与 cloud-init 初始化。
  • 日常实现路径:以 virsh 管理域、存储池与虚拟网络;磁盘扩容按"虚拟磁盘 → 分区 → 物理卷 → 逻辑卷 → 文件系统"逐层推进;模板与克隆配合 cloud-init 完成批量交付。
  • 资源争抢先在客户机看到现象、再到宿主定位原因:st 对应 CPU 抢占,内存气球与 swap 对应内存回收,await 与队列深度对应 IO,队列数与带宽限制对应网络。
  • 高危操作集中在磁盘与实例生命周期:格式转换、快照合并、强制关机与迁移都应先备份或创建快照,并保留可回滚的现场与串口日志。
  • 成本与容量管理以指标基线为依据;虚拟化环境额外增加宿主物理容量与平台配额两层约束,慢扩容资源应优先纳入规划。
  • 层次关系上,物理资源、宿主机、虚拟机、容器与编排逐层叠加,每层都有独立的限制与配额,排查须逐层核对而非只看最内层。