系统之锹sysdig：Linux服务器监控和排障利器

共计 3212 个字符，预计需要花费 9 分钟才能阅读完成。

当你需要追踪某个进程产生和接收的系统调用时，首先浮现在你脑海中的是什么？你可能会想到 strace，那么你是对的。你会使用什么样的命令行工具来监控原始网络通信呢？如果你想到了 tcpdump，你又作出了一个极佳的选择。而如果你碰到必须追踪打开的文件（在 Unix 意义上：一切皆文件）的需求，可能你会使用 lsof。

strace、tcpdump 以及 lsof，确实是些伟大的工具，它们应该成为每个系统管理员工具集之中的一部分，而这也正是你为什么应该爱上 sysdig 的原因。它是一个强大的开源工具，用于系统级别的勘察和排障，它的创建者在介绍它时称之为“strace+tcpdump+lsof+ 上面点缀着 lua 樱桃的绝妙酱汁”。抛开幽默不说，sysdig 的最棒特性之一在于，它不仅能分析 Linux 系统的“现场”状态，也能将该状态保存为转储文件以供离线检查。更重要的是，你可以自定义 sysdig 的行为，或者甚至通过内建的（你也可以自己编写）名为凿子（chisel）的小脚本增强其功能。单独的凿子可以以脚本指定的各种风格分析 sysdig 捕获的事件流。

系统之锹 sysdig：Linux 服务器监控和排障利器

在本教程中，我们将探索 sysdig 的安装及其基本用法，在 Linux 上实施系统监控和排障。

安装 Sysdig

对于本教程，由于为了简便、缩短安装流程以及版本的不可知，我们将选择使用官方网站提供的自动化安装过程。在自动化过程中，安装脚本会自动检测操作系统并安装必需的依赖包。

以 root 身份运行以下命令来从官方 apt/yum 仓库安装 sysdig：

# curl -s https://s3.amazonaws.com/download.draios.com/stable/install-sysdig | bash

系统之锹 sysdig：Linux 服务器监控和排障利器

安装完成后，我们可以通过以下方法调用 sysdig 来感受一下它：

# sysdig

我们的屏幕将马上被系统上发生的所有事件填满，对于这些信息，不便于我们做更多操作。要进一步处理，我们可以运行：

# sysdig -cl | less

来查看可用的凿子列表。

系统之锹 sysdig：Linux 服务器监控和排障利器

默认有以下类目可用，各个类目中分布有多个内建的凿子。

CPU Usage：CPU 使用量
Errors：错误
I/O
Logs：日志
Misc：混杂
Net：网络
Performance：性能
Security：安全
System State：系统状态

要显示指定凿子上的信息（包括详细的命令行用法），运行以下命令：

# sysdig -cl [凿子名称]

例如，我们可以检查“网络”类目下关于 spy_port 凿子的信息：

# sysdig -i spy_port

系统之锹 sysdig：Linux 服务器监控和排障利器

凿子可以通过过滤器（可同时应用于实时数据和记录文件）组合，以获取更多有用的输出。

过滤器遵从“类. 字段”结构。例如：

fd.cip：客户端 IP 地址。
evt.dir：事件方向，可以是‘>’用于进入事件，或‘<’用于退出事件。

完整的过滤器列表可以通过以下命令显示：

# sysdig -l

在本教程剩余部分，我将演示几个 sysdig 的使用案例。

Sysdig 实例：服务器性能排障

假定你的服务器发生了性能问题（如，没有回应，或者重大的回应延迟）。你可以使用瓶颈凿子来显示当前 10 个最慢系统调用的列表。

使用以下命令在存活服务器上进行实时检查。“-c”标识，后跟凿子名称告诉 sysdig 运行指定的凿子。

# sysdig -c bottlenecks

或者，你可以离线对服务器实施性能分析。在此种情况下，你可以保存完整的 sysdig 记录到文件，然后像下面这样针对记录运行瓶颈凿子。

首先，保存 sysdige 记录（使用 Ctrl+ c 来停止收集）：

# sysdig -w trace.scap

收集完记录后，你可以运行以下命令来检查捕获间隔中最慢的系统调用：

# sysdig -r trace.scap -c bottlenecks

系统之锹 sysdig：Linux 服务器监控和排障利器

你需要关注栏 #2，#3 和#4，这些分别表示执行时间、进程名和 PID。

Sysdig 实例：监控交互用户活动

假定你作为系统管理员想要监控系统中交互的用户活动（如，用户在命令行输入了什么命令，以及用户去了什么目录），这时 spy_user 凿子就派上用场了。

让我们首先通过一些额外选项来收集一个 sysdig 记录。

# sysdig -s 4096 -z -w /mnt/sysdig/$(hostname).scap.gz

“-s 4096”告诉 sysdig 每个事件捕获 4096 字节。
“-z”（与“-w”一起使用）为记录文件启用压缩。
“-w”保存 sysdig 记录到指定的文件。

在上面的例子中，我们自定义了基于每个主机的压缩的记录文件的名称。记住，你可以在任何时候按下 Ctrl+ c 来打断 sysdig 的执行。

在我们收集到了合理数量的数据后，我们可以通过运行以下命令来查看每个用户的交互活动：

# sysdig -r /mnt/sysdig/debian.scap.gz -c spy_users

系统之锹 sysdig：Linux 服务器监控和排障利器

上面输出的第一栏表示与指定用户的活动相关进程的 PID。

如果你想要定位一个指定的用户，以及只监控该用户的活动又怎么样呢？你可以通过用户名对 spy_users 凿子的结果进行过滤：

# sysdig -r /mnt/sysdig/debian.scap.gz -c spy_users “user.name=xmodulo”

系统之锹 sysdig：Linux 服务器监控和排障利器

Sysdig 实例：监控文件 I /O

我们可以使用“-p”标识来自定义 sysdig 记录的输出格式，并指定双引号括起来的想要的字段（如用户名、进程名，以及文件或套接口名称）。在本例中，我们将创建一个记录文件，该文件将只包含在家目录中的写入事件（我们今后可以使用“sysdig -r writetrace.scap.gz”来检测该文件）。