关于Netfilter NF_HOOK宏的outdev参数bug

共计 1577 个字符，预计需要花费 4 分钟才能阅读完成。

1. 首先指出，NF_HOOK 系列宏的 outdev 参数的传递方式 (直接传递一个 net_device 结构体指针) 是不正确的
正确的方式要么是不传递，要么是传递指针的地址，即地址的地址。

2. 接下来指出，仅仅传递一个地址为何不对
因为在该 HOOK 点可能存在多个 HOOK 函数，每一个函数都有可能改变 skb 的路由，即调用 reroute，比如 NAT，比如 IP Mark 等，这样后续的 HOOK 函数看到的依然是旧的 outdev 参数，而不是 reroute 之后的 skb_dst(skb)->dev。

Netfilter/Iptables 概述 http://www.linuxidc.com/Linux/2014-03/98995.htm

iptables/Netfilter 详解中文手册 http://www.linuxidc.com/Linux/2012-12/76738.htm

Netfilter 模块及 iptables 基本概念 http://www.linuxidc.com/Linux/2012-11/74703.htm

Linux Netfilter/iptables 内核模块介绍 http://www.linuxidc.com/Linux/2012-09/71468.htm

Netfilter 的 expect 连接的原理和利用 http://www.linuxidc.com/Linux/2012-06/62687.htm

3. 然后看一个实际出错例子
设置默认路由
0.0.0.0/0 via 192.168.1.1 eth0
设置策略路由
iptables -t mangle -A OUTPUT -d 1.1.1.1 -j MARK –set-mark 100
ip rule fwmark 100 table my
ip route add 0.0.0.0/0 via 192.168.2.1 dev eth1 table my
防止 mark 100 的数据包从 eth0 出去 (这实际上只是为了展现问题而添加的多余的一条规则)
iptables -A OUTPUT -d 1.1.1.1 -o eth0 -j DROP
效果是到达 1.1.1.1 的数据包被 DROP 掉了。是的，策略路由确实生效了，问题在于进入 OUTPUT 的 filter HOOK 函数的时候，outdev 还是旧的 outdev。因为 OUTPUT 处在路由之后，如果其中的 mangle 表改变了 skb 的 mark，那么会 reroute，不幸的是，reroute 并无法改变 OUTPUT 点上 NF_HOOK 的 outdev 参数值！

4. 怎么修正
办法很多，依次介绍：
a. 使用 setsockopt 打 mark 而不是 iptables 打 mark，绕开 OUTPUT 和路由的暧昧关系；
b. 修改 NF_HOOK 的 dev 参数为 struct net_device ** 类型，然后在 reroute 中重路由成功后执行 *out = (struct dst_entry*)skb_dst(skb)->dev; 从而改变 NF_HOOK 中的 outdev 的值；
c. 去掉 NF_HOOK 宏的 outdev 参数，需要时从 skb_dst(skb)->dev 中实时获取；
很简单，在 ipt_do_table 的开头位置，即变量声明的完结处，加入下面的代码：

    struct xt_target_param tgpar;
#if 1
    struct dst_entry *dst_e = skb_dst(skb);
    if (dst_e) {
        out = dst_e->dev;
    }
#endif

实时替换掉参数定义的 out 值。

d. 使用非传值机制！C 语言是传值的啊！使用连续的 ****** 可以为了寻址一个字节遍历整个内存，即整个内存只存储一个字节的值，其它的都被填满为它的直接或者间接的地址，地址，地址 …

5. 彻底仿真世界

一个实体只能同时存在于一个位置！就像人一样，进入了一个房间，外面就没有这个人了，可惜编程语言不是这样的。