TL;DR:一句话结论,Solarflare 系列网卡,在使用旧版驱动进行 PTP 对时的情况下,会有实测额外微秒级别的误差,需要升级到 Onload 8.1.0 及以上(自带 sfc 驱动 5.3.14.1019)。

为什么对时会有误差?
计算机的时间是通过主板上面的晶振来实现的,晶振是一种特殊切割的石英制品,通电之后可以产生固定频率高低振荡的电压,这就是时钟的物理基础。
但是石英振荡的频率本身不可能做到像专业原子钟那样完全固定,会随着温度、物理老化以及制造误差等因素影响,有误差,也就是说时钟每天会快慢个几秒钟都是很正常的,包括我们的手表也是。
通常主板的石英晶振频率是 24MHz or 25MHz,频率误差在 ±20ppm 左右。
如果要维护准确的时间的话,就需要依赖外部专业时间源来对时钟进行校准,指望主板上几块钱的石英片肯定是不可能的。
为什么需要准确的时间?
其实不是所有人都需要准确的时间,或者说至少不需要那么准确的时间,差个几秒钟地球照样转,那为什么需要亚微秒级精确的时间呢?
哈哈,如果你还有这个问题那么你就不是这篇博客的受众,我这里就不赘述了。
时间是怎么传输的?
首先,定位卫星内部会有非常精确的铯原子钟,铯原子只会被频率恰好为 9,192,631,770 Hz (一秒的国际定义就是以此为基准)的微波激发跃迁,这个规律对所有的铯原子都是一致的,所以每一台原子钟的时间校准之后就会跑在完全相同的频率上,千万年误差 1s。
GPS 和北斗卫星会将信号广播时间到地面,机房楼顶的接收天线接收到这个信号之后,把信号转交给机房内部的 GM 设备(Grand Master,主时钟),GM 通过 PTP 协议(Precision Time Protocol,精确时间协议)把时间在局域网内广播出来,支持透明时钟的交换机会默默把穿越交换机的延迟也附上,最后机器网卡接收到 PTP 组播打时间戳,ptp4l 通过 PTP 协议校准网卡时间戳,机器再通过 phc2sys 把网卡时间同步到机器操作系统,这样我们的应用程序就能获得一份精确的时间戳啦~

怎么校准时间?
对时的直觉其实很朴素,假设有个节点 B,我要根据时间源 A 来校准时间,那么我只需要知道 A 的时间以及 A 的消息传到我这里要多久。两者相加,就是 B 此刻应该设置的时间。
上面这个庞大的时间网络其实就是,不断的重复从 A -> B 的校准过程,卫星 -> GM -> 网卡 -> 操作系统。
这个环节最关键也最容易出误差的地方其实一直是,怎么知道 A 的消息传到 B 花了多久。
这篇博客说的误差具体是什么?
OK 现在进入正题,我要提到的误差主要是在最后一步,“phc2sys 把网卡时间同步到机器操作系统”。
ptp4l (PTP for Linux) 和 phc2sys (PTP Hardware Clock to System Clock) 都是 linuxptp 套件的一部分,前者是一个守护进程,通过收发 PTP 报文与 GM 交互,通过经典的四时间戳算法估算出到 GM 的链路延迟和时钟偏差,并据此校准网卡上的硬件时钟(PHC)。
后者也是一个守护进程,负责再把时间从网卡同步到操作系统。
具体 phc2sys 的工作流程大概是这样的一个 loop,每秒钟执行一次:
同时取网卡和操作系统的时间戳
两者相减,得到偏差
由 PI 控制器算出系统时钟该调快还是调慢多少
通过 clock_adjtime 调整操作系统时间频率(避免时间跳变)
问题主要就出在第一步,取操作系统的时间戳没有问题,但是在老版本 sfc 驱动,以使用比较广泛的 sfc 4.15.x 版本(对应 onload 版本 201811 or 7.1.x)为例;查询一次网卡时间戳的耗时需要 30us!
在老版本驱动,查询网卡时间戳是真的需要老老实实的去网卡查询的,phc2sys 进程需要通过 PCIe 向网卡的 MC 管理固件(一颗很小的芯片)发送一条 MCDI 命令 READ_NIC_TIME,等 MC 处理完成之后再通过 DMA 写回主机内存,再触发中断唤醒驱动,驱动把结果返回,phc2sys 才拿到网卡的时间戳,这一来一回就需要 30us!!
不过 30µs 的延迟并不等于 30µs 的误差。
就像卫星到机房 GM 的信号要飞几十毫秒,但 GPS 授时照样能精确到纳秒级,因为这段延迟是可以算出来的。延迟长短本身不要紧,要紧的是它能不能被准确地测出或扣除。
回到 phc2sys:它在读网卡时钟的前后各读一次系统时钟,但网卡时钟究竟是在这 30µs 里的哪一刻被读到的,它无从得知。CPU 下发命令要多久、MC 处理要多久、结果传回来又要多久,没有一段是确定的,真实的读取时刻可能落在这 30µs 中的任何位置。
假设系统在 0 µs 和 30 µs 各读一次,若网卡实际在第 20 µs 取样,中点法就会错 5 µs。即使每次都错得一样,伺服锁定后,日志里的 RMS 仍可以很小
phc2sys 只能做一个 “中点假设”:认为去程和回程一样长,网卡时钟恰好是在正中间被读到的。可实际上未必如此,偏离中点多少,就带来多少误差。理论上最坏可达 ±15µs。
而且更要命的是,这个 30 微秒并不是稳定的 30 微秒正正好,MC 的排队时长,中断回调的处理速度,都会为最终的延迟引入不确定性。
我们可以看一段没有升级驱动当时的 phc2sys 日志:
# journalctl -u phc2sys -n 6 --no-pager
Nov 03 18:14:51 dev-machine phc2sys[22389]: [15022745.170] CLOCK_REALTIME rms 1095 max 1981 freq +826 +/- 955 delay 29993 +/- 848
Nov 03 18:14:35 dev-machine phc2sys[22389]: [15022729.167] CLOCK_REALTIME rms 909 max 1658 freq +761 +/- 799 delay 30712 +/- 806
Nov 03 18:14:19 dev-machine phc2sys[22389]: [15022713.163] CLOCK_REALTIME rms 793 max 1500 freq +789 +/- 677 delay 30632 +/- 819
Nov 03 18:14:03 dev-machine phc2sys[22389]: [15022697.160] CLOCK_REALTIME rms 1004 max 1640 freq +671 +/- 867 delay 29817 +/- 1052
Nov 03 18:13:47 dev-machine phc2sys[22389]: [15022681.157] CLOCK_REALTIME rms 1058 max 2050 freq +783 +/- 905 delay 30349 +/- 830
Nov 03 18:13:31 dev-machine phc2sys[22389]: [15022665.153] CLOCK_REALTIME rms 1026 max 2030 freq +777 +/- 886 delay 30613 +/- 780
- rms 对时结果 offset 均方根约 1us
- max 对时结果 offset 最大变动约 2us
- freq 变动标准差(+/- 后面的数字)在 900 多 ppb,波动很大
- delay 查询网卡时间戳耗时约 30us
从频率变动标准差字段就可以看出来,对时的结果相当不稳定,频率一会踩油门,一会踩刹车;
另外 rms 代表最近一段时间 offset 的均方根,offset 就是 phc2sys 每一次测量时认为的”系统时钟比网卡时钟快了多少”。
我一开始以为这个就是代表对时误差。。。看着只有一微秒,但是并不代表对时的误差就只有一微秒。
rms 反应的是时间的变化程度,实际上有可能是所有的时间都快了 5 微秒,然后在这 5 微秒上下振荡。
怎么证明表真的不准?
phc2sys 自己的日志是证明不了的,它测歪了自己也不知道,得另外找一把尺子。
这把尺子就是网卡的硬件时钟。我们要验证的正是”系统时钟和网卡时钟之间到底差多少”,而网卡恰好会给进出的报文打硬件时间戳。所以思路很简单:对同一个报文,拿系统时钟的读数和网卡时钟的读数比一比。例如发包的时候,包是先从系统出发,再到网卡,如果系统时间戳反倒晚了,那就是不准!
麻烦在于这两个读数不是同一瞬间取的,中间隔着一段内核协议栈的耗时,这个耗时有多长我不知道。
不过没关系,我只需要知道一件事:它一定大于 0。
下面记 δ = 系统时钟比网卡时钟快了多少。
先看发包:
clock_gettime(CLOCK_REALTIME, &t0); // ① 先读系统时钟
sendto(fd, pkt, len, 0, ...); // ② 再把包发出去
// ③ 从 MSG_ERRQUEUE 取回网卡给这个包打的发送硬件时间戳 hw
我是先看的表、后发的包,所以只要系统时钟是准的,t0 就一定早于 hw,不管中间的协议栈花了多久。写成式子是 t0 - hw = δ - 发包耗时,发包耗时大于 0,所以 δ 一定大于 t0 - hw。发很多个包取最大值,就得到了 δ 的下界。
再看收包: 反过来,网卡先给收到的报文打硬件时间戳 hw,内核随后才读系统时钟打软件时间戳 sw(用 SO_TIMESTAMPING 可以同时拿到这两个)。sw - hw = δ + 收包耗时,所以 δ 一定小于 sw - hw。取最小值,就得到了 δ 的上界。
我找了同一个机房的两台机器,一台是老驱动,一台升级到了新驱动,各跑了一遍:
| 发包:t0 - hw 的最大值(δ 下界) | 收包:sw - hw 的最小值(δ 上界) | 结论 | |
|---|---|---|---|
| 老驱动 sfc 4.15 | +4.2us | +6.7us | 系统时钟快了 4.2 ~ 6.7us |
| 新驱动 sfc 5.3.18 | -2.4us | +2.3us | -2.4 ~ +2.3us,测不出偏差 |
注意老驱动那个 +4.2us:包还没发出去的时候读的系统时间,居然比这个包进网卡的时间还要晚 4.2 微秒,相当于时间倒流了。唯一的解释就是系统时钟本身快了,而且至少快了 4.2 微秒。
而新驱动那台,t0 老老实实地比 hw 早了 2.4 微秒以上,这才是正常的世界。两台机器的区别只有驱动版本,就算网卡的时间戳本身有什么系统性的偏差,两边也是一样的,一对比就抵消了。
除了单机测试,我还拿真实流量交叉验证了一下:让另一台老驱动机器和一台正常的机器收同一路行情组播,比较同一笔行情各自落地的本地时间戳。升级驱动前后,这个差值变了 6us 多,而同期作为对照的另一对机器,差值没有变化。量级和上面单机测出来的区间对得上。
最终结论:系统时钟误差至少 4.2 ~ 6.7us。
总之这个时间是非常之不准确,非常不靠谱的,很有可能会误导一些生产环境的测速结论。
怎么办呢?
解决办法也很简单,升级驱动,升到 Onload 8.1.0 及以上(自带 sfc 驱动 5.3.14.1019,我实测的是 Onload 8.1.3 / sfc 5.3.18),新版本驱动实现了内核的 getcrosststamp 接口,实现了 Cross-Timestamping(交叉时间戳)机制,不再需要中点假设。
交叉时间戳的思路是:不再从外面猜网卡时钟是什么时候被读到的,而是让网卡自己把两个时钟配成对。驱动给网卡上的 MC 发一条 SYNCHRONIZE 命令,在 MC 处理期间,主机 CPU 每隔 200ns 就把当前的系统时间写进网卡内存;MC 读出最新写入的主机时间,同时读一下自己的网卡时钟,把这两个时间记成一对,配组多对,然后驱动选出来最靠谱的一对返回给 phc2sys。
phc2sys通过 ioctl PTP_SYS_OFFSET_PRECISE 拿到那一对的结果,就能算出来两个时钟的 diff 从而进行校正,不再需要任何假设。这时日志里的 delay 会显示为 0 (是写死的)。

但是并不是说这种方式就不存在误差了!!!
主机 CPU 通过 PCIe 写入网卡内存的时候,一次 PCIe 写的开销大概在 200~300 纳秒,但是这个是很难确定的,这个开销的不稳定注定会投射在最终的时钟精度误差上。
不过我暂时没有办法测量最终新的驱动误差还剩多少,估计在一两百纳秒左右,anyway 已经比 5us 好太多了。
升级之后,可以明显看到 rms 和 freq 都相当稳定了:
# journalctl -u phc2sys -n 6 --no-pager
Nov 04 20:53:56 dev-machine phc2sys[14047]: [6501089.759] CLOCK_REALTIME rms 85 max 149 freq +286 +/- 77 delay 0 +/- 0
Nov 04 20:53:40 dev-machine phc2sys[14047]: [6501073.757] CLOCK_REALTIME rms 70 max 134 freq +291 +/- 60 delay 0 +/- 0
Last Words
如果你身边还有用 Solarflare 网卡且 sfc 版本 < 5.3.14.1019 的朋友(cat /sys/module/sfc/version),请大声告诉他,你的表不准,该升级了 ~