你的表不准:Solarflare 老驱动下 PTP 对时的 5 微秒偏差

TL;DR:一句话结论,Solarflare 系列网卡,在使用旧版驱动进行 PTP 对时的情况下,会有实测额外微秒级别的误差,需要升级到 Onload 8.1.0 及以上(自带 sfc 驱动 5.3.14.1019)。

cover

为什么对时会有误差?

计算机的时间是通过主板上面的晶振来实现的,晶振是一种特殊切割的石英制品,通电之后可以产生固定频率高低振荡的电压,这就是时钟的物理基础。

但是石英振荡的频率本身不可能做到像专业原子钟那样完全固定,会随着温度、物理老化以及制造误差等因素影响,有误差,也就是说时钟每天会快慢个几秒钟都是很正常的,包括我们的手表也是。

通常主板的石英晶振频率是 24MHz or 25MHz,频率误差在 ±20ppm 左右。

如果要维护准确的时间的话,就需要依赖外部专业时间源来对时钟进行校准,指望主板上几块钱的石英片肯定是不可能的。

为什么需要准确的时间?

其实不是所有人都需要准确的时间,或者说至少不需要那么准确的时间,差个几秒钟地球照样转,那为什么需要亚微秒级精确的时间呢?

哈哈,如果你还有这个问题那么你就不是这篇博客的受众,我这里就不赘述了。

时间是怎么传输的?

首先,定位卫星内部会有非常精确的铯原子钟,铯原子只会被频率恰好为 9,192,631,770 Hz (一秒的国际定义就是以此为基准)的微波激发跃迁,这个规律对所有的铯原子都是一致的,所以每一台原子钟的时间校准之后就会跑在完全相同的频率上,千万年误差 1s。

GPS 和北斗卫星会将信号广播时间到地面,机房楼顶的接收天线接收到这个信号之后,把信号转交给机房内部的 GM 设备(Grand Master,主时钟),GM 通过 PTP 协议(Precision Time Protocol,精确时间协议)把时间在局域网内广播出来,支持透明时钟的交换机会默默把穿越交换机的延迟也附上,最后机器网卡接收到 PTP 组播打时间戳,ptp4l 通过 PTP 协议校准网卡时间戳,机器再通过 phc2sys 把网卡时间同步到机器操作系统,这样我们的应用程序就能获得一份精确的时间戳啦~

时间传输链路

怎么校准时间?

对时的直觉其实很朴素,假设有个节点 B,我要根据时间源 A 来校准时间,那么我只需要知道 A 的时间以及 A 的消息传到我这里要多久。两者相加,就是 B 此刻应该设置的时间。

上面这个庞大的时间网络其实就是,不断的重复从 A -> B 的校准过程,卫星 -> GM -> 网卡 -> 操作系统。

这个环节最关键也最容易出误差的地方其实一直是,怎么知道 A 的消息传到 B 花了多久。

这篇博客说的误差具体是什么?

OK 现在进入正题,我要提到的误差主要是在最后一步,“phc2sys 把网卡时间同步到机器操作系统”。

ptp4l (PTP for Linux) 和 phc2sys (PTP Hardware Clock to System Clock) 都是 linuxptp 套件的一部分,前者是一个守护进程,通过收发 PTP 报文与 GM 交互,通过经典的四时间戳算法估算出到 GM 的链路延迟和时钟偏差,并据此校准网卡上的硬件时钟(PHC)。

后者也是一个守护进程,负责再把时间从网卡同步到操作系统。

具体 phc2sys 的工作流程大概是这样的一个 loop,每秒钟执行一次:

  • 同时取网卡和操作系统的时间戳

  • 两者相减,得到偏差

  • 由 PI 控制器算出系统时钟该调快还是调慢多少

  • 通过 clock_adjtime 调整操作系统时间频率(避免时间跳变)

问题主要就出在第一步,取操作系统的时间戳没有问题,但是在老版本 sfc 驱动,以使用比较广泛的 sfc 4.15.x 版本(对应 onload 版本 201811 or 7.1.x)为例;查询一次网卡时间戳的耗时需要 30us!

在老版本驱动,查询网卡时间戳是真的需要老老实实的去网卡查询的,phc2sys 进程需要通过 PCIe 向网卡的 MC 管理固件(一颗很小的芯片)发送一条 MCDI 命令 READ_NIC_TIME,等 MC 处理完成之后再通过 DMA 写回主机内存,再触发中断唤醒驱动,驱动把结果返回,phc2sys 才拿到网卡的时间戳,这一来一回就需要 30us!!

不过 30µs 的延迟并不等于 30µs 的误差。

就像卫星到机房 GM 的信号要飞几十毫秒,但 GPS 授时照样能精确到纳秒级,因为这段延迟是可以算出来的。延迟长短本身不要紧,要紧的是它能不能被准确地测出或扣除。

回到 phc2sys:它在读网卡时钟的前后各读一次系统时钟,但网卡时钟究竟是在这 30µs 里的哪一刻被读到的,它无从得知。CPU 下发命令要多久、MC 处理要多久、结果传回来又要多久,没有一段是确定的,真实的读取时刻可能落在这 30µs 中的任何位置。

假设系统在 0 µs 和 30 µs 各读一次,若网卡实际在第 20 µs 取样,中点法就会错 5 µs。即使每次都错得一样,伺服锁定后,日志里的 RMS 仍可以很小

phc2sys 只能做一个 “中点假设”:认为去程和回程一样长,网卡时钟恰好是在正中间被读到的。可实际上未必如此,偏离中点多少,就带来多少误差。理论上最坏可达 ±15µs。

而且更要命的是,这个 30 微秒并不是稳定的 30 微秒正正好,MC 的排队时长,中断回调的处理速度,都会为最终的延迟引入不确定性。

我们可以看一段没有升级驱动当时的 phc2sys 日志:

# journalctl -u phc2sys -n 6 --no-pager
Nov 03 18:14:51 dev-machine phc2sys[22389]: [15022745.170] CLOCK_REALTIME rms 1095 max 1981 freq   +826 +/- 955 delay 29993 +/- 848
Nov 03 18:14:35 dev-machine phc2sys[22389]: [15022729.167] CLOCK_REALTIME rms  909 max 1658 freq   +761 +/- 799 delay 30712 +/- 806
Nov 03 18:14:19 dev-machine phc2sys[22389]: [15022713.163] CLOCK_REALTIME rms  793 max 1500 freq   +789 +/- 677 delay 30632 +/- 819
Nov 03 18:14:03 dev-machine phc2sys[22389]: [15022697.160] CLOCK_REALTIME rms 1004 max 1640 freq   +671 +/- 867 delay 29817 +/- 1052
Nov 03 18:13:47 dev-machine phc2sys[22389]: [15022681.157] CLOCK_REALTIME rms 1058 max 2050 freq   +783 +/- 905 delay 30349 +/- 830
Nov 03 18:13:31 dev-machine phc2sys[22389]: [15022665.153] CLOCK_REALTIME rms 1026 max 2030 freq   +777 +/- 886 delay 30613 +/- 780
  • rms 对时结果 offset 均方根约 1us
  • max 对时结果 offset 最大变动约 2us
  • freq 变动标准差(+/- 后面的数字)在 900 多 ppb,波动很大
  • delay 查询网卡时间戳耗时约 30us

从频率变动标准差字段就可以看出来,对时的结果相当不稳定,频率一会踩油门,一会踩刹车;

另外 rms 代表最近一段时间 offset 的均方根,offset 就是 phc2sys 每一次测量时认为的”系统时钟比网卡时钟快了多少”。

我一开始以为这个就是代表对时误差。。。看着只有一微秒,但是并不代表对时的误差就只有一微秒。

rms 反应的是时间的变化程度,实际上有可能是所有的时间都快了 5 微秒,然后在这 5 微秒上下振荡。

怎么证明表真的不准?

phc2sys 自己的日志是证明不了的,它测歪了自己也不知道,得另外找一把尺子。

这把尺子就是网卡的硬件时钟。我们要验证的正是”系统时钟和网卡时钟之间到底差多少”,而网卡恰好会给进出的报文打硬件时间戳。所以思路很简单:对同一个报文,拿系统时钟的读数和网卡时钟的读数比一比。例如发包的时候,包是先从系统出发,再到网卡,如果系统时间戳反倒晚了,那就是不准!

麻烦在于这两个读数不是同一瞬间取的,中间隔着一段内核协议栈的耗时,这个耗时有多长我不知道。

不过没关系,我只需要知道一件事:它一定大于 0。

下面记 δ = 系统时钟比网卡时钟快了多少。

先看发包:

clock_gettime(CLOCK_REALTIME, &t0);   // ① 先读系统时钟
sendto(fd, pkt, len, 0, ...);         // ② 再把包发出去
// ③ 从 MSG_ERRQUEUE 取回网卡给这个包打的发送硬件时间戳 hw

我是先看的表、后发的包,所以只要系统时钟是准的,t0 就一定早于 hw,不管中间的协议栈花了多久。写成式子是 t0 - hw = δ - 发包耗时,发包耗时大于 0,所以 δ 一定大于 t0 - hw。发很多个包取最大值,就得到了 δ 的下界。

再看收包: 反过来,网卡先给收到的报文打硬件时间戳 hw,内核随后才读系统时钟打软件时间戳 sw(用 SO_TIMESTAMPING 可以同时拿到这两个)。sw - hw = δ + 收包耗时,所以 δ 一定小于 sw - hw。取最小值,就得到了 δ 的上界。

我找了同一个机房的两台机器,一台是老驱动,一台升级到了新驱动,各跑了一遍:

发包:t0 - hw 的最大值(δ 下界) 收包:sw - hw 的最小值(δ 上界) 结论
老驱动 sfc 4.15 +4.2us +6.7us 系统时钟快了 4.2 ~ 6.7us
新驱动 sfc 5.3.18 -2.4us +2.3us -2.4 ~ +2.3us,测不出偏差

注意老驱动那个 +4.2us:包还没发出去的时候读的系统时间,居然比这个包进网卡的时间还要晚 4.2 微秒,相当于时间倒流了。唯一的解释就是系统时钟本身快了,而且至少快了 4.2 微秒。

而新驱动那台,t0 老老实实地比 hw 早了 2.4 微秒以上,这才是正常的世界。两台机器的区别只有驱动版本,就算网卡的时间戳本身有什么系统性的偏差,两边也是一样的,一对比就抵消了。

除了单机测试,我还拿真实流量交叉验证了一下:让另一台老驱动机器和一台正常的机器收同一路行情组播,比较同一笔行情各自落地的本地时间戳。升级驱动前后,这个差值变了 6us 多,而同期作为对照的另一对机器,差值没有变化。量级和上面单机测出来的区间对得上。

最终结论:系统时钟误差至少 4.2 ~ 6.7us。

总之这个时间是非常之不准确,非常不靠谱的,很有可能会误导一些生产环境的测速结论。

怎么办呢?

解决办法也很简单,升级驱动,升到 Onload 8.1.0 及以上(自带 sfc 驱动 5.3.14.1019,我实测的是 Onload 8.1.3 / sfc 5.3.18),新版本驱动实现了内核的 getcrosststamp 接口,实现了 Cross-Timestamping(交叉时间戳)机制,不再需要中点假设。

交叉时间戳的思路是:不再从外面猜网卡时钟是什么时候被读到的,而是让网卡自己把两个时钟配成对。驱动给网卡上的 MC 发一条 SYNCHRONIZE 命令,在 MC 处理期间,主机 CPU 每隔 200ns 就把当前的系统时间写进网卡内存;MC 读出最新写入的主机时间,同时读一下自己的网卡时钟,把这两个时间记成一对,配组多对,然后驱动选出来最靠谱的一对返回给 phc2sys。

phc2sys通过 ioctl PTP_SYS_OFFSET_PRECISE 拿到那一对的结果,就能算出来两个时钟的 diff 从而进行校正,不再需要任何假设。这时日志里的 delay 会显示为 0 (是写死的)。

旧版 vs 新版 PHC 读取

但是并不是说这种方式就不存在误差了!!!

主机 CPU 通过 PCIe 写入网卡内存的时候,一次 PCIe 写的开销大概在 200~300 纳秒,但是这个是很难确定的,这个开销的不稳定注定会投射在最终的时钟精度误差上。

不过我暂时没有办法测量最终新的驱动误差还剩多少,估计在一两百纳秒左右,anyway 已经比 5us 好太多了。

升级之后,可以明显看到 rms 和 freq 都相当稳定了:

# journalctl -u phc2sys -n 6 --no-pager
Nov 04 20:53:56 dev-machine phc2sys[14047]: [6501089.759] CLOCK_REALTIME rms   85 max  149 freq   +286 +/-  77 delay     0 +/-   0
Nov 04 20:53:40 dev-machine phc2sys[14047]: [6501073.757] CLOCK_REALTIME rms   70 max  134 freq   +291 +/-  60 delay     0 +/-   0

Last Words

如果你身边还有用 Solarflare 网卡且 sfc 版本 < 5.3.14.1019 的朋友(cat /sys/module/sfc/version),请大声告诉他,你的表不准,该升级了 ~