拆解工业网络神秘丢包事件 分分钟提升网络性能

一、 故障描述

1.1 网络节点描述

1.1.1 PLC网络节点描述

某电厂本次辅网整合包括，脱硫控制系统，除灰控制系统，电除尘控制系统，烟气调质控制系统和水网控制系统，水网由三期凝结水，中水，三期补水，二期凝结水，二期补水，二期循环水加药，二期凝结水加药，制氢站和工业废水，水网PI网，水网服务器等系统组成，水网部分PLC为冗余单网控制系统（中水，三期补水），部分为单机双网控制系统（二期补水，工业废水，制氢站，二期凝结水加药，二期循环水加药），部分为单机单网控制系统（二期精处理），三期精处理为冗余双网控制系统；剩余的三期精处理为双机双网冗余控制系统。

 1.1.2 上位机网络节点描述

目前上位机包括化学水控制室1台（192.168.0.16），工业废水1台（192.168.0.25），制氢站2台（192.168.0.40 / 41）,中水控制室1台（192.168.0.213/214 双网卡配置）二期精处理1台（192.168.0.28）三期精处理1台（192.168.0.150）报警服务器2台（192.168.0.1/3）虚拟操作员站4台（192.168.0.130/134/132/133）二期PI网Server 1台（192.168.0.6）三期PI网Server 1台（192.168.0.131）PI网Client （192.168.0.100）820B虚拟工程师站（192.168.0.8）840B虚拟工程师站（192.168.0.7）；为了实现水网整个系统全双网备用，部分上位机设置有静态路由。

1.2 网络故障描述

网络整合完毕发现水网莫名奇妙丢数据，画面有时候会停顿1分钟甚至更长，最初发现是在中水，最后发现整个网络里都有丢包，不光水网画面中断，甚至连数据库同步有时也会失败。经检查，各网络节点到交换机连接均正常。

192.168.0.11 ping  1062数据包，丢包23

192.168.0.210 ping  1062数据包，丢包 14

192.168.0.160 ping  1062数据包，丢包 11

192.168.0.21 ping  1500数据包，丢包23

1.3 目前ping包结果

二、 原因分析

2.1  外部原因

2.1.1 物理链路

最初分析是否光纤熔接不好，衰减大造成，但是如果光纤质量不好或者使用过程中受损造成衰减过大，这样虽然发光端发送信号正常，但在接收端会因衰减过大造成收不到对端的信号或者受到信号太弱，无法正常通信，造成丢包严重甚至中断通信。对于本系统没有发生很严重的丢包，只是偶尔丢包，因此光纤衰减物理链路排除了。

网线的问题，如果是网线的问题，则有问题的节点应该直接是不通，不会偶尔中断，因此网线故障排除。

2.1.2 网络病毒

网络是否中毒，但是考虑到生产网和外部网络连接唯一的通道是PI网，但是和PI网之间是网闸隔离，因此中病毒的可能性不大；

2.2  内部网络干扰

主要考虑网络中是否有大量广播数据包，其他非工业网络数据包，以及是否有拒绝服务等大量数据请求。另外网络中是否有IP冲突，带着这些问题我们准备了Wireshark和NPM网络分析软件对整个网络进行分析。

三、 网络抓包分析

3.1  Wireshark 工具介绍

Wireshark是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包，并尽可能显示出最为详细的网络封包资料。Wireshark使用WinPCAP作为接口，直接与网卡进行数据报文交换。

3.2 Wireshark 位置确定

经过讨论大家选定在840B的工程师站内安装WireShark，因为工程师站可以运行iFix，RsLinx，也和网络中每一个节点可以互通。在这里可以捕获到工程师站和PLC交换的正常数据包，也可以捕获到整个网络中的广播数据包。

3.3 部分Wireshark截图

3.3.1 iFix和PLC正常通讯的数据包

图中192.168.1.10 和 192.168.1.11属于正常的Modbus TCP通讯，但是由于iFix设置了两个PLC驱动，所以一直在网络中发送广播数据包查找谁是192.168.1.12.如果没有192.168.1.12做出响应则iFix就会一直发广播包查询，因此我们首先按着这个思路去寻找网络中的广播数据包。

上图为iFix和AB PLC的正常通讯数据包，可以看到192.168.0.151和192.168.0.201，192.168.0.210均为AB PLC，192.168.0.232为iFix上位机。

3.3.2 部分异常数据包

1. 广播数据包

正常来讲网络里不会有这么多的广播数据包，这是不到1分钟的数据流，因此我们对这些ARP逐项分析；

192.168.0.213从192.168.0.64开始查找，64-65-66-67-68-……

为什么会挨个查找，我们首先想到了RSLinx。

192.168.0.213 一直在查找192.168.0.22（中水一直在找废水PLC）

中水为什么会访问废水？

192.168.1.133从 192.168.0.215开始查找，215-216-217-218-….

同样是挨个查询，是否也有Rslinx？

192.168.0.16（A网） 一直在查找 192.168.0.200（B网）

A网的上位机为什么会去访问B网的PLC？

192.168.0.6（原840B WiSCADA1） 一直在访问192.168.0.234（原820B工程师站）

报警服务器为什么会访问820工程师站？

2．非工业数据包

上位机为什么会有baidu.com？ 163.com？xunlei.com?

四、 故障排除

4.1 中水上位机异常数据包处理（192.168.0.213）

1. 第三节获取到的信息我们首先去检查192.168.0.213这台上位机，确实发现RSLinx下面有一个ETH_1驱动，而且下面挂着三个AB PLC分别是192.168.0.201，192.168.0.151，192.168.0.210，由于RsLinx如果某个驱动有中断，会从子网的第1个地址逐渐扫描到254，因此我们把驱动分成了ETH-1，ETH-2，ETH-3，每个驱动下面连接一个PLC，扫描地址固定为本IP地址。

2. 本机iFix的MBE驱动确实有192.168.0.22，但是192.168.0.22属于水网B网，因此192.168.0.213（A网）是任何时候都不会访问到192.168.0.22的，所以一直在网A网网络里发送广播数据包；因为A、B网是完全独立的，但是经过和运行人员沟通，中水确实要看工业废水相关数据，所以我们把iFix MBE驱动修改为192.168.0.21（A网）。

3、中水一个上位机安装两块网卡，IP地址分别是192.168.0.213和192.168.0.214，而且两块网卡同时连在一个非网管交换机上；交换机上同时有AB的冗余PLC；这样的架构极易形成环网，而非网管交换机没有处理环网的能力，因此此结构肯定有问题，由于就地中水的工控机仅仅用于巡检，所以把192.168.0.214网卡禁用。由于操作系统是Windows 2000 SP4，因此没有启用网卡Team。

系统里如果形成环网是网络丢包发生的主要原因，建议如果一个单机PLC两块网卡，或者一台上位机两块网卡，这种情况下，两块网卡一定要在不同的子网。

4.2 三期2号操作员站异常数据包处理（192.168.0.133）

经过检查，发现确实本机有RsLinx，因此也将驱动改为三个独立驱动，同时将192.168.0.130/134/132其他三台操作员站按同样方法处理，另外所有类似操作员站做同样的处理。

4.3 化学水控制室异常数据包处理（192.168.0.16）

经过和工程师沟通，让工程师画出的化学水控制室结构图如下：

经过分析192.168.0.16这台上位机是永远访问不到192.168.0.200这个PLC网卡的，但是为什么会发送针对192.168.0.200的ARP广播包，我们打开iFix 发现iFix和192.168.0.200设计的是OPC，OPC Server由Rslinx来完成，打开RSLinx发现驱动里由192.168.0.200，由于192.168.0.16永远访问不到192.168.0.200，因此将该驱动从RSLinx里删除。

4.4 840B WiSCADA-1异常数据包处理（192.168.0.6）

经过数据报文分析，WiSCADA-1一直在访问820B私有云内的工程师站，回到控制室执行arp –a命令发现192.168.0.6对应的MAC地址和WireShark捕获到的报文里的MAC地址不一致

Wireshark里的MAC地址为MicroSoft_01_14_B9, 但是WiSCADA-1里通过arp -a 指令获取到的MAC地址为00-15-5d-01-1e-f1;

由此我们怀疑网络里有IP地址冲突发生了，我们把WiSCADA-1的192.168.0.6网卡禁用，继续ping 192.168.0.6，发现网络还是通的，经查找该网卡为水网PI网服务器的A网IP地址。由此我们把WiSCADA和工程师站IP地址更新如下：

4.5 制氢站异常数据包处理（192.168.0.40）

根据报文分析本机经常性发出一些非工控异常数据包，捕获到的有baidu.com，163.com，QQ.com和xunlei.com; 进到制氢站操作员站发现系统内安装了手机助手，豌豆荚，百度安全防护，金山毒霸，金山词典，QQ，迅雷，腾讯下载等非工业用软件，挨个将其卸载。

通过以上5个步骤处理完，截至目前ping一万个数据包结果如下：

五、 经验总结

1、网络设计之初IP地址要统一规划，易于查询。

2、如果设计双网，两个网络必须属于不同子网

3、工业控制系统操作系统禁止采用网络上的Ghost系统恢复，因为内部含有很多插件；务必使用正版操作系统。

4、上位机设计如果网络中没有的IP地址，尽量在驱动中删除。

5、一台计算机如果配置两块网卡，一定设计为两个子网，或者将两块网卡成组合设计。

6、一套单独PLC控制系统如果配置两块网卡，网卡设计为不同子网。

7、如果实在没办法修改现场设备IP地址，通过交换机VLAN进行划分，VLAN也不能完全解决问题，考虑增加1：1 NAT网络地址转换设备。

附一、处理后网络性能分析结果：

附二、处理后PLC网络性能分析结果

作者介绍

曹俊义：资深工业网络通讯专家，工业自动化控制系统专家，ProSoft产品顶级技术专家。 

   工业通讯领域沉浸十数年，深喑各种工业通讯协议和工业网络架构以及国内外多种主流PLC应用和操作、熟知罗克韦尔、施耐德、西门子、GE等知名品牌的冗余系统，对工业无线通讯、工业物联网、工业IT与OT的融合，有着前瞻性的独到见解和务实的实践经验。

  现任伟联科技董事长。努力为中国工业信息化、数字化、智能化的深入发展做出贡献。