（网络故障分析报告.docx

网络故障分析报告 现在的网络要比以前复杂许多，在各行各业中，不断的有新的网络应用加入，这对网络性能要求是非常高的。网络性能评估对网络关键应用能否健康运行有重要意义，通过对网络核心设备的处理能力分析，对网络带宽利用率、网络负载的分析，有助于提高网络整体性能和资源的合理分配，为规划、调整网络提供可靠依据。 科来网络分析系统是非常好的流量分析系统，利用他我们可以实际了解当前网络正在发生的具体流量，并且通过科来网络分析系统的专家系统及进一步对数据包的解码分析，我们可以很快的定位网络故障，确认网络带宽的瓶颈，在故障发生前消除网络隐患，这样能给我们日常的网络维护工作带来很大的方便，也是的我们的维护工作处于主动地位，不会再只用接到用户故障投诉后处理故障，这在时间和效率上都有了很大提高。 故障描述 2011年7月8日，某公司网络管理人员通过网管软件发现两台核心网络交换机CPU利用率异常，如下： 1. “核心交换机6509_A”的CPU利用率高达90%以上。 2. “核心交换机6509_B”的CPU利用率高达90%以上。 以上问题造成网络延时很高，导致访问内网应用、互联网等速度较慢。 网络拓扑 拓扑图如下： 检测描述 监测软件：科来网络回溯分析系统3.1 样本文件：Colasoft.pkt 采样时间：2011-7-8 21:30 采样时长：7*24 样本说明：核心交换机6509连接部门交换机3550的trunk链路 分析内容 基本分析 首先，我们需要检查是什么进程导致设备CPU利用率较高，以提高分析效率。我们分别在两台（A、B）Cisco 6509交换机上执行show process cpu命令，查看各进程CPU占用情况，如下： ==========6509_A============ ==========6509_B============ 从上图可以看出两台设备占用CPU利用率最高的进程为ARP进程，统计结果如下： 设备名称 6509_A 6509_B ARP进程占CPU利用率（%） 58.6 58.4 因此，我们推断设备CPU利用率较高是由ARP流量异常导致的，对于分析ARP流量异常，我们需要借助专业的流量分析工具科来网络回溯分析系统3.1。 详细分析 由于用户先前已经部署了科来网络回溯分析系统，并且部署监控点包括核心交换机连接各部门交换机3550的端口，因此可以监控到所有Vlan的流量。 由于在基本分析的时候我们判断故障原因为ARP流量异常造成，因此，我们选择最近时间段的全部流量下载分析即可。下载完成之后，我们定位ARP流量进行详细分析，如下图： 在图中，我们可以看到ARP Request包的数量远远高于ARP Respone包的数量，并且这些ARP Request包大部分是由Mac54:E6:FC:18:98:9D发出来的，现在我们可以直接分析Mac:54:E6:FC:18:98:9D所发出的数据包。如下图： 上图显示，Mac为54:E6:FC:18:98:9D的设备发送的数据包为免费ARP请求数据包，并且发送频率较高（正常情况下，设备不会发送大量发送免费ARP请求）。这种数据包发送到网络当中会导致拥有相同IP的主机不停地产生地址冲突提示。 由于已经找到ARP报文中含有的IP地址，我们通过IP登记记录找到该IP10.168.22.215为一台IBM服务器（Server 2003），我们登陆该服务器查看网卡Mac为00:09:6B:A5:19:C4，并且系统不停地提示IP地址冲突。我们将该服务器网卡禁用之后，核心交换机设备利用率立即回复正常，并且ARP流量也回复正常（通过这个现象可以判断非恶意破坏）。 至此，我们确定ARP流量异常原因为某台设备配置IP地址与一台IBM服务器地址冲突，而此设备在IP冲突的时候为了抢占该IP地址，大量发送免费ARP请求，造成网络产生了ARP广播风暴，最终导致核心设备CPU利用率升高。 故障点定位 由于公司网络全部采用的可管理的交换机，因此根据发送ARP Request的源Mac地址54:E6:FC:18:98:9D，我们找到该设备具体接在那个交换机端口。通过在核心交换机执行show mac-address-table | include 54:E6:FC:18:98:9D找到该Mac在某部门的3550交换机上，登陆该交换机我们再次执行该命令，最终找到该Mac所接交换机端口，如下图： 从上图可以看到Mac地址在该部门交换机的F0/25端口上，并且该端口属于Vlan112。 查阅布线图，我们最终找到了该端口所接设备的具体房间。并且找到了Mac为54:E6:FC:18:98:9D的设备为一台Tplink无线路由器，并且其配置了IP地址为10.168.22.215，如下图： 处理方法 通过科来网络回溯分析系统3