網絡故障案例-某出版社網絡故障
2022-07-23 17:09:42
62
網絡故障案例-某出版社網絡故障
時間地點：
下午3點接到通知，在某出版社機房
故障現象：
網絡突然出現通訊中斷，網絡嚴重阻塞，內部主機上網甚至內部主機間的通訊均時斷時續。
--交換機ARP表更新問題
--廣播或路由環路故障
--人為或病毒攻擊
需要進一步獲取的信息：
--網絡拓撲結構及正常工作時的情況
--交換機ARP表信息及交換機負載情況
下午3點接到通知，在某出版社機房
故障現象：
網絡突然出現通訊中斷，網絡嚴重阻塞，內部主機上網甚至內部主機間的通訊均時斷時續。
故障詳細分析:
1. 前期分析
初步判斷引起問題的原因可能是：--交換機ARP表更新問題
--廣播或路由環路故障
--人為或病毒攻擊
需要進一步獲取的信息：
--網絡拓撲結構及正常工作時的情況
--交換機ARP表信息及交換機負載情況
--網絡中傳輸的原始數據包
2. 具體分析
首先，我們從網絡管理員那兒，得知了網絡中主機共450臺左右，同時得到了網絡的簡單拓撲圖，從圖中可以知道，網絡中劃分了6個VLAN，分別是10.230.201.0/24、10.230.202.0/24、10.230.203.0/24、10.230.204.0/24、10.230.205.0/24、10.230.206.0/24、，其中201～205這5個VLAN分別用于一個部門，而206為服務器專用網段。各VLAN同時連接上中心交換機（Passport 8010），中心交換機再連接到防火墻，由防火墻連接到Internet以及省單位。大致了解了網絡拓撲后，我們以超級終端方式登錄中心交換機，發現交換機的負載較大，立即清除交換機ARP表并重啟，但故障仍然存在，于是我們決定對網絡進行抓包分析。在中心交換機（Passport 8010）上配置好端口鏡像（具體配置信息，略），并將安裝網絡分析系統的筆記本接到中心交換機的鏡像口上，由于我公司網絡分析系統可以跨VLAN對數據進行捕獲分析，所以在中心交換機上接入安裝網絡分析系統的筆記本后，網絡的拓撲結構并未發生任何改變。
打開筆記本上的我公司網絡分析系統，捕獲數據包約1分鐘（捕獲停止后發現確切時間是53秒）后停止捕獲，并對捕獲到的數據通訊進行分析。
將節點瀏覽器定位到物理端點下的本地網段，我們發現MAC地址為00:00:E8:40:44:99的主機，下面共有40個IP地址。
我們知道，在正常情況下，一個MAC地址下面出現多個IP地址，只可能有以下幾種情況之一：網關、代理服務器、手動綁定多個IP地址。咨詢網絡管理員得知，該網段內的機器均只綁定了一個MAC地址，且沒有代理服務器，同時該MAC也不是網關MAC地址，由此，我們懷疑，該主機可能存在欺騙攻擊。
經過上面的分析，我們確定00:00:E8:40:44:99存在ARP欺騙攻擊，網管人員立刻開始查找該主機，由于他們以前做了IP與MAC地址的統計表，所以很輕松地就找到了該機器。在二層交換機上撥掉該主機的網線，網絡很快恢復正常，VLAN間的內部訪問和外部訪問（包括Internet和省網單位）速度均恢復正常。
同時，由于此次捕獲數據包的時間較短，僅僅只有53秒，所以網絡中可能還存在一些未被檢測出問題的主機（這些主機當前未啟動，不會收發相應數據包，故無法查找）。所以，對于企業的網絡運行，需要網絡管理人員使用專用的網絡分析工具，對網絡進行長期有效的監測和分析，才可以最大程度地排除可能的網絡故障和網絡安全威脅。
打開筆記本上的我公司網絡分析系統，捕獲數據包約1分鐘（捕獲停止后發現確切時間是53秒）后停止捕獲，并對捕獲到的數據通訊進行分析。
將節點瀏覽器定位到物理端點下的本地網段，我們發現MAC地址為00:00:E8:40:44:99的主機，下面共有40個IP地址。
我們知道，在正常情況下，一個MAC地址下面出現多個IP地址，只可能有以下幾種情況之一：網關、代理服務器、手動綁定多個IP地址。咨詢網絡管理員得知，該網段內的機器均只綁定了一個MAC地址，且沒有代理服務器，同時該MAC也不是網關MAC地址，由此，我們懷疑，該主機可能存在欺騙攻擊。
經過上面的分析，我們確定00:00:E8:40:44:99存在ARP欺騙攻擊，網管人員立刻開始查找該主機，由于他們以前做了IP與MAC地址的統計表，所以很輕松地就找到了該機器。在二層交換機上撥掉該主機的網線，網絡很快恢復正常，VLAN間的內部訪問和外部訪問（包括Internet和省網單位）速度均恢復正常。
總結:
中大型網絡中，網絡故障錯綜復雜，不借助專業網絡分析工具的情況下，很難對故障進行排查，如本例中，如果不對數據包進行捕獲，即使在交換機上查看流量，由于00:00:E8:40:44:99的流量并不特別大，所以我們也很難找到故障點。同時，由于此次捕獲數據包的時間較短，僅僅只有53秒，所以網絡中可能還存在一些未被檢測出問題的主機（這些主機當前未啟動，不會收發相應數據包，故無法查找）。所以，對于企業的網絡運行，需要網絡管理人員使用專用的網絡分析工具，對網絡進行長期有效的監測和分析，才可以最大程度地排除可能的網絡故障和網絡安全威脅。
