Awaria EPIX -> DCenter – Wyjaśnienie DC.

Witam,

W związku z dzisiejszą awarią przekazujemy komunikat wyjaśniający naturę awarii, która dotknęła dużą część transmisji realizowanych w węźle WAR.eFn.

O godzinie 11:21 pracownicy NOC stwierdzili zerwanie dużej ilości klienckich sesji BGP w usługach GLOBAL oraz KIX. Natychmiast przystąpiono do diagnostyki problemu. W związku z brakiem komunikacji z przełącznikami WAR.eFn kolokowanymi na 42p LIM pierwotnie przyjęto możliwość awarii przełącznika w węźle LIM. Jeden z administratorów natychmiast udał się do LIM w celu sprawdzenia sprzętu i ewentualnej jego wymiany. Jednocześnie inny zespół diagnozował problem lokalnie i odpowiadał na zgłoszenia telefoniczne.

Po kilkunastu minutach stwierdzono dziwne zachowanie przełącznika węzłowego WAR.eFn (Extreme x670-48x) kolokowanego w serwerowni dcenter.pl w Orco Tower w Warszawie. W logach nie znajdowały się żadne nietypowe wpisy, przeprowadzone na switchu operacje diagnostyczne nie wykazywały nieprawidłowości, jednak padło podejrzenie że przełącznik pomimo wpisywania adresów MAC do tablicy przestał w sposób prawidłowy forwardować ramki.

W tym samym czasie od administratora wysłanego na LIM 42p przyszła informacja, że wszystkie urządzenia tam zlokalizowane działają prawidłowo. Po przeprowadzeniu jeszcze kilku testów i wewnętrznej konsultacji, przed godziną 12:00 podjęto decyzję o restarcie przełącznika WAR.eFn zlokalizowanego w węźle w Orco Tower.

Restart urządzenia rozwiązał problem i od godziny 12:00 wszelkie transmisje działają prawidłowo.

Trwają jeszcze prace nad bardziej precyzyjnym ustaleniem przyczyny problemu – wiadomo że awarię spowodował błąd oprogramowania przełącznika węzłowego Extreme x670-48x będącego częścią warszawskiego ringu projektu TanieLacze, jednak ze względu na brak jakichkolwiek komunikatów w logach czy innych informacji z urządzenia – bardziej precyzyjne określenie przyczyny może okazać się niemożliwe.

pozdrawiam,
NOC KIX