Awaria! – Strona 14

Komunikat Atman – zakończenie.

2013-10-10/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Szanowni Panstwo,

Problem z urzadzeniem szkieletowym w THINX zostal rozwiazany o godzinie 12:08 i od tego momentu wszytkie uslugi powinny pracowac stabilnie.

Za powstale niedogodnosci przepraszamy

=====================================
Dotyczy następujących usług / Affects following services:

nazwa: “Epoludnie.5”, opis: “PWR Thinx – styk THINX <> EPIX ”
=====================================

Komunikat Atman.

2013-10-10/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Szanowni Państwo, uprzejmie informujemy, że o godzinie 11:44 wystąpiła awaria urządzenia szkieletowego ATMAN, w związku z czym usługi wyszczególnione poniżej stały się niedostępne. W chwili obecnej administratorzy pracują nad rozwiązaniem problemu. Za zaistniałe niedogodności przepraszamy. ===================================== Dotyczy następujących usług / Affects following services: nazwa: “Epoludnie.5”, opis: “PWR Thinx – styk THINX <> EPIX ” ===================================== —

Awaria EPIX -> Sitel – Zakonczenie

2013-10-10/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Restart wzmacniacza DWDM rozwiązał problem.

Trwa ustalanie przyczyny.

Awaria EPIX -> Sitel

2013-10-09/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Obserwujemy problemy z transmisją do Ostrawy firmy Sitel.

Nie mamy bliższych informacji, Sitel szuka przyczyny.

Awaria EPIX -> GGC

2013-10-02/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Podczas prac rekonfiguracyjnych naszych peeringów nastąpiło niespodziewane przełączenie się klientów EPIX na inne węzły GGC. Problem zgłoszono do Google.

Awaria EPIX -> Sitel – Zakończenie

2013-09-24/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Przyczyną problemów był jeden z przełączników w Sieci Sitel. Charakter abusywnego ruchu ze styku z Sitel spowodował zbyt późne i wielokrotne w czasie zadziałanie reguł ochronnych i propagowanie problemu na niektórych klientów i usługi EPIX.

Podjęliśmy decyzję o umieszczeniu dodatkowego zaawansowanego w funkcje ochronne przełącznika na styku z Sitelem oraz o modyfikacji sposobu realizacji styku (3 porty z podzielonymi usługami zamiast jednego). Prace przeprowadzimy w przyszłym tygodniu, poinformujemy osobnym komunikatem.

Awaria EPIX -> Sitel

2013-09-24/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Obserwujemy problemy z siecią L2 firmy Sitel.

Zbieramy dane dotyczące natury problemu.

Awaria EPIX

2013-09-20/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Informujemy, iż obserwujemy anomalie w działaniu jednego z przełączników EPIX, obsługującego węzeł GGC i klientów w 4DC.
Niestety musieliśmy dokonać jego restartu, przypadek zgłoszony do Extreme.

Awaria EPIX -> DCenter – Wyjaśnienie DC.

2013-09-05/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Witam,

W związku z dzisiejszą awarią przekazujemy komunikat wyjaśniający naturę awarii, która dotknęła dużą część transmisji realizowanych w węźle WAR.eFn.

O godzinie 11:21 pracownicy NOC stwierdzili zerwanie dużej ilości klienckich sesji BGP w usługach GLOBAL oraz KIX. Natychmiast przystąpiono do diagnostyki problemu. W związku z brakiem komunikacji z przełącznikami WAR.eFn kolokowanymi na 42p LIM pierwotnie przyjęto możliwość awarii przełącznika w węźle LIM. Jeden z administratorów natychmiast udał się do LIM w celu sprawdzenia sprzętu i ewentualnej jego wymiany. Jednocześnie inny zespół diagnozował problem lokalnie i odpowiadał na zgłoszenia telefoniczne.

Po kilkunastu minutach stwierdzono dziwne zachowanie przełącznika węzłowego WAR.eFn (Extreme x670-48x) kolokowanego w serwerowni dcenter.pl w Orco Tower w Warszawie. W logach nie znajdowały się żadne nietypowe wpisy, przeprowadzone na switchu operacje diagnostyczne nie wykazywały nieprawidłowości, jednak padło podejrzenie że przełącznik pomimo wpisywania adresów MAC do tablicy przestał w sposób prawidłowy forwardować ramki.

W tym samym czasie od administratora wysłanego na LIM 42p przyszła informacja, że wszystkie urządzenia tam zlokalizowane działają prawidłowo. Po przeprowadzeniu jeszcze kilku testów i wewnętrznej konsultacji, przed godziną 12:00 podjęto decyzję o restarcie przełącznika WAR.eFn zlokalizowanego w węźle w Orco Tower.

Restart urządzenia rozwiązał problem i od godziny 12:00 wszelkie transmisje działają prawidłowo.

Trwają jeszcze prace nad bardziej precyzyjnym ustaleniem przyczyny problemu – wiadomo że awarię spowodował błąd oprogramowania przełącznika węzłowego Extreme x670-48x będącego częścią warszawskiego ringu projektu TanieLacze, jednak ze względu na brak jakichkolwiek komunikatów w logach czy innych informacji z urządzenia – bardziej precyzyjne określenie przyczyny może okazać się niemożliwe.

pozdrawiam,
NOC KIX

Łącze do Czech.

2013-09-05/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

W dniu dzisiejszym obserwowaliśmy krótkie przerwy w transmisji do Czech (w zakresie od 10.30 do 12.30).
Były one spowodowane wolnym przełączaniem się spanning tree między łączem głównym a obejściowym.
Niestety ostatnie przełączenia zbiegły się w czasie z awarią w DCenter, co spowodowało zwiększenie się zakresu niedostępnych tras w usłudze EP-Global.
Pracujemy nad rozwiązaniem, jutro nad ranem przeprowadzimy krótkie testy symulacyjne zastosowanych zmian w konfiguracji (nie powinny być destrukcyjne).