Awaria! – Strona 10

Dzisiejsze problemy z Atman – Zakończenie.

2014-03-04/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Szanowni Państwo.

Informujemy, że od godziny 20.37 Państwa usługi pracują prawidłowo.

Za powstałe niedogodności serdecznie przepraszamy.
=====================================
Dotyczy następujących usług / Affects following services:

nazwa: “Epoludnie.5”, opis: “PWR Thinx – styk THINX <> EPIX ”
nazwa: “Epoludnie.6”, opis: “peering.global Altus Katowice”
=====================================

Dzisiejsze problemy z Atman

2014-03-04/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Od około godziny 12:30 obserwujemy zanik transmisji w usługach:

“Epoludnie.5”, opis: “PWR Thinx – styk THINX <> EPIX ”
“Epoludnie.6”, opis: “peering.global Altus Katowice”

Pierwsza informacja od Atman’a z godziny 13:45:

Szanowni Państwo.

Informujemy, że od godziny 12:31 obserwujemy problem z transmisja na łączu w relacji Kraków < -> Czechowice. Problem został zgłoszony do poddostawcy. Na chwilę obecną czas usunięcia awarii pozostaje nieznany.

———————————————————————

Następnie informacja od Atman’a z godziny 16:09:

Szanowni Państwo.

Uszkodzony został światłowód w odległości ok. 30km od Krakowa. Grupa inżynierów jest w drodze na miejsce. Na chwilę obecną czas usunięcia awarii pozostaje nieznany.

Za powstałe niedogodności serdecznie przepraszamy.

———————————————————————

Ostatnia informacja od Atman’a z godziny 17:15:

Szanowni Państwo,

Przewidywany termin dotarcia inżynierów do miejsca uszkodzenia godzina 17:30.

Za powstałe niedogodności serdecznie przepraszamy.

———————————————————————

Z naszej strony Przepraszamy za opóźnienie w publikacji tego komunikatu.

Obecnie czekamy na dalsze informacje dotyczące postępów prac/terminu zakończenia awarii w Atman

jak będziemy dysponować jakimiś konkretami będziemy na bieżąco informować.

Problemy w EPIX – kontynuacja.

2014-03-02/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Problemy powodują ataki DDOS na uczestników EPIX z NADAL otwartymi dziurawymi usługami NTP i DNS.
Skala ataków była tak duża, iż nastąpiło zrywanie sesji BGP z niektórymi upstreamami.
Sesje do problematycznych operatorów zostały wyłączone, oraz uruchomiony BH dla atakowanych adresów.

Problemy w EPIX.

2014-03-02/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Obserwujemy problemy z routingiem w EPIX, badamy zdarzenie.

Problemy Altus-Jordana – Zakończenie.

2014-02-20/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Przyczyną wczorajszych problemów było pojawienie się w sieci szkieletowej szkodliwych ramek L2PT/BPDU.
Powodowały one losowe wyłączenia portów w przełączniku ze starszym firmware, którego niestety nie możemy zaktualizować (czekamy na poprawioną wersję nowego FW).
Zaktualizowano ACL ochronne.

Problemy Altus-Jordana.

2014-02-19/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Obserwujemy problemy z połączeniem optycznym Altus-Jordana.
Szukamy przyczyny.

Problemy Cogent – kontynuacja.

2014-02-18/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Obserwujemy dalej problemy z jakością połączeń realizowanych dla EP-Global przez Cogent.
Wydaje się, iż Cogent nie jest w stanie udźwignąć ataków na hosty w sieciach ich polskich klientów, co skutkuje wypadaniem sesji i wysycaniem się ich łącz do upstreamów.
Koniec tego miesiąca będzie właściwym czasem na przemyślenie dalszej współpracy z CC.

Problemy Cogent.

2014-02-17/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Obserwujemy problemy z jakością połączeń realizowanych dla EP-Global przez Cogent.
Mamy potwierdzenie, iż spowodowane są dużym DDOSem prowadzonym w ich klienta.
Obserwujemy, jesteśmy gotowi do składania sesji do nich.

DDOS 14.02.2014.

2014-02-15/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

W dniu wczorajszym w godzinach dwóch naszych uczestników stało się ofiarą zmasowanego ataku DDOS.
W szczycie obserwowaliśmy ~60Gbps ruchu przychodzącego, ~62Mpps.
Do momentu uruchomienia blackholingu wysyceniu uległy niektóre styki do naszych upstreamów, oraz łącz tranzytowych.
Pracujemy nad wdrożeniem rozwiązania zapewniającego krótszy czas blokowania tego typu ataków.
Przepraszamy za kłopoty!

Ważny komunikat – DDOSy – kontynuacja #3.

2014-02-06/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

W dniu dzisiejszym nastąpiła kolejna eskalacja problemu DDOS.
Tym razem otwarte serwery DNS w Waszych sieciach były obiektem zmasowanego ataku typu DNS amplification.
Niestety spowodowało to zerwanie sesji do niektórych upstreamów, których routery przestały sobie z tym ruchem radzić, lub odcięły nas w wyniku zadziałania mechanizmów ochronnych.
Nie mamy niestety rozwiązania tego problemu, gdyż nie jesteśmy w stanie filtrować czy blokować Waszych otwartych DNSów.
Niezbędne jest jego rozwiązanie poprzez ELIMINACJĘ przyczyny, czyli usunięcie/zabezpieczenie podatnych IP z własnych sieci.
Eliminację tę będziemy prowadzili poprzez odcinanie źródła problemu (czyli niezabezpieczonych sieci) od naszych usług oraz blackholling atakowanych adresów.

Co ciekawe, w dniu dzisiejszym zaobserwowaliśmy, iż w dalszym ciągu występują problemy z niektórymi sieciami z otwartym NTP, które otrzymywały ataki z innych niefiltrowanych na 123UDP łącz do internetu, a ruch wychodzący próbowały alokować na naszych łączach. Mechanizmy zabezpieczeń zadziałały, ruch nie został rozpropagowany.
Świadczy to jednak o absolutnym ignorowaniu naszych próśb i zaleceń realizacji skanowań i zabezpieczeń po swojej stronie.

Zalecamy bezzwłoczne skanowanie swoich podsieci pod kątem występowania na dostępnych z Internetu rzeczywistych adresach IP podatnych usług.