Awaria! – Strona 11

Problemy w EPIX – kontynuacja.

2014-03-02/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Problemy powodują ataki DDOS na uczestników EPIX z NADAL otwartymi dziurawymi usługami NTP i DNS.
Skala ataków była tak duża, iż nastąpiło zrywanie sesji BGP z niektórymi upstreamami.
Sesje do problematycznych operatorów zostały wyłączone, oraz uruchomiony BH dla atakowanych adresów.

Problemy w EPIX.

2014-03-02/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Obserwujemy problemy z routingiem w EPIX, badamy zdarzenie.

Problemy Altus-Jordana – Zakończenie.

2014-02-20/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Przyczyną wczorajszych problemów było pojawienie się w sieci szkieletowej szkodliwych ramek L2PT/BPDU.
Powodowały one losowe wyłączenia portów w przełączniku ze starszym firmware, którego niestety nie możemy zaktualizować (czekamy na poprawioną wersję nowego FW).
Zaktualizowano ACL ochronne.

Problemy Altus-Jordana.

2014-02-19/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Obserwujemy problemy z połączeniem optycznym Altus-Jordana.
Szukamy przyczyny.

Problemy Cogent – kontynuacja.

2014-02-18/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Obserwujemy dalej problemy z jakością połączeń realizowanych dla EP-Global przez Cogent.
Wydaje się, iż Cogent nie jest w stanie udźwignąć ataków na hosty w sieciach ich polskich klientów, co skutkuje wypadaniem sesji i wysycaniem się ich łącz do upstreamów.
Koniec tego miesiąca będzie właściwym czasem na przemyślenie dalszej współpracy z CC.

Problemy Cogent.

2014-02-17/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

Obserwujemy problemy z jakością połączeń realizowanych dla EP-Global przez Cogent.
Mamy potwierdzenie, iż spowodowane są dużym DDOSem prowadzonym w ich klienta.
Obserwujemy, jesteśmy gotowi do składania sesji do nich.

DDOS 14.02.2014.

2014-02-15/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

W dniu wczorajszym w godzinach dwóch naszych uczestników stało się ofiarą zmasowanego ataku DDOS.
W szczycie obserwowaliśmy ~60Gbps ruchu przychodzącego, ~62Mpps.
Do momentu uruchomienia blackholingu wysyceniu uległy niektóre styki do naszych upstreamów, oraz łącz tranzytowych.
Pracujemy nad wdrożeniem rozwiązania zapewniającego krótszy czas blokowania tego typu ataków.
Przepraszamy za kłopoty!

Ważny komunikat – DDOSy – kontynuacja #3.

2014-02-06/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

W dniu dzisiejszym nastąpiła kolejna eskalacja problemu DDOS.
Tym razem otwarte serwery DNS w Waszych sieciach były obiektem zmasowanego ataku typu DNS amplification.
Niestety spowodowało to zerwanie sesji do niektórych upstreamów, których routery przestały sobie z tym ruchem radzić, lub odcięły nas w wyniku zadziałania mechanizmów ochronnych.
Nie mamy niestety rozwiązania tego problemu, gdyż nie jesteśmy w stanie filtrować czy blokować Waszych otwartych DNSów.
Niezbędne jest jego rozwiązanie poprzez ELIMINACJĘ przyczyny, czyli usunięcie/zabezpieczenie podatnych IP z własnych sieci.
Eliminację tę będziemy prowadzili poprzez odcinanie źródła problemu (czyli niezabezpieczonych sieci) od naszych usług oraz blackholling atakowanych adresów.

Co ciekawe, w dniu dzisiejszym zaobserwowaliśmy, iż w dalszym ciągu występują problemy z niektórymi sieciami z otwartym NTP, które otrzymywały ataki z innych niefiltrowanych na 123UDP łącz do internetu, a ruch wychodzący próbowały alokować na naszych łączach. Mechanizmy zabezpieczeń zadziałały, ruch nie został rozpropagowany.
Świadczy to jednak o absolutnym ignorowaniu naszych próśb i zaleceń realizacji skanowań i zabezpieczeń po swojej stronie.

Zalecamy bezzwłoczne skanowanie swoich podsieci pod kątem występowania na dostępnych z Internetu rzeczywistych adresach IP podatnych usług.

Ważny komunikat – DDOSy – kontynuacja #2.

2014-02-05/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

W dniu dzisiejszym nastąpiła eskalacja problemu DDOS.
Po porannych skanach znalezione otwarte serwery NTP w Waszych sieciach zostały wykorzystane do amplifikacji zmasowanego ataku na różne hosty w Internecie.
W ekstremalnym momencie generowały one blisko 50 milionów pps ruchu wychodzącego.
Niestety spowodowało to zerwanie sesji do niektórych upstreamów, których routery przestały sobie z tym ruchem radzić.

Aby zapobiec dalszej eskalacji zdecydowaliśmy się na globalne zablokowanie ruchu wychodzącego od nas na port 123 UDP do Waszych IP.
Jeśli posiadacie inne niż epixowe łącza, taka blokada niewiele zmieni, gdyż Wasze podatne adresy IP będą wykorzystywane dalej do bycia ofiarą, lub kreowania ataków.
Proponujemy bezzwłoczne wdrożenie ACL na Waszych routerach, uniemożliwiające otrzymywania z Internetu (nie tylko globala, ale też innych usług z zewnątrz) zapytań z celem na Wasze adresy publiczne na porcie 123 UDP, oraz wysyłania ruchu z Waszej sieci z portu 123 do Internetu.

Żadne z powyższych zabezpieczeń nie rozwiązuje problemu, niezbędne jest jego rozwiązanie poprzez ELIMINACJĘ przyczyny, czyli usunięcie/zabezpieczenie podatnych IP z własnych sieci.
Przykładowe narzędzia (po realizacji powyższych ACL będą działały już tylko te z wewnątrz!):

Skanery

Zalecamy bezzwłoczne skanowanie swoich podsieci pod kątem występowania na dostępnych z Internetu rzeczywistych adresach IP podatnych usług.

Ważny komunikat – DDOSy – kontynuacja.

2014-02-04/0 Komentarze/w dziale Awaria! /dodał Webmaster EPIX

W toku prowadzonej dalszej analizy zdarzeń z ostatnich kilkudziesięciu godzin możemy stwierdzić że:

Wczoraj 3.02.2014 od około godziny 12.00 do 18.00 następowało intensywne i szerokie skanowanie części sieci naszych uczestników (była to szersza akcja, obejmująca ogólnie polskie klasy adresowe).
Już wczoraj były też prowadzone pierwsze ataki na/z adresów na których znaleziono podatne usługi NTP/DNS.
W dniu dzisiejszym notujemy kolejne, ale bardziej ukierunkowane ataki, sprawdzając wyrywkowo ich adresy docelowe widać, iż są to precyzyjnie trafione niezabezpieczone hosty.

Analiza dzisiejszych zdarzeń wskazuje również, iż:
– daje się zauważyć, iż nasz poprzedni komunikat zmniejszył skalę ataków na adresy routerów i hostów usługowych naszych uczestników, niestety dalej zdarzają się niezabezpieczone,
– istotny udział jako źródła i cele mają obecnie adresy KLIENTóW naszych uczestników, czyli kolokacji, hostingów, ich routerów i firewalli czy nawet komputerów z zainstalowanym backdorami lub otwartymi podatnymi usługami.

Niestety, biorąc pod uwagę skalę ilości adresów IP do przeskanowania, aby ew. powiadomić Was o istnieniu zagrożenia, nie jesteśmy w stanie tego dokonać (aby zrobić to skutecznie zajęło by nam to kilka miesięcy, a i tak dane by były już nieaktualne).
Mamy uruchomione powiadomienia o zmianie charakterystyki ruchu, możemy więc na wasze życzenie reagować włączając BH dla atakowanych adresów, ale dopiero w sytuacjach, kiedy abusywny ruch wystąpi, nie jest to jednak rozwiązanie problemu.

Proponujemy bezzwłoczne, zewnętrzne skanowanie swoich podsieci pod kątem występowania na dostępnych z Internetu rzeczywistych adresach IP podatnych usług.