Często zadawane pytania = zasady obowiązujące w EPIX = regulamin:

Współpraca z EPIX oparta jest o wypracowywane od wielu lat zasady, które wprowadzane w życie poprzez publikację tutaj stanowią obowiązujący regulamin świadczenia usług.

Optymalna Komunikacja - przeczytaj zanim będziesz próbował się z nami kontaktować!

#OptymalnaKomunikacja

Napisz zanim zadzwonisz
Preferujemy komunikację emailową.
Nawet jeśli sprawa jest pilna i wymaga kontaktu telefonicznego najpierw napisz emaila podając niezbędne, konkretne dane.

Adresuj z Głową
Używaj właściwych adresów e-mail do właściwych spraw, zawsze aktualna lista: http://www.epix.net.pl/o-epix/kontakt/
Zastanów się, kto jeszcze może być konieczny do załatwienia Twojej sprawy (dostawcy transmisji, usług obcych), i dodaj ich do kopii (CC:/DW:).

Temat jest najważniejszy
Temat emaila musi jednoznacznie odzwierciedlać treść.
Nie zmieniaj tematu maila przy odpowiedzi.
W temacie każdego maila do nas dodaj swój EPID.

Zawartość jest równie ważna
Zanim naciśniesz „wyślij” zastanów się czy w treści zawarłeś wszystkie informacje, które są potrzebne do zrozumienia zadania czy problemu przez odbiorcę.

Kontynuuj wątek
Zachowuj ciągłość wątków, nie kreuj kolejnych dotyczących tej samej sprawy.

Zachowuj porządek
W mailu poruszaj wyłącznie jedną sprawę, w szczególności dotyczy to zleceń/zamówień.
Nie poruszaj w jednym wątku innych spraw.
Jeśli chcesz zamówić kolejną usługę, czy zadać pytanie z innej półki, załóż kolejny wątek.
Dobrą wolą z naszej strony jest realizacja jednej sprawy z maila zawierającego ich więcej, najczęściej tej zgodnej z tematem.

Odpowiedz WSZYSTKIM
Przy odpowiadaniu ZAWSZE używaj opcji odpowiedzi do wszystkich respondentów, np. Odpowiedz wszystkim / Reply to all.
Zaniechanie spowoduje zerwanie komunikacji, opóźnienia lub uniemożliwienie realizacji zleceń, czy usunięcia usterki.

Cytaty
Zachowaj logikę przy cytowaniu.
Odpowiadanie jednym wyrazem z cytowaniem całego wielostronicowego wątku jest mocno uciążliwe.

Potwierdzaj, Informuj o problemach
Potwierdzaj uruchomienie, rozwiązanie problemu.
Jeśli potrzebujesz więcej czasu na odpowiedź niż jeden dzień roboczy, poinformuj o tym podając spodziewany termin.
Zamykając sprawę informuj o szczegółach, czyli jak problem się rozwiązał, jeśli to nie my go rozwiązaliśmy.
Pomoże to tworzyć bazę wiedzy dla następnych pokoleń, administratorów i Użytkowników

Podpisz się, ale bez przesady
Wypada się podpisać, to jasne.
Ale nie dodajmy do naszych maili wielolinijkowych stopek, opowiadających historię Waszej firmy czy życia
Grube grafiki, tona HTMLa, dorzucanie podpisu do każdej najdrobniejszej odpowiedzi w wątku to dodatki mocno męczące i komplikujące komunikację optycznie.
Jak wyglądają takie maile po zacytowaniu przez kogoś używającego tekstu, innego kodowania, lub mniej sprytnie formatującej aplikacji nie trzeba nikomu przypominać: to koszmar.

Razem zmieniajmy rzeczywistość
Powyższe zasady przydadzą się nie tylko w komunikacji z EPIX.
Przestrzegaj powyższych reguł zawsze i nie bądź obojętny jak inni nie przestrzegają.
Zwracaj uwagę i edukuj innych.

Co to jest EPID, skąd go wziąć i do czego używać.

EPID to identyfikator podmiotu (ISP) przydzielany w momencie realizacji pierwszego zamówienia usługi w e-Południe/EPIX.
Możecie go uzyskać:
– z listy Użytkowników EPIX (link),
– z dowolnej FV,
– z opisu portu, który u nas macie (część dużymi literami to EPID)
– ostatecznie poprosić o podanie na info@epix.net.pl.

Używacie go w każdej korespondencji z nami (najlepiej w temacie), przyspiesza nam to pracę i nie dopuszcza do pomyłek.

Od czego zacząć, co po kolei zrobić, aby być uczestnikiem EPIX?

Po kolei:

  1. Przeczytać całe FAQ, to uchroni od zadawania niepotrzebnych pytań i marnowania prywatnego czasu wolontariuszy obsługujących Uczestników EPIX.
    W EPIX komunikacja mailowa to podstawa całej współpracy. Dzięki niej unikamy wielu niepotrzebnych papierologicznych utrudnień.
    Tu jest klucz do komunikacji z nami:
    https://www.epix.net.pl/faq/#toggle-id-1 
  2. Zarejestrować się u nas, nie współpracujemy z nieznajomymi ;-):
    https://www.epix.net.pl/rejestracja/
    konta najlepiej założyć osobne dla techników (powiadomienia o awariach i pracach planowych) i menedżerów (oferty i inne informacje).
  3. Wysłać na adres: biuro@e-poludnie.pl (wyłącznie na ten adres) maila z jednoznacznym tytułem (np: Dokumenty firmy xyz do umowy ramowej) zawierającego skany oryginałów dokumentów potwierdzających wpisy do rejestrów/ewidencji KRS lub CEiDG oraz NIP i RPT.
    Jeśli nie posiadacie urzędowych dokumentów prosimy o skany wydruków z odpowiednich rejestrów potwierdzone podpisem osoby uprawnionej za zgodność z oryginałem/stanem faktycznym.
    Spowoduje to rozpoczęcie procesu zawarcia umowy ramowej, która pozwoli nam na prostą realizację zadań poprzez zlecanie ich mailami. Sama umowa ramowa nie rodzi żadnych zobowiązań, takowe powstają dopiero po zrealizowaniu złożonych w przyszłości zamówień na jakieś usługi.
  4. Jednocześnie można poprosić o przydzielenie EPID, wysyłając krótkiego maila z prośbą na info@epix.net.pl (z jednoznacznym tytułem, np: Prośba firmy xyz o przydzielenie EPID).
  5. Po jego otrzymaniu można już zamawiać mailowo usługi (zamowienia@epix.net.pl), zgodnie z naszymi zasadami.
  6. Zamówić port:
    https://www.epix.net.pl/oferta-katowice/dostep-do-epix/
    https://www.epix.net.pl/oferta-warszawa/dostep-do-epix/
    Przypominam jak zamawiać:
    https://www.epix.net.pl/faq/#toggle-id-5
    od tego momentu już jesteście Uczestnikami EPIX 🙂
  7. Dotrzeć do nas:
    https://www.epix.net.pl/o-epix/jak-sie-podlaczyc-do-epix/
    https://www.epix.net.pl/o-epix/operatorzy-transmisji/
  8. Zamówić i uruchomić usługę OpenPeering:
    https://www.epix.net.pl/oferta-katowice/wymiana-ruchu-ip/
    https://www.epix.net.pl/oferta-warszawa/wymiana-ruchu-ip/
    Przypominam jak zamawiać:
    https://www.epix.net.pl/faq/#toggle-id-5
    wtedy już jesteście Użytkownikami punktu wymiany ruchu EPIX.
  9. Skorzystać z innych usług (zwłaszcza dlatego, że z niewielkiej marży na nich finansujemy dodatkowe zasoby OpenPeering i inne fajne projekty dla Was):
    https://www.epix.net.pl/oferta-katowice/
    https://www.epix.net.pl/oferta-warszawa/
  10. Podesłać na info@epix.net.pl logo Twojej firmy (transparentne, w grafice wektorowej), umieszczając EPID w tytule e-maila.
  11. Jeśli potrzebujecie umowę, prosimy o zamówienie jej na biuro@e-poludnie.pl, jeśli my będziemy potrzebowali to będziemy się kontaktować.
    Bazujemy na zaufaniu i zadowoleniu, nie skomplikowanych umowach. W EPIX sposobem na utrzymanie przy nas Uczestnika nie są długoterminowe lojalki, a długoterminowa satysfakcja.
  12. Polubić nas na Facebook’u: https://www.facebook.com/EPIXNETPL i pochwalić się dołączeniem do nas.
  13. Zaobserwować nas na Twitterze: @epoludnie – sprawy ogólne, nowości, lub @NocEPIX – technika, usterki, powiadomienia.
  14. Zrealizować:
    https://www.epix.net.pl/peeringdb-bardzo-wazne-zadanie-dla-kazdego-uzytkownika-epix-openpeering/

Macie w ofercie dużo usług, co muszę zamówić, aby mieć po prostu pełny dostęp do Internetu operatorskiego?

Aby otrzymać usługę „Internet Operatorski z BGP” w najbardziej ekonomiczny sposób sugerujemy (poza portem w Warszawie lub Katowicach) zamówienie następujących usług:

  1. OpenPeering (Uczestnicy, lokalne peeringi i CDNy), pasmo to będzie stanowiło co najmniej 40% całości „Internetu”, tego pasma jest coraz więcej, wraz z przybywaniem uczestników EPIX, pasmo to otrzymujesz w przepływnością ograniczoną tylko Twoim portem/transmisją, nie musisz jej podawać/definiować.
    Usługę znajdziesz w naszej ofercie dla Warszawy i Katowic.
  2. Polmix (uzupełniające OpenPeering zasoby polskiego Internetu), pasmo to będzie stanowiło co najmniej 10% całości „Internetu”,
    Usługę znajdziesz w naszej ofercie dla Warszawy i Katowic.
  3. GlobalMix, lub inny Globalny Internet, pasmo global to co najmniej 40% całości „Internetu”
    Usługę znajdziesz w naszej ofercie dla Warszawy i Katowic.

W wypadku usług rozliczanych megabitowo nie jest wymagane precyzyjne podanie ich wartości w momencie zamawiania.
W zamówieniu wystarczy podać przepływność „TEST”, po uruchomieniu używać, zbalansować, zmierzyć, a właściwą wartość podać przed wystawianiem FV (ostatni dzień miesiąca).

Jak zamawiać/modyfikować/wypowiadać usługi w EPIX?

Działania w zakresie usług w EPIX realizowane są droga mailową, właściwy adres to: zamowienia@epix.net.pl

Zasady:

  • zanim zaczniesz zamawiać, przypomnij lub uzyskaj EPID,  info@epix.net.pl w tym pomoże,
  • piszemy nowego maila, nie odpowiedź na istniejącego, zwłaszcza w innym temacie, czy starym, zamkniętym wątku, nie wykorzystujemy poprzednich maili jako szablonów,
  • w adresatach ma być wyłącznie adres zamowienia@epix.net.pl, inne potrzebne adresy dodajemy w kopii (DW/CC),
  • jako temat proponujemy: [twój EPID] Zamówienie/Zmiana/wypowiedzenie nazwa usługi (nazwę usługi uzyskasz z naszego cennika),
  • w treści piszemy co zamawiamy, i na który port, ID portu uzyskacie z maili o uruchomieniu portu, lub pod: info@epix.net.pl,
  • w przypadku usług z rozliczeniem pasma podajemy commitment (dostępne pasmo będzie ustawione dwukrotnie większe), lub słowo TEST, jeśli nie jesteśmy pewni ile usługi zamówić (wtedy nasz BOK poprosi o podanie commitmentu przed fakturowaniem),
  • w jednym mailu zamawiamy/modyfikujemy/wypowiadamy wyłącznie jedną usługę, jeśli potrzebujesz załatwić więcej tematów = piszesz więcej e-maili,
  • zamówienia przyjmujemy na podstawie maili wysłanych z domeny Uczestnika, przez osobę upoważnioną do reprezentowania woli ISP,
  • zamówienia staramy się realizować w ciągu 48 godzin, oczywiście w dni robocze,
  • zamówienia na usługi globalne mogą być realizowane dłużej, a dedykowane od Tier nawet kilka tygodni,

Przykłady:

Port fizyczny:
Temat: [TURBONET] Zamówienie KAT-P10-LR
Treść: Zamawiamy KAT-P10-LR w węźle 4DC1.

Port wirtualny:
Temat: [TURBONET] ZamówienieKAT-VL500
Treść: ZamawiamyKAT-VL500 na porcie fizycznym SxxxPyy SNAILNET.
Uwaga: Wymagane dołączenie w korespondencji właściciela portu fizycznego, w celu wyrażenia zgody!

Wymiana ruchu:
Temat: [TURBONET] Zamówienie KAT-OpenPeering
Treść: Zamawiamy KAT-OpenPeering na porcie SxxxPyy.

Tranzyt globalny:
Temat: [TURBONET] Zamówienie WAR-Global.Mix
Treść: Zamawiamy WAR-Global.Mix na porcie SxxxPyy z przepływnością xxxMbps lub TEST (żeby ustalić faktyczne potrzebne pasmo).

Tranzyt polski:
Temat: [TURBONET] Zamówienie KAT-PolMix
Treść: Zamawiamy KAT-PolMix na porcie SxxxPyy z przepływnością xxxMbps lub TEST (żeby ustalić faktyczne potrzebne pasmo).

Transmisja/VLAN w zakresie jednego węzła EPIX:
Temat: [TURBONET] Zamówienie WAR-VLAN do SNAILNET
Treść: Zamawiamy WAR-VLAN na porcie SxxxPyy  do portu SxxxPyy SNAILNET .
Uwaga: Do korespondencji dodajemy wszystkich, z którymi trzeba uzgodnić VID!

Transmisja/VLAN między węzłami EPIX:
Temat: [TURBONET] Zamówienie WK-VLAN do SNAILNET
Treść: Zamawiamy WK-VLAN na porcie SxxxPyy do portu SxxxPyy SNAILNET .
Przepływność xxxMbps (lub TEST jeśli nie wiecie ile).
Uwaga: Do korespondencji dodajemy wszystkich, z którymi trzeba uzgodnić VID!

Zmiana przepływności commitment usługi WAR-GlobalMix:
Temat: [TURBONET] Zmiana WAR-Global.Mix
Treść: Zamawiamy podniesienie przepływności WAR-Global.Mix do 100Mbps.

Zmiana przepływności commitment usługi GlobalMix posiadanej w dwóch węzłach (we współdzielonym commitmencie):
Temat: [TURBONET] Zmiana Global.Mix
Treść: Zamawiamy podniesienie przepływności Global.Mix do 100Mbps, na wszystkich vlanach.

Zmiana przepływności portu wirtualnego:
Temat: [TURBONET] Zmiana portu wirtualnego SxxPyy.
Treść: Zamawiamy zmianę portu wirtualnego SxxPyy na KAT-VL5000.

Wypowiedzenie portu:
Temat: [TURBONET] Wypowiedzenie KAT-P10-LR
Treść: Wypowiadamy port SxxxPyy.

Jak długo trwa uruchomienie/modyfikacja usług w EPIX?

Na uruchomienie i modyfikację usług EPIX dajemy sobie 72 godziny (3 doby robocze).
Z reguły jednak uruchamiamy je od ręki, w zakresie dnia roboczego, lub na początku kolejnego, z wyjątkami:
– porty – nie dotyczy krosowania czy ew. obsadzenia portu powierzoną wkładką, są to usługi obcych podmiotów z własnym terminarzem, nawet do 5-14 dni,
– vlany – nie dotyczy czasu ew. uzgodnienia VID z innymi operatorami „po drodze”,
– usługi IP (POLMIX, GLOBALMIX, inne z zewnętrznymi upstreamami) – należy uwzględnić czas rozgłaszania prefixów poza naszą sieć, do kilku dni w wypadku tranzytów globalnych,
– uruchomienie i modyfikacje usług operatorów zewnętrznych (Cogent, GTT, RETN, Level 3) jest realizowane przez tych operatorów w zakresie od kilku dni do nawet 12 tygodni.

UWAGA: Wszystkie powyższe terminy dotyczą zamówień złożonych poprawnie, zgodnie z naszymi zasadami. Niezgodne, niekompletne trafiają do kolejki i są przetwarzane w wolnym czasie, do 2 tygodni.

Czy w przypadku ofert dostępnych na stronie www.epix.net.pl jest możliwość przetestowania usługi przed finalną akceptacją zamówienia?

Oczywiście, standardową procedurą dla usług własnych EP jest:

  • zamówienie danej usługi (może być uruchamiana w trybie nieograniczonej przepływności),
  • po 7 dniach testów definiujemy przepływność commitment,

Okres testów może zostać przedłużony ze względu na szczególne okoliczności.
Testujący będzie obciążony kosztami wygenerowanego ruchu, dotyczy to usług za które EPIX płaci za zużycie swoim dostawcom.
Powyższa procedura nie dotyczy usług obcych, ich testowanie może być inaczej uwarunkowane, płatne, albo niemożliwe, proszę pytać.

Czy przepływność usług wymagających jej definiowania może być zmieniana, jak często?

Tak.

  1. Podnoszenie przepływności.
    Przepływność burst dowolnej usługi może być podniesiona na podstawie zlecenia Uczestnika, w dowolnym momencie.
    Dopuszczamy jedną zmianę w miesiącu.
    Jest ona dokonywana technicznie najszybciej jak to możliwe, z reguły do 48h (nie dotyczy operatorów Tier, możliwe kilka dni).
    Przyjmujemy, iż zlecenie zmiany przepływności dotyczy miesiąca rozliczeniowego w którym je otrzymaliśmy, jeśli ma dotyczyć okresu przyszłego musi to być wyraźnie wyartykułowane.
  2. Zmniejszanie przepływności.
    Zmniejszenie przepływności usług EPIX może być zlecone w dowolnym momencie, zostanie jednak dokonane w pierwszym dniu następnego miesiąca i tak też rozliczane.
    Dopuszczamy jedną zmianę na 3 miesiące korzystania z usługi.
    Zmniejszenie przepływności usług obcych może przebiegać na innych zasadach, proszę pytać.

Zasady zmian:
https://www.epix.net.pl/faq/#toggle-id-5

Wasze usługi mają czasami zdefiniowany "kontrakt" na np. 6 miesięcy, co po tych sześciu miesiącach, wyłączacie usługę?

Staramy się, aby nasze usługi były jak najbardziej elastyczne.
Minimalny okres związania kontraktem (lojalka) to czasami kilka miesięcy, po jego zakończeniu usługa działa dalej, przechodzi w status umowy na czas nieokreślony, z okresem wypowiedzenia 3 miesięcy.
W okresie obowiązywania kontraktu można zmieniać przepływności usługi, warunki zmian znajdziecie w tym FAQ.

Zmieniłem kartę sieciową w routerze i mam problemy z dostępem do usługi EP-OpenPeering, co się dzieje?

Usługa EPIX EP-OpenPeering świadczona jest na bazie vlana L2 publicznego, do którego dostęp mają tylko autoryzowane przez nas urządzenia.
Każda zmiana MAC Waszego routera musi być zgłoszona do NOC EPIX.
Zezwalamy na utrzymanie dwóch MACów na czas np. planowej wymiany routera, do 48 godzin.
Jeśli chcesz utrzymać dostęp dla dwóch routerów produkcyjnie – zamów drugi komplet sesji.

Czemu niektóre treści (partnerzy peeringowi EPIX, GGC, Akamai, inne CDNY) są dostępne tylko dla mojego ASa, a dla podłączonych do mnie klientów z własnym AS już nie?

Pewne treści z EPIX są dostępne tylko dla tych, którzy posiadają bezpośrednią sesję BGP z EPIX, nie rozgłaszamy do nich w EPIX-ie tranzytowanych AS-ów!
Jeśli tranzytowane ASy mają ochotę mieć dostęp do zasobów kupowanych/opłacanych przez nas wspólnie, niech zestawią do nas bezpośrednie sesje (nawet za Waszym pośrednictwem formalnym i technicznym), wspomogą w ten sposób pozyskiwanie i utrzymywanie kolejnych fajnych treści w EPIX.
Będą pokazani jako bezpośredni uczestnicy węzła, co jest bardzo ważne w kontekście postrzegania go jako poważnego gracza wobec dawców contentu i nowych peeringów. CDNy, duzi partnerzy do peeringu oceniają IXa nie przez liczbę prefixów w ogóle, tylko przez liczbę prefixów podłączonych bezpośrednio, bez hopów po drodze.
Pamiętajcie także, że lokalne utrzymanie peeringów i CDNów relatywnie dużo kosztuje (pasmo międzynarodowe lub międzymiastowe, kolokacja, patchcordy, prąd), pewnie dlatego porty w innych IXach kolokujących CDNy kosztują znacznie więcej niż w naszym.
Kilka razy więcej

UWAGA TECHNICZNA:

W przypadku rozgłoszeń prefixów do tranzytowanych ASów prosimy pamiętać o odfiltrowaniu i nie rozgłaszaniu do nich prefixów:
GGC: 185.48.9.0/24 le 26, 176.126.59.64/26, 94.246.183.0/24 le 26 (nie jest konieczne – dostęp do tych prefixów realizowany jest tylko przez EPIX)
AKAMAI1: 83.175.147.0/26 (83.175.144.0/20) – (jest konieczne wyfiltrowanie – dostęp do tych prefixów można otrzymać przez KIX/TPIX/PLIX/CIX/PIX i inne IX-y)

Czy mogę uzyskać dostęp do tego samego vlana (VID) na dwóch różnych portach w EPIX?

Tak, jeśli mówimy o usłudze transmisji danych poprzez sieć EPIX, czyli usług KAT-VLAN, WAR-VLAN międzymiastowej transmisji KAT-WAR, to jasne.
Ale nie dopuszczamy konfiguracji:
– vlanów z usługami EPIX na więcej niż jeden port,
– vlanów z usługami obcymi na więcej niż jeden port,
– vlanów transmisyjnych lub transportowych na więcej niż dwa porty
ze względu na bezpieczeństwo i stabilność sieci EPIX.

UWAGA: Jeśli podczas przenoszenia vlanów między portami (na przykład podczas upgrade czy zmiany operatora transmisji) potrzebujecie zachować ciągłość usługi możemy to zrealizować odwracając sytuację, czyli po Waszej stronie wystawiacie vlan na dwa porty jednocześnie, my przenosimy między portami o umówionym czasie, na dwie konsole, czyli najmniej przerwowo.

Jakich ustawień local pref i prepend użyć dla kompletu usług z EPIX?

Zakładając posiadanie OpenPeerigu, Polmixa, Global proponujemy:
Dla sesji OpenPeering ustawić localpref 300 dla prefiksów otrzymywanych. Nie ustawiać prependowania.
Dla sesji POLMIX ustawić localpref 200 dla prefiksów otrzymywanych, ustawić prepend o długości 1 AS na kierunku w stronę EPIX .
Dla sesji GLOBAL ustawić localpref 100 dla prefiksów otrzymywanych i ustawić prepend o długości 2 AS na kierunku w stronę EPIX .

UWAGA: Ostateczny efekt ustawień widać po kilku dniach, gdy ruch z różnych CDN dostępnych w EPIX, które sprawdzają długości ścieżek AS, ale są również powiązane z mechanizmami DNS się ustabilizuje.

Jak zmusić Google Global Cache w EPIX do oddawania mi ruchu?

Nie da się, musi sam chcieć
Ale można mu pomóc podjąć właściwą decyzję:

  1. Należy mieć połączone obie sesje BGP OpenPeering, do RS1 oraz RS2 (KLUCZOWE!),
  2. Należy używać WŁASNEGO DNS, a nie używać dla klientów z DNS Orange 194.204.159.1 czy google 8.8.8.8.
  3. Rozgłaszając zasoby do EP.OpenPeering w trasie nie może być żadnego prepend-a,
  4. Na sesjach innych niż do EP.OpenPeering, w których może występować GGC (np. EP.Polmix, KIX, PLIX, TP-IX, PIX, 3S-IX, Netia, Orange Metro) należy rozgłosić swoje prefixy z minimum 1x prependem,
  5. Na innych sesjach, w zależności od operatora należy rozgłosić communities blokujące rozgłaszanie do GGC, np: 0:24748 0:65001 29535:110 36040:65000, 12741:35100,
  6. Rozgłaszane do EP.OpenPeering zasoby powinny zawierać prefixy, a w tych prefixach musi być zawarty DNS z którego korzystamy w naszej sieci.
  7. Nie używać forwarderów w swojej konfiguracji DNS, a jeżeli już używamy forwarderów – należy skonfigurować EDNS: http://tools.ietf.org/search/draft-vandergaast-edns-client-ip-00
  8. Nie należy korzystać z communities pogarszających GGC – zakres communities 50607:1000X,
  9. W celu zapewnienia symetryczności ruchu należy ustawić wysokie preferencje na EPIX.
  10. Należy zadbać, aby na trasie moja_sieć – EPIX pingi nie wzrastały ponad 10ms, oraz aby nie było strat lub zbyt dużej ilości retransmitów TCP (kluczowe!).
  11. Dla GGC jednym z parametrów przypisania do danego węzła jest geolokalizacja adresów IP, jeśli jesteście daleko od naszego węzła, tym bardziej musicie zadbać o zapewnienie niskich czasów i wszystkich pozostałych wskazówek.

Po uwzględnieniu wszystkich powyższych wskazówek trzeba uzbroić się w cierpliwość i najlepiej nie zmieniać ustawień BGP przez conajmniej 24 godziny.
Pozwoli to na propagację zmian w sieci Googla i zmianę primary GGC dla naszej sieci na EPIXowy.
Zmiany te mogą nastąpić równie dobrze po kilku minutach, ale obserwowaliśmy nawet 30 godzinną reakcję na zmiany konfiguracji.
GGC w EPIX mają adresację:

Węzeł w Katowicach (AS50607): 185.48.9.0/26, 185.48.9.64/26, 185.48.9.128/26, 185.48.9.192/26, 176.126.59.64/26.

Węzeł w Warszawie (AS48850): 94.246.183.0/24.

Pomocne w powyższych działaniach narzędzia są dostępne w zakładce „Narzędzia”, zwłaszcza sprawdzacz skąd dostajecie GGC: http://redirector.c.youtube.com/report_mapping
Żeby ustalić z jakiego hosta klastra przychodzi Google trzeba zrobić mtr/trace do domeny „youtube.pl” ( bez www na początku ).

No i warto rozumieć jak działa GGC:
http://www.afnog.org/afnog2008/conference/talks/Google-AFNOG-presentation-public.pdf
https://peering.google.com/about/faq.html
http://networkengineering.stackexchange.com/questions/2622/how-to-switch-to-a-different-google-global-cache

Czy EPIX wspiera blackholing?

Tak.
Obsługa blackholingu na usługach EPIX uruchamiana jest na zamówienie Uczestnika, na: noc@epix.net.pl.
Akceptowana długość rozgłaszanego prefixu oznaczonego blackhole community w ramach prefix listy klienta to /32.

Dostępne community:
KAT-OpenPeering – 50607:666
KAT-Polmix – 4446:666
KAT-Global.Mix – 50607:666
WAR-OpenPeering-KIX – 48850:666
WAR-Polmix – 4446:666
WAR-Global.Mix – 62081:666

Przykład zastosowania:

  1. Klient identyfikuje atakowany adres ip w jego sieci, ręcznie lub automatycznie.
  2. Klient (po zgłoszeniu do EPIX prośby o załączenie obsługi blackhole community i uruchomieniu po stronie EPIX) oznacza atakowany adres blackhole community i wysyła ten prefix do routerów EPIX.

Przykładowa konfiguracja Cisco/Quagga:
router bgp Twój AS
network X.X.X.X mask 255.255.255.255 route-map blackhole
route-map blackhole permit 10
set community 50607:666

Jak uruchomić blackholing w GTT?

Jeśli posiadasz bezpośrednią sesję z ich routerem, czy to przez usługę EPIX, czy własną, bezpośrednią umowę z nimi, realizujesz uruchomienie BH samodzielnie, przez kontakt z INOC.
Piszesz maila (po angielsku) na: inoc@gtt.net podając w temacie i treści: swój AS oraz SLID usługi GTT (dostałeś go mailem przy uruchomieniu).
Jeśli usługę GTT fakturuje Ci EPIX, dorzuć też noc@epix.net.pl w kopii.

Czy można uzyskać połączenie z EP-OpenPeering (drugą sesję BGP) dwoma niezależnymi drogami ?

Tak można jednak należy spełnić kilka warunków:

  1. Druga sesja musi być terminowana do innego routera (inny mac address)
  2. Trasa prowadząca do drugiego routera musi mieć zakończenie w odseparowanym segmencie L2 klienta (tak aby nie powstała pętla)
  3. Usługa EPIX openpeering musi być wystawiona na portach EPIX jako access (nietagowany ruch)

Czego należy dopilnować po stronie klienta.

  1. Oba porty na których odbierana jest usługa EPIX openpeering po stronie klienta posiadają unikalne numery vlan
  2. Oba vlany odebrana na portach EPIX przez klienta terminowane są w dwóch różnych routerach.

Przykład:
Klient A odbiera usługę EPIX openpeering w dwóch portach
Pierwszy port na węźle X a drugi port na węźle Y

  • EPIX uruchamia usługę EPIX openpeering jako access na obu portach
  • Klient odbiera usługę na dwóch różnych portach po swojej stronie gdzie na pierwszym porcie ma ustawiony przykładowo „access vlan 100” a na drugim porcie „access vlan 200”

I te oba vlany już jako tagowane lub nietagowane kierowane są do routerów docelowych.

Uwaga

W przypadku kiedy klient posiada do EPIX openpeering więcej niż jeden port konfiguracja portów posiada bardzo rygorystyczne limity dotyczące storm control.
Więc w przypadku kiedy klient dokona „pętli” najprawdopodobniej oba porty klienta zostaną wyłączone na 10minut.

Jak pojawić się w tabeli i mapie uczestników EPIX?

Wpis w tabeli (i punkt na mapie) pojawia się automatycznie i automatycznie jest uzupełniany o kolejne elementy po ich zamówieniu, uruchomieniu, przyjęciu i dokonaniu billingowania.
Jedyną rzeczą do uzupełnienia jest logo (transparentne, w grafice wektorowej) które należy podesłac na adres info@epix.net.pl, umieszczając EPID w tytule e-maila.

Do pełnej współpracy z EPIX potrzebny jest własny numer AS i adresy IP, czy EPIX może pomóc je uzyskać?

Niestety, nie zajmujemy się tymi tematami, nie mamy takich zasobów ludzkich.
Na rynku istnieją jednak specjalizujące się w tych zagadnieniach firmy.
Uzyskanie AS i adresacji IPv6 załatwi np:
lir@artcom.pl >>> dostawca oferuje upusty dla EPIXowców
marcin@leon.pl

Dzierżawa adresacji IPv4:
http://www.ipaddress.pl >>> dostawca oferuje upusty dla EPIXowców
http://www.ip4isp.pl >>>  dostawca oferuje upusty dla EPIXowców
http://lipowski.org >>>  dostawca oferuje upusty dla EPIXowców

Sprzedaż i pozyskiwanie na własność (LIR) adresacji:
http://www.ipaddress.pl >>> dostawca oferuje upusty dla EPIXowców
http://lipowski.org >>>  dostawca oferuje upusty dla EPIXowców

Jak ustalić czy EPIXowe Akamai oddaje mi ruch.

Żeby testować skąd przychodzi Akamai trzeba mtr/trace do jednej ze znanych stron klientów AKAMAI, np: www.intel.com, www.apple.com, www.samsung.com, www.whitehouse.gov.
WAŻNE:  adresy, które oddają treści zmieniają się często w czasie.

Jak wypowiedzieć bezpośrednią umowę z GTT i włączyć się do naszej agregacji?

Od 2014r prowadzimy agregację zakupów ISP usługi IPTransit (dostępu do globalnego Internetu) w GTT.
Dzięki kumulacji potencjału i wolumenu praktycznie co miesiąc cena tej usługi jest niższa.
Technicznie usługa dla ISP jest identyczna, może być odbierana vlanem czy na dedykowanym porcie, nie zmienia się nic poza sposobem fakturowania (dostajecie FV od nas).
Zapraszamy do współpracy z nami, to korzyść dla wszystkich!
Aby zagregować swoje zakupy z nami trzeba:

  1. Znaleść i zweryfikować umowę z GTT, często miewała ona zapisy o automatycznym odnawianiu się na terminową 12 lub 18 miesięcy. Trzeba sobie dopilnować złożenia wypowiedzenia co najmniej 90 dni (a w niektórych umowach nawet pół roku) przed końcem takiego okresu lojalnościowego. Najlepiej złożyć je od razu aby nie zapomnieć 😉
  2. Poczytać: https://portal.gtt.net/GTT_Client_Guide.pdf
  3. Wysłać wypowiedzenie (po angielsku) na disconnects@gtt.net i czekać na Disconnect Acknowledgement Letter, jak w parę dni nie przyjdzie to atakować, molestować.
    Przykładowa treść wypowiedzenia:
    Temat: End of contract
    Dear Sir/Madam  We wish to cancel our service because end of contract on 201x-xx-xx. Our PON number is xxx. If you have any question please send me en email to xxx. Best Regards
    Podpis.
  4. Zamówić nową usługę GTT w EPIX, zostaniesz za nią obciążony dopiero od momentu rozpoczęcia korzystania, nie pobieramy także opłat za jej uruchomienie (chyba że na dedykowanym, nowym porcie).

UWAGA: w uzasadnionych przypadkach (okresy Waszej lojalki GTT krótsze niż naszej umowy w danym momencie) możemy przemyśleć wzięcie na siebie cesji Waszej umowy. Zapraszam do kontaktu: info@epix.net.pl.

Jak sprawić, aby mieć dostęp do anonsów EPIX B2B i powiadomień o ich publikacji?

Aby mieć dostęp do opublikowanych anonsów EPIX B2B trzeba być zarejestrowanym użytkownikiem strony www.epix.net.pl.
Aby otrzymywać powiadomienia mailowe o publikacji należy zaznaczyć B2B w panelu subskrybcji.

Jak stworzyć i spowodować rozesłanie anonsu B2B?

Upewnij się, że jesteś zarejestrowanym użytkownikiem www.epix.net.pl.
Napisz maila na b2b@epix.net.pl.
Jego zawartość zostanie wykorzystana jako treść anonsu, który zostanie wysłany do wszystkich zarejestrowanych użytkowników www.epix.net.pl, czyli blisko 1000 operatorów telekomunikacyjnych i opublikowany TU.
Mail powinien zawierać kluczowe informacje, takie jak:
– czego szukacie (transmisja, kolor, włókno),
– jakie cechy ma to czego szukacie (prędkość, rodzaj medium, cena, SLA),
– dość precyzyjny adres, lub ew. kilka adresów jednej strony łącza,
– wyszczególnienie do którego węzła EPIX (Warszawa, Katowice, dowolnego) ma być zestawione łącze,
– zastrzeżenie, że łącze nie może korzystać z konkretnej trasy, lub operatora (redundancja),
– namiary na siebie, pozwalające skontaktować się oferentowi bezpośrednio z Tobą,

Pamiętaj, treść maila ma zawierać gotowy do wklejenia anons, bez poprawiania błędów stylowych i ortograficznych, gdyż nie mamy zasobów/ludzi do tego.
To co wysyłacie na B2B w takiej postaci dotrze do bardzo wielu odbiorców!

Czy można dołączyć do EPIX łączem realizowanym na własnych wkładkach?

Tak, wystarczy zamówić odpowiedni port z naszej oferty (końcówki kodów usług -1J/-2J), ale obowiązują zasady:
1. Wkładka ma mieć interfejs fizyczny LC, nie mamy innego okablowania w naszych szafach, nie dopuszczamy konwersji.
2. Wkładka musi być zaprogramowana dla Extreme Networks.
3. Maksymalny pobór energii / wydzielanie ciepła wkładki nie może przekraczać 500mW (większość wkładek spełnia ten warunek, wkładki na 80km+ mogą być problematyczne i trzeba to zweryfikować).
4. Uczestnik samodzielnie i dostarcza wkładkę do właściciela kolokacji i zleca jej obsadzenie w przydzielonym porcie na własny koszt.
5. Po zakończeniu eksploatacji Uczestnik odbiera wkładkę od właściciela kolokacji z własnej inicjatywy i na własny koszt.
6. Wkładki nie odebrane przez Uczestnika w terminie do 3 miesięcy od zakończenia eksploatacji będą utylizowane.

UWAGA:
Używając własnej wkładki Uczestnik bierze na siebie odpowiedzialność za całość łącza. EPIX odsuwa od siebie odpowiedzialność za diagnozowanie i usuwanie ew. problemów z tym związanych.

Mikrotik RouterOS i RFC3021 - 31 bitowa maska podsieci

Mikrotik RouterOS i RFC3021 – 31 bitowa maska podsieci

Mikrotik RouterOS w teorii nie jest zgodny RFC3021. Konfiguracja adresu IP z maską /31 powoduje że sesja BGP nie zestawia się lub po zestawieniu komunikacja działa tylko w jednym kierunku. 

Można obejść ten problem w następujący sposób. Skonfigurować adres IP z maską /32, a jako adres sieci podać adres IP drugiej strony połączeniówki.

Przykład:

Od EPIX otrzymałeś takie dane:

IP EPIX 172.17.18.2/31

IP KLIENT 172.17.18.3/31

VLAN 2674

Konfiguracja Mikrotika:

/ip address add address=172.17.18.3 network=172.17.18.2 interface=vlan2674

Winbox:

Zrzut ekranu 2016-06-02 15.09.30

Usługi rozliczane percentylowo i ze współdzielonym commitmentem - zasady i ważne uwagi.

Rozliczanie percentylem.
Rozliczanie percentylem (w EPIX wyłącznie 95-tym) opiera się wykorzystaniu do niego wyników mierzenia zużywanej przepływności w zakresie miesiąca kalendarzowego, gdzie 5% najwyższych sampli pomiarowych jest odrzucanych.

Usługi rozliczane w ten sposób posiadają dwa parametry:
– commitment (czyli deklaracja lub zobowiązanie) – jest to wartość (95-tego percentyla) przepływności, którą deklarujemy jako typową/maksymalną dla naszego sposobu korzystania,
– burst (czyli wystrzał, wyskok) – jest to wartość (95-tego percentyla) przekroczenia ustalonej przepływności commitment,
– maksymalny burst – maksymalna wartości ruchu możliwego do osiągnięcia na usłudze (rate limit, czyli tzw. sufit).
Zasady deklaracji stosowana jest w celu motywowania Uczestników do definiowania wartości commitment jak najbardziej zbliżonej do rzeczywistości i podwyższania jej wraz ze wzrostem potrzeb, co powoduje po naszej stronie zwiększanie deklaracji u dostawców hurtowych = zmniejszanie cen.
Sygnałem przekraczania commitmentu jest pojawianie się na FV pozycji burst.

Przykład: Jeśli deklarujemy 100Mbps commitment, a w wykresie miesięcznym (95th) wychodzi nam 125Mbps zużycia, to za 100Mbps pasma zapłacimy w cenie commitment, a za 25Mbps w cenie (nieco wyższej) burst. Maksymalny burst określona jest w opisie konkretnej usługi, ale z reguły ustawiana jest x2, czyli sufit ustawiamy na 200Mbps.
Porada: Polecamy ustawianie sobie w systemie monitorowania sieci triggera na  każdej z sesji: commitment + np. 10% i zdefiniować że jeśli takie przekroczenie trwa powyżej kilku godzin = alarm, aby móc zareagować na zwiększenie się zapotrzebowania i zamówić odpowiedni upgrade pasma (albo zbadać co powoduje ten wzrost, np. DDOS, utrata innej usługi, zmiana ścieżek i usunąć nierównowagę).

UWAGA!
Usługi tranzytów globalnych są również rozliczane w hurcie (u naszych dostawców) 95 percentylem w zakresie miesiąca, czyli generują u nas koszt proporcjonalny do zużycia.
Oznacza to, iż jeśli w bieżącym miesiącu używa się takiej usługi produkcyjnie dłużej niż 36 godzin (=5% odrzucanych sampli) zostaną Wam naliczone opłaty jak za cały miesiąc korzystania.
Jeśli dostaliście dane do nowej usługi, a miesiąc dobiega końcowi to przemyślcie, czy nie chcecie rozpocząć korzystania z początkiem kolejnego, a w tym tylko potestować łącze (np przez dobę) aby nie naliczył się 95 percentyl.

Rozliczanie percentylowe ze wspólnym (współdzielonym) commitmentem.

Dla wygody i oszczędności Uczestników w EPIX jest możliwe rozliczanie usług percentylowo jednocześnie ze współdzielonym commitmentem, dotyczy to wyłącznie tych samych usług, z identyczną ceną.
Umożliwia to zamówienie dowolnej ilości sesji, w dowolnych naszym węźle (czy dwóch węzłach) definiując jeden commitment, co pozwala budować usługi redundantne na różnych poziomach (naszych i Waszych routerów, czy łącz transmisyjnych) w najkorzystniejszych na rynku cenach.
Rozliczenie z naszej strony polega na sumowaniu wartości 95 percentyla zmierzonych na wszystkich usługach współdzielonych i odjęcie od uzyskanego wyniku zdefiniowanego commitmentu.
Na każdej z sesji można osiągnąć przepływność zgodną ze zdefiniowaną w opisie usługi, z reguły 2 x commitment.

UWAGA!
Dzięki możliwości rozliczania we współdzielonym commitmencie zyskujemy znaczne oszczędności, ale należy pamiętać, iż powyższy sposób rozliczanie niesie za sobą pewne zagrożenia, wymaga więc odpowiedzialności w użytkowaniu i monitorowaniu.
Zwracamy szczególnie uwagę na możliwe do wygenerowania wartości sumy burstów, które przy dwóch sesjach mogą osiągnąć nawet 4x commitment, przy trzech 6x commitment, a powodem tego może być:
– otrzymywanie DDOSów, mogą one przychodzić jednocześnie na wielu sesjach,
– użycie innej sesji niż używana jako główna do celów awaryjnych, ale dłużej niż 36h,
– przerzucenie się ruchu z jednej sesji na inną w zakresie jednego miesiąca rozliczeniowego, czy przypadkowe, czy też świadomie,
– zmiana polityki kierowania i przyjmowania ruchu przeprowadzona w trakcie miesiąca,

Przykład: Uczestnik zdefiniował 100Mbps usługi global jako współdzielony commitment dla dwóch sesji, w Katowicach i Warszawie. Zazwyczaj użytkował pasmo głównie na sesji z Warszawy, ale w środku miesiąca spotkała go awaria routera, gdzie po jej usunięciu ruch nie wrócił do Warszawy, ale pozostał na sesji z Katowic. W wykresach zobaczyliśmy 90Mbps z Warszawy i 80Mbps z Katowic, co po sumowaniu percentyli dało 170Mbps. Użytkownik otrzyma FV na 100Mbps w cenie commitment, oraz dodatkowo 70Mbps w cenie burst, nie możemy od tego odstąpić, gdyż w Katowicach i Warszawie mamy innych dostawców tranzytu globalnego, co powoduje, iż również zostaniemy przez nich obciążeni w ten sam sposób (w pewnym sensie podwójnie).
Porada: Polecamy ustawianie sobie w systemie monitorowania sieci triggera na  każdej z sesji: commitment + np. 10% i zdefiniować że jeśli takie przekroczenie trwa powyżej kilku godzin = alarm, aby móc zareagować na zwiększenie się zapotrzebowania i zamówić odpowiedni upgrade pasma (albo zbadać co powoduje ten wzrost, np. DDOS, utrata innej usługi, zmiana ścieżek i usunąć nierównowagę).

Jak najlepiej i najtaniej osiągnąć redundancję swoich usług?

EPIX + EPIX
Sprawdzoną konfiguracją redundancji łącz i usług jednocześnie jest podłączenie się do dwóch węzłów, EPIX.Katowice i EPIX.Warszawa, niezależnymi łączami transmisyjnymi, oraz posiadanie zduplikowanych sesji do naszych różnych routerów.
Zapewnia to sumaryczną dostępność usług na poziomie równym lub lepszym niż 99.99%.
W celu zachowania redundancji usług, zamawiacie je symetrycznie w obu węzłach prosząc o rozliczanie ich we współdzielonym commitmencie rozliczanym percentylowo (dotyczy wyłącznie usług o tej samej cenie w KAT i WAR, np. GlobalMix, PolMix czy części dostawców globali).
Podobnie można zabezpieczyć się przed awariami któregoś z naszych routerów, wystarczy zamówić drugą sesję, określając w nim że ma być ona zestawiona do innego routera (lub nawet innego routera z innego węzła).
W ten sposób jedynym kosztem redundancji będę opłaty za dodatkowe sesje, nie płacicie drugi raz za pasmo commitment, a macie do dyspozycji dwie usługi, każda o przepływności = commitment * 2!
Dodatkowo usługi KAT-Global.Mix i WAR-Global.Mix mają różne upstreamy (dostawców tranzytów międzynarodowych), są oni wybierani pod kątem niezależności tras fizycznych i logicznych. Posiadając sesje do obydwu tych usług (nawet mając wpięcie tylko w jednym węźle EPIX), poza redundancją usług i routerów zapewnia dostępność mocno zdywersyfikowanych i zróżnicowanych ścieżek w świat.

EPIX + INNY

Możecie swoją drugą nogę umieścić u innego dostawcy hurtowego. Większość z dostępnych na rynku nie jest z nami powiązana w istotny sposób, dlatego zapewni właściwy poziom zabezpieczenia. Sugerujemy patriotyczny wybór dostawcy opartego w jak największym stopniu na polskim kapitale.

EPIX + EPIX + INNY
Możecie dwie swoje nogi umieścić w naszych węzłach, to najtańsze na rynku rozwiązanie podnoszące niezawodność dwukrotnie. Ale tylko dwukrotnie, i do tego nie zapewnia dywersyfikacji biznesowej.
Dlatego najlepszym rozwiązaniem jest trzecią nogę umieścić u innego dostawcy hurtowego, jeśli już nie w trzecim węźle lub lokalnie na swoim podwórku to ostatecznie w tym samym węźle do którego dochodzicie z łączem. Większość z dostępnych na rynku nie jest z nami powiązana w istotny sposób, dlatego zapewni właściwy poziom zabezpieczenia. Sugerujemy patriotyczny wybór dostawcy opartego w jak największym stopniu na polskim kapitale.

UWAGA!
Podwójne wpięcie się do nawet dwóch dostawców, ale na terenie jednej kolokacji, np. tylko 2xLIM, albo tylko 4DC (nawet 4DC1 i 4DC2) zapewnia dostępność CO NAJWYŻEJ zgodną z poziomem klasyfikacji kolokacji, czyli z reguły Tier 2 (99.741%) lub Tier 3 (99.982%). Ale to tylko teoria, bo w razie większego wydarzenia, np pożar, zalanie, czy pożar+zalanie przez gaszących, poważna awaria zasilań, katastrofa budowlana czy nawet poważna awaria informatyczna) czas do odtworzenia funkcjonalności węzła może sięgnąć długich godzin czy nawet dni.
Dwie Wasze nogi muszą stać w różnych geograficznie miejscach z zaplanowaną dywersyfikacją usług. Obserwujcie swoje otoczenie, dogadujcie się z kolegami na drugą nogę do innej lokalizacji, pytajcie nas o backupowe usługi terenowe, które możemy dla Was zorganizować, generalnie planujcie możliwe awarie, bo one po prostu będą występowały…

Duża domena rozgłoszeniowa i związane z tym wyzwania.

Planując uruchomienie i użytkując usługi wymiany ruchu IP w EPIX (xxx-OpenPeering-EPIX) należy pamiętać o tym, że jesteśmy już dużym IXP, a to niesie za sobą pewne wyzwania.
Zwracamy uwagę na to, iż OpenPeering to bezpośredni dostęp do sieci/domeny rozgłoszeniowej L2 (na koniec 2016 możemy przekroczyć 512 MAC w EPIX-Katowice), ze wszystkimi tego zaletami, ale i konsekwencjami = wymaganiami.

Uczulamy na możliwość powstawania problemów których przyczyną może być:

A. Sprzęt L2 po drodze do nas.

  1. Przełączniki/konwertery własne po stronie Uczestnika,
  2. Przełączniki/konwertery w kolokacji, na styku z nami,
  3. Przełączniki/konwertery operatora transmisji/partnera/kolegi. Stosowany w dowolnej z powyższych pozycji sprzęt nie może być sprzętem amatorskim (np. SOHO). Musi obsługiwać odpowiednią liczbę adresów MAC (co najmniej 2000, zalecane kilka razy więcej), zakładającą też możliwość pojawiania się abusywnej ich ilości przez krótki czas (sampling ACL zabezpieczeń u nas to 1000ms).
    Jeśli ma obsługiwać różne prędkości interfejsów musi posiadać spory bufor, najlepiej nie współdzielony/przydzielany w ramach całego switcha. Polecamy przełączniki oparte na chipsecie Broadcom i marki przełączników znane na rynku profesjonalnym.
    Wymagania dotyczące sprzętu wzrastają radykalnie w momencie chęci wykorzystania go do przenoszenia vlana OpenPeeringowego więcej niż raz (na przykład współdzieląc łącze z kolegą), poprzez QinQ czy inne metody tunelowania w L2. Zastosowanie sprzętu klasy carrier/metro i uciekanie od transportu L2 IN L2 staje się koniecznością.
    Bardzo ważne jest właściwe skonfigurowanie poziomu blokowania lub redukowania broadcastów, gdyż problemy z tym ustawieniem mogą objawić się przykładowo przy podnoszeniu sesji, gdy demon BGP odpytuje w krótkim czasie o setki neighbor’ów (pakiety ARP).

B. Transmisja pomiędzy Uczestnikiem a naszym węzłem.

Stosowany do realizacji transmisji sprzęt musi spełniać wymagania z punktu A.
Zamawiając transmisję u operatora należy zwrócić uwagę na jak najwyższy limit adresów MAC obsługiwanych przez łącze, oraz pełną jej transparentność. Operator transmisji nie powinien używać MAC learningu, żadnych ACL, triggerów, czy reguł zabezpieczających. Zalecamy transmisje czysto optyczne (lambda/GMPLS) lub ew. oparte o tunele L3 (MPLS/VPLS), ostatecznie carrier/metro ethernet.
Planując współdzielenie łącza (zapewnianie oprócz nas transmisji komuś poza nami) zalecamy, aby łącze podkładowe było odpowiedniej klasy (najlepiej transport optyczny).
Rozwiązanie: włókno Operatora A, na nim oparty system DWDM Operatora B, na nim oparty system transmisji danych ethernet udostępniany w postaci kanału/tunelu operatorowi ISP A, następnie udostępniany Operatorowi ISP B, który udostępnia swojemu klientowi vlan QinQ jest proszeniem się o kłopoty 😉

C. Routery BGP.

Routery BGP muszą mieć możliwość utworzenia co najmniej 512 wpisów ARP w urządzeniu.
Pod linuxem to chodzi o ustawienia zmiennych
/proc/sys/net/ipv4/neigh/default/gc_thresh1 a także 2 i 3.
Pod mikrotikiem to /ip settings set max-arp-entries=8192.

Trzeba też pamiętać o zasadach samego węzła:
Aktualny limit broadcasów na porcie uwzględnia logiczną ich ilość, która może pochodzić z jednej pary MAC/IP. W przypadku kiedy uczestnik ustawi sobie na interfejsie w kierunku EPIX OpenPeering więcej niż jeden adres IP, może przekroczyć limit broadcastów z jego interfejsu w kierunku EPIX, co spowoduje problemy z osiągalnością węzła lub pojedynczych sąsiadów.

Cały czas w budowie.

Dostaję DDOS/flood, co robić?

EPIX nie ma możliwości aby zajmować się blokowaniem ataków na adresy własne Uczestnika, należy go rozwiązywać u siebie poprzez dodanie atakowanego adresu do blackholingu.

Dla usług EPIX realizujemy to:
https://www.epix.net.pl/faq/#toggle-id-15

Dla usług odbieranych od dostawców globalnych należy stosować się do ich wskazówek:
GTT
https://portal.gtt.net/GTT_Client_Guide.pdf
https://www.epix.net.pl/faq/#toggle-id-16
Cogent
http://www.cogentco.com/files/docs/customer_service/guide/global_cogent_customer_user_guide.pdf

Działania w powyższym zakresie należy podjąć zanim nastąpi atak…
Zalecamy wdrożenie u siebie jednego z dostępnych na rynku systemów automatycznego reagowania na DDOS.
Na przykład w naszej ofercie zakupów grupowych jest dostępny w świetnej cenie system Wanguard firmy Andrisoft.

Mam dostęp do usług EPIX w Węzłach KAT i WAR, jak poukładać ruch, żeby działało to najlepiej.

Najlepiej ruchem, nie zarządzać, czyli nie przesadzić z prependami i local prefami 😉

Mamy jednak następujące sugestie ustawień:
1. OpenPeeringi EPIX.
Mając dostęp do WAR-OpenPeering-KIX i KAT-OpenPeering starać się doprowadzić do wykorzystywania bardziej warszawskiego, zwłaszcza jeśli chodzi o CDNy Google, Akamai, Atende i innych zlokalizowanych w stolicy.
Otrzymamy dzięki temu: niższe RTT, szybszy czas reakcji na zapytania i oddawanie ruchu, a co najważniejsze, będziecie korzystali częściej bezpośrednio z własnych CDN dostawców (peeringów bezpośrednich, niestety dostępnych jeszcze prawie wyłącznie w Warszawie), a nie serwerów cache w naszych węzłach, co oznacza dostęp do maksymalnej ilości najświeższych treści. Oczywiście nie zawsze się to uda, bo będzie nam przeszkadzała czasami geolokalizacja, ale warto powalczyć, bo to będzie oznaczało więcej darmowych treści i dynamiczniejsze ich oddawanie.
2. Polmix
Mając dostęp do WAR-Polmix i KAT-Polmix starać się doprowadzić do wykorzystywania głównie warszawskiego.
Większość treści Polmix to uzupełniające zawartość naszych OpenPeeringów treści z innych polskich IXów, w zdecydowanej większości warszawskich. Preferując WAR-OpenPeering-KIX zapewniamy sobie niższe RTT do źródeł, w tym eliminację dodatkowych narzutów czasowych łącz WAR>KAT. Bardzo istotna jest też większa stabilność ścieżek warszawskiego Polmix, wynikająca z braku wpływu ew. usterek łącz WAR>KAT na ich przełączanie na ścieżki zapasowe.
3. Global
Mając dostęp do globali z węzłów EPIX-Warszawa i EPIX-Katowice sugerujemy dać im się rozłożyć w naturalny sposób, z uwzględnieniem uwarunkowań poniżej. W EPIX dbamy, aby ścieżki do świata były i zróżnicowane (liczba i charakterystyka upstreamów) i niezależne (dbamy o dywersyfikację tras i ścieżek upstreamów).
Należy jednak zwrócić uwagę na uwarunkowania:
– historycznie i biznesowo Polska jest krajem o klasycznym przebiegu tras optycznych i lokalizacji węzłów, czyli stolica jest preferowanym miejscem odbioru usług globalnych. Od lat staramy się to zmieniać i jak wiecie mamy sukcesy w kreowaniu dostępności usług w Katowicach.
– geograficznie większość treści zagranicznych przychodzi do Polski z Niemiec, trasami przez Poznań (trasa zachodnia), lub Pragę (trasa południowa).
Z powyższego wynika, iż planując rozkład ruchu globalnego z naszych węzłów należy wziąć pod uwagę własne położenie i przebieg tras kabli do naszych węzłów.
Wybranie preferowanej ścieżki opartej na krótszych trasach geograficznych gwarantuje nam niższe RTT do źródeł i mniejszą podatność na awarie (większa stabilność ścieżek).

Oczywiście wszystkie powyższe uwagi nie biorą pod uwagę stabilności Waszych łącz do naszych węzłów. Naturalne i kluczowe dla jakości tworzonych przez Was usług jest preferowanie tego łącza, które wykazuje mniejszą podatność na usterki, a słabszego w tym względzie wykorzystywanie jako backup.

Skąd bierze się wartość ping/RTT do routerów i innych uczestników EPIX.

Skąd bierze się wartość „ping’a” czyli bardziej fachowo RTT.

Na czas wędrówki pakietu od nas do testowanego celu i z powrotem składa się kilku czynników:

1. Fizyczna odległość pomiędzy nami, a miejscem docelowym do którego „pingujemy”, gdyż pakiet musi po ethernecie przenoszonym światłem przebyć drogę geograficzną, co zajmuje czas.
Na początek trochę teorii (dzięki Andrzejowi Kiermaszowi z ARTCOMJAW).
Prędkość światła w ośrodku materialnym jest równa prędkości światła w próżni podzielonej przez współczynnik załamania światła w tymże ośrodku.
Norma ITU-T G.652 niestety nie określa wymagań dla współczynnika załamania światła w ośrodku transmisyjnym kabla optycznego:
5.8 Refractive index profile
The refractive index profile of the fibre does not generally need to be known.
Nie jest to więc parametr typowy podawany przez producentów włókien czy też całych kabli.
Można oczywiście znaleźć materiały (strona 3, rys. 3.2) umożliwiające poznanie wartości współczynnika załamania światła w ośrodku
I tak dla światła o długości fali 1310nm ma on wartość ok. 1,448 a dla długości fali 1550nm jego wartość to ok. 1,444.
Na potrzeby wyliczenia przyjęto wartość średnią 1,446.
Prędkość światła w próżni zaokrągliłem do 299 792 km/s, a prędkość światła w szkle krzemowym to ~ 207 325 km/s.
Obliczając odwrotność dla wartości prędkości otrzymujemy czas propagacji na dystansie 1 km: 4,823μs = 0,004823ms/km ~= 0,48ms/100km
Wiedząc, że cel znajduje się w jakiejś odległości (i pamiętając, że światłowody nie są układane prostymi kreskami między miastami) możemy stwierdzić ile z całego RTT przypada na sam transport optyczny, w warstwie L1 modelu OSI.
W wypadku wysyłania pakietów po trasie długości 100km do węzła EPIX udział czasu transportu optycznego w RTT to 0,965ms.

2. Konieczność obsługi ramki zawierającej pakiet w warstwie 2.
Przetwarzanie ramek w warstwie 2 (na przełącznikach lub innych urządzeniach transportowych L2) nie ma widocznego udziału w czasie RTT, gdyż deklarowane wartości są na poziomie dwóch rzędów niższe (z reguły nanosekundy, do kilkuset).
Ale trzeba pamiętać, że w niektórych konfiguracjach transmisji „pod spodem” L2 może być równiez L3 (MPLS/VPLS) i to nawet więcej niż raz 😉

3. Konieczność obsługi pakietu w warstwie 3.
Przetwarzanie ramek w warstwie 3 (na nieobciążonych i nie wpływających na priorytety w obsłudze protokołów routerach L3) nie ma widocznego udziału w czasie RTT, gdyż deklarowane wartości są na poziomie rząd niższym (z reguły mikrosekundy, ale bywa że do kilkuset).

4. Specyfika samego protokołu ICMP.
To można poczytać w Wikipedii, ale w EPIX są przecież profesjonaliści 🙂

5. Wydajność i rodzaj stacji, z której testujemy RTT.
Czas zależy od użytej wersji aplikacji ping (Linux/Windows/MAC oraz inne systemy operacyjne używają różnych wersji aplikacji która w różny sposób przedstawia wyniki między innymi zaokrąglając lub nie to pełnych wartości). W przypadku kiedy test icmp ping wykonywany jest z nieobciążonego komputera czy urządzenia sieciowego wynik zależy od wszystkich punktów powyżej plus wydajności samego urządzenia (mocy procesora).

Jak sprawdzić przepływność łącza do/z EPIX?

Korzystając np z Iperfów:

KAT-OpenPeering:
195.191.170.125

WAR-OpenPeering-KIX:
91.212.9.125
(iperf3 – port 5001)

Lub Mikrotik Bandwidth Test:

KAT-OpenPeering:
195.191.170.124
2001:7f8:5b::124

WAR-OpenPeering-KIX:
91.212.9.126
2001:7f8:69::126

UWAGA, serwery testowe oddają pełne 10G, testując zwracajcie uwagę na wysycenie własnych łącz, co może zakłócić np. IPTV!

Czy musze mieć własnego switcha w kolokacji w której jest EPIX?

Nie.
I to jest cecha charakterystyczna EPIX, czyli uproszczenie i redukcja kosztów, poprzez multiserwisowość.
Każdą usługę, naszą, czy obcą odbieracie na porcie na którym kończy się Wasza transmisja.

Komentarz Czuszka na temat switchy po drodze:
Jest mi bardzo przykro, że będziesz musiał musisz płacić za jego kolokację, prąd (grube stawki i zazwyczaj niekorzystnie rozliczane, np. ryczałtem lub z tabliczki znamionowej), zdalne ręce, amortyzację, (także drugiej sztuki jakby się pierwsza zepsuła).
Nie zazdroszczę, że będziesz musiał zajmować się od teraz pilnowaniem czy sprzęt Ci działa, aktualizowaniu, diagnozowaniu i byciu gotowym na wycieczkę do Warszawy także w Wigilię, jak Ci padając zafunduje odcięcie od świata (zwłaszcza jak uczyniłeś z niego pojedynczy punkt awarii – SPOF).
Smutno mi, że dla realizacji dowolnej usługi będziesz płacił za łączniki, będziesz musiał kupować wkładki, trzymać dla nich rezerwę i koordynować zestawianie i wypowiadanie łączników.
Z niepokojem czekam na moment, w którym będziemy się zastanawiali razem czy problem z jakąś usługa mamy bo operator Twojego łącza daje tyłka czy Twój dodatkowy sprzęt, czy wkładki po drodze.
Nasi Uczestnicy nie mają takich problemów, korzystają po prostu z funkcjonalności wirtualnego switcha którym dla nich jesteśmy, to my odpowiadamy za wszystko, wymienimy też uszkodzony przełącznik poniżej 1h (ale to i tak bez znaczenia, bo na kilkadziesiąt używanych nie mieliśmy jeszcze żadnej usterki).

Czy EPIX zapewnia krosowanie łączników międzyoperatorskich?

Nie.
Zajmują się tym właściciele kolokacji zazwyczaj na zlecenie operatora transmisji, namiary na nich są dostępne:
https://www.epix.net.pl/o-epix/wezly/
W bardzo wyjątkowych przypadkach, gdy zasady kolokacji nie pozwalają naszemu Uczestnikowi ani dostawcy transmisji samodzielnie zamówić łącznika (np. w węźle LI01 – Equinix) pośredniczymy w realizacji, stosując 9% narzut.

Czy EPIX dostarcza/sprzedaje wkładki?

Nie.
Zapewniamy wkładki wyłącznie do portów po naszej stronie, dla usług: xxx-P1-TX, xxx-P1-LX, xxx-P10-LR, xxx-P40-LR4, xxx-P40-SR4 (xxx – oznaczenie węzła, KAT lub WAR).
W bardzo wyjątkowych przypadkach, czy sytuacjach awaryjnych, gdy ważny jest czas możemy wypożyczyć lub odsprzedać wkładkę z naszych zapasów na węzłach (wyłącznie TX/LX/LR/LR4/SR4).

Czy wkładka w przełączniku EPIX może być wymieniona na inny model/rodzaj/medium, również samodzielnie?

W większości węzłów nasze przełączniki są prekablowane, czyli posiadają doprowadzone konkretne łączniki do konkretnych portów, co uniemożliwia wymianę wkładki na inne medium.
Okablowanie to miedziane TX, oraz jednomodowe 1J i 2J.
Jeśli zamieniana wkładka obsługuje identyczne medium może być zamieniona.

Wymianę wkładek należy zlecić właścicielowi kolokacji/zdalnym rękom, dodając nas do mailowego zlecenia.
W bardzo wyjątkowych przypadkach dopuszczamy jednorazowe upoważnienie do samodzielnej operacji.

Dlaczego usługi EPIX mają burst = 2 x commitment, inni dostawcy nie ograniczają przepływności.

EPIX jest dostawcą tworzącym usługi na potrzeby MiŚOT/ISP, dlatego nie stosujemy żadnych kompromisów, jakość jest najważniejsza.
Dlatego jeśli oczekujecie usługi w której przepływność jest nie jest ograniczona będziecie musieli poszukać kogoś bardziej pazernego na zysk i mniej uczciwego, dla kogo overbookowanie i udawanie ciągłej dostępności pasma usługi jest naturalne.
U nas nie stosuje się overbokingu, bo sprzedając usługę z jakąś przepływnością maksymalną GWARANTUJEMY i REZERWUJEMY tę przepływność do dostawców tranzytu.
A nie będziemy rezerwowali np. całego portu 10G od dostawcy mając opłaconą tylko jakąś część  jego przepływności, zwłaszcza przy stosowanych przez nas niskich marżach i wzięciu na siebie ryzyka kursowego.
Musicie pamiętać, że przepływność tą mamy również zagwarantowaną i trzymaną w gotowości w drugim naszym węźle = utrzymujemy styki i opłacone commitmenty.
Istotne w tym wszystkim jest również fakt, iż dzięki ograniczaniu przepływności maksymalnych już u dostawcy tranzytu zapobiegamy wpływowi na przykład DDOSów do sieci innego Operatora na Wasze usługi.

Wyjątkiem reguły burst=commit*2 jest Cogent, który nie realizuje naszych zleceń na przycięcia po swojej stronie (my również tego nie robimy, bo nie ma to już sensu), z tego też powodu zdarzają się na ich usługach problemy odczuwalne przez wszystkich użytkowników ich POP.

Nie daję sobie rady z ogarnięciem tematów BGP/routingów po swojej stronie, pomożecie?

Nie bardzo możemy pomóc w ogarnięciu po Twojej stronie, gdyż to nie jest zakres za który płacimy podwykonawcom obsługującym EPIX technicznie.
Ale możemy polecić fachowców, którzy mogą pomóc coś wdrożyć czy naprawić, lub stale pomagać:
www.itcare.pl – pełen zakres usług outsourcingowych
lipowski.org – outsourcing usług z zakresu BGP, w tym wdrażanie i administrowanie routerami BGP.

Jak przeprowadzić zmianę ASa dla usług w EPIX?

Podajecie nam nowego AS-a i zmieniamy konfiguracje – dla Wszystkich usług lub dla wyznaczonych, robimy to bez zbędnej zwłoki, ale musicie pamiętać o koniecznych aktualizacjach u naszych upstreamów, może to w niektórych przypadkach zabrać kilka dni (np. weekend).
Możecie po swojej stronie ustawić sobie tymczasowo local-as na stary AS na wybranych lub wszystkich sesjach co da Wam czas na przystosowanie zmian konfiguracyjnych po swojej stronie.
Jeśli macie usługi bezpośrednie od operatorów Tier lub innych dostawców należy to uzgadnia z nimi.

Jakie są zasady obsługi technicznej EPIX i jego Uczestników?

Obsługą techniczną EPIX zajmuje się zewnętrzna firma działająca na zasadzie outsourcingu usług.
Ma ona obowiązek:
– usuwać usterki w EPIX w trybie 24 x 7 x 365 dni, w jak najkrótszym czasie od ich wykrycia lub zgłoszenia przez Uczestnika/Dostawcy/Partnera, nie dłużej jednak niż 1 godzina w wypadku usterek dotykających większą liczbę Uczestników, do 6 godzin w wypadku usterek selektywnych, lub w czasie dłuższym jeśli problem wymaga obserwacji/analiz/logowań,
– dokonywać modyfikacji istniejących usług Uczestników, w dni robocze, w godzinach od 8 do 16, w terminie do dwóch dni roboczych w wypadku usług EPIX, lub zgodnie z reżimem dostawcy w innych przypadkach.
– uruchamiać nowe usługi w EPIX, w dni robocze, w godzinach od 8 do 16, w terminie do dwóch dni roboczych w wypadku usług EPIX, lub zgodnie z reżimem dostawcy w innych przypadkach,
– współpracować przy pracach planowych Uczestnika/Dostawcy/Partnera, w dowolnych umówionych wcześniej (uzgodnienie co najmniej 7 dni przed terminem prac planowych) godzinach, w zakresie od poniedziałku 8:00 do piątku 16:00, z wyłączeniem dni wolnych od pracy.
Od powyższych zasad są możliwe odstępstwa, w wyjątkowych sytuacjach, po uzgodnieniu z noc lub/i managementem EPIX.

Zgłoszenia usterek należy realizować poprzez zgodną z zasadami korespondencję z noc@epix.net.pl, lub w przypadkach nie cierpiących zwłoki poprzez zgłoszenie telefoniczne na BOK. Przypadkiem takim nie jest usterka powiązana z brakiem backupu dla posiadanych usług.

QinQ, CEP oraz CNP

Parę obrazkowych przykładów na możliwości w EPIX.

Chcę zmienić port z 1G na 10G, dostawcę transmisji lub miejsce wpięcia do EPIX, jak to zrobić najsprytniej?

Wariant 1, ze zmianą portu po stronie EPIX

Zalety: umożliwia bezprzerwowe przejście między portami,
Wady: dostawca transmisji musi zestawić równoległe łącze
Procedura:
– zamawiasz odpowiedni nowy port w EPIX,
– doprowadzasz aż się zaświeci, sprawdzamy drożność transmisji (np nadajemy testowy adres IP do pingania),
– konfigurujesz wszystkie usługi (vlany) po swojej stronie identycznie jak na starym porcie,
– zlecasz przeniesienie usług naszemu NOC, po kolei lub na raz, oni robią to na dwie konsole, więc z przerwą max kilka sekund, możesz zacząć od przeniesienia i testów w OpenPeering, potem pozostałych usług,
– opcjonalnie możesz na czas powyższych działań poskładać sesje, ale ogranicza to naszemu NOC weryfikację poprawności operacji,
– jak wszystko jest OK to wypowiadasz stary port.

Wariant 2, bez zmiany portu po stronie EPIX (pytaj czy możliwe w Twoim przypadku)

Zalety: umożliwia wykorzystanie istniejącego łącznika,
Wady: wymaga skomplikowanej synchronizacji działań EPIX, kolokatora i dostawcy transmisji
Procedura:
– zamawiasz odpowiedni port w EPIX,
– zlecasz upgrade u transmity, umawiasz sie z nim na wymianę wkładki czy portu po jego stronie,
– zlecasz wymianę wkładki w naszym switchu naszemu kolokatorowi,
– pilnujesz i koordynujesz działania EPIX (np. Jeśli konieczna jest manualne ustawienie portu w specyficzne ustawienie 10G), kolokatora (wymiana wkładki) i dostawcy transmisji (rezta),
– jak wszystko jest OK to wypowiadasz stary port.

W obydwu przypadkach upgrade kosztuje różnicę w cenie aktywacji, a przeniesienie/rekonfiguracja 99PLN (jeśli nie rodzi kosztów fizycznych po naszej stronie).

Czy mogę mój port i/lub transmisję udostępnić koledze?

Oczywiście!
Kolega aby skorzystać z portu fizycznego naszego Uczestnika realizuje dokładnie taką samą procedurę przystąpienia do EPIX:
https://www.epix.net.pl/faq/#toggle-id-3
z tym, że zamiast fizycznego zamawia odpowiedni port wirtualny na porcie SxxxPyy udostępniającego (ID do uzyskania od niego).
Przygotowując zamówienie kolega musi pamiętać o dołączeniu do korespondencji Uczestnika, który ma u nas port fizyczny, podobnie zresztą musi Go dołączać do każdego zamówienia usług, aby wyraził na nie zgodę i uzgodnił trójstronnie vlany.
Uwaga: Udostępnienie przez naszego Uczestnika portu bez przestrzegania powyższych zasad będzie podstawą do zakończenia z nim współpracy.

Porty do EPIX jak i porty w stronę kolegi należy poddać ciągłemu monitorowaniu jeśli chodzi o utylizacje pasma,liczbę pakietów/s, liczbę błędów na porcie i wrzucać to sobie na wykresy.
Na porcie do EPIX potrzeba zadbać o podniesieniu  defaultowego limitu broadcastów ( jeśli jest takowy) z wartości 100-200 adekwatnej dla jednego Uczestnika na porcie, na >2000.
Skąd taka wartość ?
Po awarii transmisji, lub w przypadku gdyby awarii uległ switch lub RS w EPIX to po jej ustąpieniu z dwóch route serwerów będzie odpytywane kilkuset Uczestników IPv4 i tyle samo sesji IPv6.

Jeśli chodzi o zabezpieczenie portu w stronę kolegi to obowiązkowo wykrywanie pętli we vlanie OpenPeering, a najlepiej także jakimkolwiek innym ( i to metodą „per vlan” jeśli taką możliwość posiadają Twoje switche).
Proponuję też rozważenie monitorowania liczby MAC na porcie kolegi ISP na wypadek zdarzeń losowych ( aktualizacji firmware, usterki i przeciekania potem MAC między vlan).
Kolegę trzeba traktować na styku z Waszą siecią jako potencjalnie groźnego intruza!
Pamiętajcie, kolega może nabroić, a port EPIX zostanie złożony i odetnie Was obu, pilnujcie się wzajemnie 🙂

Czy rozgłoszenie nowej numeracji, zmiany w prefiks-listach są automatyczne?

Nie.
W EPIX korzystamy z bazy RIPE aby generować prefiks-listy dla sesji BGP.
Generujemy je „na żądanie” gdy Uczestnik nam to zleci (noc@epix.net.pl).

Jakie są techniczne zasady dostępu do vlana OpenPeering w EPIX.

Uczestnik powinien mieć wyłączone na interfejsie routera , przełącznika:
1. Spanning Tree 8021d
2. Proxy ARP RFC1027
3. Discovery protocols takie jak CDP, LLDP
4. RPF – Reverse Path Filter
5. W porcie powinien być widoczny tylko jeden mac address routera klienta
6. Interfejs powinien mieć wyłączony promisc mode