V průběhu příprav Czequestrie 2017 jsem se postupně zakomponoval do vedlejších technických činností a jedna z nich byla taková sic. nepotřebná ale rozhodnul jsem se vytvořit pro návštěvníky a staffáky WiFi síť v budově Krakova.

Celé to vzniklo jako moje zvědavost si vyzkoušet co obnáší řízení síťového provozu trochu větší sítě, zkušenost mám jen z menších sítí do cca 100 aktivních IPček. Svým rozsahem byla síť realativně malá co se týče fyzických zařízení, měl jsem tam celkem 5 Wifi access pointů:

• 1X RB433 s 2x R52Hn-M + 2 dualband pruty
• 2x RB333 s 1x R52Hn-M + 1 dualband prut
• RouterBoard cAP lite (malé AP)
• RouterBoard cAP-2n (Single chain bílý talíř)

A k tomu ještě další železo v podobě backendu pro “páteřní” infrastrukturu:

• Gigabit switch Allied Telesys AT-GS950/24 (AT-S79)
• 3COM gigabit switch office connect 16 port
• 2x 3COM Switch 3300TM
• RouterOS postavený na Gigabyte C847N (Celeron 1.2 Ghz dual core 2 GB DDR3 RAM) a CF kartě
• PC server s Linux debianem kde jel DNS server a LibreNMS na moniotoring
• APC SmartUPS 1000VA pro el. zálohování.
• asi +-200 metrů UTP kabelu v různých délkách.

Přípravy

Ale zpět k tomu jak to začalo, v Krakově jsem se byl podívat spolu s Jamisem a dalšími zainteresovanými lidmi (zvukaři) co si potřebovali obhlídnout místo před Czequestrií. Bylo nás tam cca 5 a napoprvé to bylo spíš se domluvit co a jak, správce budovy mi pak slíbil, že se poptá jak to je v místě s konektem do netu. Po budově měli už stávající WiFi síť postavenou na čemsi byly to takové malé bílé krabičky poschovávané v různých ventilačních výstupech po celé budově bez zjevného centrálního controlleru tzn. standalone nastavené jako 2.4 GHz AP s rozdílnými ESSID odělených číslem “sál1” nebo “sál2”. Zpětně si to už moc nepamatuju ale dokážete si udělat obrázek o tom jak to měli zhruba nastavené. Z přítomnosti AP jsem se ptal jestli by nebylo možné využití už nataženou pasivní infrastrukturu (kabely) pro naše účely. Dost by to eliminovalo tahání paralelních kabelů po budově protože si dokážu živě představit že APčka co tam jsou dokážou obsloužit tak 10 klientů současně. S těmito požadavky mi správce slíbil, že se poptá jeslti by to nešlo zařídit a tím moje role v ten den skončila, dál jsme procházeli prostory Krakova a řešili se provozní věci k Czequestrii.

Při druhé návštěvě mi p. správce ukázal vyvedený kabel od internetu dole v přízemí za malým sálem se slovy, že by tam měli mít 20 Mbps linku. Říkal jsem si OK to se dá a při druhé obhlídce jsem si okouknul, kde všude bych rozházel APčka. Bohužel z informací co od minula správce zjistil vlastně ani neví kdo by měl pasivní infrastrukutu spravovat, dělala jim to nějaká firma v minulosti ale v rámci šetření se neprodlužovala smlouva a celá síť v Krakově jede spíš samospádem do doby než se něco podělá tak, že využití bylo v tu chvíli no-go. Ve výsledku tedy síť k netu 20/20 mega a všechno ostatní je jen na nás co si nataháme a postavíme.

Doma jsem začal dělat přípravy, kdy jsem síť začal stavit byť jsem to v průběhu ještě asi 3x drobně předělával. Prvotní idea co mě napadla – hmm tak tam udělám 2 zóny jedna neveřejná, kde budou staffáci, vendoři a všechny podpůrný služby jako rekuzivní DNS resolver, monitoring a IP všech RBček. Druhá zóna byla veřejná a byla přístupná jen přes WiFi pro účastníky Czequestrie. Neveřejná zóna měla v centrálním routeru ve firewallu povolené všechny služby a jen zablokovaný port 25/TCP jako ochrana pokud by tam někdo připojil zavšiveného WiFi klienta, který by rozesílal spam. Veřejná zóna měla osekané služby na nejčastejší protokoly:

• Web (80,443/TCP)
• Proxy porty (3128,8080/TCP)
• FTP (20-21)
• SSH (22)
• Mail (110,143,465,993,995)
• VPN (500,1194,4500,1723,1721)

zbytek jsem zaříznul. Napoprvé jsem všechny pravidla nakydal jen do dvou chainů pojmenových “Public” a “Private”, napodruhé po několika dnech jsem se rozhodnul že je rozdělím podle TCP a UDP tzn budou chainy celkem 4 což byla první blbost co jsem udělal nicméně se pak ukázalo po zhruba 10 minutách klikání že to bude odcela pracný a udělal jsem rollback na původní verzi jen s 2 chainy. Obě źony jsem koncipoval na jedno céčko (/24)  a pak mě chytil amok, že by to nemuselo stačit a udělal jsem z toho dvě /22 (1024 adres). Jak se v provozu ukázalo tak i /24 by s přehledem stačila na obě zóny dohromady protože v provozu bylo aktivních cca 120 IP adres včetně management IP rozhraní všech APček.

Malá vsuvka, z IPv6 Semináře 2018 jsem se od Ondřeje Caletky v průběhu přednášky dozvěděl, že takový maximální reálny počet hostů v jednom segmentu je tak jedna /24. Při tomto počtu tam prý měli cca 40 Mbps broadcastů.

Pak přišlo na řadu řízení trafficu (QoS v Queue Tree),  podobně jako ve firewallu ale s tím rozdílem, že v tomhle případě je nutné rozdělit TX a RX směr. Ve výsledku jsou 2 chainy v manglu pro každou zónu.

Následně jsem markoval provoz do těchto skupin v Queue Tree z každé zóny dle směru komunikace, nevšímejte si nastavení položky “Max Limit” protože článek píšu už docela s odstupem tak jsem zřejmě kvůli pozdějšímu testování změnil na 1000 Mbps. Původně tam bylo 20 Mbps a rozděleno 10/10 pro obě zóny s prioritou pro neveřejnou část.

• Priority (DNS) – PFIFO
• Voice (TS3, SIP) – PFIFO
• Downloaders (FTP, BT) – PCQ
• Web – PCQ
• VPN – PCQ
• Other – PCQ

Pro řízení WiFi APček jsem použil CAPsMANa protože jsem s ním měl zkušenosti z práce, kde ho mám taky s RB2011 a třemi MK cAP-2nD access pointy. Setup byl mírně náročnější vzhledem k tomu, že jsem tam měl tolik RBček a některý jely v pětkovym pásmu ale větší část v 2.4 GHz pásmu. Bandplan byl následující, 2 APčka v 5GHz bandu a 3 APčka v 2.4GHz tzn na dvou místech byly 2 RBčka každé pro jedno pásmo. Ty místa byly u vstupního vchodu na coca cola automatu a pak o patro výše u Xsoftovova stolu kde byly vendoři, mj tam měl jeden ten 3COMáckej switch ze kterýho pak vedl kabel nejdřív k kukani v hlavním sále, udělal jsem tu chybu že na sál jsem dal jen jedno RB cAP-2nD které totálně lehlo jakmile se sál naplnil, holt už jsem neměl dost APček abych mohl dát i 5G AP do sálu. Následkem toho jsem po úvodní ceremonii tohle AP odpojil a kabel přes 2 poe spojky natáhnul až na stage pro laptop odkud se pak pouštěly skype cally s Larsonem a Gray Dayem. Router jsem pak použil i na podzimní karaoke tak proto tak jsou všude SSID s názvem “Karaoke” v době Czequestrie tam byla “Czequestria”. Následující obrázek ukazuje distribuci konfigurací na jednotlivé AP.

Rozdělení kanálů v 2.4 GHz pásmu na 1, 6 a 11 kanál pouze signle chain 20 Mhz, v 5 GHz pásmu pak kanály 36, 44 a 52 v nastavení 20 MHz s extension channelem nad hlavní frekvencí a v režimu SU-MIMO dual chain.

Distribuce konfigurací v sekci provisioning na jednotlivé karty v RBčkách

A security konfigurace pro jednotlivé sítě

Setup na místě

Ráno v první den Czequestrie to samozřejmě nemohlo začít jinak než prvním problémem s autem kterému přes noc utekl všechen vzduch v pravé zadní pneumatice. Všimnul jsem si toho když jsem ráno nakládal věci do auta s pomocí dalších lidí co u mě v době Czequestrie přespávali. Naštěstí jsem v tu dobu měl doma kompresor tak, že jsem vlítnul domu za 5 minut bylo kolo nafouknuté. Po příjezdu na místo jsem zajel až před Krakov a začalo se vykládat, tou dobou už tam byl celkem frmol bylo asi 8h a v 10h se mělo otvírat což bylo relativně dost času na to všechno natahat a zprovoznit. Nanosil jsem tedy všechny svoje věci do Staff místnosti kde jsem hned za dveřmi za rohem zabral místo pod stolem kam sem hodil servřík, UPSku a gigovej switch od Allied Telesys. Nicméně jsem potřeboval klíče od dveří za kterými byl kabel k netu. Jenže správce budovy nebyl na místě tak že jsem myslel že dveře jsou zamčené nicméně jak se ukázalo o hodnu později tak byly celou dobu odemčené jen sem holt nevzal za kliku *insert facepalm here*.

Po nahození serveru routeru a switche jsem si natáhnul přívodní kabel s netem do staff místnosti zapojil jej do WAN portu rotuteru, všechno najelo DHCP klient dostal adresu tak jsem udělal speedtest a přišlo první překvapení. Avizovaná linka 20/20 byla polovičních 10/10 tak že jsem narychlo překlikal v Queue Tree všechny limitní hodnoty na polovinu naštěstí to bylo jen na 4 místech a hned mi blesklo hlavnou – jsem zvědavej jak tohle bude fungovat. No začalo nahazování APček na místa, 2 AP jsem hodil na automat s Coca Colou u vstupu spolu s gigovým 3COM switchem (office connect 16 port) napájení jsem vyřešil prodlužkou z nejbližší zásuvky co byla hned vedle. UTP kabel byl nataženej po zemi podél dveří do centrály v staff místnosti. Další kabel měl jít do horního patra a tady mi pomhl Farglider a Arctic Blue kteří mi to pomáhali tahat kabel ze staff místnosti přes dveře ke schodům a nahodu kolem zábradlí a okolo pak k Xsoftovi na stůl kam jsem hodil jeden rackovejch 3COM swichů a na stůl hodil další RB433 s dvěma kartami pro obě pásma. Z switche se natáhnul další kabel kolem vstupu do vendor zóny podél prosklené zdi a kolem baru přes kuchyň za barem a přes zeď až do kukaně pro zvukaře v sále. Tam jsem na začátek dal cAP-2Nd talíř což se ukázalo jako totální nedostatek jak jsem psal na začátku. Nu po openning ceremony jsem AP vypnul a dál kabel pak odpoledne sloužil pro připojení skype laptopu.

Provoz v době conu

Běželo to překvapivě dobře, linka se držela relativně volná s trvalým provozem cca 4,5 Mbps v downloadu a zhruba 1 Mbps v uploadu. Po celou dobu jsem nezaznamenal, že by si někdo přímo stěžoval že síť nejde. Jen v době skype hovorů jsem všechny AP vypínal aby byla linka volná jen pro tento účel.

Co udělat přístě líp/jinak

Kompletní rethink pravidel ve FW, není úplně optimální povolovat jen některé služby vzhledem k tomu jak se vyvíjejí aplikace, stávající set pravidel má vadu v tom že přes síť nepůjdou např. online hry běhající převážně po UDP což je minimálně problém kvůli síťové neutralitě.

Spustit IPv6, dostat ke klientům nativní IPv6 konektivitu. Často narážím na problém, že ISP buď nechce, neumí nebo za to chce extra platit což považuju za vrchol vychcánkovství. Šestka by v dnešní době (rok 2018) měla být běžnou součástí všech připojek. Celé to je jen o tom vyrejžovat prachy. Jako je IPv4 nedílnou sočástí tak i IPv6 by měla být nedílnou součástí.

Monitoring provozu, měl jsem spuštěné LibeNMS což umí sice kreslit traffic na rozhraních a další grafy jako vytížení CPU/RAM/DISKu ale neumí třeba netflow, který je mnohem zajímavější. A druhak kvůli legislativě mít nějak pořešeno pokud by někdo přes tuto síť někoho poškodil (hackerské. DDoS útoky apod..).

Výměna WiFi AP za modernějí AP s podporu 802.11ac Wave2 či 802.11ad (60 Ghz) případně 802.11ax (až bude). Stávající letité APčka jsou jen Nková – standard z roku 2009 byť  nebylo nutné mít lepší protože linka do internetu měla jen 10 Mbps. Výhodou ACčkových AP je minimálně Multi User MIMO a beamforming které umožní mít víc klientů per.

Závěr

A co na konec? Nevím jestli v budoucnu bude ještě potřeba WiFi síť ještě dělat v takovém rozsahu protože v létě několik měsíců před Czequestrií zrušen GSM roaming což má za následek to že lokální WiFi sítě ztrácí mírně na významu pro smartphony. Dokážu si představit že lokální WiFi budou stále obsluhovat laptopy či tabletů, kde není LTE modem úplně běžnou záležitostí, nicméně i přes to si stále myslím že lokální WiFi je stále lepší volba kvůli latenci a absenci FUP limutů. Wifi má i svoje neduhy, kde naprosto selhává při větším množství klientů což by měl řešit nový AX standard.