Kada korisnik pokrene Netflix seriju u 4K rezoluciji ili otvori YouTube video, podaci retko putuju stotinama ili hiljadama kilometara preko javnog interneta. Ogromna većina tog saobraćaja se isporučuje sa servera koji se nalazi u istom gradu, a najčešće u samom data centru internet servis provajdera (ISP). Ovaj mehanizam se realizuje kroz specijalizovane Content Delivery Network (CDN) edge nodove, od kojih su u ISP svetu najprisutniji Netflix Open Connect i Google Global Cache (GGC).
Koncept je inženjerski jasan: umesto da ISP plaća skup IP tranzit za preuzimanje terabajta video materijala sa udaljenih lokacija, content provajder besplatno isporučuje hardver (servere) koji se instalira direktno u rack-ove ISP-a. ISP obezbeđuje napajanje, hlađenje i lokalnu mrežnu povezanost, dok content provajder daljinski upravlja softverom i sadržajem.
Arhitektura usmeravanja: Kako saobraćaj ostaje u lokalnoj mreži
Da bi korisnik preuzeo sadržaj sa lokalnog servera umesto sa globalnog interneta, neophodni su precizni mehanizmi usmeravanja saobraćaja (traffic steering). Osnova ove komunikacije leži u BGP (Border Gateway Protocol) rutiranju, u kombinaciji sa DNS i HTTP mehanizmima na aplikacionom nivou.
Kada ISP instalira GGC ili Netflix Open Connect Appliance (OCA) u svoju mrežu, dodeljuje mu IP adrese iz svog adresnog prostora. Server zatim uspostavlja BGP sesiju sa ruterima provajdera (najčešće sa core ili distribucijskim ruterima). Putem BGP-a, CDN node oglašava sopstvenu dostupnost i informiše mrežu provajdera na kojim rutama je sposoban da isporučuje sadržaj. ISP podešava BGP metrike (kao što su Local Preference ili MED) kako bi osigurao da rute ka ovim lokalnim nodovima imaju apsolutni prioritet u odnosu na rute koje vode preko eksternih peering i transit linkova.
Sam BGP osigurava mrežnu putanju, ali klijent (browser, pametni televizor ili mobilna aplikacija) mora prvo saznati IP adresu tog lokalnog noda. Tu na scenu stupaju DNS-based steering i HTTP redirect mehanizmi.
DNS-Based Steering (Google Global Cache)
Google se primarno oslanja na DNS infrastrukturu za usmeravanje korisnika. Proces funkcioniše kroz sledeće korake:
-
Korisnik otvara YouTube i njegov uređaj šalje DNS upit za rezoluciju domena na kom se nalazi video sadržaj (npr.
r1---sn-xxxx.googlevideo.com). -
Upit stiže do DNS resolvera ISP-a, koji ga prosleđuje autoritativnim Google DNS serverima.
-
Google DNS analizira IP adresu resolvera koji šalje upit. Ukoliko ISP podržava EDNS Client Subnet (ECS) ekstenziju, Google vidi i tačan subnet samog korisnika.
-
Na osnovu ove IP adrese i topologije mreže (koju Google poznaje zahvaljujući BGP peeringu sa ISP-om), Google DNS vraća IP adresu onog GGC servera koji je topološki najbliži korisniku - onog koji se nalazi u istom ISP-u.
-
Klijent uspostavlja TCP/TLS konekciju direktno sa lokalnim GGC serverom i preuzima sadržaj, bez izlaska na javni internet.
HTTP Redirect mehanizmi (Netflix Open Connect)
Netflix koristi drugačiji, visoko kontrolisan pristup koji se oslanja na HTTP 302 redirekciju (ili API odgovore unutar aplikacije), umesto isključivo na DNS.
-
Kada korisnik pritisne "Play", Netflix klijent (aplikacija na TV-u) komunicira sa Netflix Control Plane infrastrukturom, koja je hostovana u Amazon Web Services (AWS) cloudu.
-
Control Plane identifikuje korisnika, njegovu IP adresu i Autonomous System Number (ASN) njegovog ISP-a.
-
Netflixov steering algoritam proverava bazu dostupnih Open Connect Appliance (OCA) nodova. Algoritam utvrđuje da li unutar mreže korisnikovog ISP-a postoji aktivan OCA nod sa traženim sadržajem (serijom), proveravajući i trenutno opterećenje mrežnih interfejsa na tom specifičnom nodu.
-
Ukoliko je lokalni OCA dostupan, Control Plane klijentu vraća listu URL-ova (odgovarajući manifest fajl) koji eksplicitno pokazuju specifičan lokalni domen OCA servera u mreži ISP-a.
-
Klijent vrši konekciju na taj lokalni URL i započinje streaming. Ukoliko lokalni server otkaže, manifest sadrži fallback URL-ove koji vode na druge regionalne nodove ili direktno na IXP peering lokacije.
Hardverske specifikacije tipičnog CDN Edge noda
Da bi jedan server mogao da isporučuje desetine gigabita saobraćaja u sekundi uz minimalno zauzeće prostora u racku, hardver mora biti striktno namenski projektovan. Netflix OCA nodovi su odličan primer ove optimizacije. Postoje dve osnovne varijante:
-
Storage-Heavy (Global/Regional) nodovi: Dizajnirani da drže kompletan Netflix katalog. Sadrže velike nizove mehaničkih hard diskova (HDD) visokog kapaciteta (često preko 300 TB sirovog prostora u 2U ili 4U kućištu). Ovi nodovi se instaliraju na glavnim peering tačkama i služe za "punjenje" manjih nodova noću, kada je mrežni saobraćaj nizak (tzv. pro-active fill mehanizam).
-
Flash-Heavy (Offload) nodovi: Ovo su nodovi koji se najčešće instaliraju kod ISP-ova. Fokusirani su isključivo na najpopularniji sadržaj. Sadrže NVMe SSD drajvove sa kapacitetom od nekoliko desetina terabajta. Opremljeni su sa jednim ili više 100Gbps QSFP28 mrežnih interfejsa. Ceo hardver pokreće visoko optimizovani FreeBSD operativni sistem sa prilagođenim NGINX web serverom, sposoban da gura sadržaj ka mrežnoj kartici koristeći tehnike poput asinhronog I/O i
sendfilesistemskog poziva, pri čemu procesor radi minimalan posao.
Tipičan GGC server ima sličnu filozofiju, često kao 1U ili 2U mašina sa ogromnom količinom RAM-a i brzim NVMe/SSD diskovima koji keširaju YouTube video klipove onog trenutka kada ih prvi korisnik u mreži zatraži.
Analiza benefita: Win-Win-Win scenario
Instalacija CDN edge nodova direktno u mrežu access provajdera stvara savršenu sinergiju za sve uključene strane.
Benefiti za ISP-ove: Najočigledniji benefit je drastično smanjenje operativnih troškova (OPEX). Video saobraćaj danas čini preko 70-80% ukupnog mrežnog protoka. Bez lokalnih keš servera, ISP bi morao da zakupljuje masivne IP transit kapacitete (10Gbps, 40Gbps ili 100Gbps portove) prema Tier-1 provajderima, što predstavlja ogroman mesečni trošak. Sa lokalnim nodovima, taj saobraćaj se "offloaduje" i ostaje unutar distribucijske mreže. Takodje, smanjuje se potreba za stalnim proširenjem core rutera i backbone linkova.
Benefiti za korisnike: Fizička blizina servera (često manje od 2-5 milisekundi RTT) direktno eliminiše baferovanje. Klijentski softver veoma brzo utvrđuje da mrežni uslovi dozvoljavaju maksimalan propusni opseg, pa YouTube ili Netflix gotovo trenutno prelaze u 4K rezoluciju sa maksimalnim bitrate-om, čak i u periodima najvećeg mrežnog opterećenja (peak hours, od 20:00 do 23:00).
Benefiti za content provajdere: Postavljanjem svoje opreme duboko u mrežu ISP-a, Google i Netflix preuzimaju potpunu kontrolu nad korisničkim iskustvom (QoE - Quality of Experience). Ne zavise od zagušenja na globalnim internet tranzitnim tačkama (IXP) i izbegavaju uska grla na peering linkovima između velikih operatora. Ujedno i oni štede na sopstvenim troškovima isporuke, jer najveći teret hostinga i transporta prebacuju na "last-mile" ISP-ove koji besplatno napajaju servere strujom u zamenu za uštedu na bandwidth-u.
Nema komentara