[{"img":"https://dka.oszk.hu/078300/078365/kadlecsik_jozsef_xdp_flowtables.jpg","title":"Az XDP és a flowtable","description":"Az XDP és a flowtable Az XDP és a flowtable\r
Kadlecsik József\r
Wigner Fizikai Kutatóközpont\r
kadlecsik.jozsef@wigner.hu\r
Tartalom\r
Nagyteljesítményű csomagfeldolgozás - \"hardware speed\"\r
XDP - Express Data Path\r
nftables és flowtable\r
XDP\r
eXpress Data Path\r
Nincs szükség speciális hardverre\r
De megfelelő hardver esetében: hardware offload\r
Nincs kernel bypass\r
Nem cseréli le a TCP/IP stacket\r
Átírhatja a csomagot + header push/pop\r
VLAN, tunneling\r
Nincs fairness vagy buffering (qdisc)\r
Ha TX lassú: packet drop\r
Sematikus áttekintés\r
Mire használható?\r
DDoS szűrés magán a célponton\r
DDoS előszűrés védett célpontok számára\r
PASS: stack lassít\r
TX: csomagot módosítani kell\r
REDIRECT\r
Load-balancing közvetlenül a backend szervereken\r
TX: csomagot módosítani kell\r
REDIRECT\r
Router\r
XDP-t támogató driverek\r
Mellanox: mlx4 és mlx5\r
Netronome: nfp\r
Cavium/Qlogic: qede\r
Cavium: thunder\r
Broadcom: bnxt\r
Intel: ixgbe\r
virtio-net\r
Teljesítmény\r
Jesper Dangaard Brouer\r
Single CPU: i7-6700K, 4.00GHz\r
Mellanox-CX4 50Gbit/s (mlx5)\r
Blacklist IPv4 cím alapján (packet drop)\r
XDP használata\r
eBPF kód megírása C-ben\r
Clang, LLVM\r
eBPF kód betöltése a kernelbe\r
Userspace kód megírása a vezérléshez\r
Userspace kód használata\r
Teljesítmény: csomag \"maradjon\" az XDP rétegben\r
Flowtable\r
nftables része\r
iptables-en keresztül nem használható\r
Tulajdonságok\r
Flow kezelés gyorsítása\r
Alrendszer a TCP/IP stack (nagy részének) kikerülésére\r
Nincs szükség speciális hardverre\r
De támogatott hardver esetében: hardware offload\r
Accept/drop/redirect/mangle/NAT/VLAN/tunnel\r
Network driver\r
A firmware kezelni tudja a flowtable-t:\r
Mellanox: mlx5, mlxsw\r
Broadcom: bnxt, bcm_sf2\r
Chelsio: cxgdb4\r
Intel: i40eia, iavf, igb\r
Qlogic: qede\r
Mscc: ocelot\r
Netronome: nfp\r
Flowtable használata\r
table inet filter {\r
flowtable flow {\r
hook ingress priority 0 devices = { eth0, eth1 }\r
flags offload\r
}\r
chain forward {\r
type filter hook forward priority 0; policy drop;\r
# offload established connections\r
ip protocol { tcp, udp } flow offload @flow\r
ipv6 nexthdr { tcp, udp } flow offload @flow\r
# established/related\r
ct state established,related accept\r
# ip protocol ... flow add @flow\r
...\r
}\r
}\r
Flowtable garbage collection\r
Bejegyzések törlődnek, ha 30 másodpercig nem érkezik új csomag\r
Protokoll-specifikus flowtable használat\r
TCP RST és FIN csomagok követik a normál útvonalat\r
Teljesítmény\r
Pablo Neira Ayuso\r
1 CPU, legkisebb csomagméret\r
Flowtable használat II.\r
Nem packet drop!\r
UDP:\r
DNS/NTP-t általában nem érdemes\r
TCP\r
ssh-t nem érdemes\r
http/https-t igen\r
Nincs full conntrack\r
Van NAT/mangle\r
Elegáns fallback\r
Hardware flowtable - software flowtable - network stack\r
Összefoglalás\r
Hol érdemes használni\r
High-end: sávszélesség kezelése\r
Low-end: CPU tehermentesítése\r
Middlebox: mindkettő :-)\r
XDP: kihívás\r
flowtable: admin-barát magyar","topics":["operációs rendszer","számítógép-hálózat","adatvédelem"],"id":"078365"},{"img":"https://dka.oszk.hu/078300/078366/kiss_bence_felho_kod.jpg","title":"Felhő a földön == köd?","description":"Felhő a földön == köd? Felhő a földön == köd?\r
Kiss Bence, ELTE IIG\r
bence@noc.elte.hu\r
Mi is az a felhő?\r
(evolúció)\r
Saját HW: szerverek, hálózat\r
Saját DC: szerverek, virtuális szerverek, storage, hálózat\r
IaaS: nem foglalkozunk a gépteremmel és a HW-vel\r
PaaS: nem foglalkozunk a fizikai gépen lévő OS-sel sem alacsony szinten, sem a háttértárral, esetleg csak az alkalmazásunkkal a futási környezetben\r
SaaS: nem foglalkozunk az OS-sel sem az alkalmazással, csak a benne lévő adatokkal\r
Publikus vs. Privát infra\r
Publikus: összekattintod és pár másodperc/perc alatt megkapod használhatod, aztán idő/tárterület/forgalom arányosan fizetsz érte. Nem kell hozzá gépterem, de kell internet.\r
Privát: összekattintod: a vas pár nap, hét, hónap alatt megérkezik, kollégák installálják integrálják, aztán használhatod. Kell hozzá \"gépterem\", de nem feltétlenül kell az internet elegendő az intranet.\r
Virtuális gépek vs. Konténerek #1\r
Virt.gépek:\r
Saját boot-loader, OS,\r
Dedikált erőforrások: porcesszor, táreterület, memória\r
Akár a Host OS-től eltérő architektúra\r
Viszonylag lassú bootolás, fáradságos installálás és karbantartás\r
Rugalmatlan erőforrás allokálás, skálázhatóság.\r
Virt. gépek allokálása az OS, a funkciók illetve az szolgáltatásban betöltött szerepkörök mentén\r
Általában monolit alkalmazások\r
Downtime elkerülhetetlen\r
motto: Bring Your Own OS (with Licences) and keep it uptodate\r
Virtuális gépek vs. Konténerek #2\r
Konténerek:\r
A konténer Host OS-ével azonos architektúra (x86_64, arm7fh, aarch64)\r
A konténer image már tetszőleges binárist és libeket tartalmazhat, általában egy bizonyos alkalmazást tartalmaz, pl.: ngnix, mysql, redis, MS-SQL, ceph, java, .NET, vagy egy egész OS-t.\r
Több image összefogható egy pod-ba, ami egy szeparálási környezet hasonló a virtuális gépekhez, csak sokkal gyorsabb indulással\r
A népszerű OS-eknek és alkalmazásoknak van saját un. base konténer image-ük: Alpine/Centos/Debian/Fedora/RedHat/Ubuntu\r
Egy szolgáltatás un. mikró alkalmazások halmazából, több pod-ból is állhat.\r
Rugalmasabb erőforrás allokálás gyakorlatilag a virt.gépekkel azonos szeparálás mellett\r
Egyszerű és rugalmas skálázhatóság a fizikai node-on túl is\r
Reprodukálható elkészítés és telepíthetőség\r
In-service upgrade lehetőség\r
motto: Build Your Own Container Image and keep developing ala CI/CD model\r
A konténer karmester\r
Docker: defacto node on belüli konténer karmester. Elég jó, de vannak hibái\r
Docker-Swarm: kilép a node-ról. Ez már valódi klaszter megkötésekkel\r
Kubernetes: több node-os karmester más megkötésekkel, de sokkal rugalmasabb\r
https://kubernetes.io (k8s)\r
Open source projekt (by Google 2014): Google, Amazon, Microsoft és még sokan mások\r
Docker mellett containerd és cri-o, mint a konténer futtatási környezetért felelős komponens\r
Több node-os (jelenleg max. 5000), max. 150000 pod\r
Master-worker architektúra\r
Hálózat: kánaán ~30 hálózati réteg közül választhatunk\r
Tárterület: alapból van empty-dir (tmpfs), illetve host-path, minden mást ezekből illetve a konténereknek adható lokális diszkek és network share-ekből lehet felépíteni. Szerencsére automatizálható (nfs, ceph, glusterfs, ...)\r
Publikus felhő szolgáltatóknál (PaaS): Amazon EKS, GCE, AKS (Azure), IBM Cloud, ...\r
Privát: telepíthető on-prem manuálisan (kubeadm, kops, kubespray, hard way), vagy automatizáltan: pl. terraform, microk8s (ubuntu), openshift (RedHat), vagy on-cloud (IaaS)\r
IOT & Edge: k3s, egy bináris < 40MB, akár néhány RaspberryPi-ből is építhetünk klasztert\r
Fejlesztői környezet: minikube\r
Windowsra is!\r
Architektúra\r
Futtatás egység a pod (1 vagy több konténer szeparált környezetben)\r
Controll-plane: master nodeokon: etcd, api-server, controller-manager, proxy, scheduler\r
Worker-plane: worker nodeok-on: proxy\r
Minden funkció az API-n keresztül érhető el.\r
Network layer: attól függ mi lett telepítve, de általában minden node-on van egy worker pod, meg van valahol egy network-controller pod ami a network-öt tartja karban , követi a konfiguráció változásokat.\r
Namsespace-ek a podok csoportosítására\r
Klaszter DNS szolgáltatás az egyes belső szolgáltatások/pod-ok felfedezéshez.\r
Konfigurálás az API-n keresztül yaml leíró fájlokkal amivel kívánt állapotot lehet meghatározni, a többi a karmester dolga.\r
Van néhány (~20) építő elem a többi saját erőforrás definíciókkal testre szabható\r
Operátorok segítségével lehet aztán ezekkel szolgáltatásokat építeni. Pl.: klaszter szintű storage (rook-ceph operátorral), network layer\r
Minden TAG-elhető\r
Cloud Native application\r
Konténerben legyen: saját lib/bin amilyen verzióval és ízléssel akarja. Legyen readiness és liveness API felülete.\r
Rétegekre legyen bontva, pl.: WEB/User frontend, API, backend, DB, cache, stb…\r
NAT-olható/proxy-zható protokollal kommunikáljon\r
https://www.linkedin.com/pulse/evolution-applications-rise-cloud-native-networking-frank-van-lingen\r
Köszönöm a figyelmet! magyar","topics":["számítógép-hálózat","szerver","felhő alapú szolgáltatás"],"id":"078366"}]

#számítógép-hálózat

Az XDP és a flowtable

Felhő a földön == köd?