[{"img":"http://keptar.oszk.hu/030300/030320/affolditamas.jpg","title":"Élet az SQL-en túl","description":"Vitaindító előadás a Magyar Adattárház Fórumról 2010 \r
Az Adattárház Fórum 2010 (Budapest, Hotel Ibis, 2010. május 11.) konferencián tartott nyitóelőadás prezentációja. \r
http://computerworld.hu/esemeny/2206 Az SQL, azaz Structured Query Language (strukturált lekérdezőnyelv) relációs adatbázis-kezelők lekérdezési nyelve.\r
Angol nyelvterületen eszkjuel a kiejtése. A hagyományokhoz való hűség jegyében sokan szíkvel-nek ejtik, ugyanis korábban Structured English Query Language (SEQUEL) volt az elnevezés, és ezt rövidítették le.\r
A relációsadatbázis-kezelők általában az SQL nyelven programozhatók. Az SQL alapvető utasításait közel egyformán valósítják meg, de a később beépült nyelvi elemek körében nagyon nagy az eltérés, az inkompatibilitás, emiatt számos SQL nyelvjárásról beszélhetünk.\r
Jellegét tekintve ez a szakterület-specifikus nyelv részben procedurális, részben deklaratív. (Forrás:Wikipédia) 1. Élet az SQL-en túl: Az adatfeldolgozás legújabb trendjei Földi Tamás tfoldi@starschema.net\r
2. IBM Kutatóközpont San Jose, California, 1970 www.starschema.net\r
3. www.starschema.net\r
4. www.starschema.net\r
5. www.starschema.net\r
6. Negyven évvel később www.starschema.net\r
7.Gartner Report Adattárházakban használt adatbázis-kezelők Elsősorban relációs mágikus kvadránsai, Gartner 2010 adatbázisok Tranzakciókezelés (ACID) Erős adatbázis szerverek (SMP) Megjelenik a Masszív Párhuzamos feldolgozás www.starschema.net\r
8. Legforgalmasabb weboldalak Weboldal Terhelés Google Adat előfeldolgozás: 20 Petabájt / nap Facebook Inbox: 100 TB, 150 gépes klaszter Adattárház: 15 Petabyte adat, 1400 gép, 11200 CPU Youtube Napi 30 milliárd lekérés, 350ezer oldal/másodperc Microsoft Live, Bing Havonta 50 millió egyedi látogató Yahoo! 92 Petabyte adat, a legnagyobb lekérdezés 10ezer gépen fut párhuzamosan 73 óráig Twitter Adatbázis növekedés 7TB naponta, 2+ PB évente Wikipedia BBC Myspace Napi 11 milliárd oldalletöltés Amazon www.starschema.net\r
9. Legforgalmasabb weboldalak Weboldal Főbb adatbázismotor Adatbázis típusa Google GFS, Google BigTable Columnar NoSQL Facebook Cassandra, Hadoop/HIVE Columnar NoSQL Youtube MySQL RDBMS Microsoft Live, Azure Tuple store, RDBMS Bing Yahoo! Hadoop, PNUTS Columnar NoSQL Twitter FlockDB, Cassandra, Graph, Columnar NoSQL Hadoop/Hbase Wikipedia Flatfile, MySQL Flat file, RDBMS BBC CouchDB Document Myspace Aster Data nCluster MPP RDBMS + MapReduce Amazon Amazon Dynamo Columnar NoSQL www.starschema.net\r
10. www.starschema.net\r
11. Mi a NoSQL? = Not only SQL Choosing the right tool for the job Werner Vogels, Amazon CTO www.starschema.net\r
12. Új trendek www.starschema.net\r
13. Miért NoSQL? Web és adattárház alkalmazásoknak más igényeik vannak Alacsony és kiszámítható válaszidők Skálázhatóság és dinamikus bővíthetőség Hibatűrés Rugalmasság Illetve nem feltétlenül szükséges Tranzakciókezelés, erős konzisztencia Horizontálisan kiválóan skálázhatóak www.starschema.net\r
14. RDBMS vs. NoSQL RDBMS-ek: Konzisztens Hibatűrő Új szereplők: Hibatűrő, széttagolható. Nem teljesen konzisztensek Más megkötések a teljesítmény és skálázhatóság érdekében www.starschema.net\r
15. Múlt és jelen www.starschema.net\r
16. A jövő pedig www.starschema.net\r
17. Tárolási trendek Shared Nothing Minden szerver saját diszkjeit használja. Horizontálisan skálázható architektúra Tároló és az adatbázis kezelő összeolvad A tároló tudja, mit tárolnak rajta. Tartalom alapú replikáció és párhuzamos olvasás. Kiváltja a RAID funkcionalitását Olcsó PC a drága SAN helyett www.starschema.net\r
18. SAS és a Masszív Parallel jövő A SAS új technológiájának köszönhetően 18 óráról két és fél percre csökkentette egy marketing-adatbázis feldolgozási idejét. 196 szerver, 1664 CPU mag Shared-nothing alapú memóriahasználat. Több terabájtnyi memória A legtöbb szállító MPP architektúrát fejleszt\r
19. Jelenlegi trendek www.starschema.net\r
20. Map-Reduce www.starschema.net\r
21. MapReduce A Google által kifejlesztett elosztott adatfeldolgozási eljárás, amely két részből áll: MAP: A feladatot elemi szintre bontja, szétszórja a hálózatban, majd elemi szinten kiszámolja REDUCE: A részeredményeket begyűjti a hálózatról, majd összesíti\r
22. Példa MapReduce 1. Feladat Új tarifacsomag tesztelése kiválasztott telefonszámok korábbi hívásadatain Map Kiválasztja hívásrekordokat telefonszám és időintervallum alapján, majd telefonszám szinten elkészíti a számlaösszegeket Reduce Összegzi a telefonszám alapú eredményeket www.starschema.net\r
23. Példa MapReduce 2. Telefonszám 0-3-ig Teljes hívásrekord adatbázis telefonszám alapján Telefonszám szétosztva a tárolók 4-6-ig között Telefonszám 7-9-ig www.starschema.net\r
24. Példa MapReduce 2. MAP REDUCE Telefonszám 0-3-ig Új Kiválasztott Eredmények számlázási részfeladatok adatok telefonszámok Telefonszám 4-6-ig Telefonszám 7-9-ig www.starschema.net\r
25. MapReduce A mit? helyett a hogyan? Független, elosztott végrehajtás. A feladatokat az adatbázis-kezelő felszeleteli, és a szeleteket ott futtatja le, ahol a releváns adat található Tervezhető futási idő és erőforrások Felhőképes koncepció www.starschema.net\r
26. MapReduce támogatás Bejelentés dátuma Adatbázis szállító 2008. Augusztus Aster Data Systems 2008. Augusztus Greenplum 2009. Július Microsoft (Azure) 2009. Augusztus Vertica 2009. Szeptember Teradata 2009. Október Oracle 2009. December Sybase www.starschema.net\r
27. www.starschema.net\r
28. Myspace Adattárház Ügyfél: Myspace 120 millió aktív felhasználó Többszáz terabájtos DW 2-3 TB/nap új adat. Riport és elemzési igények Megoldás: Aster Data Aster Data nCluster MPP adatbázis-szerver MapReduce alapú ETL BI és Ad-hoc elemzések közvetlenül az adattárházból www.starschema.net\r
29. Hadoop\r
30. Mi a Hadoop? Bővíthető és hibatűrő megoldás nagy mennyiségű, elosztott számítási és adatfeldolgozási feladat elvégzéséhez hétköznapi PC-kből álló hálózaton Nyílt forráskód + Olcsó hardver = IT költségcsökkentés www.starschema.net\r
31. Hol használják? AOL LinkedIn Facebook Meebo Fox Interactive Media Microsoft IBM The New York Times ImageShack Rackspace Joost Twitter Last.fm www.starschema.net\r
32. Hadoop Ecosystem www.starschema.net\r
33. Hadoop HIVE Hadoop DWH megoldása MapReduce feldolgozás HDFS tárolás Hive Query Language Alap SQL utasítások Nagyteljesítményű adattárház, BI illesztéssel www.starschema.net\r
34. Yahoo-Hadoop Story Yahoo Search! optimalizálás 1 trilliárd link feldolgozása (1 000 000 000 000 000 000 000, billiószor milliárd) 15 Petabájt kapacitás 10.000 magos klaszter Eredmények: Hadoop használatával 66%-os teljesítmény növekedés az előző célszoftverhez képest. Egy hétről három napra csökkent a futásidő.\r
35. Összefoglalás www.starschema.net\r
36. Hazai helyzet Jelenleg nem tudunk sem éles, sem pilot adattárházas felhasználásról Több cég foglalkozik a technológia tesztelésével, elemzésével Komoly befektetések nélkül könnyen kipróbálható, tesztelhető www.starschema.net\r
37. Összefoglalás NoSQL létezik és erősödik a használata. Különösen a skálázhatósági igények felső végén. Ingyenes szoftverek és olcsó hardverigény Konvergencia: nagy terjesztők is felkarolják Fejlődés viszont nem áll meg A jövő kérdéses, de izgalmas!\r
38. Köszönjük a figyelmet! Földi Tamás tfoldi@starschema.net www.starschema.net\r
39. Felhasznált képek / Used pictures Dia / Slide no. Forrás / Source 3-5, 12 Tim Anglade NoSQL for Fun and Profit (presentation) 7 Gartner - Magic Quadrant for Data Warehouse Database Management Systems (white paper) 15,16 Jason Davies - Non-relational databases and world domination (presentation) 19,32,33 Philippe Julio Hadoop Architecture (presentation) 28 Aster Data - MySpace.com Scales Analytics for All of Its Friends (white paper) www.starschema.net magyar","topics":["szellemi munka","információkeresés","informatika","programozás","adatbázis-tervező","adatbázis","felhasználói program"],"id":"030320"}]

#adatbázis-tervező

Élet az SQL-en túl