A Facebook adattárházas kihívásai
2014. november 5.
Adattárházak
Szeptember közepén egy szakmai konferenciára hívta össze a Facebook az adatbázisokkal foglalkozó vezető kutatókat és szakértőket. A rendezvény témái a kis adatmennyiségeket érintő OLTP-jellegű lekérdezések, az órási adattömegeket kezelő adattárházas feldolgozások és mindezt kiszolgáló hardverplatformok voltak.
A rendezvényről szóló beszámolóban számos technikai adat és érdekesség olvasható. A gráfkereséseket kiszolgáló TAO másodpercenként egymilliárdnál több olvasási műveletet hajt végre. A belső működést monitorozó SCUBA pedig események millióit tárolja el és jeleníti meg.
A Hadoop/HIVE alapú központi adattárház mérete mára már 300 petabájtnál jár, a naponta keletkező friss adatok mennyisége pedig 4 petabájt.
Figyelemre méltó az is, hogy a Facebook még így sem képes minden egyedi eseményt feldolgozni, ezért bizonyos esetekben már az adatok rögzítésénél is mintavételezés történik.
Szintén az óriás méretek okozta probléma, hogy a központi adattárház nem tárolható egyetlen adatközpontban, csak elosztottan. Így a lekérdezéseket író felhasználóknak kell gondoskodni arról, hogy a számukra szükséges összes adat meglegyen az őket éppen kiszolgáló adatközpontban, akár manuális másolások árán is.
További információ
 research.facebook.com
Kapcsolódó anyagaink
|
