▼ Lep Pozdrav_Veliki Podatki

Odprtokodna merila za izbiro motorja OLAP

Open Source Olap Engine Selection Criteria



Če govorimo o motorju OLAP, morate najprej govoriti o motorju OLTP.

Kaj je OLTP motor

V sedemdesetih letih so se z objavo članka, ki je vplival na razvoj sveta, pojavile relacijske zbirke podatkov.
V osemdesetih letih so ljudje tako ljubili relacijske zbirke podatkov, da so želeli shraniti vse svoje podatke. Številna podjetja uporabljajo relacijske zbirke podatkov za shranjevanje in upravljanje poslovnih podatkov ter za vzpostavitev ustreznih aplikacijskih sistemov za podporo vsakodnevnega poslovanja.
Glavni namen te aplikacije je podpirati poslovno obdelavo. Imenuje se aplikacija za spletno obdelavo transakcij (Online Transaction Processing, OLTP), podatki, ki jih hrani, pa operativni ali poslovni podatki. .



Na kratko: Mehanizem OLTP se uporablja za upravljanje podatkov operativnega sistema.



Kaj je OLAP motor

Tudi v sedemdesetih letih prejšnjega stoletja je pojav koncepta 4P odpravil mrtvo točko za podjetja, ki dejavno opravljajo storitve. Nosilci odločitev v podjetju morajo zagotavljati prilagojene storitve glede na stranke in povečati viskoznost strank.
S kopičenjem podatkov mehanizem OLTP ni dovolj. Podjetniki potrebujejo novo tehnologijo za hitro pridobivanje najnovejših in najbolj natančnih informacij iz zbranih podatkov.
Končno, v devetdesetih letih je oseba, ki je objavila mejnik - Edgar Frank Cord, boter relacijskih baz podatkov ( E.F.Codd ） Predlagan je koncept večdimenzionalne baze podatkov in večdimenzionalne analize, to je aplikacije Spletna analitična obdelava (OLAP).
Odbor OLAP opredeljuje spletno analitično obdelavo kot: omogočanje analitikom, menedžerjem ali direktorjem, da interpretirajo surove podatke iz različnih perspektiv, ki jih uporabniki resnično lahko razumejo. In do informacij, ki resnično odražajo dimenzijske značilnosti podjetja, je mogoče hitro dostopati , dosledno in interaktivno, tako da dobimo razred programske tehnologije z globljim razumevanjem podatkov.



Na kratko: mehanizem OLAP se uporablja za upravljanje analitičnih podatkov.

Ne glede na to, ali gre za dobo skladišča podatkov, dobo velikih podatkov ali prihodnost podatkovne dobe, dobo v oblaku, bo motor OLAP ohranjen zaradi svojih lastnosti in zgodovinske zapuščine.

Smernice za motor OLAP

E.F. Codd je za motor OLAP postavil 12 smernic:



  • Smernica 1 Model OLAP mora zagotavljati večdimenzionalni konceptualni pogled

  • Smernica 2 Smernica za preglednost

  • Smernica 3 Smernice za dostopnost

  • Smernica 4 Stabilne zmogljivosti poročanja

  • Smernica 5 Arhitektura odjemalca / strežnika

  • Kriterij 6 Kriterij dimenzijske enakovrednosti

  • Pravilo 7 Pravilo dinamične obdelave redke matrike

  • Smernica 8 Smernica za zmogljivost podpore za več uporabnikov

  • Smernica 9 Neomejene meddimenzionalne operacije

  • Smernica 10 Intuitivna obdelava podatkov

  • Smernica 11 Prilagodljivo ustvarjanje poročil

  • Pravilo 12 Neomejena razsežnost in stopnja združevanja

Primerjava motorja OLTP in motorja OLAP

Za razliko od OLAP, sistem OLTP poudarja učinkovitost pomnilnika baze podatkov, hitrost ukazov različnih kazalnikov pomnilnika, spremenljivko vezave, sočasno delovanje in transakcijsko sposobnost.

Sistem OLAP poudarja analizo podatkov, čas izvajanja SQL, vhodno-izhodne povezave diska in particioniranje.

slike

Trenutni motorji OLAP so HAWQ, Hive, Spark SQL, Presto, Kylin, Impala, Druid, Clickhouse, Greeplum itd. Lahko rečemo, da trenutno ni motorja, ki bi lahko dosegel popolnost v obsegu, prožnosti in zmogljivosti podatkov. Treba je izbrati.
slike

Kaj je motor MOLAP

MOLAP (večdimenzionalni OLAP), večdimenzionalni motor OLAP lahko imenujemo tudi tradicionalni motor OLAP.

Lastnosti:

  • Tradicionalna analiza OLAP
  • Podatki so shranjeni v kockah

predstavnik:

  • Kylin
  • Druid

prednost:

  • Izjemna zmogljivost
  • Podpira zapletene izračune

Slabosti:

  • Dimenzijo je treba določiti vnaprej
  • Ne podpira podrobnih podatkovnih poizvedb
  • visoki stroški

Scenarij: primeren za scenarije z visokimi zahtevami glede zmogljivosti in razmeroma nizkimi stroški.

Kaj je ROLAP motor

RLOAP (relacijski OLAP), relacijski OLAP motor.

Lastnosti:

  • Z relacijsko bazo podatkov kot jedrom so večdimenzionalni podatki predstavljeni z relacijsko strukturo
  • Uporabite SQL, kjer so pogoji, da predstavite tradicionalne funkcije rezanja in rezanja OLAP

predstavnik:

  • Kmalu
  • Impala

prednost:

  • Predobdelava ni potrebna
  • Dobra razširljivost
  • Učinkovito ravnajte z velikimi količinami podatkov

Slabosti:

  • Nezadostna zmogljivost
  • Potrebujete več računalniških virov

Scenarij: primeren za priložnostne scenarije poizvedb z razmeroma nizkimi zahtevami glede zmogljivosti in visoko prilagodljivostjo poizvedb.

Kaj je HOLAP motor

HLOAP (hibridni OLAP), hibridni motor OLAP.

Lastnosti:

  • Upoštevajte prednosti MOLAP in ROLAP, upoštevajte uspešnost poizvedb in prilagodljivost.
  • Pri poizvedovanju po združenih podatkih uporabite tehnologijo MOLAP, pri poizvedovanju po podrobnih podatkih pa tehnologijo ROLAP. Pod predpostavko danih scenarijev uporabe za optimizacijo učinkovitosti poizvedbe.

da povzamem

Trenutno ni sistema OLAP, ki bi lahko ustrezal zahtevam poizvedb v različnih scenarijih. Bistveni razlog je, da noben sistem hkrati ne more biti popoln glede obsega podatkov, zmogljivosti in prilagodljivosti, vsak sistem pa mora pri načrtovanju izbirati med tremi.
Z vidika arhitekture uporaba MOLAP ločuje aplikacije OLAP od podatkovnega skladišča in zmanjšuje stopnjo povezovanja. Ta arhitektura je idealna, saj omogoča različnim komponentam, da delajo svoje stvari. Plačana cena je predvsem zapletenost ETL.
Če uporabljate mehanizem ROLAP, je velik del zmogljivosti motorja odvisen od zasnove podatkovnega skladišča in upravljanja podatkov, zahteve glede inženirjev podatkovnega skladišča pa so višje.

Slika je reproducirana iz Yiguana.
slike