Ir dati, un pēc tam ir lielie dati. Tātad, kāda ir atšķirība?
Definēti lieli dati
Skaidru lielo datu definīciju var būt grūti noteikt, jo lielie dati var aptvert daudzus lietošanas gadījumus. Bet kopumā šis termins attiecas uz datu kopām, kuru apjoms ir tik liels un tik sarežģīts, ka tradicionālie datu apstrādes programmatūras produkti nespēj uztvert, pārvaldīt un apstrādāt datus saprātīgā laika periodā.
Šīs lielās datu kopas var ietvert strukturētus, nestrukturētus un daļēji strukturētus datus, no kuriem katru var iegūt ieskatiem.
Par to, cik daudz datu patiesībā ir “liels”, var apspriest, taču tas parasti var būt petabaitu reizinājums - un lielākajiem projektiem eksabaitu diapazonā.
Bieži lielos datus raksturo trīs Vs:
- galējība skaļums datu
- plašs šķirne datu veidu
- ātrums kurā dati jāapstrādā un jāanalizē
Dati, kas veido lielus datu krājumus, var būt iegūti no avotiem, kas ietver tīmekļa vietnes, sociālos medijus, darbvirsmas un mobilās lietotnes, zinātniskus eksperimentus un arvien biežāk sensorus un citas ierīces lietu internetā (IoT).
Lielo datu jēdziens ir saistīts ar saistītu komponentu kopumu, kas ļauj organizācijām datus praktiski izmantot un atrisināt vairākas uzņēmējdarbības problēmas. Tie ietver IT infrastruktūru, kas nepieciešama lielo datu tehnoloģiju atbalstam, datiem izmantoto analīzi; projektam nepieciešamās lielo datu platformas, saistītās prasmju kopas un faktiskie izmantošanas gadījumi, kuriem ir jēga lielajiem datiem.
Kas ir datu analīze?
Kas patiesībā sniedz vērtību no visām lielo datu organizācijām, kuras apkopo, ir datiem piemērotā analīze. Bez analīzes, kas ietver datu pārbaudi, lai atklātu modeļus, korelācijas, ieskatus un tendences, dati ir tikai virkne vienumu un nulles ar ierobežotu uzņēmējdarbības izmantošanu.
Pielietojot analīzi lielajiem datiem, uzņēmumi var redzēt tādus ieguvumus kā palielināts pārdošanas apjoms, uzlabota klientu apkalpošana, lielāka efektivitāte un vispārēja konkurētspējas palielināšanās.
Datu analīze ietver datu kopu pārbaudi, lai gūtu ieskatu vai izdarītu secinājumus par to saturošo, piemēram, tendencēm un prognozēm par turpmāko darbību.
Analizējot informāciju, izmantojot lielo datu analīzes rīkus, organizācijas var pieņemt labāk pamatotus biznesa lēmumus, piemēram, kad un kur rīkot mārketinga kampaņu vai ieviest jaunu produktu vai pakalpojumu.
Analytics var atsaukties uz pamata biznesa inteliģences lietojumprogrammām vai progresīvākām, prognozējošām analīzēm, piemēram, tām, kuras izmanto zinātniskās organizācijas. Starp vismodernākajiem datu analīzes veidiem ir datu ieguve, kur analītiķi novērtē lielas datu kopas, lai noteiktu attiecības, modeļus un tendences.
Datu analīze var ietvert izpētes datu analīzi (lai identificētu datu modeļus un sakarības) un apstiprinošu datu analīzi (statistikas metožu izmantošana, lai noskaidrotu, vai pieņēmums par konkrētu datu kopu ir patiess.
Vēl viena atšķirība ir kvantitatīvā datu analīze (vai skaitlisko datu analīze, kurā ir skaitliski izsakāmi mainīgie, kurus var statistiski salīdzināt) un kvalitatīvā datu analīze (kas koncentrējas uz tādiem skaitliskiem datiem kā video, attēli un teksts).
IT infrastruktūra lielo datu atbalstam
Lai lielo datu jēdziens darbotos, organizācijām ir jābūt izveidotai infrastruktūrai datu vākšanai un glabāšanai, piekļuves nodrošināšanai tiem un informācijas drošībai, kamēr tā glabājas un tiek transportēta. Tam nepieciešams izvietot lielo datu analīzes rīkus.
Augstā līmenī tās ietver datu glabāšanas sistēmas un serverus, datu pārvaldības un integrācijas programmatūru, biznesa inteliģences un datu analīzes programmatūru un lielo datu lietojumprogrammas.
Liela daļa šīs infrastruktūras, visticamāk, būs uz vietas, jo uzņēmumi vēlas turpināt piesaistīt savus datu centra ieguldījumus. Bet arvien vairāk organizācijas paļaujas uz mākoņdatošanas pakalpojumiem, lai izpildītu lielāko daļu savu lielo datu prasību.
Datu vākšanai ir nepieciešami avoti, lai vāktu datus. Daudzi no tiem, piemēram, tīmekļa lietojumprogrammas, sociālo mediju kanāli, mobilās lietotnes un e-pasta arhīvi, jau ir izveidoti. Bet, nostiprinoties IoT, uzņēmumiem var būt nepieciešams izvietot sensorus visu veidu ierīcēs, transportlīdzekļos un produktos, lai apkopotu datus, kā arī jaunām lietojumprogrammām, kas ģenerē lietotāju datus. (IoT orientētajā lielo datu analīzē ir savi specializētie paņēmieni un rīki.)
Lai uzglabātu visus ienākošos datus, organizācijām ir jānodrošina atbilstoša datu glabāšana. Starp uzglabāšanas iespējām ir tradicionālās datu noliktavas, datu ezeri un mākoņkrātuve.
Drošības infrastruktūras rīki var ietvert datu šifrēšanu, lietotāju autentifikāciju un citas piekļuves kontroles, uzraudzības sistēmas, ugunsmūrus, uzņēmuma mobilitātes pārvaldību un citus produktus sistēmu un datu aizsardzībai,
Lielo datu tehnoloģijas
Papildus iepriekšminētajai IT infrastruktūrai, ko izmanto datiem kopumā. Jūsu IT infrastruktūrai ir jāatbalsta vairākas lielajiem datiem paredzētas tehnoloģijas.
Hadopa ekosistēma
Hadoop ir viena no tehnoloģijām, kas ir visciešāk saistīta ar lielajiem datiem. Apache Hadoop projekts izstrādā atvērta pirmkoda programmatūru mērogojamam, izplatītam skaitļojumam.
Hadoop programmatūras bibliotēka ir sistēma, kas ļauj sadalīt lielu datu kopu apstrādi datoru kopās, izmantojot vienkāršus programmēšanas modeļus. Tas ir paredzēts, lai palielinātu no viena servera līdz tūkstošiem, un katrs no tiem piedāvā lokālu aprēķinu un krātuvi.
Projektā ir iekļauti vairāki moduļi:
- Hadoop Common, kopējās utilītas, kas atbalsta citus Hadoop moduļus
- Hadoop izplatītā failu sistēma, kas nodrošina lielu caurlaidspēju piekļuvi lietojumprogrammas datiem
- Hadoop YARN, darba plānošanas un kopu resursu pārvaldības sistēma
- Hadoop MapReduce, uz YARN balstīta sistēma lielu datu kopu paralēlai apstrādei.
Apache Spark
Daļa no Hadoop ekosistēmas Apache Spark ir atvērtā koda kopu skaitļošanas sistēma, kas kalpo kā dzinējs lielu datu apstrādei Hadoop. Spark ir kļuvis par vienu no galvenajiem lielo datu izplatīšanas apstrādes ietvariem, un to var izvietot dažādos veidos. Tas nodrošina Java, Scala, Python (īpaši Anaconda Python distro) un R programmēšanas valodu (R ir īpaši labi piemērots lieliem datiem) vietējās saites, un tas atbalsta SQL, straumēšanas datus, mašīnmācīšanos un grafu apstrādi.
Datu ezeri
Datu ezeri ir krātuves, kurās glabājas ārkārtīgi liels neapstrādātu datu apjoms vietējā formātā, līdz dati ir nepieciešami biznesa lietotājiem. Palīdzība veicināt datu ezeru pieaugumu ir digitālās pārveidošanas iniciatīvas un IoT izaugsme. Datu ezeri ir veidoti tā, lai lietotājiem būtu vieglāk piekļūt lielam datu apjomam, kad rodas vajadzība.
NoSQL datu bāzes
Parastās SQL datu bāzes ir paredzētas uzticamiem darījumiem un ad hoc vaicājumiem, taču tām ir tādi ierobežojumi kā stingra shēma, kas padara tās mazāk piemērotas dažu veidu lietojumprogrammām. NoSQL datu bāzes novērš šos ierobežojumus, kā arī glabā un pārvalda datus tādā veidā, kas nodrošina lielu darbības ātrumu un lielu elastību. Daudzus izstrādāja uzņēmumi, kas meklēja labākus veidus, kā uzglabāt saturu vai apstrādāt datus masveida vietnēm. Atšķirībā no SQL datu bāzēm, daudzas NoSQL datubāzes var horizontāli mērogot simtiem vai tūkstošiem serveru.
Atmiņā esošās datu bāzes
Atmiņā esoša datu bāze (IMDB) ir datu bāzes pārvaldības sistēma, kas datu glabāšanai galvenokārt balstās uz galveno atmiņu, nevis uz disku. Atmiņā esošās datu bāzes ir ātrākas nekā diskā optimizētas datu bāzes, un tas ir svarīgs apsvērums lielo datu analīzes lietošanai un datu noliktavu un datu kartīšu izveidei.
Lielas datu prasmes
Lielo datu un lielo datu analīzes centieniem ir nepieciešamas īpašas prasmes, neatkarīgi no tā, vai tās nāk no organizācijas iekšienes vai ar ārēju ekspertu starpniecību.
Daudzas no šīm prasmēm ir saistītas ar galvenajiem lielo datu tehnoloģiju komponentiem, piemēram, Hadoop, Spark, NoSQL datu bāzēm, atmiņas datu bāzēm un analīzes programmatūru.
Citi ir raksturīgi tādām disciplīnām kā datu zinātne, datu ieguve, statistiskā un kvantitatīvā analīze, datu vizualizācija, vispārējas nozīmes programmēšana, kā arī datu struktūra un algoritmi. Ir nepieciešami arī cilvēki ar vispārējām vadības prasmēm, lai redzētu lielo datu projektus līdz to pabeigšanai.
Ņemot vērā to, cik plaši izplatīti ir lielo datu analīzes projekti, un cilvēku ar šāda veida prasmēm trūkumu, pieredzējušu profesionāļu atrašana varētu būt viena no lielākajām organizāciju problēmām.
Lielo datu analīzes izmantošanas gadījumi
Lielos datus un analīzi var izmantot daudzām uzņēmējdarbības problēmām un izmantošanas gadījumiem. Šeit ir daži piemēri:
- Klientu analīze. Uzņēmumi var pārbaudīt klientu datus, lai uzlabotu klientu pieredzi, uzlabotu reklāmguvumu līmeni un palielinātu noturību.
- Operatīvā analīze. Darbības rezultātu uzlabošana un korporatīvo aktīvu labāka izmantošana ir daudzu uzņēmumu mērķi. Lielo datu analīzes rīki var palīdzēt uzņēmumiem atrast veidus, kā efektīvāk darboties un uzlabot veiktspēju.
- Krāpšanas novēršana. Lielo datu rīki un analīze var palīdzēt organizācijām identificēt aizdomīgas darbības un modeļus, kas varētu norādīt uz krāpniecisku rīcību un mazināt riskus.
- Cenu optimizācija. Uzņēmumi var izmantot lielo datu analīzi, lai optimizētu cenas, ko iekasē par produktiem un pakalpojumiem, palīdzot palielināt ieņēmumus.
