Programmēšana

Datu režģi atmiņā un atmiņas datu bāzes

Atmiņā esošās skaitļošanas izmantošana turpina paātrināties. Nobrieduši risinājumi ļauj organizācijām iegūt datu bāzes apstrādes ātrumu un mērogu, kas nepieciešams digitālajai pārveidošanai un viskanālu klientu pieredzes iniciatīvām. Piemēram, ieguldījumu sabiedrība Wellington Management izmantoja atmiņā esošu skaitļošanas platformu, lai paātrinātu un palielinātu savu ieguldījumu uzskaites žurnālu (IBOR), kas ir vienīgais patiesības avots investoru pozīcijām, riska darījumiem, vērtējumiem un rezultātiem. Visi reāllaika tirdzniecības darījumi, visas saistītās konta darbības, trešo personu dati, piemēram, tirgus kotācijas, un visas saistītās biroja darbības notiek reāllaikā caur tās IBOR. IBOR atbalsta arī darbības analīzi, riska novērtēšanu, atbilstību normatīvajiem aktiem un daudz ko citu. Dažādos testos jaunā platforma darbojās vismaz desmit reizes ātrāk nekā uzņēmuma mantotā sistēma, kas veidota tieši uz Oracle relāciju datu bāzes.

Ņikita Ivanovs ir kompānijas GridGain Systems, kas izstrādā atmiņas skaitļošanas risinājumus, direktors.

Gartner prognozē, ka līdz 2019. gadam 75 procenti mākoņdatošanas lietojumprogrammu izstrādes izmantos atmiņas skaitļošanu vai pakalpojumus, kas izmanto atmiņas skaitļošanu, lai galvenie izstrādātāji varētu ieviest augstas veiktspējas, masveidā mērogojamas lietojumprogrammas. Tomēr izstrādātājiem, kas ir jauni atmiņas skaitļošanas tehnoloģiju jomā, jāattīsta izpratne par dažādām stratēģijām, kā tehnoloģiju pievienot savām arhitektūrām. Vairumā gadījumu pirmais lēmums, kas viņiem jāpieņem, ir tas, vai izvietot atmiņā esošo datu režģi vai atmiņas datu bāzi. Šis lēmums galvenokārt tiks balstīts uz to, vai viņi plāno paātrināt esošās lietojumprogrammas, plāno izstrādāt jaunas lietojumprogrammas vai pilnībā izpētīt esošās, vai arī redz iespēju darīt abus. Viņiem arī jāapsver, kurš slānis kalpos kā ierakstu sistēma, atmiņā esošais skaitļošanas slānis vai pamatā esošais datu slānis.

Izpētīsim atmiņā esošās skaitļošanas tehnoloģijas, kas nepieciešamas šo stratēģiju īstenošanai.

Datu režģi atmiņā

Datu režģis atmiņā (IMDG) uz diska datus kopē no RDBMS, NoSQL vai Hadoop datu bāzēm RAM, kur apstrāde notiek bez aizkavēšanās, ko izraisa nepārtraukta diska lasīšana un rakstīšana. Ievietots starp lietojumprogrammu un datu slāņiem, atmiņā esošais datu režģis tiek izvietots servera mezglu klasterī un koplieto klastera pieejamo atmiņu un CPU. Neatkarīgi no tā, vai tas ir izvietots publiskā vai privātā mākoņu vidē, lokāli vai hibrīdā vidē, atmiņā ievietotu datu režģi var mērogot, vienkārši pievienojot kopai jaunu mezglu. Daži atmiņā esošie datu režģi var atbalstīt ANSI-99 SQL un ACID transakcijas, uzlabotu drošību, mašīnmācīšanos un vietējās Spark, Cassandra un Hadoop integrācijas.

Datu režģis atmiņā ir vienkāršs un rentabls risinājums esošajām lietojumprogrammām. Tomēr daudziem atmiņā esošajiem datu režģiem ir nepieciešams, lai visi dati, kas atrodas uz diska balstītajā datu bāzē, ietilptu atmiņā, un uzņēmumam ir nepieciešams iegādāties pietiekami daudz atmiņas, lai glabātu visus datus. Tā kā atmiņa joprojām ir dārgāka nekā disks, daudzi uzņēmumi varētu izvēlēties saglabāt dažus datus tikai diskā. Jaunas uz atmiņu orientētas arhitektūras to atrisina, apstrādājot visu datu kopu, pat ja daļa datu tiek glabāta diskā. Šī “pastāvīgā uzglabāšanas” spēja ļauj datu apjomam pārsniegt atmiņas apjomu. Tas nozīmē, ka datus var optimizēt, tāpēc visi dati atrodas diskā, bet biežāk izmantotie dati arī atrodas atmiņā, bet reti izmantotie dati tikai uz diska. Vēl viena galvenā priekšrocība ir tā, ka pēc atsāknēšanas sistēma ar pastāvīgu krātuvi var sākt apstrādāt uzreiz pret datu kopu diskā, negaidot datu kopas ielādi atmiņā.

Workday, finanšu un HR SaaS risinājumu nodrošinātājs, kas apkalpo Fortune 50 uzņēmumus, saistījās ar to, kā tas izmanto atmiņas datu režģi, lai apstrādātu aptuveni 189 miljonus darījumu dienā, sasniedzot maksimumu līdz aptuveni 289 miljoniem dienā. Salīdzinājumam: Twitter apstrādā aptuveni 500 miljonus tvītu dienā.

Datu bāze atmiņā

Atmiņā ievietota datu bāze (IMDB) ir vispiemērotākā jaunām vai pārbūvētām lietojumprogrammām. Tā ir pilnībā aprīkota, atsevišķa datu bāze, kas darbojas atmiņā un atbalsta datu apstrādes API, piemēram, ANSI-99 SQL, atslēgas vērtību, aprēķinu un mašīnmācīšanos. Atmiņā esošās datu bāzes priekšrocība salīdzinājumā ar atmiņas datu režģi ir tā, ka arhitektūra tiek samazināta no trim slāņiem (lietojumprogramma, atmiņā un dati) uz diviem. Trūkums ir tāds, ka to nevar izmantot esošai lietojumprogrammai bez datu kopas pacelšanas un pārvietošanas no esošās datu bāzes. Turklāt, tā kā atmiņas datu bāze kalpo kā ierakstu sistēma, risinājumā jāiekļauj stratēģija datu aizsardzībai dīkstāves gadījumā. Šī stratēģija var būt līdzīga pastāvīgajām veikala iespējām, kas tiek apspriesta atmiņas datu tīklos, vai arī tā var ietvert nemainīgas RAM izmantošanu - jaunu tehnoloģiju, kurai nākotnē, iespējams, būs arvien nozīmīgāka loma.

Šodien liela banka ar 135 miljoniem klientu izmanto atmiņā esošo datu bāzi ar pastāvīgu veikala spēju, lai izstrādātu tīmekļa mēroga arhitektūru, kas spēj apstrādāt līdz 1,5PB datu, kā arī nepieciešamo darījumu apjomu. Šis risinājums kalpo kā ierakstu sistēma un neatrodas esošā datu veikala augšpusē.

Atmiņā esošās skaitļošanas platformas

Organizācijas, kas izstrādā ilgtermiņa stratēģiju, kas ietver esošo lietojumprogrammu paātrināšanu un jaunu ieviešanu, var izvēlēties atmiņā esošu skaitļošanas platformu, kas apvieno IMDG mērogojamību ar visām IMDB relāciju datu bāzes iespējām. Tāpēc atmiņā esošo skaitļošanas platformu var izmantot, lai paātrinātu esošās lietojumprogrammas, vai arī tā var būt par pamatu jaunu vai atkārtoti izvēlētu lietojumprogrammu izveidei, kas var izmantot sadalītās skaitļošanas un pastāvīgā krātuves priekšrocības.

Papildus tam, lai izlemtu, kura tehnoloģija vislabāk atbilst viņu vajadzībām, organizācijām būtu jāapsver, vai tām ir nepieciešamas papildu atbalstošas ​​atmiņas tehnoloģijas, piemēram:

  • Straumēšanas analīzes dzinējs, lai pārvaldītu visu datu plūsmas un notikumu apstrādes sarežģītību.
  • Padziļinātas mācīšanās balstīta nepārtrauktas mācīšanās sistēma, kas kalpo par pamatu tam, ko Gartners dēvē par procesa iekšējo HTAP (hibrīda darījumu / analītiskā apstrāde); tas ir, spēja reāllaikā pielietot mašīnmācīšanos vai dziļu mācību analīzi operatīvajiem datiem.

Iekšējās atmiņas skaitļošanas tehnoloģiju vadošie digitālie uzņēmumi izmanto tagad, un nākotnē tā tiks izmantota vēl plašāk. Jo ātrāk izveidosit stabilu izpratni par atmiņas skaitļošanas izvietošanas stratēģijām un iespējām, jo ​​ātrāk varēsiet palīdzēt savai organizācijai iegūt tai nepieciešamo konkurences priekšrocību.

$config[zx-auto] not found$config[zx-overlay] not found