Upravljanje podacima

Integracija u oblaku – stvarnost moderniziranih podatkovnih sustava

18/04/2018

Integracija u oblaku – stvarnost moderniziranih podatkovnih sustava

Autorica: Mihaela Pejčinović

Tradicionalni model podatkovnog procesiranja temelji se na relacijskom modelu upravljanja podataka. Podaci su oblikovani u skladu s klasičnim relacijskim modelima, pohranjeni na internim podatkovnim infrastrukturama i bivaju, kao korisna informacija, primijenjeni nakon što je u odgovarajućem vremenskom okviru njihova obrada završena.

Većini čitatelja vrlo vjerojatno više-manje poznat scenarij još uvijek je dobro primjenjiv ukoliko zahtjevi poslovanja ne traže drukčije. A što točno znači drukčije?

Većina industrija i područja poslovanja danas se u svakom pogledu usmjeruje krajnjim korisnicima jer su oni ti koji u konačnici povećavaju dobit poduzeća, tvrtke, koncerna ili industrije.

Usmjerenost na korisnike s današnjim razvojem tehnologija nužno znači praćenje trendova – a trendovi više ne uključuju jednostavne izvještaje koje samo relacijski sustav može zadovoljiti. Podaci koji su korisni i mogu unaprijediti kvalitetu usluge i povećati zadovoljstvo korisnika nalaze se svuda oko nas – u pametnim uređajima koje koristimo, mobilnim i internet aplikacijama kojima često pristupamo, senzorskim uređajima koji podatke prikupljaju i slično. Nebrojeni su primjeri kojima se potkrjepljuje činjenica – “It is all about the data”.  I to u strukturama daleko drukčijima od strukturirane relacijske forme koju tradicionalni oblik zahtijeva.

Real-time integracija podataka

Uz oblik i strukturu podataka koje predstavljaju nove i korisne izvore informacija, treći faktor koji današnji način procesiranja podataka bitno mijenja jest vrijeme. Podaci koji pristižu s raznovrsnih izvora i sustava u nekim će slučajevima značiti korisnu informaciju samo ako su pravom trenutku procesirani i primjenjeni kao korisna informacija.

Jednostavnim rječnikom rečeno – podaci koje poslovni korisnici u svrhu donošenja ključnih poslovnih odluka dobiju, predstavljaju pravovrijednu informaciju samo ako su na vrijeme procesirani i dani na uvid. Vrijeme, dakako, ne predstavlja ključnu kategoriju baš u svim slučajevima. Podaci i kasnije mogu biti jednako dobar temelj za donošenje nekih budućih odluka, pogotovo ako zahtjevi poslovanja nisu takvi. Međutim, u krugu u kojem zahtjevi poslovanja ovise o očekivanjima i zahtjevima krajnjih korisnika, a oni su pak izravno izloženi utjecaju rasta i razvoja novih tehnologija, sve veća brzina rasta posljedično zahtijeva bržu dostupnost informacija. Time se vremenski okvir obrade infomacije minimizira kako bi ona u ispravnom obliku korisnicima bila dostupna u vremenu obrade (engl. real-time).

Slika 1. Procesiranje podataka u stvarnom vremenu temeljni je zahtjev većine modernih podatkovnih sustava [7]

Promjenom zahtjeva vremena obrade nužna je i promjena te prilagodba integracijskih procesa kojim se ti podaci obrađuju. U tom smislu današnji integracijski procesi omogućuju integracije podataka u stvarnom vremenu te pristup istima nakon obrade. Budući da je brzina procesa vrlo važna stavka u cijelom procesu, cijeli se postupak njihove integracije s novim zahtjevima prebacuje iz on-premise u podatkovna središta u “oblaku”.

Podatkovna integracija u oblaku

Slika 2. Podatkovna integracija u oblaku – ključ podatkovne modernizacije [2]

 

Podatkovna integracija u oblaku ključni je dio procesa integracije modernih podatkovnih sustava.

Zbog svoje jednostavnosti pristupa, načina pohrane i procesiranja, sustavi podatkovne integracije u oblaku omogućuju jednostavnu integraciju raznorodnih sustava, aplikacija i drugih kako klasičnih, tako i moderniziranih izvora i odredišta podataka.

Sustavi korisnicima nastoje pružiti uvid i korisnu informaciju u trenutku kad je ona potrebna. Međutim, često se informacija koja korisniku u tom trenutku korisna ne nalazi nužno u istom sustavu ili okruženju. Stoga je potrebno ostvariti komunikaciju s odgovarajućim izvorom podataka kako bi tražena informacija bila pravovremeno dostupna.

Ukoliko sustavi nisu međusobno povezani ni ovisni, a nalaze se u raznorodnim okruženjima, komunikacija se mora ostvariti nekim drugim(posrednim) kanalom. A budući da se uobičajeno, bez obzira na oblik i namjenu, većina moderniziranih sustava već nalazi u oblaku, podatkovna integracija u oblaku nameće se kao logično rješenje, čak i u slučaju hibridne arhitekture.

Slika 3. Podaci u oblaku – raznolikost sustava centraliziranog podatkovnog središta [3] (www.bluecoat.com/)

Aplikacijska integracija

Pojam integracije podataka u oblaku nužno uključuje aplikacijsku integraciju. Naime, razmjenu podataka između aplikacija ponekad nije moguće jednostavno ostvariti, osobito u slučaju raznorodnih aplikacijskih sustava.

EAI ili aplikacijska integracija podataka postupak je ujedinjenja (integracije) svih sustava prisutnih unutar cjeline (poduzeća) kako bi se omogućila:

  1. optimalna pohrana podataka bez njihova nepotrebna dupliciranja
  2. neometana komunikacija i razmjena informacija između tehnološki potpuno nepovezanih i raznorodnih sustava u trenutku kad informacija iz jednog sustava igra ključnu ulogu u pronalaženju, analizi i kalkulaciji podataka u drugom
  3. optimizacija i pojednostavljenje poslovnih procesa i na krajnjoj korisničkoj razini

Uzimajući u obzir sve navedene činjenice, lako se može zaključiti zašto je ona dugoročno optimalno rješenje za poduzeća i tvrtke.

Ukoliko je ukupno poslovanje složeno, broj sustava u kojim su pohranjeni parcijalni podaci nužno je velik, a količina i zauzeće prostora inkrementalno rastu. Time se i troškovi održavanja i nadogradnje sustava eksponencijalno povećavaju.

Komunikacija je sustava u svrhu optimizacije i unaprjeđenja poslovanja nužna opcija, uzevši u obzir činjenicu da sustavi podatkovno često ovise jedan o drugome, a ne mogu izravno komunicirati (zbog, primjerice, prirode ili nekompatibilnosti operacijskih sustava).

Slika 4.  Aplikacijska integracija omogućuje učinkovitu razmjenu informacija raznorodnih sustava, domena i aplikacija [5]

Informacijski silosi

Slika 5. MIddleware sustavi – integracijska komunikacijska spona krajnjih sustava

 

U svrhu ostvarenja i kontinuiteta komunikacije između sustava koriste se informacijski silosi. Radi se o middleware ili integracijskom sloju koji služi kao ključna komunikacijska poveznica između aplikacija i sustava.

Bilo da se radi o:

  • arhitekturalno centraliziranim središtima koja koordiniraju komunikaciju između svih aplikacija u složenom sustavu (engl. hub and spoke)

ili

  • sabirnicama – poveznicama koje će koordinirati podatkovnu razmjenu između pojedinih cjelina u odgovarajućem vremenskom intervalu smanjujući opterećenja i uska grla samo jednog centraliziranog središta

,ključna uloga u ostvarenju podatkovne razmjene čini middleware sustave neizostavnim dijelom današnjih modernih podatkovnih arhitektura i sustava. A budući da moderna podatkovna arhitektura znači i unaprijeđenje tradicionalnih arhitektura u smjeru danas sve češće migracije podataka u “oblak”, aplikacijska se integracija također se odvija u oblaku.

Ta činjenica ipak ne isključuje mogućnost jednostavne komunikacije i povezivanja on-premise sustava i drugih tradicionalnih podatkovnih struktura primjenom hibridnog modela komunikacijskog procesa.

Struktura podataka

Podatkovna integracija u oblaku omogućuje jednostavnu komunikaciju, razmjenu i unaprjeđenje različitih podatkovnih procesa. Komunikacija između raznorodnih izvora i odredišta podataka odvija se korištenjem lako dostupnih i u cloud arhitekturu ugrađenih konektora.

Slika 6. Niz lako dostupnih konektora pojednostavljuje komunikaciju raznorodnih sustava u “oblaku” [6]

Transformacije ulaznih podataka, njihovo procesiranje i obrada koriste u oblaku pohranjene metapodatkovne obrasce. Proces obrade i procesiranja primjenjuje udaljenim pristupom dostupne resurse unutar oblaka, a brzina procesa ovisi ponajviše o kvaliteti korištene konekcije.

Dodatni utjecaj pomanjkanja prostora za pohranu, količine slobodnog prostora na disku i opterećenja postojeće lokalne infrastrukture u oblaku je u potpunosti eliminiran.

Izvori i odredišta podataka procesiraju strukturirane i nestrukturirane podatke jednakom brzinom, pružajući jednostavne mogućnosti ekstrakcije potrebnih informacija iz ulaznih komponenti bez obzira na oblik i strukturu podataka dobivenih na izvoru.

Obilježja integracije u oblaku

Bez obzira na primijenjeni model, jednostavnost i brzina pristupa i smanjeni troškovi održavanja samo su neke od ključnih karakteristika koje potvrđuju prednosti podatkovnih integracija u oblaku i njihovu sve veću dominaciju.

U današnjoj internet eri, podaci se nalaze svuda oko nas i korisnici ih stvaraju, mijenjaju, razmjenjuju, osvježavaju uporabom aplikacija i sustava tipično smještenih u “oblaku”. Na taj način on postaje centralizirana platforma za razmjenu informacija između raznorodnih sustava i aplikacija korištenjem udaljenog pristupa. Time je značaj podatkovne integracije u oblaku još i veći.

Budući da su svi sustavi, programi i pripadna infrastruktura smješteni u oblak, ne postoje više troškovi instalacije, održavanja i licenčnog korištenja, kao ni dodatni troškovi dodavanja novih korisnika.

Uz jednostavnost pristupa i skalabilnost, problemi vezani uz nedostatak memorije i prostora za pohranu riješeni su smještanjem podataka na udaljene servere. Na taj način lokalna infrastruktura smanjuje opterećenje stvoreno nedostatkom prostora za pohranu, a uz odgovarajuće se uvjete može dobiti i uvid u performanse dodijeljenog prostora u oblaku (servera i pripadne arhitekture). U slučaju potrebe za povećanjem prostora za pohranu, skalabilno se trenutno korištenu infrastrukturu u oblaku jednostavno proširuje dodavanjem novih resursa.

Pohrana podataka omogućena je uz nizak trošak održavanja, a backup podataka ostvaren je na jednostavan način uz niske troškove održavanja, budući da su podaci spremljeni unutar centraliziranog podatkovnog središta uz odgovarajuće opcije backup i restore procesa (ovisno o poslovnim zahtjevima poduzeća).

Svi podatkovni obrasci, izvori i odredišta konfigurirani su na jednostavan način korištenjem velikog broja konektora koji će, bez obzira na odabir oblika integracija, omogućiti potpuno integriranu okolinu za ostvarenje pune funkcionalnosti.

Slika 7.  Podatkovna integracija u oblaku – temelj moderniziranog pristupa podacima [4]

S druge pak strane, treba biti svjestan i sljedećeg – podatkovna integracija u oblaku traži povezanost s udaljenim računalima, pa je dostupnost i stabilnost internetske konekcije nužna i ključna stavka. I ne samo dostupnost i stabilnost, nego i dobra propusnost kako bi u slučaju povećanja broja korisnika pristup sustavima i procesu integracija bio neometan i nenarušen.

Dodatni zahtjev koji udaljeni pristup nameće jest osiguranje sigurnosti pristupa. To znači da će podatkovna integracija morati osigurati raznovrsne obrasce sigurnosne zaštite i provjere, poput autentifikacije i autorizacije, enkripcije i odgovarajućih prava pristupa do definiranih i izgrađenih procesa i struktura u oblaku.

Ključno pitanje – zašto odabrati “oblak”?

Tradicionalni proces pohrane podataka sa svojom on-premise komponentom već odavno predstavlja neučinkovit način procesiranja podataka sa izvora koje donose nove tehnologije. Internet of Things, Big Data i appliance sustavi, senzori, aplikacije, napredni uređaji takav način procesiranja jednostavno čine neprimjenjivim i zastarjelim. Informacije koje izvještajni procesi koriste nisu procesirane u stvarnom vremenu niti reflektiraju trenutnu sliku stanja koje se nastoji dobiti njihovom analizom. Ako potrebe poslovanja bivaju zadovoljene primjenom gornjeg modela, prethodna informacija ne predstavlja toliko bitan faktor.

Međutim, većina industrija svoje poslovanje nastoji prilagoditi i razviti u skladu s vremenom i razvojem tehnologije svojstvene tom vremenu.

Slika 8. Zašto ipak odabrati oblak – optimalna cjelokupna integracija svih izvora informacija

 

Rast i razvoj tehnologije i globalna dostupnost interneta donose velike i brze promjene, kako u dostupnosti informacija, tako i u načinu njihova procesiranja. Korisnici pristupaju podacima u stvarnom vremenu, žele imati uvid u informacije u trenutku kad su one potrebne, žele informacije imati dostupne kad su one potrebne bez potrebe za dodatnim vremenom obrade.

Stoga se i efektivan modernizirani sustav nužno mora prilagoditi krajnjim korisnicima. Na koji način?

Kao ključni igrači u toj situaciji nalaze se aplikacije koje su odavna postale neizostavan dio krajnjih uređaja, senzori i uređaji koji korisniku omogućuju trenutni uvid u situaciju i daju informaciju koja je korisniku u danom trenutku zanimljiva, nova i korisna. Kroz korisnikovu se integraciju na taj način prikupljaju podaci za analizu i poboljšanje korisničkog iskustva. GDPR regulativa u tom smislu uključuje zaštitu osjetljivih i privatnih podataka korisnika, ali podaci koje korisnici pristaju podijeliti omogućuju analizu i uvid te oblikovanje korisnih informacija za daljnu interakciju.

Pogled na stvarnost koju tehnologija i njezin napredak donosi usmjerava krajnje korisnike i informacijske sustave u prostor “u oblaku”.  Stoga i sam pojam integracije istih korištenjem “cloud” tehnologija postaje jednim od logičnih izbora prilikom implementacije suvremenih i modernih sustava na kojim je poslovanje tvrtke ili poduzeća ključno temeljeno.

Literatura

 

[2] https://en.wikipedia.org/wiki/Cloud_computing#/media/File:Cloud_computing.svg

[3] www.bluecoat.com/

[4] https://cdn.pixabay.com/photo/2015/05/25/05/27/network-782707_1280.png

[5] https://commons.wikimedia.org/wiki/File:KrisangelChap2-EAI.png

[6]  https://www.maxpixel.net/static/photo/1x/Hand-Science-And-Technology-Data-Commercial-Cloud-3044387.jpg

[7] https://image.shutterstock.com/z/stock-photo-young-business-person-and-graphical-user-interface-concept-artificial-intelligence-internet-of-744456907.jpg

[8] https://en.wikipedia.org/wiki/Enterprise_application_integration

https://commons.wikimedia.org/wiki/File:Cloud_computing_map.png

[9] https://searchmicroservices.techtarget.com/definition/EAI-enterprise-application-integration

[10] https://www.techopedia.com/definition/16559/application-integration