Didelės apimties informacijos apdorojimas. Didelių duomenų technologija

Kas nutiko dideli duomenys(tiesiogine prasme - dideli duomenys)? Pirmiausia pažvelkime į Oksfordo žodyną:

Duomenys- kompiuteriu valdomi kiekiai, simboliai ar simboliai, kurie gali būti saugomi ir perduodami elektros signalų forma, įrašyti į magnetines, optines ar mechanines laikmenas.

Terminas dideli duomenys naudojamas dideliam ir eksponentiškai augančiam duomenų rinkiniui apibūdinti. Norint apdoroti tokį duomenų kiekį, negalima apsieiti be .

„Big Data“ teikiama nauda:

1. Duomenų rinkimas iš įvairių šaltinių.
2. Pagerinkite verslo procesus naudodami realiojo laiko analizę.
3. Didelio duomenų kiekio saugojimas.
4. Įžvalgos. „Big Data“ padeda geriau suprasti paslėptą informaciją naudojant struktūrinius ir pusiau struktūrinius duomenis.
5. Dideli duomenys padeda sumažinti riziką ir priimti protingesnius sprendimus naudojant tinkamą rizikos analizę

Didžiųjų duomenų pavyzdžiai

Niujorko vertybinių popierių birža kasdien generuoja 1 terabaitas ankstesnės sesijos prekybos duomenys.

Socialinė žiniasklaida: statistika rodo, kad Facebook duomenų bazės įkeliamos kasdien 500 terabaitų nauji duomenys generuojami daugiausia dėl nuotraukų ir vaizdo įrašų įkėlimo į socialinių tinklų serverius, susirašinėjimo žinutėmis, komentarų po įrašais ir pan.

Reaktyvinis variklis generuoja 10 terabaitų duomenis kas 30 minučių skrydžio metu. Kadangi kasdien atliekama tūkstančiai skrydžių, duomenų kiekis siekia petabaitus.

Didžiųjų duomenų klasifikacija

Didelių duomenų formos:

• Struktūrizuotas
• Nestruktūrizuotas
• pusiau struktūrinis

Struktūrizuota forma

Duomenys, kuriuos galima saugoti, pasiekti ir apdoroti fiksuotu formatu, vadinami struktūriniais duomenimis. Per ilgą laiką kompiuterių mokslas padarė didelę pažangą tobulindamas darbo su tokio tipo duomenimis būdus (kai formatas žinomas iš anksto) ir išmoko išnaudoti naudą. Tačiau jau šiandien kyla problemų, susijusių su apimčių augimu iki kelių zettabaitų.

1 zetabaitas lygus vienam milijardui terabaitų

Žvelgiant į šiuos skaičius, nesunku įsitikinti termino „Big Data“ teisingumu ir sunkumais, susijusiais su tokių duomenų apdorojimu ir saugojimu.

Reliacinėje duomenų bazėje saugomi duomenys yra struktūrizuoti ir atrodo kaip, pavyzdžiui, įmonės darbuotojų lentelės

nestruktūrizuota forma

Nežinomos struktūros duomenys klasifikuojami kaip nestruktūruoti. Be didelio dydžio, šiai formai būdingi ir daugybė apdorojimo ir išgavimo sunkumų Naudinga informacija. Tipiškas nestruktūrizuotų duomenų pavyzdys yra nevienalytis šaltinis, kuriame yra paprastų tekstinių failų, paveikslėlių ir vaizdo įrašų derinys. Šiandien organizacijos turi prieigą prie didelio kiekio neapdorotų arba nestruktūrizuotų duomenų, bet nežino, kaip jais pasinaudoti.

pusiau struktūrinė forma

Šioje kategorijoje yra abu aukščiau išvardyti dalykai, todėl pusiau struktūrizuoti duomenys turi tam tikrą formą, bet iš tikrųjų nėra apibrėžti reliacinių duomenų bazių lentelėmis. Šios kategorijos pavyzdys yra asmens duomenys, pateikti XML faile.

Prashantas RaoPatinas35 Seema R.Moteris41 sotus maniežasPatinas29 Subrato RoyPatinas26 Jeremiah J.Patinas35

Didžiųjų duomenų charakteristikos

Didžiųjų duomenų augimas laikui bėgant:

Mėlyna spalva žymi struktūrizuotus duomenis (Enterprise data), kurie saugomi reliacinėse duomenų bazėse. Kitomis spalvomis – nestruktūruoti duomenys iš skirtingų šaltinių (IP-telefonija, įrenginiai ir jutikliai, socialiniai tinklai ir žiniatinklio programos).

„Gartner“ teigimu, dideli duomenys skiriasi dydžiu, generavimo greičiu, įvairove ir nepastovumu. Panagrinėkime šias savybes išsamiau.

1. Apimtis. Pats terminas „Big Data“ siejamas su dideliu dydžiu. Duomenų dydis yra svarbiausias rodiklis nustatant galimą atgautiną vertę. Kasdien 6 milijonai žmonių naudojasi skaitmenine laikmena, kuri generuoja maždaug 2,5 kvintilijono baitų duomenų. Todėl pirmiausia reikia atsižvelgti į tūrį.
2. Įvairovė yra kitas aspektas. Jis nurodo nevienalyčius šaltinius ir duomenų, kurie gali būti struktūrizuoti arba nestruktūrizuoti, pobūdį. Anksčiau skaičiuoklės ir duomenų bazės buvo vieninteliai informacijos šaltiniai, naudojami daugelyje programų. Šiandien analitinėse programose taip pat atsižvelgiama į duomenis el. laiškų, nuotraukų, vaizdo įrašų, PDF failų, garso įrašų pavidalu. Dėl šios nestruktūrizuotų duomenų įvairovės kyla problemų saugojimo, gavybos ir analizės srityse: 27 % įmonių nėra tikri, kad dirba su tinkamais duomenimis.
3. Kartos greitis. Tai, kaip greitai duomenys kaupiami ir apdorojami, kad atitiktų reikalavimus, lemia potencialą. Greitis lemia informacijos srauto greitį iš šaltinių – verslo procesų, programų žurnalų, socialinių tinklų ir žiniasklaidos svetainių, jutiklių, mobiliųjų įrenginių. Duomenų srautas yra didžiulis ir nenutrūkstamas laike.
4. Kintamumas apibūdina duomenų kintamumą tam tikrais laiko momentais, o tai apsunkina apdorojimą ir valdymą. Pavyzdžiui, dauguma duomenų yra nestruktūrizuoti.

Didžiųjų duomenų analizė: koks yra didelių duomenų naudojimas

Prekių ir paslaugų reklamavimas: prieiga prie duomenų iš paieškos sistemų ir svetainių, tokių kaip „Facebook“ ir „Twitter“, leidžia įmonėms tiksliau kurti rinkodaros strategijas.

Klientų aptarnavimo tobulinimas: Tradicinės klientų atsiliepimų sistemos keičiamos naujomis, kurios naudoja Big Data ir natūralios kalbos apdorojimą klientų atsiliepimams skaityti ir įvertinti.

Rizikos skaičiavimas susiję su naujo produkto ar paslaugos išleidimu.

Veiklos efektyvumas: dideli duomenys sukurti taip, kad būtų galima greičiau išgauti reikiamą informaciją ir greitai gauti tikslius rezultatus. Šis didelių duomenų technologijų ir saugyklos derinys padeda organizacijoms optimizuoti darbą su retai naudojama informacija.

Pagal tyrimus ir tendencijas

Didieji duomenys, „Big Data“ IT ir rinkodaros spaudoje jau ne vienerius metus yra kalbama apie miestą. Ir aišku: skaitmeninės technologijos persmelkė gyvenimą šiuolaikinis žmogus, "viskas parašyta". Duomenų apie įvairius gyvenimo aspektus apimtys auga, o kartu didėja ir informacijos saugojimo galimybės.

Pasaulinės informacijos saugojimo technologijos

Šaltinis: Hilbert ir Lopez, „Pasaulio technologinis pajėgumas saugoti, bendrauti ir skaičiuoti informaciją“, „Science“, 2011 m. „Global“.

Dauguma ekspertų sutinka, kad spartesnis duomenų augimas yra objektyvi realybė. Socialiniai tinklai, mobilieji įrenginiai, matavimo prietaisų duomenys, verslo informacija – tai tik keli šaltinių tipai, galintys generuoti didžiulius informacijos kiekius. Remiantis tyrimais IDCSkaitmeninė visata, paskelbtas 2012 m., ateinančius 8 metus duomenų kiekis pasaulyje sieks 40 Zb (zetabaitų), o tai prilygsta 5200 GB vienam planetos gyventojui.

Surinktos skaitmeninės informacijos augimas JAV

Šaltinis: IDC

Nemažą dalį informacijos sukuria ne žmonės, o robotai, sąveikaujantys tiek tarpusavyje, tiek su kitais duomenų tinklais, tokiais kaip, pavyzdžiui, jutikliai, išmanieji įrenginiai. Esant tokiam augimo tempui, duomenų kiekis pasaulyje, pasak mokslininkų, kasmet padvigubės. Plečiantis ir kuriant naujus duomenų centrus virtualių ir fizinių serverių skaičius pasaulyje išaugs dešimteriopai. Šiuo atžvilgiu didėja poreikis efektyviai naudoti šiuos duomenis ir gauti iš jų pinigus. Kadangi Big Data naudojimas versle reikalauja nemažų investicijų, būtina aiškiai suprasti situaciją. Ir tai iš esmės paprasta: galite padidinti verslo efektyvumą sumažindami išlaidas ir (arba) padidindami pardavimus.

Kam skirti dideli duomenys?

Didžiųjų duomenų paradigma apibrėžia tris pagrindinius užduočių tipus.

• Saugokite ir tvarkykite šimtus terabaitų arba petabaitų duomenų, kurie yra įprasti santykių pagrindai duomenys neleidžia efektyviai naudoti.
• Nestruktūruotos informacijos, susidedančios iš tekstų, vaizdų, vaizdo įrašų ir kitų duomenų, organizavimas.
• Big Data analizė, kuri kelia klausimą, kaip dirbti su nestruktūrizuota informacija, analitinių ataskaitų generavimas ir nuspėjamųjų modelių diegimas.

Big Data projektų rinka kertasi su verslo žvalgybos (BA) rinka, kurios apimtys pasaulyje, ekspertų teigimu, 2012 metais siekė apie 100 mlrd. Tai apima tinklo technologijų komponentus, serverius, programinė įranga ir technines paslaugas.

Taip pat Big Data technologijų naudojimas aktualus pajamų užtikrinimo (RA) klasės sprendimams, skirtiems įmonių veiklai automatizuoti. Šiuolaikinės pajamų garantijų sistemos apima neatitikimų aptikimo ir išsamios duomenų analizės įrankius, leidžiančius laiku nustatyti galimus nuostolius ar informacijos iškraipymą, dėl kurio gali sumažėti finansiniai rezultatai. Atsižvelgdamos į tai, Rusijos įmonės, patvirtindamos Big Data technologijų paklausą vidaus rinkoje, pažymi, kad veiksniai, skatinantys didžiųjų duomenų plėtrą Rusijoje, yra duomenų augimas, valdymo sprendimų priėmimo pagreitis ir jų tobulėjimas. kokybės.

Kas trukdo dirbti su dideliais duomenimis

Šiandien analizuojama tik 0,5% sukauptų skaitmeninių duomenų, nepaisant to, kad objektyviai yra visos pramonės užduočių, kurias būtų galima išspręsti naudojant Big Data klasės analitinius sprendimus. Išsivysčiusiose IT rinkose jau yra rezultatų, kuriais remiantis galima įvertinti lūkesčius, susijusius su didžiųjų duomenų kaupimu ir apdorojimu.

Vienas iš pagrindinių veiksnių, lėtinančių Big Data projektų įgyvendinimą, be didelių išlaidų, yra tvarkomų duomenų pasirinkimo problema: tai yra apibrėžimas, kokius duomenis reikia išgauti, saugoti ir analizuoti, o į kuriuos – ne atsižvelgti.

Daugelis verslo atstovų pastebi, kad sunkumai įgyvendinant Big Data projektus siejami su specialistų – rinkodaros specialistų ir analitikų – trūkumu. Investicijų į „Big Data“ grąža tiesiogiai priklauso nuo gilioje ir prognozuojamoje analizėje dalyvaujančių darbuotojų darbo kokybės. Didžiulio duomenų potencialo, kuris jau egzistuoja organizacijoje, dažnai patys rinkodaros specialistai negali efektyviai panaudoti dėl pasenusių verslo procesų ar vidinių taisyklių. Todėl „Big Data“ projektus verslas dažnai suvokia kaip sudėtingus ne tik įgyvendinant, bet ir įvertinant rezultatus: surinktų duomenų vertę. Darbo su duomenimis specifika reikalauja, kad rinkodaros specialistai ir analitikai nukreiptų dėmesį nuo technologijų ir ataskaitų teikimo prie konkrečių verslo problemų sprendimo.

Dėl didelės duomenų srauto apimties ir didelio greičio duomenų rinkimo procesas apima realaus laiko ETL procedūras. Nuoroda:ETL - nuoAnglųIštrauka, Transformuoti, apkrova– pažodžiui „išgavimas, transformavimas, pakrovimas“) – vienas pagrindinių valdymo procesų duomenų saugyklos, kuri apima: duomenų ištraukimą iš išorinių šaltinių, jų transformavimą ir valymas pagal poreikius Į ETL reikia žiūrėti ne tik kaip į duomenų perkėlimo iš vienos programos į kitą procesą, bet ir kaip į įrankį duomenų paruošimui analizei.

Ir tada duomenų, gaunamų iš išorinių šaltinių, saugumo užtikrinimo klausimai turėtų turėti sprendimus, atitinkančius surinktos informacijos kiekį. Kadangi Big Data analizės metodai kol kas tobulinami tik išaugus duomenų apimčiai, svarbus vaidmuo tenka analitinių platformų galimybėms panaudoti naujus duomenų rengimo ir agregavimo metodus. Tai leidžia manyti, kad, pavyzdžiui, duomenys apie potencialius pirkėjus ar didžiulė duomenų saugykla, turinti paspaudimų internetinių parduotuvių svetainėse istoriją, gali būti įdomūs sprendžiant įvairias problemas.

Sunkumai nesibaigia

Nepaisant visų sunkumų diegiant Big Data, verslas ketina didinti investicijas į šią sritį. „Gartner“ duomenimis, 2013 metais į „Big Data“ technologijų diegimą savo verslui jau investavo arba planuoja investuoti 64% didžiausių pasaulio įmonių, o 2012 metais tokių įmonių buvo 58%. „Gartner“ tyrimo duomenimis, į „Big Data“ investuojančių pramonės šakų lyderiai yra žiniasklaidos įmonės, telekomunikacijos, bankų sektorius ir paslaugų įmonės. Sėkmingų Didžiųjų duomenų diegimo rezultatų jau pasiekė daugelis pagrindinių mažmeninės prekybos žaidėjų, naudojančių duomenis, gautus naudojant RFID įrankius, logistikos ir perkėlimo sistemas (iš anglų k. papildymas- kaupimas, papildymas - R&T), taip pat iš lojalumo programų. Sėkminga mažmeninės prekybos patirtis skatina kitus rinkos sektorius ieškoti naujų. veiksmingi būdai pinigų gavimas iš didelių duomenų, kad jų analizė taptų ištekliais, tinkančiais verslo plėtrai. Dėl to, anot ekspertų, laikotarpiu iki 2020 m. investicijos į valdymą ir saugojimą kiekvienam duomenų gigabaitui sumažės nuo 2 USD iki 0,2 USD, o Big Data technologinių savybių tyrimui ir analizei išaugs tik 40 USD. %.

Įvairiuose Big Data srities investiciniuose projektuose pateikiamos išlaidos yra skirtingo pobūdžio. Išlaidų straipsniai priklauso nuo produktų rūšių, kurios parenkamos pagal tam tikrus sprendimus. Didžiausia išlaidų dalis investiciniuose projektuose, ekspertų teigimu, tenka produktams, susijusiems su duomenų rinkimu, struktūrizavimu, valymu ir informacijos valdymu.

Kaip tai daroma

Yra daugybė programinės ir techninės įrangos derinių, leidžiančių sukurti efektyvius Big Data sprendimus įvairioms verslo sritims: nuo socialinės žiniasklaidos ir mobiliųjų programų iki verslo duomenų gavybos ir vizualizacijos. Svarbus Big Data privalumas – naujų įrankių suderinamumas su plačiai versle naudojamomis duomenų bazėmis, o tai ypač svarbu dirbant su tarpdisciplininiais projektais, pavyzdžiui, organizuojant kelių kanalų pardavimą ir klientų aptarnavimą.

Darbo su „Big Data“ seka susideda iš duomenų rinkimo, gautos informacijos struktūrizavimo naudojant ataskaitas ir prietaisų skydelius (dashboard), įžvalgų ir kontekstų kūrimą bei veiksmų rekomendacijų formulavimą. Kadangi darbas su „Big Data“ reikalauja didelių duomenų rinkimo, kurių apdorojimo rezultatas nėra iš anksto žinomas, sąnaudas, pagrindinė užduotis yra aiškiai suprasti, kam tie duomenys skirti, o ne kiek jų yra. Šiuo atveju duomenų rinkimas virsta informacijos gavimo procesu, kuris itin reikalingas konkrečioms problemoms spręsti.

Pavyzdžiui, telekomunikacijų paslaugų teikėjai kaupia didžiulį duomenų kiekį, įskaitant geografinę vietą, kuri nuolat atnaujinama. Ši informacija gali būti komerciškai svarbi reklamos agentūroms, kurios gali ją naudoti tikslinei ir lokalizuotai reklamai teikti, taip pat mažmenininkams ir bankams. Tokie duomenys gali atlikti svarbų vaidmenį sprendžiant, ar atidaryti mažmeninės prekybos vietą tam tikroje vietoje, remiantis duomenimis apie galingą tikslinį žmonių srautą. Londone yra reklamos lauko stenduose efektyvumo matavimo pavyzdys. Dabar tokios reklamos aprėptį galima išmatuoti tik pastačius žmones prie reklaminių konstrukcijų specialiu prietaisu, skaičiuojančiu praeivius. Palyginti su tokio tipo reklamos efektyvumo matavimu, mobiliojo ryšio operatorius turi daug daugiau galimybių – jis tiksliai žino savo abonentų buvimo vietą, žino jų demografines charakteristikas, lytį, amžių, šeimyninę padėtį ir kt.

Remiantis tokiais duomenimis, ateityje atsiveria perspektyva keisti reklaminio pranešimo turinį, pasinaudojant konkretaus, einančio pro reklaminį stendą, asmens pageidavimais. Jei duomenys rodo, kad pro šalį važiuojantis žmogus daug keliauja, tuomet jam gali būti rodomas kurorto skelbimas. Futbolo rungtynių organizatoriai gali tik įvertinti sirgalių skaičių atvykę į rungtynes. Bet jei jie galėtų paprašyti mobiliojo ryšio operatoriaus informacijos, kur lankytojai buvo likus valandai, dienai ar mėnesiui iki rungtynių, tai organizatoriams suteiktų galimybę planuoti kitų rungtynių reklamos vietas.

Kitas pavyzdys yra tai, kaip bankai gali naudoti didelius duomenis, kad išvengtų sukčiavimo. Klientui pranešus apie kortelės praradimą, o perkant ja naudojantis, bankas realiu laiku mato kliento telefono vietą pirkimo zonoje, kurioje atliekama operacija, bankas gali patikrinti informaciją kliento išraše. ar jis bandė jį apgauti. Arba priešinga situacija, kai klientas perka parduotuvėje, bankas pamato, kad kortelė, kurioje atliekama operacija, ir kliento telefonas yra toje pačioje vietoje, bankas gali daryti išvadą, kad jos savininkas naudojasi kortele. Dėl šių Big Data pranašumų plečiasi tradicinių duomenų saugyklų ribos.

Kad priimtų sėkmingą sprendimą diegti Big Data sprendimus, įmonė turi apskaičiuoti investicinį atvejį, o tai sukelia didelių sunkumų dėl daugybės nežinomų komponentų. Analitikos paradoksas tokiais atvejais yra numatyti ateitį remiantis praeitimi, apie kurią dažnai trūksta informacijos. Šiuo atveju svarbus veiksnys yra aiškus pradinių veiksmų planavimas:

• Pirmiausia reikia nustatyti vieną konkrečią verslo problemą, kuriai spręsti bus naudojamos „Big Data“ technologijos, ši užduotis taps pagrindu nustatant pasirinktos koncepcijos teisingumą. Turite sutelkti dėmesį į duomenų, susijusių su šia užduotimi, rinkimą, o koncepcijos patikrinimo metu galėsite naudoti įvairius įrankius, procesus ir valdymo metodus, kurie ateityje leis priimti labiau pagrįstus sprendimus.
• Antra, mažai tikėtina, kad įmonė, neturinti duomenų analitikos įgūdžių ir patirties, galės sėkmingai įgyvendinti Big Data projektą. Būtinos žinios visada gaunamos iš ankstesnės patirties analitikoje, kuri yra pagrindinis veiksnys, turintis įtakos darbo su duomenimis kokybei. Svarbų vaidmenį atlieka duomenų naudojimo kultūra, nes dažnai informacijos analizė atskleidžia griežtą tiesą apie verslą, o norint priimti šią tiesą ir su ja dirbti, reikalingi sukurti darbo su duomenimis metodai.
• Trečia, „Big Data“ technologijų vertė slypi įžvalgose.Gerų analitikų rinkoje vis dar trūksta. Jie vadinami specialistais, kurie giliai supranta komercinę duomenų reikšmę ir moka juos teisingai pritaikyti. Duomenų analizė yra priemonė verslo tikslams pasiekti, o norint suprasti Big Data vertę, reikia tinkamo elgesio modelio ir savo veiksmų supratimo. Šiuo atveju dideli duomenys suteiks daug naudingos informacijos apie vartotojus, kuria remdamiesi galėsite priimti naudingus verslo sprendimus.

Nepaisant to, kad Rusijos didžiųjų duomenų rinka dar tik pradeda formuotis, kai kurie projektai šioje srityje jau įgyvendinami gana sėkmingai. Vieni iš jų sėkmingi duomenų rinkimo srityje, pavyzdžiui, Federalinės mokesčių tarnybos ir Tinkoff Credit Systems projektai, kiti – duomenų analizės ir praktinio rezultatų pritaikymo prasme: tai yra Synqera projektas.

Tinkoff Credit Systems Bank įgyvendino EMC2 Greenplum platformos, kuri yra masinio lygiagrečio skaičiavimo įrankis, diegimo projektą. Per Pastaraisiais metais banko reikalavimai sukauptos informacijos apdorojimo greičiui ir duomenų analizei realiuoju laiku išaugo dėl didelių kredito kortelių naudotojų skaičiaus augimo tempų. Bankas paskelbė apie planus plėsti didžiųjų duomenų technologijų naudojimą, ypač apdorojant nestruktūrizuotus duomenis ir dirbant su iš įvairių šaltinių gaunama įmonių informacija.

Rusijos federalinė mokesčių tarnyba šiuo metu kuria federalinio duomenų saugyklos analitinį sluoksnį. Ja remiantis vieninga informacinė erdvė ir mokesčių duomenų prieigos technologija statistiniam ir analitiniam apdorojimui. Įgyvendinant projektą dirbama siekiant centralizuoti analitinę informaciją daugiau nei 1200 Federalinės mokesčių tarnybos vietinio lygio šaltinių.

Kitas įdomus didelių duomenų analizės realiuoju laiku pavyzdys – Rusijos startuolis „Synqera“, sukūręs „Simplate“ platformą. Sprendimas pagrįstas didelių duomenų masyvų apdorojimu, programa analizuoja informaciją apie klientus, jų pirkimo istoriją, amžių, lytį ir net nuotaiką. Kosmetikos parduotuvių tinkle esančiose kasose buvo sumontuoti jutikliniai ekranai su jutikliais, atpažįstančiais pirkėjų emocijas. Programa nustato žmogaus nuotaiką, analizuoja informaciją apie jį, nustato paros laiką ir nuskaito parduotuvės nuolaidų duomenų bazę, po kurios pirkėjui siunčia tikslines žinutes apie akcijas ir specialius pasiūlymus. Šis sprendimas padidina klientų lojalumą ir didina mažmenininkų pardavimus.

Jei kalbėtume apie užsienio sėkmingus atvejus, tai šiuo atžvilgiu įdomi Big Data technologijų naudojimo patirtis įmonėje Dunkin` Donuts, kuri realaus laiko duomenis naudoja parduodant produktus. Parduotuvėse esantys skaitmeniniai ekranai rodo pasiūlymus, kurie keičiasi kas minutę, priklausomai nuo paros laiko ir prekių prieinamumo. Pagal kasos kvitus įmonė gauna duomenis, kurie pasiūlymai sulaukė didžiausio pirkėjų atgarsio. Toks duomenų apdorojimo metodas leido padidinti pelną ir prekių apyvartą sandėlyje.

Kaip rodo Big Data projektų įgyvendinimo patirtis, ši sritis skirta sėkmingai spręsti šiuolaikinio verslo problemas. Kartu svarbus veiksnys siekiant komercinių tikslų dirbant su dideliais duomenimis yra tinkamos strategijos pasirinkimas, apimantis vartotojų poreikius identifikuojančią analizę, taip pat inovatyvių technologijų panaudojimą Big Data srityje.

Remiantis pasauline „Econsultancy“ ir „Adobe“ nuo 2012 m. kasmet atliekama įmonių rinkodaros specialistų apklausa, „didieji duomenys“, apibūdinantys žmonių veiksmus internete, gali labai daug. Jie geba optimizuoti neprisijungus veikiančius verslo procesus, padėti suprasti, kaip mobiliųjų įrenginių savininkai juos naudoja ieškant informacijos arba tiesiog „padaryti geresnę rinkodarą“, t.y. efektyvesnis. Be to, paskutinė funkcija kasmet populiarėja, kaip matyti iš mūsų diagramos.

Pagrindinės interneto rinkodaros specialistų darbo sritys, kalbant apie santykius su klientais

Šaltinis: „Econsultancy“ ir „Adobe“, paskelbtaemarketer.com

Atkreipkite dėmesį, kad respondentų tautybė neturi didelės reikšmės. 2013 metais KPMG atliktos apklausos duomenimis, „optimistų“ dalis, t.y. tų, kurie naudoja Big Data kurdami verslo strategiją, yra 56%, o svyravimai tarp regionų yra nedideli: nuo 63% Šiaurės Amerikos šalyse iki 50% EMEA.

Didžiųjų duomenų naudojimas įvairiuose pasaulio regionuose

Šaltinis: KPMG, paskelbtaemarketer.com

Tuo tarpu rinkodaros specialistų požiūris į tokias „mados tendencijas“ šiek tiek primena gerai žinomą anekdotą:

Pasakyk man, Vano, ar tau patinka pomidorai?
– Mėgstu valgyti, bet ne.

Nepaisant to, kad rinkodaros specialistai sako, kad jie „myli“ Big Data ir netgi, atrodo, juos naudoja, iš tikrųjų „viskas yra sudėtinga“, nes jie rašo apie savo nuoširdžius priedus socialiniuose tinkluose.

2014 m. sausio mėn. „Circle Research“ atliktos Europos rinkodaros specialistų apklausos duomenimis, 4 iš 5 respondentų nenaudoja „Big Data“ (nepaisant to, kad jiems, žinoma, tai patinka). Priežastys įvairios. Įkyrių skeptikų nedaug – 17% ir lygiai tiek pat, kiek jų antipodų, t.y. tie, kurie užtikrintai atsako „Taip“. Likusieji dvejoja ir abejoja, „pelkė“. Jie vengia tiesioginio atsakymo remdamiesi patikimais pasiteisinimais, tokiais kaip „dar ne, bet greitai“ arba „lauksime, kol prasidės kiti“.

Didžiųjų duomenų naudojimas rinkodaros specialistų, Europa, 2014 m. sausio mėn

Šaltinis:dnx, paskelbta -elektroninės rinkodaros specialistas.com

Kas juos klaidina? Visiška nesąmonė. Kai kurie (lygiai pusė jų) šiais duomenimis tiesiog netiki. Kitiems (jų taip pat yra nemažai – 55 proc.) sunku tarpusavyje koreliuoti „duomenų“ ir „vartotojų“ rinkinius. Kažkas tiesiog (tarkime politiškai korektiškai) turi vidinę korporacinę netvarką: duomenys be savininko vaikšto tarp rinkodaros skyrių ir IT struktūrų. Kitiems programinė įranga negali susidoroti su darbo antplūdžiu. ir kt. Kadangi bendros akcijos gerokai viršija 100 proc., akivaizdu, kad „kelių kliūčių“ situacija nėra neįprasta.

Kliūtys, neleidžiančios naudoti didelių duomenų rinkodaroje

Šaltinis:dnx, paskelbta -elektroninės rinkodaros specialistas.com

Taigi, turime konstatuoti, kad kol kas „Big Data“ yra didelis potencialas, kurį dar reikia išnaudoti. Beje, tai gali būti priežastis, kodėl „Big Data“ praranda savo „mados tendencijų“ aureolę, liudija mūsų jau minėti „Econsultancy“ bendrovės atliktos apklausos duomenys.

Ryškiausios skaitmeninės rinkodaros tendencijos 2013-2014 m

Šaltinis: konsultacijos ir „Adobe“.

Juos keičia kitas karalius – turinio rinkodara. Kiek ilgai?

Negalima sakyti, kad dideli duomenys yra kažkoks iš esmės naujas reiškinys. Didieji duomenų šaltiniai egzistuoja jau daugelį metų: klientų pirkinių, kredito istorijų, gyvenimo būdo duomenų bazės. Ir daugelį metų mokslininkai naudojo šiuos duomenis, kad padėtų įmonėms įvertinti riziką ir numatyti būsimus klientų poreikius. Tačiau šiandien situacija pasikeitė dviem aspektais:

Atsirado sudėtingesnių įrankių ir metodų, skirtų analizuoti ir derinti skirtingus duomenų rinkinius;

Šias analizės priemones papildo naujų duomenų šaltinių lavina, kurią lemia praktiškai kiekvieno duomenų rinkimo ir matavimo metodo skaitmeninimas.

Turimos informacijos įvairovė įkvepia ir gąsdina tyrėjus, kurie užaugo struktūrizuotoje tyrimų aplinkoje. Vartotojų nuotaikas fiksuoja svetainės ir visos socialinės žiniasklaidos priemonės. Skelbimų žiūrėjimo faktas fiksuojamas ne tik priedėliais, bet ir skaitmeninių žymų bei su televizoriumi bendraujančių mobiliųjų įrenginių pagalba.

Elgesio duomenys (pvz., skambučių skaičius, apsipirkimo įpročiai ir pirkimai) dabar pasiekiami realiuoju laiku. Taigi daugumą to, ką anksčiau buvo galima išmokti atliekant tyrimus, dabar galima sužinoti iš didelių duomenų šaltinių. Ir visi šie informaciniai ištekliai yra nuolat generuojami, neatsižvelgiant į jokius tyrimo procesus. Šie pokyčiai verčia susimąstyti, ar dideli duomenys gali pakeisti klasikinius rinkos tyrimus.

Kalbama ne apie duomenis, o apie klausimus ir atsakymus

Prieš užsakydami mirties skambutį klasikiniams tyrimams, turime priminti, kad ne vieno ar kito duomenų turto buvimas yra lemiamas, o kažkas kita. Kas tiksliai? Mūsų gebėjimas atsakyti į klausimus, štai kas. Juokingas dalykas, susijęs su nauju didžiųjų duomenų pasauliu, yra tai, kad dėl naujų duomenų išteklių kyla dar daugiau klausimų ir į šiuos klausimus dažniausiai atsako tradiciniai tyrimai. Taigi, augant dideliems duomenims, matome lygiagrečiai didėjantį „mažų duomenų“, galinčių pateikti atsakymus į didžiųjų duomenų pasaulio klausimus, prieinamumą ir paklausą.

Panagrinėkime situaciją: didelis reklamuotojas nuolat stebi parduotuvių srautą ir pardavimų apimtis realiu laiku. Esamos tyrimo metodikos (kuriose tyrimo grupės dalyvių klausiame apie jų pirkimo motyvaciją ir elgesį pardavimo vietoje) padeda geriau orientuotis į konkrečius klientų segmentus. Šios metodikos gali būti išplėstos įtraukiant platesnį didžiųjų duomenų išteklių spektrą iki taško, kai dideli duomenys tampa pasyvaus stebėjimo priemone, o tyrimo – nuolatinio, siaurai orientuoto pokyčių ar įvykių, kuriuos reikia ištirti, tyrimo metodu. Taip dideli duomenys gali išlaisvinti tyrimus nuo nereikalingos rutinos. Pirminiai tyrimai nebeturėtų būti sutelkti į tai, kas vyksta (didieji duomenys bus). Vietoj to, pirminiai tyrimai gali būti sutelkti į paaiškinimą, kodėl matome tam tikras tendencijas arba nukrypimus nuo tendencijų. Tyrėjas galės mažiau galvoti apie duomenų gavimą ir daugiau apie tai, kaip juos analizuoti ir naudoti.

Kartu matome, kad didieji duomenys sprendžia vieną didžiausių mūsų problemų – pernelyg ilgų studijų problemą. Išnagrinėjus pačius tyrimus paaiškėjo, kad pernelyg išpūstos tyrimo priemonės turi neigiamą poveikį duomenų kokybei. Nors daugelis ekspertų šią problemą pripažino ilgą laiką, jie visada atsakė fraze: „Bet man reikia šios informacijos vyresniajai vadovybei“, ir tęsėsi ilgi interviu.

Didžiųjų duomenų pasaulyje, kur kiekybinius rodiklius galima gauti pasyviai stebint, ši problema tampa ginčytina. Vėlgi, prisiminkime visą šį vartojimo tyrimą. Jei didieji duomenys suteikia įžvalgų apie vartojimą per pasyvų stebėjimą, tai atliekant pirminius tyrimus apklausų forma tokios informacijos rinkti nebereikia, ir galiausiai galime paremti savo trumpų apklausų viziją ne tik gerais linkėjimais, bet ir kažkas tikro.

„Big Data“ reikia jūsų pagalbos

Galiausiai, „didelis“ yra tik viena iš didelių duomenų savybių. Charakteristika „didelis“ reiškia duomenų dydį ir mastą. Žinoma, tai yra pagrindinė savybė, nes šių duomenų apimtis nepatenka į viską, su kuo mes dirbome anksčiau. Tačiau svarbios ir kitos šių naujų duomenų srautų charakteristikos: jie dažnai yra prastai suformatuoti, nestruktūruoti (arba, geriausiu atveju, iš dalies struktūrizuoti) ir pilni neapibrėžtumo. Besiformuojanti duomenų valdymo sritis, taikliai pavadinta „esių analitika“, siekia išspręsti didelių duomenų triukšmo įveikimo problemą. Jos užduotis yra išanalizuoti šiuos duomenų rinkinius ir išsiaiškinti, kiek stebėjimų yra tam pačiam asmeniui, kurie stebėjimai yra dabartiniai ir kurie iš jų tinkami naudoti.

Toks duomenų valymas yra būtinas norint pašalinti triukšmą ar klaidingus duomenis dirbant su dideliais ar mažais duomenų ištekliais, tačiau to nepakanka. Taip pat turime sukurti kontekstą apie didelius duomenų išteklius, remdamiesi ankstesne patirtimi, analize ir žiniomis apie kategorijas. Tiesą sakant, daugelis analitikų atkreipia dėmesį į gebėjimą valdyti neapibrėžtumą, būdingą dideliems duomenims, kaip konkurencinio pranašumo šaltinį, nes tai leidžia geriau priimti sprendimus.

Būtent čia pirminiai tyrimai ne tik atleidžiami nuo rutinos dėl didelių duomenų, bet ir prisideda prie didelių duomenų turinio kūrimo ir analizės.

Puikus to pavyzdys yra mūsų visiškai naujos prekės ženklo nuosavybės sistemos taikymas socialinėje žiniasklaidoje. (kalbame apie sukurtąMillwardas Rudanaujas požiūris į prekės ženklo vertės matavimąThe Prasmingai Skirtingas Sistema– „Svarbių skirtumų paradigma“ –R & T ). Šis modelis yra patikrintas pagal elgseną konkrečiose rinkose, įdiegtas standartiškai ir gali būti lengvai pritaikytas kitoms rinkodaros kryptims ir Informacinės sistemos ah už sprendimo palaikymą. Kitaip tariant, mūsų prekės ženklo vertės modelis, pagrįstas (nors ir ne išimtinai) apklausos tyrimais, turi visas savybes, reikalingas nestruktūrizuotam, nenuosekliam ir neapibrėžtam didžiųjų duomenų pobūdžiui įveikti.

Atsižvelkite į vartotojų nuotaikų duomenis, kuriuos pateikia socialinė žiniasklaida. Neapdorota forma vartotojų nuotaikos viršūnės ir slėniai labai dažnai yra minimaliai koreliuojami su prekės ženklo vertės ir elgsenos neprisijungus matais: duomenyse tiesiog per daug triukšmo. Tačiau šį triukšmą galime sumažinti taikydami vartotojų prasmės, prekės ženklo diferenciacijos, dinamikos ir tapatybės modelius neapdorotiems vartotojų nuotaikų duomenims, o tai yra būdas apdoroti ir kaupti socialinės žiniasklaidos duomenis pagal šiuos aspektus.

Kai duomenys suskirstyti pagal mūsų pagrindų modelį, nustatytos tendencijos paprastai atitinka prekės ženklo nuosavybės ir elgesio matavimus, gautus neprisijungus. Tiesą sakant, socialinės žiniasklaidos duomenys negali kalbėti patys už save. Norint juos naudoti šiam tikslui, reikalinga mūsų patirtis ir modeliai, sukurti pagal prekės ženklus. Kai socialinė žiniasklaida suteikia mums unikalios informacijos, išreikštos ta kalba, kuria vartotojai apibūdina prekių ženklus, mes turime naudoti šią kalbą kurdami savo tyrimą, kad pirminiai tyrimai būtų daug veiksmingesni.

Neapmokestinamų studijų privalumai

Tai sugrąžina mus prie fakto, kad dideli duomenys ne tiek pakeičia mokslinius tyrimus, kiek atlaisvina juos. Tyrėjai bus atleisti nuo kiekvieno naujo atvejo naujo tyrimo. Nuolat augantis didžiųjų duomenų turtas gali būti naudojamas įvairioms tyrimų temoms, leidžiant vėlesniems pirminiams tyrimams gilintis į temą ir užpildyti spragas. Tyrėjai bus atleisti nuo būtinybės pasikliauti pernelyg išpūstomis apklausomis. Vietoje to jie galės naudoti trumpas apklausas ir sutelkti dėmesį į svarbiausius parametrus, o tai pagerina duomenų kokybę.

Su šiuo leidimu tyrėjai galės naudotis savo nustatytais principais ir įžvalgomis, kad padidintų didelių duomenų išteklių tikslumą ir prasmę, todėl atsiras naujų tyrimų tyrimų sričių. Šis ciklas turėtų padėti giliau suprasti įvairius strateginius klausimus ir galiausiai pereiti prie to, kas visada turėtų būti pagrindinis mūsų tikslas – informuoti ir gerinti prekės ženklo ir komunikacijos sprendimų kokybę.

Nuolat spartėjantis duomenų augimas yra neatsiejama šių dienų realybės dalis. Socialiniai tinklai, mobilieji įrenginiai, duomenys iš matavimo prietaisų, verslo informacija – tai tik keli šaltiniai, galintys generuoti didžiulius duomenų kiekius.

Šiuo metu terminas Big Data (Big data) tapo gana paplitęs. Toli gražu ne visi žino, kaip greitai ir giliai didelio duomenų kiekio apdorojimo technologijos keičia pačius įvairiausius visuomenės aspektus. Įvairiose srityse vyksta pokyčiai, keliantys naujų problemų ir iššūkių, taip pat ir informacijos saugumo srityje, kur pirmiausia turėtų būti akcentuojami tokie svarbūs aspektai kaip konfidencialumas, vientisumas, prieinamumas ir kt.

Deja, daugelis šiuolaikinių įmonių naudojasi „Big Data“ technologija, nesukurdamos tam tinkamos infrastruktūros, kuri galėtų užtikrinti patikimą didžiulių jų renkamų ir saugomų duomenų kiekių saugojimą. Kita vertus, šiuo metu sparčiai vystosi „blockchain“ technologija, kuri skirta išspręsti šią ir daugelį kitų problemų.

Kas yra dideli duomenys?

Tiesą sakant, sąvokos apibrėžimas slypi paviršiuje: „didieji duomenys“ reiškia labai didelių duomenų kiekių valdymą, taip pat jų analizę. Jei pažvelgsite plačiau, tai yra informacija, kurios negalima apdoroti klasikiniais metodais dėl didelės apimties.

Pats terminas „Big Data“ (didieji duomenys) pasirodė palyginti neseniai. „Google Trends“ paslaugos duomenimis, aktyvus termino populiarumo augimas krenta 2011 m. pabaigoje:

2010 metais pradėjo pasirodyti pirmieji produktai ir sprendimai, tiesiogiai susiję su didžiųjų duomenų apdorojimu. Iki 2011 m. dauguma didžiausių IT įmonių, įskaitant IBM, Oracle, Microsoft ir Hewlett-Packard, savo verslo strategijose aktyviai naudoja terminą Big Data. Pamažu informacinių technologijų rinkos analitikai pradeda aktyvius šios koncepcijos tyrimus.

Šiuo metu šis terminas įgijo nemažą populiarumą ir yra aktyviai naudojamas įvairiose srityse. Tačiau negalima tvirtai teigti, kad „Big Data“ yra kažkoks iš esmės naujas reiškinys – priešingai, dideli duomenų šaltiniai egzistuoja jau daug metų. Rinkodaros srityje tai gali būti klientų pirkinių, kredito istorijų, gyvenimo būdo ir kt. duomenų bazės.. Bėgant metams analitikai naudojo šiuos duomenis, kad padėtų įmonėms numatyti būsimus klientų poreikius, įvertinti riziką, formuoti vartotojų pageidavimus ir kt.

Šiuo metu situacija pasikeitė dviem aspektais:

— Atsirado sudėtingesnių įrankių ir metodų, skirtų analizuoti ir palyginti skirtingus duomenų rinkinius;
— Analizės priemones papildė daug naujų duomenų šaltinių, kuriuos paskatino plačiai paplitęs skaitmeninimas, taip pat nauji duomenų rinkimo ir matavimo metodai.

Mokslininkai prognozuoja, kad didžiųjų duomenų technologijos bus aktyviausiai naudojamos gamyboje, sveikatos apsaugos, prekybos, viešojo administravimo ir kitose labai įvairiose srityse bei pramonės šakose.

Didieji duomenys – tai ne konkretus duomenų rinkinys, o jų apdorojimo metodų rinkinys. Didžiuosius duomenis lemia ne tik jų apimtis, bet ir kitos kategorijos, apibūdinančios daug darbo reikalaujančius duomenų apdorojimo ir analizės procesus.

Pradiniai apdorojimo duomenys gali būti, pavyzdžiui:

— interneto vartotojų elgesio žurnalai;
— daiktų internetas;
- socialiniai tinklai;
— meteorologiniai duomenys;
— suskaitmenintos didžiausių bibliotekų knygos;
– GPS signalai iš transporto priemonių;
— informacija apie banko klientų operacijas;
— duomenys apie mobiliojo ryšio tinklų abonentų buvimo vietą;
— informacija apie pirkinius dideliuose prekybos tinkluose ir kt.

Laikui bėgant duomenų kiekis ir jų šaltinių skaičius nuolat auga, todėl atsiranda naujų informacijos apdorojimo būdų bei tobulinami esami informacijos apdorojimo metodai.

Pagrindiniai didelių duomenų principai:

- Horizontalus mastelio keitimas – duomenų masyvai gali būti didžiuliai, o tai reiškia, kad didžiųjų duomenų apdorojimo sistema turi dinamiškai plėstis didėjant jų apimčiai.
- Gedimų tolerancija – net jei kai kurios įrangos dalys sugenda, visa sistema turi veikti.
— Duomenų vieta. Didelėse paskirstytose sistemose duomenys paprastai paskirstomi dideliam skaičiui mašinų. Tačiau, kai tik įmanoma ir siekiant taupyti išteklius, duomenys dažnai apdorojami tame pačiame serveryje, kuriame ir saugomi.

Kad visi trys principai veiktų stabiliai ir, atitinkamai, būtų aukštas didelių duomenų saugojimo ir apdorojimo efektyvumas, reikalingos naujos proveržio technologijos, tokios kaip, pavyzdžiui, blockchain.

Kam skirti dideli duomenys?

Didžiųjų duomenų apimtis nuolat plečiasi:

— Dideli duomenys gali būti panaudoti medicinoje. Taigi diagnozę pacientui nustatyti galima ne tik remiantis ligos istorijos analizės duomenimis, bet ir atsižvelgiant į kitų gydytojų patirtį, informaciją apie paciento gyvenamosios vietos ekologinę situaciją. , ir daugelis kitų veiksnių.
— Didžiųjų duomenų technologijos gali būti naudojamos organizuojant nepilotuojamų transporto priemonių judėjimą.
— Apdorojant didelius duomenų kiekius galima atpažinti veidus foto ir vaizdo medžiagoje.
– Big Data technologijas gali naudoti mažmenininkai – prekybos įmonės gali aktyviai naudotis duomenų masyvais iš socialiniai tinklai efektyviai pritaikyti savo reklamines kampanijas, kurios gali būti maksimaliai nukreiptos į tam tikrą vartotojų segmentą.
— Ši technologija aktyviai naudojama organizuojant rinkimų kampanijas, taip pat ir analizuojant visuomenės politines nuostatas.
— Didžiųjų duomenų technologijų naudojimas aktualus pajamų užtikrinimo (RA) klasės sprendimams, apimantiems neatitikimų aptikimo ir išsamios duomenų analizės priemones, leidžiančias laiku nustatyti galimus nuostolius ar informacijos iškraipymus, dėl kurių gali sumažėti finansiniai rezultatai. .
— Telekomunikacijų paslaugų teikėjai gali kaupti didelius duomenis, įskaitant geografinės padėties duomenis; savo ruožtu ši informacija gali būti komerciškai įdomi reklamos agentūroms, kurios gali ją naudoti tikslinei ir vietinei reklamai rodyti, taip pat mažmenininkams ir bankams.
„Didieji duomenys gali atlikti svarbų vaidmenį sprendžiant, ar atidaryti mažmeninės prekybos vietą tam tikroje vietoje, remiantis duomenimis apie galingą tikslinį žmonių srautą.

Taigi akivaizdžiausias praktinis Big Data technologijos pritaikymas slypi rinkodaros srityje. Dėl interneto plėtros ir daugybės įvairių ryšio priemonių, elgsenos duomenys (pvz., skambučių skaičius, apsipirkimo įpročiai ir pirkimai) tampa prieinami realiu laiku.

Didžiųjų duomenų technologijos taip pat gali būti efektyviai naudojamos finansuose, sociologiniuose tyrimuose ir daugelyje kitų sričių. Ekspertai teigia, kad visos šios didžiųjų duomenų panaudojimo galimybės yra tik matoma ledkalnio dalis, nes šios technologijos daug plačiau naudojamos žvalgyboje ir kontržvalgyboje, kariniuose reikaluose, taip pat visame kame, kas paprastai vadinama informaciniu karu. .

V bendrais bruožais darbo su „Big Data“ seka susideda iš duomenų rinkimo, gautos informacijos struktūrizavimo naudojant ataskaitas ir prietaisų skydelius, o tada – veiksmų rekomendacijų formulavimą.

Trumpai panagrinėkime Big Data technologijų panaudojimo rinkodaroje galimybes. Kaip žinia, rinkodaros specialistui informacija yra pagrindinė prognozavimo ir strategijos kūrimo priemonė. Didžiųjų duomenų analizė jau seniai sėkmingai naudojama vartotojų tikslinei auditorijai, interesams, paklausai ir aktyvumui nustatyti. Didžiųjų duomenų analizė, visų pirma, leidžia rodyti reklamą (remiantis RTB aukciono modeliu – Real Time Bidding) tik tiems vartotojams, kurie domisi preke ar paslauga.

Didžiųjų duomenų naudojimas rinkodaroje leidžia verslininkams:

- geriau atpažinti savo vartotojus, pritraukti panašią auditoriją internete;
- įvertinti klientų pasitenkinimo laipsnį;
— suprasti, ar siūloma paslauga atitinka lūkesčius ir poreikius;
- rasti ir įgyvendinti naujus būdus, kaip padidinti klientų pasitikėjimą;
— kurti paklausius projektus ir pan.

Pavyzdžiui, paslauga Google.trends gali nurodyti rinkodaros specialistui sezoninės tam tikro produkto paklausos veiklos prognozę, svyravimus ir paspaudimų geografiją. Jei palyginsite šią informaciją su atitinkamo papildinio savo svetainėje surinkta statistika, galite sudaryti reklamos biudžeto paskirstymo planą, nurodydami mėnesį, regioną ir kitus parametrus.

Daugelio tyrinėtojų nuomone, būtent Didžiųjų duomenų segmentavime ir panaudojime D. Trumpo kampanijos sėkmė slypi. Būsimo JAV prezidento komanda sugebėjo teisingai suskirstyti auditoriją, suprasti jos troškimus ir parodyti būtent tokią žinią, kurią nori matyti ir išgirsti rinkėjai. Taigi, pasak Irinos Belyshevos iš „Data-Centric Alliance“, D.Trumpo pergalę daugiausia lėmė nestandartinis požiūris į internetinę rinkodarą, kuris buvo paremtas „Big Data“, psichoelgesio analize ir personalizuota reklama.

D.Trumpo polittechnologai ir rinkodaros specialistai panaudojo specialiai sukurtą matematinį modelį, kuris leido giliai išanalizuoti visų JAV rinkėjų duomenis ir juos susisteminti, padarant itin tikslų taikymą ne tik pagal geografines ypatybes, bet ir pagal rinkėjų ketinimus, interesus. jų psichotipas, elgesio ypatumai ir kt. Rinkodaros specialistams suorganizavus asmeninį bendravimą su kiekviena piliečių grupe pagal jų poreikius, nuotaikas, politines pažiūras, psichologinės savybės ir net odos spalvą, naudojant savo žinią beveik kiekvienam atskiram rinkėjui.

Kalbant apie Hillary Clinton, ji savo kampanijoje naudojo „laiko patikrintus“ metodus, pagrįstus sociologiniais duomenimis ir standartine rinkodara, suskirstydama elektoratą tik į formaliai homogeniškas grupes (vyrus, moteris, afroamerikiečiai, ispanai, vargšai, turtingi ir kt.).

Dėl to laimėjo tas, kuris įvertino naujų technologijų ir analizės metodų potencialą. Pažymėtina, kad Hillary Clinton kampanijos išlaidos buvo dvigubai didesnės nei jos oponentės:

Duomenys: Pew Research

Pagrindinės Big Data naudojimo problemos

Be didelių sąnaudų, vienas iš pagrindinių veiksnių, trukdančių diegti didžiuosius duomenis įvairiose srityse, yra tvarkomų duomenų pasirinkimo problema: tai yra nustatant, kokius duomenis reikia išgauti, saugoti ir analizuoti, o kokius. neturėtų būti atsižvelgta.

Kita didelių duomenų problema yra etinė. Kitaip tariant, kyla natūralus klausimas: ar toks duomenų rinkimas (ypač be vartotojo žinios) gali būti laikomas privatumo ribų pažeidimu?

Ne paslaptis, kad „Google“ ir „Yandex“ paieškos sistemose sukaupta informacija leidžia IT gigantams nuolat tobulinti savo paslaugas, padaryti jas patogias ir kurti naujas interaktyvias programas. Tam paieškos sistemos renka vartotojo duomenis apie vartotojų veiklą internete, IP adresus, geografinės vietos duomenis, pomėgius ir pirkinius internetu, asmeninius duomenis, el. pašto žinutes ir kt. Visa tai leidžia rodyti kontekstinę reklamą pagal vartotojo elgesį internete. Tuo pačiu dažniausiai tam neprašoma vartotojų sutikimo ir nepasirenkama, kokią informaciją apie save pateikti. Tai yra, pagal numatytuosius nustatymus viskas renkama į Big Data, kurie vėliau bus saugomi svetainių duomenų serveriuose.

Iš to seka kitas svarbus klausimas, susijęs su duomenų saugojimo ir naudojimo saugumu. Pavyzdžiui, ar yra saugi analizės platforma, su kuria vartotojai automatiškai dalijasi savo duomenimis? Be to, daugelis verslo atstovų pastebi, kad trūksta aukštos kvalifikacijos analitikų ir rinkodaros specialistų, kurie galėtų efektyviai valdyti didelius duomenų kiekius ir jų pagalba išspręsti konkrečias verslo problemas.

Nepaisant visų sunkumų diegiant Big Data, verslas ketina didinti investicijas į šią sritį. „Gartner“ tyrimo duomenimis, į „Big Data“ investuojančių pramonės šakų lyderiai yra žiniasklaidos, mažmeninės prekybos, telekomunikacijų, bankininkystės ir paslaugų įmonės.

Blockchain technologijų ir didžiųjų duomenų sąveikos perspektyvos

Integracija su dideliais duomenimis turi sinerginį poveikį ir atveria daug naujų galimybių verslui, įskaitant galimybę:

— gauti prieigą prie išsamios informacijos apie vartotojų pageidavimus, kurios pagrindu galite sukurti išsamius konkrečių tiekėjų, produktų ir produktų komponentų analitinius profilius;
- integruoti išsamius duomenis apie sandorius ir statistiką apie tam tikrų prekių grupių vartojimą pagal įvairių kategorijų naudotojus;
- gauti išsamius analitinius duomenis apie tiekimo ir vartojimo grandines, kontroliuoti produktų nuostolius transportavimo metu (pavyzdžiui, svorio mažėjimą dėl tam tikrų prekių rūšių susitraukimo ir išgaravimo);
– kovoti su padirbtais gaminiais, didinti kovos su pinigų plovimu ir sukčiavimu veiksmingumą ir kt.

Prieiga prie išsamių duomenų apie prekių naudojimą ir vartojimą iš esmės atvers „Big Data“ technologijos potencialą optimizuoti pagrindinius verslo procesus, sumažinti reguliavimo riziką ir atvers naujas galimybes užsidirbti pinigų bei kurti produktus, kurie geriausiai atitiks dabartinius vartotojų pageidavimus.

Kaip žinia, didžiausių finansų institucijų atstovai jau dabar rodo didelį susidomėjimą blockchain technologija, įskaitant ir kt. Pasak Oliverio Bussmanno, Šveicarijos finansinio holdingo UBS IT vadovo, blockchain technologija gali „sumažinti operacijų apdorojimo laiką nuo kelių dienų iki kelių dienų. minutes“.

„Blockchain“ analizės potencialas naudojant „Big Data“ technologiją yra didžiulis. Paskirstyta registro technologija užtikrina informacijos vientisumą, taip pat patikimą ir skaidrų visos operacijų istorijos saugojimą. „Big Data“ savo ruožtu suteikia naujų įrankių efektyviai analizei, prognozavimui, ekonominiam modeliavimui ir atitinkamai atveria naujas galimybes priimti labiau pagrįstus valdymo sprendimus.

„Blockchain“ ir „Big Data“ tandemas gali būti sėkmingai naudojamas sveikatos priežiūros srityje. Kaip žinia, netobuli ir neišsamūs duomenys apie paciento sveikatą kartais padidina neteisingos diagnozės ir neteisingai paskirto gydymo riziką. Kritiniai duomenys apie gydymo įstaigų klientų sveikatą turi būti kuo saugesni, turėti nekintamumo savybių, būti patikrinami ir ne manipuliuojami.

Blockchain informacija atitinka visus aukščiau išvardintus reikalavimus ir gali pasitarnauti kaip kokybiški ir patikimi šaltinio duomenys giliai analizei naudojant naujas Big Data technologijas. Be to, „blockchain“ pagalba gydymo įstaigos galėtų keistis patikimais duomenimis su draudimo bendrovėmis, teisingumo institucijomis, darbdaviais, mokslo įstaigomis ir kitomis organizacijomis, kurioms reikalinga medicininė informacija.

Dideli duomenys ir informacijos saugumas

Plačiąja prasme informacijos saugumas yra informacijos ir pagalbinės infrastruktūros apsauga nuo atsitiktinio ar tyčinio natūralaus ar dirbtinio neigiamo poveikio.

Informacijos saugumo srityje Big Data susiduria su šiais iššūkiais:

— Duomenų apsaugos ir jų vientisumo užtikrinimo problemos;
— išorinio įsikišimo ir konfidencialios informacijos nutekėjimo rizika;
— netinkamas konfidencialios informacijos saugojimas;
- informacijos praradimo rizika, pavyzdžiui, dėl kieno nors piktavališkų veiksmų;
— rizika, kad trečiosios šalys netinkamai naudos asmens duomenis ir kt.

Viena iš pagrindinių didelių duomenų problemų, kuriai išspręsti yra sukurta blokų grandinė, yra informacijos saugumo srityje. Užtikrinant visų pagrindinių principų laikymąsi, paskirstytos knygos technologija gali garantuoti duomenų vientisumą ir patikimumą, o dėl to, kad nėra vieno gedimo taško, blokų grandinė daro informacines sistemas stabilias. Paskirstytos knygos technologija gali padėti išspręsti pasitikėjimo duomenimis problemą, taip pat suteikti galimybę universaliai keistis duomenimis.

Informacija yra vertingas turtas, o tai reiškia, kad pagrindiniai informacijos saugumo aspektai turėtų būti svarbiausi. Siekdamos išlikti konkurencinėje kovoje, įmonės turi žengti koja kojon su laiku, o tai reiškia, kad jos negali ignoruoti potencialių galimybių ir pranašumų, kuriuos suteikia blockchain technologija ir Big Data įrankiai.

Terminas „didieji duomenys“ šiandien gali būti atpažįstamas, tačiau vis dar yra nemažai painiavos, ką jis iš tikrųjų reiškia. Tiesą sakant, ši koncepcija nuolat tobulinama ir peržiūrima, nes ji išlieka daugelio vykstančių skaitmeninės transformacijos bangų, įskaitant dirbtinį intelektą, duomenų mokslą ir daiktų internetą, varomoji jėga. Bet kas yra „Big-Data“ technologija ir kaip ji keičia mūsų pasaulį? Pabandykime suprasti Big Data technologijos esmę ir ką ji reiškia paprastais žodžiais.

Viskas prasidėjo nuo duomenų kiekio, kurį sukūrėme nuo skaitmeninio amžiaus aušros, „sprogimu“. Tai daugiausia lemia kompiuterių, interneto ir technologijų, galinčių „išplėšti“ duomenis iš mus supančio pasaulio, tobulėjimas. Duomenys savaime nėra naujas išradimas. Dar prieš kompiuterių ir duomenų bazių erą naudojome popierinius operacijų įrašus, klientų įrašus ir archyvines bylas, kurios yra duomenys. Kompiuteriai, ypač skaičiuoklės ir duomenų bazės, leido mums lengvai saugoti ir tvarkyti didelius duomenis. Staiga informacija pasiekiama vienu pelės paspaudimu.

Tačiau mes nuėjome ilgą kelią nuo originalių lentelių ir duomenų bazių. Šiandien kas dvi dienas sukuriame tiek duomenų, kiek gavome nuo pat pradžių iki 2000 metų. Tiesa, kas dvi dienas. O mūsų kuriamų duomenų kiekis ir toliau sparčiai auga; iki 2020 m. turimos skaitmeninės informacijos kiekis padidės nuo maždaug 5 zettabaitų iki 20 cetabaitų.

Šiais laikais beveik kiekvienas mūsų veiksmas palieka savo pėdsaką. Duomenis generuojame, kai prisijungiame prie interneto, kai nešiojamės išmaniuosius telefonus su paieškos varikliu, bendraujame su pažįstamais per socialinius tinklus ar pokalbius ir pan. Be to, sparčiai auga ir mašinomis generuojamų duomenų kiekis. Duomenys generuojami ir bendrinami, kai mūsų išmaniųjų namų įrenginiai bendrauja tarpusavyje arba su savo namų serveriais. Gamyklų ir gamyklų pramoninė įranga vis dažniau komplektuojama su jutikliais, kurie kaupia ir perduoda duomenis.

Sąvoka „didieji duomenys“ reiškia visų šių duomenų rinkimą ir mūsų galimybę juos panaudoti savo naudai įvairiose srityse, įskaitant verslą.

Kaip veikia „Big Data“ technologija?

„Big Data“ veikia principu: kuo daugiau žinosite apie tam tikrą dalyką ar reiškinį, tuo patikimiau galėsite pasiekti naują supratimą ir numatyti, kas nutiks ateityje. Palyginus daugiau duomenų taškų, išryškėja ryšiai, kurie anksčiau buvo paslėpti, ir šie santykiai leidžia mums mokytis ir priimti geresnius sprendimus. Dažniausiai tai daroma per procesą, kurio metu iš duomenų, kuriuos galime surinkti, kuriami modeliai, o paskui vykdomas modeliavimas, kuris kiekvieną kartą pakeičia duomenų taškų reikšmes ir mato, kaip jie veikia mūsų rezultatus. Šis procesas yra automatizuotas – šiuolaikinės analizės technologijos vykdys milijonus šių modeliavimų, keisdamos visus įmanomus kintamuosius, kol suras modelį ar idėją, padedančią išspręsti problemą, su kuria jie dirba.

Billas Gatesas kabo virš vieno kompaktinio disko popierinio turinio

Dar visai neseniai duomenys apsiribojo skaičiuoklėmis ar duomenų bazėmis – viskas buvo labai organizuota ir tvarkinga. Viskas, ko nebuvo galima lengvai suskirstyti į eilutes ir stulpelius, buvo laikoma pernelyg sudėtinga dirbti ir buvo ignoruojama. Tačiau saugojimo ir analizės pažanga reiškia, kad galime užfiksuoti, saugoti ir apdoroti didelį kiekį įvairių tipų duomenų. Todėl „duomenys“ šiandien gali reikšti bet ką – nuo ​​duomenų bazių iki nuotraukų, vaizdo įrašų, garso įrašų, rašytinių tekstų ir jutiklių duomenų.

Norėdami suprasti visus šiuos netvarkingus duomenis, dideliais duomenimis pagrįsti projektai dažnai naudoja pažangiausią analizę, naudojant dirbtinį intelektą ir mašininį mokymąsi. Mokydami kompiuterius nustatyti, kokie konkretūs duomenys yra, pavyzdžiui, atpažindami arba apdorojant šablonus natūrali kalba– galime išmokyti juos atpažinti šablonus daug greičiau ir patikimiau, nei galime.

Kaip naudojami dideli duomenys?

Šis nuolat didėjantis informacijos srautas apie jutiklių duomenis, teksto, balso, nuotraukų ir vaizdo įrašų duomenis reiškia, kad dabar galime naudoti duomenis tokiais būdais, kurie buvo neįsivaizduojami prieš kelerius metus. Tai atneša revoliucinių pokyčių verslo pasaulyje beveik visose pramonės šakose. Šiandien įmonės gali neįtikėtinai tiksliai numatyti, kurios konkrečios klientų kategorijos ir kada norės įsigyti. „Big Data“ taip pat padeda įmonėms daug efektyviau vykdyti savo veiklą.

Net ir už verslo ribų, Big Data projektai jau įvairiais būdais padeda pakeisti mūsų pasaulį:

• Sveikatos priežiūros gerinimas – duomenimis pagrįsta medicina gali analizuoti daugybę medicininės informacijos ir vaizdų modeliams, kurie gali padėti aptikti ligą ankstyvoje stadijoje ir sukurti naujus vaistus.
• Numatyti ir reaguoti į stichines ir žmogaus sukeltas nelaimes. Jutiklių duomenis galima analizuoti, kad būtų galima numatyti, kur gali įvykti žemės drebėjimai, o žmonių elgesio modeliai suteikia užuominų, padedančių organizacijoms teikti pagalbą išgyvenusiems. „Big Data“ technologija taip pat naudojama siekiant sekti ir apsaugoti pabėgėlių srautą iš karo zonų visame pasaulyje.
• Nusikaltimų prevencija. Policijos pajėgos vis dažniau naudoja duomenimis pagrįstas strategijas, apimančias jų pačių žvalgybos ir viešosios srities informaciją, kad geriau panaudotų išteklius ir prireikus imtųsi atsakomųjų priemonių.

Geriausios knygos apie „Big-Data“ technologiją

• Visi meluoja. Paieškos sistemos, dideli duomenys ir internetas žino viską apie jus.
• DIDELI DUOMENYS. Visos technologijos vienoje knygoje.
• laimės pramonė. Kaip „Big Data“ ir naujosios technologijos padeda pridėti emocijų prie prekių ir paslaugų.
• Revoliucija analitikoje. Kaip pagerinti savo verslą naudojant operacinę analizę didelių duomenų eroje.

Problemos su dideliais duomenimis

Didieji duomenys suteikia mums precedento neturinčių įžvalgų ir galimybių, tačiau taip pat kelia problemų ir klausimų, kuriuos reikia spręsti:

• Duomenų privatumas – šiandien generuojamuose dideliuose duomenyse yra daug informacijos apie mūsų asmeninį gyvenimą, kurią turime teisę laikyti privačia. Vis dažniau mūsų prašoma išlaikyti pusiausvyrą tarp atskleidžiamų asmens duomenų kiekio ir patogumo, kurį siūlo „Big Data“ naudojimu pagrįstos programos ir paslaugos.
• Duomenų apsauga – net jei manome, kad mums gerai, kai kas nors turi mūsų duomenis konkrečiam tikslui, ar galime pasitikėti, kad mūsų duomenys bus saugūs?
• Duomenų diskriminacija – kai bus žinoma visa informacija, ar bus priimtina diskriminuoti žmones pagal asmeninio gyvenimo duomenis? Mes jau naudojame kredito balus, kad nuspręstume, kas gali skolintis pinigų, o draudimas taip pat yra labai pagrįstas duomenimis. Turėtume tikėtis, kad mus išanalizuoti ir įvertinti detaliau, tačiau reikia pasirūpinti, kad tai neapsunkintų gyvenimo tiems, kurie turi mažiau išteklių ir ribotą prieigą prie informacijos.

Šių užduočių atlikimas yra svarbi „Big Data“ dalis, todėl jas turi spręsti organizacijos, norinčios naudoti tokius duomenis. To nepadarius, verslas gali būti pažeidžiamas ne tik dėl reputacijos, bet ir teisiškai bei finansiškai.

Žvelgiant į ateitį

Duomenys neregėtu greičiu keičia mūsų pasaulį ir gyvenimą. Jei „Big Data“ gali visa tai padaryti šiandien, tik įsivaizduokite, ką jie sugebės rytoj. Mums prieinamų duomenų kiekis tik didės, o analitinės technologijos taps dar pažangesnės.

Ateinančiais metais įmonėms galimybė pritaikyti didelius duomenis taps vis svarbesnė. Išliks ir klestės tik tos įmonės, kurios duomenis laiko strateginiu turtu. Tie, kurie ignoruoja šią revoliuciją, rizikuoja likti nuošalyje.

Ar žinote šį garsų pokštą? Big Data yra kaip seksas iki 18 metų:

• visi apie tai galvoja;
• visi apie tai kalba;
• visi mano, kad tai daro jų draugai;
• beveik niekas to nedaro;
• kas tai daro, daro blogai;
• visi galvoja, kad kitą kartą bus geriau;
• niekas nesiima saugumo priemonių;
• bet kam gėda prisipažinti, kad kažko nežino;
• jei kažkam pavyksta, nuo to visada kyla didelis triukšmas.

Bet būkime atviri, su bet kokia ažiotaža visada lydės įprastas smalsumas: koks čia triukšmas ir ar čia kažkas tikrai svarbaus? Trumpai tariant, taip, yra. Išsami informacija pateikta žemiau. Mes atrinkome jums nuostabiausius ir įdomiausius Big Data technologijų pritaikymus. Šis nedidelis rinkos tyrimas su aiškiais pavyzdžiais susiduria su paprastu faktu: ateitis neateina, nereikia „laukti dar n metų ir magija taps realybe“. Ne, jis jau atėjo, bet akiai dar nematomas, todėl singuliarumo deginimas dar ne taip išdegina tam tikrą tašką darbo rinkoje. Eik.

1 Kaip Big Data technologijos taikomos ten, kur jos atsirado

2 Big Data ant 4 ratų

3 Didžiųjų duomenų taikymas medicinoje

4 Duomenų analizė jau yra mažmeninės prekybos pagrindas

5 Dideli duomenys apie teisės ir tvarkos sargybą

6 Kaip didelių duomenų technologijos padeda miestams vystytis

„Veniam“ generalinis direktorius João Barrosas demonstruoja „Wi-Fi“ maršrutizatorių sekimo žemėlapį autobusuose Porto mieste

7 Rinkodaros ir pardavimų pažangos variklis

8 Pasaulinė duomenų analizė