Suure hulga teabe töötlemine. Suurandmete tehnoloogia

Mida Suured andmed(sõna otseses mõttes - Suured andmed)? Vaatame kõigepealt Oxfordi sõnaraamatut:

Andmed– kogused, märgid või sümbolid, mida arvuti kasutab ja mida saab salvestada ja edastada elektriliste signaalide kujul, mis on salvestatud magnetilisele, optilisele või mehaanilisele andmekandjale.

Tähtaeg Suured andmed kasutatakse suure andmestiku kirjeldamiseks, mis aja jooksul plahvatuslikult kasvab. Selle andmehulga töötlemine on hädavajalik.

Big Data eelised:

1. Andmete kogumine erinevatest allikatest.
2. Äriprotsesside täiustamine reaalajas analüütika abil.
3. Suure hulga andmete salvestamine.
4. Insights. Big Data on peidetud teabe suhtes tähelepanelikum, kasutades struktureeritud ja poolstruktureeritud andmeid.
5. Suurandmed aitavad asjakohase riskianalüüsi abil vähendada riske ja teha arukaid otsuseid

Suurandmete näited

New Yorgi börs genereerib iga päev 1 terabait andmed viimase seansi tehingute kohta.

Sotsiaalmeedia: statistika näitab, et Facebooki andmebaase laaditakse iga päev 500 terabaiti uusi andmeid genereeritakse peamiselt fotode ja videote üleslaadimise tõttu sotsiaalvõrgustiku serveritesse, sõnumite saatmise, postituste all olevate kommentaaride jms tõttu.

Reaktiivmootor genereerib 10 terabaiti andmed iga 30 minuti järel lennu ajal. Kuna lende tehakse iga päev tuhandeid, ulatub andmemaht petabaitideni.

Big Data klassifikatsioon

Suurandmete vormid:

• Struktureeritud
• Struktureerimata
• Poolstruktureeritud

Struktureeritud vorm

Andmeid, mida saab fikseeritud vormingus salvestada, neile juurde pääseda ja töödelda, nimetatakse struktureeritud. Aastate jooksul on arvutiteadus teinud suuri edusamme seda tüüpi andmetega töötamise tehnikate täiustamisel (kus vorming on ette teada) ja õppinud, kuidas sellest kasu saada. Kuid juba täna on probleeme mahtude kasvuga mitme zettabaidi vahemikku mõõdetavate suurusteni.

1 zetabait võrdub miljardi terabaidiga

Neid numbreid vaadates on lihtne veenduda suurandmete mõiste õigsuses ning selliste andmete töötlemise ja säilitamisega kaasnevates raskustes.

Relatsiooniandmebaasi salvestatud andmed on struktureeritud ja näevad välja näiteks ettevõtte töötajate tabelid

Struktureerimata vorm

Tundmatu struktuuriga andmed liigitatakse struktureerimata. Lisaks suurele suurusele iseloomustavad seda kuju mitmed raskused käsitsemisel ja väljatõmbamisel. kasulik informatsioon... Struktureerimata andmete tüüpiline näide on heterogeenne allikas, mis sisaldab lihtsate tekstifailide, piltide ja videote kombinatsiooni. Tänapäeval on organisatsioonidel juurdepääs suurele hulgale töötlemata või struktureerimata andmetele, kuid nad ei tea, kuidas sellest kasu saada.

Poolstruktureeritud vorm

See kategooria sisaldab mõlemat ülalnimetatut, seega on poolstruktureeritud andmetel teatud vorm, kuid neid ei määratleta relatsiooniandmebaaside tabelite abil. Selle kategooria näide on XML-failis esitatud isikuandmed.

Prashant raoMees35 Seema R.Naine41 Satish lakkMees29 Subrato royMees26 Jeremiah J.Mees35

Big Data omadused

Suurandmete kasv aja jooksul:

Sinine värv tähistab struktureeritud andmeid (ettevõtte andmeid), mis on salvestatud relatsiooniandmebaasides. Muud värvid on struktureerimata andmed erinevatest allikatest (IP-telefon, seadmed ja andurid, sotsiaalvõrgustikud ja veebirakendused).

Gartneri sõnul on suurandmete maht, genereerimiskiirus, mitmekesisus ja varieeruvus erinev. Vaatleme neid omadusi üksikasjalikumalt.

1. Helitugevus... Mõistet Big Data seostatakse iseenesest suure suurusega. Andmete suurus on võimaliku taastatava väärtuse määramisel kõige olulisem mõõdik. Iga päev kasutab 6 miljonit inimest digitaalset meediat, mis hinnanguliselt genereerib 2,5 kvintiljoni baiti andmeid. Seetõttu on maht esimene omadus, mida tuleb arvesse võtta.
2. Mitmekesisus- järgmine aspekt. Ta viitab andmete heterogeensusele ja olemusele, mis võivad olla nii struktureeritud kui ka struktureerimata. Varem olid enamiku rakenduste puhul ainsad teabeallikad arvutustabelid ja andmebaasid. Tänapäeval arvestatakse analüütilistes rakendustes ka andmeid e-kirjade, fotode, videote, PDF-failide ja heli kujul. Selline struktureerimata andmete mitmekesisus põhjustab probleeme ladustamisel, tootmisel ja analüüsimisel: 27% ettevõtetest ei ole kindlad, kas nad töötavad õigete andmetega.
3. Põlvkonna määr... See, kui kiiresti andmeid nõuete täitmiseks kogutakse ja töödeldakse, määrab potentsiaali. Kiirus määrab teabe sissevoolu kiiruse allikatest - äriprotsessidest, rakenduste logidest, suhtlusvõrgustikest ja meediast, anduritest, mobiilseadmetest. Andmevoog on tohutu ja aja jooksul pidev.
4. Muutlikkus kirjeldab andmete volatiilsust teatud ajahetkedel, mis raskendab töötlemist ja haldamist. Nii on näiteks suurem osa andmetest olemuselt struktureerimata.

Suurandmete analüüs: mis on suurandmete kasutamine

Kaupade ja teenuste reklaamimine: Juurdepääs andmetele otsingumootoritest ja saitidelt, nagu Facebook ja Twitter, võimaldab ettevõtetel oma turundusstrateegiaid paremini kujundada.

Klienditeeninduse parandamine: Traditsioonilised klientide tagasiside süsteemid asenduvad uutega, mis kasutavad klientide tagasiside lugemiseks ja hindamiseks Big Data ja loomuliku keele töötlust.

Riski arvutamine seotud uue toote või teenuse väljalaskmisega.

Töötõhusus: suurandmed on struktureeritud nii, et hankida vajalikku teavet kiiremini ja saada kiiresti täpseid tulemusi. See suurandmete ja salvestustehnoloogiate kombinatsioon aitab organisatsioonidel optimeerida tööd harva kasutatava teabega.

Põhineb uuringute ja suundumuste materjalidel

Big Data, "Big Data" on IT- ja turundusajakirjanduses juba mitu aastat kõneaineks saanud. Ja see on selge: digitehnoloogiad on ellu tunginud kaasaegne inimene, "Kõik on kirjas." Kasvab andmemaht elu erinevate aspektide kohta ning samal ajal kasvavad võimalused info talletamiseks.

Globaalsed tehnoloogiad teabe salvestamiseks

Allikas: Hilbert ja Lopez, "Maailma tehnoloogiline suutlikkus teabe salvestamiseks, suhtlemiseks ja arvutamiseks", Science, 2011 Global.

Enamik eksperte nõustub, et andmete kasvu kiirenemine on objektiivne reaalsus. Sotsiaalvõrgustikud, mobiilseadmed, mõõteseadmete andmed, äriteave on vaid mõned allikatest, mis võivad genereerida tohutul hulgal teavet. Uuringute kohaselt IDCDigitaalne universum avaldati 2012. aastal, järgmise 8 aasta jooksul ulatub andmemaht maailmas 40 Zb (zettabaidini), mis võrdub 5200 GB-ga iga planeedi elaniku kohta.

Kogutud digitaalse teabe kasv Ameerika Ühendriikides

Allikas: IDC

Märkimisväärse osa teabest loovad mitte inimesed, vaid robotid, mis suhtlevad nii omavahel kui ka teiste andmevõrkudega, nagu näiteks andurid ja nutiseadmed. Selliste kasvutempodega kahekordistub andmete hulk maailmas teadlaste prognooside kohaselt aastas. Virtuaalsete ja füüsiliste serverite arv maailmas kasvab seoses laienemise ja uute andmekeskuste loomisega kümnekordseks. Sellega seoses kasvab vajadus nende andmete tõhusa kasutamise ja rahaks muutmise järele. Kuna suurandmete kasutamine ettevõtluses nõuab suuri investeeringuid, peate olukorrast selgelt aru saama. Ja see on sisuliselt lihtne: saate oma ettevõtte efektiivsust suurendada, vähendades kulusid ja/või suurendades müüki.

Milleks on suurandmed?

Suurandmete paradigma määratleb kolm peamist ülesannete tüüpi.

• Salvestage ja hallake sadu terabaite või petabaite tavalisi andmeid relatsioonilised andmebaasid andmed ei võimalda tõhusat kasutamist.
• Tekstist, piltidest, videotest ja muud tüüpi andmetest koosneva struktureerimata teabe organiseerimine.
• Big Data analüüs, mis tõstatab küsimuse, kuidas töötada struktureerimata teabega, genereerida analüütilisi aruandeid ja rakendada ennustavaid mudeleid.

Big Data projektiturg ristub ärianalüüsi (BA) turuga, mille maht maailmas ulatus ekspertide sõnul 2012. aastal umbes 100 miljardi dollarini. See sisaldab võrgutehnoloogiate komponente, servereid, tarkvara ja tehnilised teenused.

Samuti on Big Data tehnoloogiate kasutamine oluline tulutagatise (RA) klassi lahenduste puhul, mis on mõeldud ettevõtete tegevuse automatiseerimiseks. Kaasaegsed sissetulekutagatise süsteemid sisaldavad ebakõlade tuvastamise ja andmete süvaanalüüsi tööriistu, mis võimaldavad õigeaegselt avastada võimalikke kahjusid või infomoonutusi, mis võivad kaasa tuua majandustulemuste languse. Selle taustal märgivad Venemaa ettevõtted, kinnitades nõudlust suurandmete tehnoloogiate järele siseturul, et tegurid, mis stimuleerivad suurandmete arengut Venemaal, on andmete kasv, juhtimisotsuste tegemise kiirenemine ja nende arvu suurenemine. kvaliteet.

Mis takistab suurandmetega töötamist

Tänapäeval analüüsitakse vaid 0,5% kogutud digitaalsetest andmetest, hoolimata sellest, et on objektiivselt kogu valdkonda hõlmavaid ülesandeid, mida saaks lahendada Big Data klassi analüütiliste lahendustega. Arenenud IT-turgudel on juba olemas tulemused, mille põhjal saab hinnata suurandmete kogumise ja töötlemisega seotud ootusi.

Vaadeldakse üht peamist Big Data projektide elluviimist takistavat tegurit lisaks kallile hinnale töödeldavate andmete valiku probleem: see tähendab, et määratakse kindlaks, milliseid andmeid on vaja hankida, salvestada ja analüüsida ning milliseid mitte arvestada.

Paljud ettevõtete esindajad märgivad, et raskused Big Data projektide elluviimisel on seotud spetsialistide – turundajate ja analüütikute – nappusega. Suurandmetesse tehtud investeeringute tasuvus sõltub otseselt süva- ja ennustava analüütikaga tegelevate töötajate töö kvaliteedist. Organisatsioonis juba olemasolevate andmete tohutut potentsiaali ei saa turundajad ise sageli vananenud äriprotsesside või sisemiste regulatsioonide tõttu tõhusalt kasutada. Seetõttu peavad ettevõtjad Big Data projekte sageli keeruliseks mitte ainult rakendamisel, vaid ka tulemuste – kogutud andmete väärtuse – hindamisel. Andmetega töötamise spetsiifika nõuab, et turundajad ja analüütikud pööraksid tähelepanu tehnoloogialt ja koostaksid aruandeid konkreetsete äriprobleemide lahendamiseks.

Tänu andmevoo suurele mahule ja kiirele kiirusele hõlmab andmete kogumise protsess ETL protseduure reaalajas. Viitamiseks:ETL - alatesIngliseVäljavõte, Teisendus, Laadige- sõna otseses mõttes "väljavõte, teisendamine, laadimine") - üks peamisi juhtimisprotsesse andmelaod, mis hõlmab: andmete väljavõtmist välistest allikatest, nende teisendamist ja puhastamine vastavalt vajadustele ETL-i tuleks vaadelda mitte ainult kui andmete ühest rakendusest teise ülekandmise protsessi, vaid ka kui vahendit andmete analüüsiks ettevalmistamiseks.

Ja siis peavad välistest allikatest tulevate andmete turvalisuse tagamise küsimustel olema kogutava info mahule vastavad lahendused. Kuna suurandmete analüüsimeetodid arenevad seni alles andmemahu kasvu järel, siis mängib olulist rolli analüütiliste platvormide omadus kasutada uusi andmete ettevalmistamise ja koondamise meetodeid. See viitab sellele, et näiteks potentsiaalsete klientide andmed või massiivne andmeladu, millel on veebipoodide saitidel tehtud klikkide ajalugu, võivad olla huvitavad erinevate probleemide lahendamiseks.

Raskused ei lõpe

Vaatamata kõikidele raskustele Big Data juurutamisel, kavatseb ettevõte sellesse valdkonda investeeringuid suurendada. Nagu Gartneri andmetest järeldub, siis 2013. aastal on 64% maailma suurimatest ettevõtetest juba investeerinud või plaanivad investeerida oma äri jaoks suurandmete valdkonna tehnoloogiate juurutamisse, 2012. aastal oli neid aga 58%. Gartneri uuringu kohaselt on suurandmetesse investeerivate tööstuste liidrid meediaettevõtted, telekomi-, pangandus- ja teenindusettevõtted. Raadiosagedustuvastusvahendite, logistika ja replikatsioonisüsteemide abil saadud andmete kasutamise osas on Big Data juurutamise edukaid tulemusi saavutanud juba paljud jaekaubandussektori suured tegijad (inglise keelest. täiendamine- kogumine, täiendamine - R&T), samuti lojaalsusprogrammidest. Edukas jaemüügikogemus stimuleerib teisi turusektoreid uusi leidma tõhusaid viise raha teenima suurandmeid, et muuta nende analüüs äriarenduse ressursiks. Tänu sellele vähenevad ekspertide prognooside kohaselt ajavahemikul kuni 2020. aastani investeeringud haldamisse ja salvestamisse andmegigabaidi kohta 2 dollarilt 0,2 dollarile, kuid suurandmete tehnoloogiliste omaduste uurimine ja analüüs kasvab vaid võrra. 40%.

Erinevates suurandmete valdkonna investeerimisprojektides esitatud kulud on erineva iseloomuga. Kuluartiklid sõltuvad teatud otsuste põhjal valitud tootetüüpidest. Suurima osa investeerimisprojektide kuludest langeb ekspertide hinnangul andmete kogumise, struktureerimise, puhastamise ja teabe haldamisega seotud toodetele.

Kuidas seda tehakse

Tarkvara ja riistvara kombinatsioone on palju, mis võimaldavad luua tõhusaid suurandmete lahendusi erinevatele ärivaldkondadele alates sotsiaalmeediast ja mobiilirakendustest kuni äriandmete kaevandamise ja visualiseerimiseni. Big Data oluliseks eeliseks on uute tööriistade ühilduvus ettevõtluses laialdaselt kasutatavate andmebaasidega, mis on eriti oluline valdkondadeüleste projektidega töötamisel, näiteks mitme kanaliga müügi korraldamine ja klienditugi.

Suurandmetega töötamise jada seisneb andmete kogumises, saadud teabe struktureerimises aruannete ja armatuurlaudade abil, arusaamade ja kontekstide loomises ning tegevussoovituste sõnastamises. Kuna suurandmetega töötamine toob endaga kaasa suuri kulutusi andmete kogumisele, mille tulemus pole ette teada, on põhiülesanne selgelt aru saada, milleks andmed on mõeldud, mitte aga kui palju neid on. Sellisel juhul muutub andmete kogumine konkreetsete probleemide lahendamiseks eranditult vajaliku teabe hankimise protsessiks.

Näiteks telekommunikatsiooniteenuse pakkujad koondavad tohutul hulgal andmeid, sealhulgas geograafilise asukoha andmeid, mida pidevalt uuendatakse. See teave võib pakkuda ärilist huvi reklaamiagentuuridele, kes võivad seda kasutada sihitud ja kohalike reklaamide esitamiseks, samuti jaemüüjatele ja pankadele. Sellised andmed võivad mängida olulist rolli jaemüügipunkti avamise otsustamisel teatud asukohas, tuginedes andmetele, mis käsitlevad võimsa sihtmärgiga inimeste voogu. Londonis on reklaamtahvlite tõhususe mõõtmise näide. Nüüd saab sellise reklaami ulatust mõõta vaid nii, et paigutada inimesed reklaamistruktuuride lähedusse spetsiaalse seadmega, mis loendab möödujaid. Võrreldes seda tüüpi reklaami efektiivsuse mõõtmisega on mobiilioperaatoril palju rohkem võimalusi - ta teab täpselt oma abonentide asukohta, teab nende demograafilisi tunnuseid, sugu, vanust, perekonnaseisu jne.

Selliste andmete põhjal avaneb tulevikus väljavaade reklaamsõnumi sisu muuta, kasutades selleks konkreetse stendilt mööduva inimese eelistusi. Kui andmed näitavad, et möödasõitja reisib palju, võib talle näidata kuurordi kuulutust. Jalgpallimatši korraldajad saavad fännide arvu hinnata alles siis, kui nad mängule tulevad. Aga kui neil oleks võimalus küsida mobiilioperaatorilt infot selle kohta, kus külastajad tund, päev või kuu enne matši olid, siis see annaks korraldajatele võimaluse planeerida kohti järgmiste mängude reklaamimiseks.

Teine näide on see, kuidas pangad saavad pettuste ärahoidmiseks kasutada suurandmeid. Kui klient väidab, et on kaardi kaotanud ja sellega ostu sooritades näeb pank reaalajas kliendi telefoni asukohta ostupiirkonnas, kus tehing toimub, saab pank kliendi soovil teavet kontrollida. et näha, kas ta üritas teda petta. Või vastupidine olukord, kui klient poes ostu sooritab, kui pank näeb, et tehinguks kasutatud kaart ja kliendi telefon on samas kohas, saab pank järeldada, et kaarti kasutab selle omanik. Tänu neile Big Data eelistele laienevad piirid, millega traditsioonilised andmeladud on varustatud.

Big Data lahenduste juurutamise edukaks otsuse tegemiseks on ettevõttel vaja arvutada investeerimisjuhtum ja see tekitab suuri raskusi paljude tundmatute komponentide tõttu. Sellistel juhtudel on analüütika paradoks mineviku põhjal tuleviku ennustamine, mille kohta andmed sageli puuduvad. Sel juhul on oluline oma esialgsete tegevuste selge planeerimine:

• Esiteks on vaja kindlaks määrata üks konkreetne äriprobleem, mille lahendamiseks Big Data tehnoloogiaid kasutama hakatakse, sellest ülesandest saab valitud kontseptsiooni õigsuse määramise tuum. Peate keskenduma selle ülesande jaoks spetsiifiliste andmete kogumisele ja kontseptsiooni tõestamine võimaldab teil kasutada erinevaid tööriistu, protsesse ja juhtimistehnikaid, mis aitavad teil tulevikus teadlikumaid otsuseid teha.
• Teiseks on ebatõenäoline, et ilma andmeanalüütikaoskuste ja -kogemuseta ettevõte suudab Big Data projekti edukalt ellu viia. Vajalikud teadmised tulenevad alati varasemast analüütikakogemusest, mis on peamine andmetega töötamise kvaliteeti mõjutav tegur. Andmete kasutamise kultuur on oluline, sest sageli selgub info analüüsimisel karm tõde ettevõtte kohta ning selle tõe aktsepteerimiseks ja sellega töötamiseks on vaja väljatöötatud meetodeid andmetega töötamiseks.
• Kolmandaks seisneb suurandmete tehnoloogiate väärtus arusaamise pakkumises. Häid analüütikuid jääb turul napiks. Neid on kombeks nimetada spetsialistideks, kes mõistavad sügavalt andmete ärilist tähendust ja oskavad neid õigesti kasutada. Andmeanalüüs on vahend ärieesmärkide saavutamiseks ning selleks, et mõista Big Data väärtust, on vaja sobivat käitumismudelit ja arusaamist oma tegevusest. Sel juhul pakuvad suurandmed tarbijate kohta hulgaliselt kasulikku teavet, mille põhjal saate teha oma ettevõttele kasulikke otsuseid.

Hoolimata asjaolust, et Venemaa suurandmete turg alles hakkab kujunema, viiakse üksikuid projekte selles valdkonnas juba üsna edukalt ellu. Mõned neist on edukad andmete kogumise valdkonnas, näiteks projektid Federal Tax Service'ile ja Tinkoff Credit Systems Bankile, teised aga andmete analüüsi ja tulemuste praktilise rakendamise osas: see on Synqera projekt.

Tinkoff Credit Systems Bank viis ellu projekti EMC2 Greenplumi platvormi juurutamiseks, mis on massiliselt paralleelarvutuse tööriist. ajal Viimastel aastatel pank on suurendanud nõudeid kogutud teabe töötlemise kiirusele ja andmete reaalajas analüüsimisele, mis on tingitud krediitkaardi kasutajate arvu suurest kasvutempost. Pank teatas kavatsusest laiendada Big Data tehnoloogiate kasutamist, eelkõige struktureerimata andmete töötlemisel ja töötamiseks erinevatest allikatest hangitud ettevõtteteabega.

Venemaa föderaalne maksuteenistus loob praegu föderaalse andmelao jaoks analüütilist kihti. Selle alusel ühe inforuum ja tehnoloogia statistilise ja analüütilise töötlemise jaoks maksuandmetele juurdepääsuks. Projekti elluviimise ajal tehakse tööd analüütilise teabe koondamiseks enam kui 1200 Föderaalse Maksuteenistuse Inspektsiooni kohaliku tasandi allikaga.

Teine huvitav näide reaalajas suurandmete analüüsist on Venemaa idufirma Synqera, mis arendas Simplate platvormi. Lahendus põhineb suurte andmemahtude töötlemisel, programm analüüsib infot klientide, nende ostuajaloo, vanuse, soo ja isegi meeleolu kohta. Kosmeetikapoodide võrgustikus olevate kassade juurde paigaldati sensoritega puuteekraanid, mis tunnevad ära klientide emotsioone. Programm tuvastab inimese tuju, analüüsib tema kohta käivat infot, määrab kellaaja ja skannib poe allahindluste andmebaasi, misjärel saadab ostjale suunatud sõnumeid kampaaniate ja eripakkumiste kohta. See lahendus suurendab klientide lojaalsust ja suurendab jaemüüjate müüki.

Kui rääkida edukatest välismaistest juhtumitest, siis selles osas pakub huvi Big Data tehnoloogiate kasutamise kogemus Dunkin`Donutsis, mis kasutab toodete müügiks reaalajas andmeid. Digitaalekraanid kauplustes näitavad pakkumisi, mis vahelduvad iga minuti järel, olenevalt kellaajast ja toodete saadavusest. Ettevõte saab kassakviitungitelt andmed, millised pakkumised on ostjatelt kõige enam vastukaja saanud. Selline lähenemine andmetöötlusele võimaldas suurendada kasumit ja kaupade käivet laos.

Nagu näitab Big Data projektide elluviimise kogemus, on see valdkond mõeldud kaasaegsete äriprobleemide edukaks lahendamiseks. Samas on suurandmetega töötamisel äriliste eesmärkide saavutamisel oluliseks teguriks õige strateegia valik, mis hõlmab nii tarbijate nõudmisi tuvastavat analüütikat kui ka uudsete tehnoloogiate kasutamist Big Data valdkonnas.

Econsultancy ja Adobe alates 2012. aastast iga-aastaselt ettevõtete turundajate seas läbiviidud ülemaailmse küsitluse kohaselt võivad inimeste Internetis käitumise kohta käivad "suured andmed" palju ära teha. Nad suudavad optimeerida offline äriprotsesse, aidata mõista, kuidas mobiilsete seadmete omanikud neid info leidmiseks kasutavad või lihtsalt “turunduse paremaks muutmiseks”, st. tõhusam. Veelgi enam, viimane funktsioon on aasta-aastalt üha populaarsem, nagu ilmneb meie esitatud diagrammist.

Internetiturundajate peamised töövaldkonnad kliendisuhete osas

Allikas: Econsultancy ja Adobe, avaldatud- emarketer.com

Pange tähele, et vastajate rahvusel pole suurt tähtsust. KPMG 2013. aastal läbiviidud küsitluse järgi on “optimistide”, s.o. Suurandmeid äristrateegia väljatöötamisel kasutanutest on 56% ning kõikumised piirkonniti on väikesed: Põhja-Ameerika riikide 63%-lt EMEA-s 50%-ni.

Suurandmete kasutamine maailma erinevates piirkondades

Allikas: KPMG, avaldatud- emarketer.com

Vahepeal meenutab turundajate suhtumine sellistesse "moetrendidesse" mõneti tuntud anekdooti:

Ütle mulle, Vano, kas sulle meeldivad tomatid?
- Mulle meeldib süüa, aga ma ei taha.

Hoolimata asjaolust, et turundajad suuliselt “armastavad” Big Datat ja näivad neid isegi kasutavat, on tegelikult “kõik keeruline”, sest nad kirjutavad sotsiaalvõrgustikes oma südamlikest kiindumustest.

Circle Researchi 2014. aasta jaanuaris Euroopa turundajate seas läbiviidud küsitluse kohaselt ei kasuta 4 vastajat 5-st Big Data (hoolimata sellest, et neile see loomulikult "armastab"). Põhjused on erinevad. Paadunud skeptikuid on vähe - 17% ja täpselt sama palju kui nende antipoode, st. need, kes vastavad enesekindlalt "jah". Ülejäänud on kõhklevad ja kahtlevad, "sood". Nad väldivad otseseid vastuseid usutavatel ettekäänetel nagu "mitte veel, aga varsti" või "ootame, kuni teised alustavad".

Big Data Use by Marketers, Europe, jaanuar 2014

Allikas:dnx, avaldatud -e-turundaja.com

Mis neid segadusse ajab? Puhtad pisiasjad. Mõned (täpselt pooled neist) lihtsalt ei usu neid andmeid. Teistel (neid on samuti palju - 55%) on raske "andmete" ja "kasutajate" komplekte omavahel seostada. Mõnel inimesel on lihtsalt (ütleme poliitkorrektselt) ettevõttesisene kaos: andmed tiirlevad turundusosakondade ja IT-struktuuride vahel. Teiste jaoks ei saa tarkvara tööde sissevooluga toime. Jne. Kuna koguosalused ületavad oluliselt 100%, siis on selge, et "mitmekordse barjääri" olukorda tuleb ette üsna sageli.

Barjäärid, mis takistavad suurandmete kasutamist turunduses

Allikas:dnx, avaldatud -e-turundaja.com

Seega peame tunnistama, et kuigi "Big Data" on suur potentsiaal, mida tuleb veel ära kasutada. Muide, see võib olla põhjuseks, miks Big Data on kaotamas "moetrendi" oreooli, nagu näitavad juba mainitud ettevõtte Econsultancy läbiviidud uuringu andmed.

Digiturunduse märkimisväärsemad trendid 2013-2014

Allikas: majandusnõustamine ja Adobe

Neid asendab teine ​​kuningas – sisuturundus. Kui kaua?

See ei tähenda, et Big Data on mingi põhimõtteliselt uus nähtus. Suured andmeallikad on olnud juba aastaid: andmebaasid klientide ostude, krediidiajaloo, elustiili kohta. Ja aastaid on teadlased neid andmeid kasutanud, et aidata ettevõtetel riske hinnata ja klientide tulevasi vajadusi ennustada. Tänaseks on olukord aga muutunud kahes aspektis:

Erinevate andmekogumite analüüsimiseks ja kombineerimiseks on tekkinud keerukamad tööriistad ja tehnikad;

Neid analüütilisi tööriistu täiendab uute andmeallikate laviin, mis on ajendatud praktiliselt kõigi andmete kogumise ja mõõtmise meetodite digitaliseerimisest.

Saadaoleva teabe hulk on struktureeritud uurimiskeskkonnas kasvanud teadlastele nii inspireeriv kui ka hirmutav. Tarbijate suhtumist püüavad kinni veebisaidid ja kõikvõimalik sotsiaalmeedia. Reklaamide vaatamise fakti ei salvesta mitte ainult digiboksid, vaid ka digisiltide ja teleriga suhtlevate mobiilseadmete abil.

Käitumisandmed (nagu kõnede arv, ostuharjumused ja ostud) on nüüd saadaval reaalajas. Seega saab suurt osa sellest, mis oli varem uuringute kaudu kättesaadav, nüüd õppida suurte andmeallikate kaudu. Ja kõiki neid teabevarasid genereeritakse pidevalt, sõltumata uurimisprotsessidest. Need muudatused panevad meid mõtlema, kas suured andmed võivad asendada klassikalise turu-uuringu.

Asi pole andmetes, vaid küsimustes ja vastustes

Enne klassikaliste uuringute surmanupu tellimist peame endale meelde tuletama, et kriitilise tähtsusega pole mitte ühegi konkreetse andmevara olemasolu, vaid midagi muud. Mida täpselt? Meie võime küsimustele vastata on mis. Üks naljakas seik uue suurandmete maailma juures on see, et uute teabevarade tulemused tekitavad veelgi rohkem küsimusi ja nendele küsimustele saab tavaliselt kõige paremini vastata traditsioonilised uuringud. Seega näeme suurandmete kasvades paralleelset kasvu "väikeandmete" kättesaadavuses ja nõudluses, mis võivad anda vastuseid suurandmete maailmast pärit küsimustele.

Mõelge olukorrale: suur reklaamija jälgib pidevalt poe liiklust ja müüki reaalajas. Olemasolevad uurimismeetodid (mille puhul küsime paneeli liikmetelt nende ostumotiivide ja müügikohtade käitumise kohta) aitavad meil konkreetseid kliendisegmente paremini sihtida. Neid tehnikaid saab laiendada, et hõlmata laiemat valikut suurandmevarasid kuni punktini, kus suurandmed muutuvad passiivseks jälgimisvahendiks ja uurimistöö on meetod pidevalt keskendunud uuringuteks muutuste või sündmuste kohta, mis nõuavad uurimist. Nii võivad suured andmed vabastada uurimistöö vaevast. Esmased uuringud ei tohiks enam keskenduda sellele, mis toimub (suured andmed seda teevad). Selle asemel võivad esmased uuringud keskenduda selgitamisele, miks me näeme suundumusi või suundumustest kõrvalekaldeid. Teadlane saab vähem mõelda andmete hankimisele ja rohkem sellele, kuidas neid analüüsida ja kasutada.

Samas näeme suurandmeid lahendamas üht meie suurimat probleemi – liiga pika uurimistöö probleemi. Uuringute endi uurimine on näidanud, et liiga ülepaisutatud uurimisvahenditel on negatiivne mõju andmete kvaliteedile. Kuigi paljud eksperdid on seda probleemi juba ammu tunnistanud, vastasid nad alati, öeldes: "Aga ma vajan seda teavet tippjuhtkonna jaoks" ja pikad küsitlused jätkusid.

Suurandmete maailmas, kus kvantitatiivseid näitajaid on võimalik saada passiivse vaatluse teel, muutub see teema vastuoluliseks. Jällegi, vaatame kõiki neid tarbimisega seotud uuringuid. Kui suurandmed annavad meile passiivse vaatluse kaudu aimu tarbimisest, siis küsitluste vormis esmased uuringud sedalaadi infot enam koguma ei pea ning lõpuks saame oma nägemust lühiküsitlustest toetada mitte ainult heade soovidega, vaid ka millegagi. päris.

Big Data vajab teie abi

Lõpuks on "suur" vaid üks suurandmete omadusi. Tunnus "suur" viitab andmete suurusele ja ulatusele. Loomulikult on see peamine omadus, kuna nende andmete hulk ületab kõik, millega oleme varem töötanud. Kuid nende uute andmevoogude muud omadused on samuti olulised: need on sageli halvasti vormindatud, struktureerimata (või parimal juhul osaliselt struktureeritud) ja täis ebaselgust. Arenev andmehalduse valdkond, mida nimetatakse tabavalt entiteedi analüütikaks, püüab lahendada suurandmete mürast ülesaamise probleemi. Selle ülesanne on neid andmekogumeid analüüsida ja välja selgitada, kui palju vaatlusi on sama isiku kohta, millised vaatlused on aktuaalsed ja millised on kasutatavad.

Seda tüüpi andmete puhastamine on vajalik müra või vigaste andmete eemaldamiseks suurte või väikeste andmevaradega töötamisel, kuid sellest ei piisa. Samuti peame oma varasemate kogemuste, analüüsi ja kategooriateadmiste põhjal looma konteksti suurte andmevarade ümber. Tegelikult viitavad paljud analüütikud suutlikkusele hallata suurandmetele omast ebakindlust kui konkurentsieelise allikat, kuna see võimaldab teha paremaid otsuseid.

Ja siin ei vabane primaaruuringud mitte ainult suurandmete rutiinist, vaid panustavad ka sisuloome ja -analüüsi suurandmete raames.

Selle suurepärane näide on meie põhimõtteliselt erineva brändikapitali raamistiku rakendamine sotsiaalmeedias. (me räägime väljatöötatud aastalMillward Pruunuus lähenemine brändi väärtuse mõõtmiseleThe Mõtetult Erinevad Raamistik- "Oluliste erinevuste paradigma" -R & T ). Seda mudelit on testitud käitumise suhtes konkreetsetel turgudel, rakendatud standardsetel alustel ning seda on lihtne rakendada teistes turundussuundades ja infosüsteemid ah, et toetada otsuste langetamist. Teisisõnu, meie uuringupõhisel brändikapitali mudelil (ehkki mitte ainult uuringuga) on kõik omadused, mis on vajalikud suurandmete struktureerimata, lahkneva ja ebakindla olemuse ületamiseks.

Mõelge sotsiaalmeedia pakutavatele andmetele tarbijate sentimendi kohta. Tarbijate sentimentide töötlemata tipud ja langused on sageli minimaalselt korrelatsioonis offline brändiväärtuse ja käitumise mõõdikutega: andmetes on lihtsalt liiga palju müra. Kuid me saame seda müra vähendada, rakendades oma tarbijatunde, kaubamärgi eristamise, dünaamika ja eristamise mudeleid toores tarbijate sentimentandmetele – see on viis sotsiaalmeedia andmete töötlemiseks ja koondamiseks nendes mõõtmetes.

Kui andmed on meie raamistiku mudeli järgi korraldatud, kattuvad tuvastatud suundumused tavaliselt võrguühenduseta brändiväärtuse ja käitumise mõõdikutega. Põhimõtteliselt ei saa sotsiaalmeedia andmed enda eest rääkida. Nende kasutamine sellel eesmärgil nõuab meie teadmisi ja brändikeskseid mudeleid. Kui sotsiaalmeedia pakub meile ainulaadset teavet keeles, mida tarbijad kaubamärkide kirjeldamiseks kasutavad, peame kasutama seda keelt oma uurimistöös, et muuta esmane uuring palju tõhusamaks.

Maksuvaba uurimistöö eelised

See toob meid tagasi tõsiasja juurde, et suurandmed ei asenda mitte niivõrd uurimistööd, kuivõrd vabastavad selle. Teadlased vabanevad vajadusest luua iga uue juhtumi jaoks uus uuring. Pidevalt kasvavaid suurandmevarasid saab kasutada mitmes uurimisteemas, võimaldades järgnevatel esmastel uuringutel teemasse süveneda ja lünki täita. Teadlased vabanevad vajadusest tugineda ülepaisutatud küsitlustele. Selle asemel saavad nad kasutada lühikesi uuringuid ja keskenduda kõige olulisematele parameetritele, mis parandab andmete kvaliteeti.

Selle väljaandega saavad teadlased kasutada oma tõestatud põhimõtteid ja ideid suurandmete varade täpsuse ja tähenduse lisamiseks, mis toob kaasa uued uuringuvaldkonnad. See tsükkel peaks viima mitmete strateegiliste küsimuste sügavamale mõistmiseni ja lõpuks liikumiseni selle poole, mis peaks alati olema meie peamine eesmärk – teavitada ja parandada brändi ja kommunikatsiooni puudutavate otsuste kvaliteeti.

Andmete kasvu pidev kiirenemine on tänapäevase reaalsuse lahutamatu osa. Sotsiaalvõrgustikud, mobiilseadmed, mõõteseadmete andmed, äriteave on vaid mõned allikate tüübid, mis võivad genereerida hiiglaslikke andmemahtusid.

Tänapäeval on mõiste Big Data (Big Data) muutunud üsna tavaliseks. Kõik ei ole veel teadlikud, kui kiiresti ja põhjalikult muudavad suured andmetöötlustehnoloogiad ühiskonna kõige erinevamaid aspekte. Erinevates valdkondades toimuvad muutused, mis toovad kaasa uusi probleeme ja väljakutseid, sealhulgas infoturbe vallas, kus esiplaanil peaksid olema sellised olulised aspektid nagu konfidentsiaalsus, terviklikkus, käideldavus jne.

Kahjuks kasutavad paljud kaasaegsed ettevõtted suurandmete tehnoloogiat, loomata selleks sobivat infrastruktuuri, mis võimaldaks nende kogutavate ja salvestatavate tohutute andmemahtude usaldusväärset talletamist. Teisest küljest areneb praegu kiiresti plokiahela tehnoloogia, mis on mõeldud selle ja paljude muude probleemide lahendamiseks.

Mis on suurandmed?

Tegelikult peitub mõiste definitsioon pinnal: “suured andmed” tähendab väga suurte andmemahtude haldamist ja analüüsimist. Laiemalt on see teave, mida selle suurte mahtude tõttu ei saa töödelda klassikaliste meetoditega.

Mõiste Big Data ise on ilmunud suhteliselt hiljuti. Google Trendsi teenuse andmetel toimus termini populaarsuse aktiivne kasv 2011. aasta lõpus:

2010. aastal hakkasid ilmuma esimesed tooted ja lahendused, mis on otseselt seotud suurandmete töötlemisega. Aastaks 2011 kasutab enamik suurimaid IT-ettevõtteid, sealhulgas IBM, Oracle, Microsoft ja Hewlett-Packard, oma äristrateegiates aktiivselt mõistet Big Data. Järk-järgult hakkavad infotehnoloogia turu analüütikud seda kontseptsiooni aktiivselt uurima.

Praegu on see termin saavutanud märkimisväärse populaarsuse ja seda kasutatakse aktiivselt erinevates valdkondades. Siiski ei saa kindlalt väita, et Big Data on mingi põhimõtteliselt uus nähtus – vastupidi, suurandmete allikad on eksisteerinud juba aastaid. Turunduses on nendeks andmebaasid klientide ostude, krediidiajaloo, elustiili valikute ja muu kohta.Analüütikud on aastate jooksul neid andmeid kasutanud, et aidata ettevõtetel prognoosida tulevasi klientide vajadusi, hinnata riske, kujundada tarbijate eelistusi jne.

Praegu on olukord muutunud kahes aspektis:

- on olemas keerukamad vahendid ja meetodid erinevate andmehulkade analüüsimiseks ja võrdlemiseks;
- analüüsivahendeid on täiendatud paljude uute andmeallikatega, mis on tingitud laialdasest digitehnoloogiatele üleminekust, samuti uutest andmete kogumise ja mõõtmise meetoditest.

Teadlased ennustavad, et Big Data tehnoloogiaid hakatakse kõige aktiivsemalt kasutama tootmises, tervishoius, kaubanduses, valitsuses ning paljudes muudes valdkondades ja tööstusharudes.

Suurandmed ei ole mingi konkreetne andmemassiivi, vaid meetodite kogum nende töötlemiseks. Suurandmete määravaks tunnuseks pole mitte ainult nende maht, vaid ka muud kategooriad, mis iseloomustavad andmetöötluse ja -analüüsi töömahukaid protsesse.

Töötlemise algandmed võivad olla näiteks:

- Interneti-kasutajate käitumislogid;
- asjade internet;
- sotsiaalmeedia;
- meteoroloogilised andmed;
- suurimate raamatukogude digiteeritud raamatud;
- sõidukite GPS-signaalid;
- teave pangaklientide tehingute kohta;
- andmed mobiilsidevõrgu abonentide asukoha kohta;
- info ostude kohta suurtes jaekettides jne.

Aja jooksul andmete hulk ja nende allikate hulk pidevalt kasvab ning selle taustal täiustatakse uusi ja olemasolevaid infotöötluse meetodeid.

Suurandmete põhiprintsiibid:

- Horisontaalne skaleeritavus – andmekogumid võivad olla tohutud, mis tähendab, et suur andmetöötlussüsteem peab nende mahtude kasvades dünaamiliselt laienema.
- Veataluvus – isegi mõne seadme elemendi rikke korral peab kogu süsteem jääma tööle.
- Andmete asukoht. Suurtes hajutatud süsteemides jaotatakse andmed tavaliselt suure hulga masinate peale. Siiski töödeldakse andmeid võimaluse piires ja ressursside säästmiseks sageli samas serveris, kus neid hoitakse.

Kõigi kolme põhimõtte stabiilseks toimimiseks ja sellest tulenevalt suurandmete salvestamise ja töötlemise kõrge efektiivsuse tagamiseks on vaja uusi läbimurdelisi tehnoloogiaid, nagu näiteks plokiahel.

Milleks on suurandmed?

Suurandmete ulatus laieneb pidevalt:

- Suurandmeid saab kasutada meditsiinis. Seega on võimalik patsiendile diagnoosi panna mitte ainult haigusloo analüüsi põhjal, vaid võttes arvesse ka teiste arstide kogemusi, informatsiooni patsiendi elukoha keskkonnaseisundi kohta ja palju muud. tegurid.
- Big Data tehnoloogiaid saab kasutada mehitamata sõidukite liikumise korraldamiseks.
- Töödeldes suuri andmemahtusid, tunned foto- ja videomaterjalides ära näod.
- Big Data tehnoloogiaid saavad kasutada jaemüüjad – kaubandusettevõtted saavad aktiivselt kasutada andmemassiive alates sotsiaalsed võrgustikud oma reklaamikampaaniate tõhusaks kohandamiseks, mida saab maksimaalselt sihtida konkreetsele tarbijasegmendile.
- Seda tehnoloogiat kasutatakse aktiivselt valimiskampaaniate korraldamisel, sealhulgas ühiskonna poliitiliste eelistuste analüüsimisel.
- Big Data tehnoloogiate kasutamine on asjakohane sissetulekugarantii (RA) klassi lahenduste puhul, mis sisaldavad ebakõlade tuvastamise ja andmete süvaanalüüsi tööriistu, mis võimaldavad õigeaegselt tuvastada võimalikud infokadud või moonutused, mis võivad viia vähenemiseni. majandustulemustes.
- Telekommunikatsiooni pakkujad saavad koondada suurandmeid, sealhulgas geograafilist asukohta; see teave võib omakorda pakkuda ärilist huvi reklaamiagentuuridele, kes saavad seda kasutada sihitud ja kohaliku reklaami kuvamiseks, aga ka jaemüüjatele ja pankadele.
"Suurandmetel võib olla oluline roll otsustamisel, kas avada jaemüügipunkt konkreetses asukohas, tuginedes andmetele võimsa sihtrühma inimeste voo olemasolu kohta.

Seega peitub Big Data tehnoloogia kõige ilmsem praktiline rakendus turunduse valdkonnas. Interneti arenedes ja kõikvõimalike sidevahendite levikuga muutuvad käitumisandmed (nagu kõnede arv, ostuharjumused ja ostud) reaalajas kättesaadavaks.

Suurandmete tehnoloogiaid saab tõhusalt kasutada ka rahanduses, sotsiaaluuringutes ja paljudes muudes valdkondades. Eksperdid väidavad, et kõik need suurandmete kasutamise võimalused on vaid jäämäe nähtav osa, kuna neid tehnoloogiaid kasutatakse palju suuremas mahus nii luure- ja vastuluures, sõjanduses kui ka kõiges, mida tavaliselt infosõdadeks nimetatakse.

V üldine ülevaade Suurandmetega töötamise järjekord koosneb andmete kogumisest, saadud teabe struktureerimisest aruannete ja armatuurlaudade abil ning sellele järgnevast tegevussoovituste sõnastusest.

Vaatleme põgusalt Big Data tehnoloogiate kasutamise võimalusi turunduses. Teatavasti on turundaja jaoks informatsioon peamine prognoosimise ja strateegia koostamise tööriist. Suurandmete analüüsi on pikka aega edukalt kasutatud sihtrühma, huvide, nõudluse ja tarbijate aktiivsuse määramiseks. Eelkõige võimaldab suurandmete analüüs kuvada reklaame (RTB oksjonimudeli alusel - Real Time Bidding) ainult neile tarbijatele, kes on huvitatud tootest või teenusest.

Suurandmete kasutamine turunduses võimaldab ärimeestel:

- õppida paremini tundma oma tarbijaid, meelitada ligi sarnast vaatajaskonda Internetis;
- hinnata klientide rahulolu taset;
- mõista, kas pakutav teenus vastab ootustele ja vajadustele;
- leida ja rakendada uusi viise klientide usalduse suurendamiseks;
- luua projekte, mille järele on nõudlust jne.

Näiteks teenus Google.trends võib turundajale anda prognoosi konkreetse toote hooajalise nõudluse aktiivsuse, kõikumiste ja klikkide geograafia kohta. Kui võrrelda seda teavet oma saidil vastava pistikprogrammi kogutud statistiliste andmetega, saate koostada reklaamieelarve jaotamise plaani, näidates ära kuu, piirkonna ja muud parameetrid.

Paljude teadlaste arvates peitub just Big Data segmenteerimises ja kasutamises Trumpi valimiskampaania edu. USA tulevase presidendi meeskond suutis publikut õigesti jagada, mõista selle soove ja näidata täpselt seda sõnumit, mida valijad tahavad näha ja kuulda. Niisiis sai Trumpi võit Irina Belõševa Data-Centric Alliance’ist suures osas võimalikuks tänu ebastandardsele lähenemisele internetiturundusele, mis põhines suurandmetel, psühho-käitumuslikul analüüsil ja personaliseeritud reklaamil.

Trumpi poliitilised strateegid ja turundajad kasutasid spetsiaalselt väljatöötatud matemaatilist mudelit, mis võimaldas kõigi USA valijate andmeid sügavuti analüüsida, et neid süstematiseerida, tehes ülitäpse sihtimise mitte ainult geograafia, vaid ka kavatsuste, valijate huvide, nende psühhotüübi järgi. käitumisomadused jne. Pärast seda korraldasid turundajad iga kodanikurühmaga personaalse suhtluse, lähtudes nende vajadustest, meeleoludest, poliitilistest vaadetest, psühholoogilised omadused ja isegi nahavärvi, kasutades oma sõnumit peaaegu iga üksiku valija kohta.

Mis puutub Hillary Clintonisse, siis ta kasutas oma kampaanias sotsioloogilistel andmetel ja standardturundusel põhinevaid "aeg-testitud" meetodeid, jagades valijad vaid formaalselt homogeensetesse rühmadesse (mehed, naised, afroameeriklased, hispaanlased, vaesed, rikkad jne). ) ...

Selle tulemusena võitis see, kes hindas uute tehnoloogiate ja analüüsimeetodite potentsiaali. Tähelepanuväärne on, et Hillary Clintoni kampaaniakulud olid kaks korda suuremad kui tema vastasel:

Andmed: Pew Research

Big Data kasutamise peamised probleemid

Lisaks kallile hinnale on üheks peamiseks teguriks, mis suurandmete juurutamist erinevates valdkondades takistab, probleem töödeldavate andmete valikul ehk kindlaks teha, milliseid andmeid on vaja välja tõmmata, salvestada ja analüüsida ning milliseid. ei võeta arvesse.

Teine suurandmete probleem on eetiline. Teisisõnu tekib loomulik küsimus: kas sellist andmete kogumist (eriti ilma kasutaja teadmata) võib pidada privaatsuspiiride rikkumiseks?

Pole saladus, et Google'i ja Yandexi otsingumootoritesse salvestatud teave võimaldab IT-hiiglastel oma teenuseid pidevalt täiustada, muuta need kasutajasõbralikuks ja luua uusi interaktiivseid rakendusi. Selleks koguvad otsingumootorid kasutajaandmeid kasutajate tegevuse kohta Internetis, IP-aadresse, andmeid geograafilise asukoha, huvide ja veebiostude kohta, isikuandmeid, meilisõnumeid jne. Kõik see võimaldab teil kuvada kontekstuaalset reklaami vastavalt kasutaja käitumisele Internet. Samas kasutajate nõusolekut selleks enamasti ei küsita ning valikut, millist infot enda kohta esitada, ei anta. See tähendab, et vaikimisi koguvad Big Data kõike, mis seejärel salvestatakse nende saitide serveritesse.

See toob kaasa järgmise olulise probleemi, mis on seotud andmete säilitamise ja kasutamise turvalisuse tagamisega. Kas näiteks konkreetne analüüsiplatvorm, millele tarbijad oma andmed automaatselt edastavad, on turvaline? Lisaks märgivad paljud ettevõtete esindajad kõrgelt kvalifitseeritud analüütikute ja turundajate puudust, kes suudavad suure andmemahuga tõhusalt opereerida ja nende abil konkreetseid äriprobleeme lahendada.

Vaatamata kõikidele raskustele Big Data juurutamisel, kavatseb ettevõte sellesse valdkonda investeeringuid suurendada. Gartneri uuringu kohaselt on suurandmetesse investeerivate tööstusharude juhid meedia-, jaekaubandus-, telekomi-, pangandus- ja teenindusettevõtted.

Plokiahela tehnoloogiate ja suurandmete koosmõju väljavaated

Suurandmetega integreerimisel on sünergiline mõju ja see avab ärile palju uusi võimalusi, sealhulgas võimaldab:

- saada ligipääs üksikasjalikule teabele tarbija eelistuste kohta, mille põhjal on võimalik koostada üksikasjalikud analüütilised profiilid konkreetsete tarnijate, kaupade ja tootekomponentide kohta;
- integreerida üksikasjalikud andmed tehingute ja teatud kaubarühmade tarbimise statistika kohta erinevate kasutajakategooriate kaupa;
- saada üksikasjalikke analüütilisi andmeid tarne- ja tarbimisahelate kohta, kontrollida toote kadusid transportimisel (näiteks teatud tüüpi kaupade kuivamisest ja aurustumisest tingitud kaalukadu);
– võidelda toodete võltsimise vastu, tõhustada rahapesu ja pettuste vastast võitlust jne.

Juurdepääs üksikasjalikele andmetele kaupade kasutamise ja tarbimise kohta paljastab märkimisväärselt Big Data tehnoloogia potentsiaali peamiste äriprotsesside optimeerimisel, regulatiivsete riskide vähendamisel ning avab uusi võimalusi raha teenimiseks ja praegustele tarbijaeelistustele kõige paremini vastavate toodete loomiseks.

Teatavasti näitavad plokiahela tehnoloogia vastu juba praegu märkimisväärset huvi suurimate finantsasutuste esindajad, sh jne. Šveitsi finantsholdingu UBS IT-juhi Oliver Bussmanni sõnul on plokiahela tehnoloogia võimeline "vähendada plokiahela töötlemise aega. tehingud mitmest päevast mitme minutini. ”…

Big Data tehnoloogiat kasutava plokiahela analüüsi potentsiaal on tohutu. Hajutatud pearaamatu tehnoloogia tagab teabe terviklikkuse, aga ka kogu tehingute ajaloo usaldusväärse ja läbipaistva salvestamise. Big Data annab omakorda uusi tööriistu efektiivseks analüüsiks, prognoosimiseks, majanduse modelleerimiseks ning vastavalt sellele avab uusi võimalusi tasakaalustatumate juhtimisotsuste tegemiseks.

Plokiahela ja suurandmete tandemit saab tervishoius edukalt kasutada. Teatavasti suurendavad ebatäiuslikud ja mittetäielikud andmed patsiendi tervise kohta oluliselt valediagnoosimise ja ebaõige ravi riski. Kriitilised andmed raviasutuste klientide tervise kohta peaksid olema võimalikult turvalised, muutumatute omadustega, kontrollitavad ega tohi olla manipuleeritavad.

Plokiahelas olev teave vastab kõigile loetletud nõuetele ning võib olla kvaliteetsete ja usaldusväärsete lähteandmetena süvaanalüüsiks, kasutades uusi suurandmete tehnoloogiaid. Lisaks saaksid raviasutused plokiahela abil vahetada usaldusväärseid andmeid kindlustusseltside, justiitsasutuste, tööandjate, teadusasutuste ja teiste meditsiiniinfot vajavate organisatsioonidega.

Suurandmed ja infoturve

Laiemas tähenduses on infoturve teabe ja seda toetava infrastruktuuri kaitsmine juhuslike või tahtlike looduslike või tehislike negatiivsete mõjude eest.

Infoturbe valdkonnas seisavad Big Data ees järgmised väljakutsed:

- andmekaitse ja nende terviklikkuse tagamise probleemid;
- välise sekkumise ja konfidentsiaalse teabe lekkimise oht;
- konfidentsiaalse teabe ebaõige säilitamine;
- oht kaotada teavet näiteks kellegi pahatahtliku tegevuse tõttu;
- isikuandmete väärkasutamise oht kolmandate isikute poolt jne.

Üks peamisi suurandmete probleeme, mille lahendamiseks plokiahel on loodud, peitub infoturbe valdkonnas. Kõigi oma põhiprintsiipide järgimise tagamisel saab hajutatud pearaamatu tehnoloogia garanteerida andmete terviklikkuse ja usaldusväärsuse ning tänu ühe tõrkepunkti puudumisele muudab plokiahel infosüsteemide töö stabiilseks. Hajutatud pearaamatutehnoloogia võib aidata lahendada andmete usaldamise probleemi ning pakkuda ka võimalust neid universaalselt vahetada.

Info on väärtuslik vara, mis tähendab, et infoturbe põhiaspektide tagamine peaks olema esiplaanil. Konkurentsis ellujäämiseks peavad ettevõtted ajaga kaasas käima, mis tähendab, et nad ei saa eirata potentsiaalseid võimalusi ja eeliseid, mida plokiahela tehnoloogia ja Big Data tööriistad pakuvad.

Mõiste "Suur kohting" võib tänapäeval olla äratuntav, kuid selle ümber on endiselt palju segadust, mida see tegelikult tähendab. Tõepoolest, kontseptsioon areneb ja muudetakse pidevalt, kuna see jääb liikumapanevaks jõuks paljude käimasolevate digitaalse transformatsiooni lainete taga, sealhulgas tehisintellekt, andmeteadus ja asjade internet. Mis on aga suurandmete tehnoloogia ja kuidas see meie maailma muudab? Proovime selle välja mõelda, et selgitada suurandmete tehnoloogia olemust ja selle tähendust lihtsate sõnadega.

Kõik sai alguse andmemahu plahvatuslikust kasvust, mida oleme loonud digiajastu algusest saadik. See on suuresti tingitud arvutite, Interneti ja tehnoloogiate arengust, mis on võimelised meid ümbritsevast maailmast andmeid "näppama". Andmed üksi ei ole uus leiutis. Juba enne arvutite ja andmebaaside ajastut kasutasime paberkandjal tehingukirjeid, kliendikirjeid ja arhiivifaile, mis on andmed. Arvutid, eriti arvutustabelid ja andmebaasid, on muutnud meie jaoks lihtsaks andmete suuremahulise salvestamise ja korraldamise. Ühtäkki muutus teave kättesaadavaks ühe hiireklõpsuga.

Siiski oleme algsetest tabelitest ja andmebaasidest kaugele jõudnud. Täna loome iga kahe päeva järel nii palju andmeid, kui saime algusest kuni 2000. aastani. Täpselt nii, iga kahe päeva tagant. Ja meie loodud andmete hulk kasvab jätkuvalt kiiresti; aastaks 2020 suureneb saadaoleva digitaalse teabe hulk umbes 5 zetabaidilt 20 zetabaidile.

Tänapäeval jätab peaaegu iga meie tegevus oma jälje. Loome andmeid alati, kui läheme võrku, kui edastame oma otsingumooduliga varustatud nutitelefone, kui räägime oma sõpradega suhtlusvõrgustike või vestluste kaudu jne. Lisaks kasvab kiiresti ka masinaga genereeritud andmete hulk. Andmeid genereeritakse ja levitatakse siis, kui meie nutikodu seadmed suhtlevad omavahel või oma koduserveritega. Tehaste ja tehaste tööstusseadmed on järjest enam varustatud anduritega, mis koguvad ja edastavad andmeid.

Mõiste "suurandmed" viitab kõigi nende andmete kogumisele ja meie võimele kasutada neid enda huvides paljudes valdkondades, sealhulgas äritegevuses.

Kuidas Big-Data tehnoloogia töötab?

Suur kohting toimib põhimõttel: mida rohkem teate konkreetsest teemast või nähtusest, seda usaldusväärsemalt saate jõuda uue arusaamiseni ja ennustada, mis tulevikus juhtub. Rohkemate andmepunktide võrdlemine loob seoseid, mis olid varem peidetud, ning need seosed võimaldavad meil õppida ja teha paremaid otsuseid. Enamasti tehakse seda protsessi kaudu, mis hõlmab mudelite koostamist andmetest, mida saame koguda, ja seejärel simulatsiooni, mis kohandab iga kord andmepunktide väärtusi ja jälgib, kuidas need meie tulemusi mõjutavad. See protsess on automatiseeritud – kaasaegsed analüütikatehnoloogiad käitavad miljoneid neid simulatsioone, kohandades kõiki võimalikke muutujaid, kuni nad leiavad mudeli – või idee –, mis aitab lahendada probleemi, mille kallal nad töötavad.

Bill Gates ripub ühe CD paberisisu kohal

Kuni viimase ajani piirdusid andmed tabelite või andmebaasidega – ja kõik oli väga korralik ja korralik. Kõike, mida ei olnud lihtne ridadeks ja veergudeks korraldada, peeti liiga keeruliseks töötamiseks ja seda eirati. Salvestus- ja analüütikaalased edusammud tähendavad aga seda, et suudame jäädvustada, salvestada ja töödelda suuri erinevat tüüpi andmeid. Seetõttu võivad tänapäeval mõisted "andmed" tähendada kõike alates andmebaasidest kuni fotode, videote, helisalvestiste, kirjalike tekstide ja andurite andmeteni.

Kõigi nende segaste andmete mõistmiseks kasutavad Big Datil põhinevad projektid sageli tehisintellekti ja masinõpet kasutades tipptasemel analüütikat. Arvutite õpetamine määrama, mis konkreetsed andmed on – näiteks mustrituvastuse või töötlemise kaudu loomulik keel- saame õpetada neid mudeleid defineerima palju kiiremini ja usaldusväärsemalt kui me ise.

Kuidas suurt kohtingut kasutatakse?

See pidevalt kasvav anduriandmete, teksti-, hääle-, foto- ja videoandmete teabevoog tähendab, et saame nüüd kasutada andmeid viisil, mida paar aastat tagasi polnud võimalik ette kujutada. See muudab ärimaailma peaaegu igas tööstusharus. Tänapäeva ettevõtted suudavad uskumatu täpsusega ennustada, millist tüüpi kliendid soovivad ostu sooritada ja millal. Samuti aitavad Big Data ettevõtetel oma äri palju tõhusamalt ajada.

Isegi väljaspool ärivaldkonda aitavad Big-Dataga seotud projektid meie maailma mitmel viisil muuta:

• Tervishoiu parandamine – andmepõhine meditsiin on võimeline analüüsima tohutul hulgal meditsiinilist teavet ja pilte mudelite jaoks, mis aitavad haigusi varakult avastada ja uusi ravimeid välja töötada.
• Loodus- ja inimtegevusest tingitud katastroofide prognoosimine ja neile reageerimine. Andurite andmeid saab analüüsida, et ennustada, kus maavärinad tõenäoliselt aset leiavad, ja inimeste käitumismustrid annavad vihjeid, mis aitavad organisatsioonidel ellujäänuid aidata. Big Datesi tehnoloogiat kasutatakse ka põgenikevoolu jälgimiseks ja kaitsmiseks sõjapiirkondadest üle kogu maailma.
• Kuritegevuse ennetamine. Politseijõud võtavad üha enam kasutusele andmepõhiseid strateegiaid, mis hõlmavad nende endi luureandmeid ja avatud lähtekoodiga teavet, et kasutada paremini ressursse ja võtta vajaduse korral ära stiimuleid.

Parimad raamatud Big-Data tehnoloogia kohta

• Kõik valetavad. Otsingumootorid, suurandmed ja Internet teavad sinust kõike.
• SUURED ANDMED. Kogu tehnika ühes raamatus.
• Õnnetööstus. Kuidas suurandmed ja uued tehnoloogiad aitavad toodetele ja teenustele emotsioone lisada.
• Revolutsioon analüütikas. Kuidas täiustada oma äri Big Data ajastul operatiivanalüütika abil.

Probleemid Big-Dataga

Suur kohting annab meile enneolematuid teadmisi ja võimalusi, kuid tõstatab ka probleeme ja küsimusi, mis vajavad lahendamist:

• Andmete konfidentsiaalsus – Big-Data, mida me täna genereerime, sisaldab palju teavet meie isikliku elu kohta, mille konfidentsiaalsusele on meil täielik õigus. Üha enam palutakse meil leida tasakaal avaldatavate isikuandmete hulga ning Big Date'i rakenduste ja teenuste pakutava mugavuse vahel.
• Andmekaitse – isegi kui otsustame, et oleme rahul sellega, et kellelgi on meie andmed kindlal eesmärgil, kas me saame usaldada talle oma andmete turvalisuse ja turvalisuse?
• Andmete diskrimineerimine – kui kogu teave on teada, kas on aktsepteeritav diskrimineerida inimesi nende isikliku elu andmete põhjal? Kasutame juba krediidiskoore, et otsustada, kes saab raha laenata, ja ka kindlustus sõltub suuresti andmetest. Peaksime eeldama, et meid analüüsitakse ja hinnatakse üksikasjalikumalt, kuid tuleks hoolitseda selle eest, et see ei muudaks keerulisemaks nende elu, kellel on vähem ressursse ja piiratud juurdepääs teabele.

Nende ülesannete täitmine on suurkuupäevade oluline osa ja nendega peavad tegelema organisatsioonid, kes soovivad selliseid andmeid kasutada. Selle tegemata jätmine võib muuta ettevõtte haavatavaks mitte ainult maine, vaid ka juriidilise ja rahalise poole pealt.

Vaadates tulevikku

Andmed muudavad meie maailma ja meie elu enneolematu kiirusega. Kui Big-Data on täna selleks kõigeks võimeline, siis kujutage ette, milleks see homme võimeline on. Meile saadaolevate andmete hulk ainult kasvab ja analüütika tehnoloogia muutub veelgi arenenumaks.

Ettevõtete jaoks muutub Big Dati rakendamise võimalus lähiaastatel üha kriitilisemaks. Ainult need ettevõtted, kes peavad andmeid strateegiliseks varaks, jäävad ellu ja arenevad. Need, kes seda revolutsiooni ignoreerivad, võivad maha jääda.

Kas tead seda kuulsat nalja? Big Data on nagu alla 18-aastane seks:

• kõik mõtlevad sellele;
• kõik räägivad sellest;
• kõik arvavad, et nende sõbrad teevad seda;
• peaaegu keegi ei tee seda;
• see, kes seda teeb, teeb seda halvasti;
• kõik arvavad, et järgmine kord läheb paremini;
• keegi ei võta turvameetmeid;
• kellelgi on häbi tunnistada, et ta midagi ei tea;
• kui kellelgi see õnnestub, teeb see alati palju kära.

Aga olgem ausad, igasuguse kära korral jääb alati peale tavaline uudishimu: mis kisa ja kas seal on midagi tõeliselt olulist? Ühesõnaga jah, on olemas. Üksikasjad on allpool. Oleme teie jaoks valinud Big Data tehnoloogiate kõige hämmastavamad ja huvitavamad rakendused. See väike turu-uuring selgete näidete põhjal seisab silmitsi lihtsa tõsiasjaga: tulevikku ei tule, pole vaja "veel n aastat oodata ja maagia saab reaalsuseks". Ei, see on juba saabunud, aga silmale on see siiski hoomamatu ja seetõttu ei kõrveta singulaarsuse paagutamine tööturu tuntud punkti veel nii väga. Mine.

1 Kuidas suurandmete tehnoloogiaid rakendatakse seal, kus need tekkisid

2 Suured andmed 4 ratta kohta

3 Suurandmete rakendamine meditsiinis

4 Andmeanalüüsist on saanud juba jaekaubanduse selgroog

5 Suured andmed korrakaitse kohta

6 Kuidas Big Data tehnoloogiad aitavad linnadel areneda

Veniami tegevjuht João Barros demonstreerib Wi-Fi-ruuterite jälgimiskaarti Porto bussides

7 Edusammude mootor turunduses ja müügis

8 Andmete analüüsimine planeedi skaalal