L’evolució del big data

A principis dels anys 2000, era clar que hi havia una necessitat enorme d’innovació pel que fa a dades. Les limitacions del que les empreses podrien fer amb les seves dades van frustrar els executius i van disminuir l'eficàcia enormement. Moltes empreses van emmagatzemar masses quantitats d’informació, però simplement no van poder gestionar-la, analitzar-la o manipular-la en el seu avantatge. Aquesta pressió creixent va donar lloc a la frontera de les grans dades.

El 2003, Google va crear MapReduce, una aplicació de dades que permetia a l'empresa processar i analitzar informació sobre les seves consultes de cerca a milers de servidors en un curt període de temps. A la vegada escalable i adaptable, el programa va permetre a Google realitzar milers de tasques de dades en pocs minuts, cosa que va millorar la productivitat i va redefinir els límits percebuts sobre el que es podia fer amb les dades. Gairebé deu anys després, el big data s’ha convertit en un principi central de la tecnologia de la informació. El seu àmplia abast i capacitat ha canviat fonamentalment la gestió de les dades en el lloc de treball. Però, què ha propiciat aquesta evolució i com afectarà exactament el futur les grans dades? Vam pensar que mai no m’ho preguntariaries. (Per obtenir informació sobre fons en dades grans, consulteu les dades grans: com es captura, es tritura i s'utilitza per prendre decisions empresarials.)

Cerqueu respostes a preguntes sobre dades grans

La bellesa de MapReduce va ser la manera de simplificar tasques altament complexes. La comunicació es podia gestionar a través de màquines, es podrien abordar les fallades del sistema i es podrien organitzar les dades d’entrada automàticament, un procés que pot ser supervisat per individus que ja no necessiten habilitats altament tècniques. Al fer que el processament de dades no només fos possible, sinó que es podia apropar, Google va inspirar un canvi cultural en la gestió de les dades. No van passar molt abans que milers de grans empreses utilitzessin MapReduce per a les seves dades.

Però hi havia un problema: MapReduce era simplement un model de programació. Si bé facilitava els fonaments bàsics del processament de dades, no va ser ell mateix la resposta a les mancances de dades existents; era només un pas molt necessari en la direcció correcta. Les corporacions encara necessitaven un sistema que pogués respondre a les seves necessitats de dades exclusives i anar més enllà de les funcions bàsiques de la gestió de dades. En definitiva, la tecnologia necessitava per evolucionar.

Entra a Hadoop

Enter Hadoop, un programari de marc de codi obert creat per diversos programadors, inclòs Doug Cutting. Quan MapReduce era bàsic i ampli, Hadoop proporcionava una especificitat refrescant. Les empreses podien dissenyar les seves pròpies aplicacions a mida que atenguessin les necessitats de dades de manera que no pogués tenir cap altre programari i, en general, era compatible amb altres sistemes d’arxius. Una empresa amb programadors amb talent podria dissenyar un sistema d’arxius que aconseguís tasques úniques amb dades que abans semblessin inabastables. Possiblement, el millor és que els desenvolupadors compartissin aplicacions i programes entre ells, que podrien ser exposats i perfeccionats.

En democratitzar un recurs tan important, Hadoop va esdevenir una tendència. Al cap i a la fi, que moltes grans empreses, sobretot les empreses de motors de cerca, van creure que ho havien necessitat durant dècades! No va passar gaire temps que gegants de motors de cerca com Yahoo anunciaven la implementació de grans aplicacions Hadoop que generessin dades utilitzades a les consultes de cerca web. En el que semblava una onada, diverses empreses destacades van anunciar l'adopció d'aquesta tecnologia per a les seves massives bases de dades, incloent Facebook, Amazon, Fox, Apple, eBay i FourSquare. Hadoop va establir el nou estàndard per al tractament de dades.

Big Data, Grans Problemes

Si bé els avenços en tecnologia de dades han modificat la forma en què les empreses tracten les dades, molts executius encara els troben no equipats per a tota la tasca requerida. Al juliol de 2012, Oracle va publicar una enquesta a més de 300 executius del nivell C, que va revelar que, mentre que el 36 per cent de les empreses confien en les TI per gestionar i analitzar dades, el 29 per cent d’elles considera que els seus sistemes no disposen de capacitats suficients per satisfer les seves empreses. necessitats. Possiblement, la troballa més sorprenent de l'estudi va ser que el 93% dels enquestats creien que la seva empresa perdia fins a un 14 per cent dels seus ingressos al no poder utilitzar les dades recollides. Aquests ingressos es podrien destinar a millorar productes i contractar més treballadors. En un moment en què les empreses lluiten per mantenir la seva rendibilitat, és necessària la millora de les dades perquè les empreses puguin ser més rendibles. L’enquesta indica que, malgrat els que creuen que la influència de les grans dades sobre el comerç ja ha passat, les oportunitats de creixement i avanç que té no han d’ésser plenament realitzades.

El que té el futur de Big Data

La bona notícia és que Hadoop i MapReduce han inspirat moltes altres eines de gestió de dades. Moltes empreses noves creen plataformes de dades extensives que funcionen a Hadoop, però ofereixen una àmplia gamma de funcions analítiques i una integració més fàcil del sistema. Sembla que les corporacions han invertit una gran quantitat de recursos en fer front a problemes de dades i l’èxit financer de les empreses de dades n’és una prova. El 2010, les empreses de dades van estimar 3, 2 milions de dòlars en vendes al detall. Molts experts han estimat que aquest nombre creixerà fins a la xifra de 17.000 milions de dòlars només a l'any 2015. Aquest fet no s'ha perdut en algunes de les majors empreses tecnològiques. Tant IBM com Oracle han invertit milers de milions durant els últims mesos a adquirir empreses de dades. Moltes altres empreses faran moviments similars en els propers anys a mesura que continuïn buscant una quota de mercat competitiva.

La frontera del Big Data

La quantitat de dades que es recullen continua creixent de forma exponencial, cosa que té alguns preocupats i d’altres emocionats. L’inconvenient és que l’ésser humà continuarà sent més productiu i adaptatiu a mesura que aprenem coses noves sobre el nostre món mitjançant l’anàlisi de dades. L’inconvenient és que hi ha una quantitat tan gran de dades que molts temen que siguem incapaços d’emmagatzemar-ho tot, molt menys de manera adequada per a que puguin ser utilitzats per tots els que ho necessitin.

Dit això, els avenços en dades grans poden proporcionar oportunitats sense precedents per a solucions a problemes urgents sobre dades. Per exemple, els experts han suggerit que si les dades grans s’implementessin adequadament amb un èmfasi en l’eficiència i la qualitat, tindria el potencial d’estalviar al voltant de 300 milions de dòlars anuals en despeses assistencials només; els minoristes podrien millorar els seus marges d’explotació, el sector públic podria proporcionar millors serveis i les grans empreses estalviarien milers de milions. Sembla, així, que solucionar els nostres problemes de dades no només és necessari a les juntes de taula de l'empresa, sinó a tot arreu. Cosa que diu coses bones sobre el futur de les grans dades, i potser també el nostre.