Què és exactament hadoop? la teoria d’un cínic

Sol ser qualsevol cosa que sembli massa bona per ser veritat. Tal pot ser el cas d’Apache Hadoop, el molt ballyhooed projecte de codi obert del qual tothom segueix parlant. Aleshores, què és això? Bona pregunta!

Experts dubtosos

L'analista Mark Madsen, de Third Nature, va clavar-la a la paret una estona en una peça de pit a InsideAnalysis.com: "Què és Hadoop. Què no és Hadoop". Com algú que sap dissenyar solucions del món real, desplegar-les realment, el seu consell no hauria de ser ignorat.

Però aquí hi ha un corrent més profund, i el temps és proper per descobrir les arrels d'aquesta fascinant flora, per veure si no podem obtenir alguna perspectiva sobre el que està passant a nivell macro. Al cap i a la fi, els venedors continuen dient que és un gran tema i hi ha tants participants.

Feu servir els comandaments! (?)

Actualment, hi ha tres empreses propietàries de la majoria del mercat de Hadoop: Cloudera, Hortonworks i MapR. En una informació recent i força controvertida a través del Boulder BI Brain Trust (#BBBT), Jim Walker d'Hortonworks va fer aquest curiós comentari:

"No podeu avançar la tecnologia si no utilitzeu els operadors."

Vine una altra vegada?

No us sembla una cosa que podria dir el senador Palpatine en un film de Star Wars?

El senador Palpatine: "Feu servir els compromissaris!"

Minion proper: "Però, però, senyor! Pensa en els nens!"

Per als profans que només intenten fer les coses, els compromisos són persones que es dediquen a un projecte particular de codi obert. La Fundació Apache té protocols estrictes pels quals els seus projectes avancen, cosa que sovint és una bona cosa.

Dit això, el comentari de Walker garanteix l'examen. Una pregunta important (amb el risc de conjurar els dies del parc infantil) seria: És una promesa o una amenaça? Està dient que Hortonworks podria agafar la pilota i tornar a casa?

Cooperació o competència?

L’interès interessant, però paradoxal, és que, segons sembla, la majoria dels compromisos de l’equip Hadoop (uns 30 més o menys) són d’Hortonworks i Cloudera, que són competidors. Aquest és un cas de competència molt curiós.

Quin és l’acord? Aquí hi ha una conjectura educada: Hadoop deu en gran mesura la seva fama a un intel·ligent pla ideat per un grup de capitalistes i enginyers de Silicon Valley que intenten cobrir les seves apostes contra Oracle.

La idea general és sembrar el mercat amb una base de codis que pot ser millorada i reforçada per una flota de desenvolupadors que us permeti crear, amb el pas del temps, tota mena d’eines de gestió de dades, inclosos els productes de base de dades. Els VCs poden invertir i treure efectiu algun dia. Però hi ha alguns reptes seriosos.

Com totes les empreses monolítiques, Oracle es troba sovint en els punts de mira de molts jugadors més petits. I qui no voldria només una porció dels seus ingressos entumadors? Únicament al darrer trimestre, Oracle va registrar uns 9.000 milions de dòlars. Però desafiar el gran vermell i superar-los són dues realitats molt diferents.

Webcast gratuït: què és Hadoop i cap a on va? Uniu-vos a Eric Kavanagh, Robin Bloor i Techopedia per a una discussió sobre com Hadoop és molt diferent de Linux o SOA i per què el seu futur roman en gran mesura no escrit.

Problemes d'embalatge

El que passa amb Hadoop, per si mateix, és que de cap manera no és una solució empaquetada. Més aviat, es tracta d’una complexa col·lecció de mòduls que permeten als programadors d’alta qualitat aprofitar algorismes massius de processament paral·lel per fer coses molt concretes. Però no hi ha cap interfície d'usuari fantàstica, i els manuals són brutals.

Afegiu aquest repte aquest obstacle crític: també necessiteu gent de negocis que tingui com a mínim una comprensió general del que pot fer. Els usuaris han de ser capaços de generar idees sobre com es pot utilitzar, i després comunicar-se als desenvolupadors, que posteriorment han de produir, provar, implementar i donar suport a les aplicacions.

Orquestrant aquest ball és com Cloudera i Hortonworks guanyen gran part dels seus diners. El problema és que la majoria de les solucions creades mitjançant aquest mètode són úniques i se centren normalment en sistemes operatius enfront dels analítics. Traducció? Com que això no es presta a productes de programari empaquetats.

Rendibilitat de l'envasament

El que ens torna a Oracle. Larry Ellison i els nois fabriquen la seva tecnologia de fonamentació de bases de dades, maquinari, serveis i (espera-ho …) programari empaquetat. Aparentment, Cloudera ho va tenir en compte, per tant, es va centrar en Impala. Però Hortonworks?

El seu model sembla imitar més estretament el de RedHat, la gent que va construir un negoci de mil milions de dòlars a la part superior del sistema operatiu Linux. Nary, un important venedor de la indústria del programari empresarial no escriu per Linux, el sistema operatiu pel qual IBM va dirigir Microsoft al pas. Però Hadoop no és Linux, ni de bon tros.

Geoffrey Malafsky, antic nanotecnòleg de la Marina dels Estats Units, ara científic de dades amb Phasic Systems i el PSIKORS Institute, destil·la la proposta de valor Hadoop com aquesta:

"Hadoop és fantàstic per a la cerca, anàlisi de tendències molt gran per a resultats estocàstics, i probablement algun processament paral·lel molt intel·ligent, molt barat de coses com la meva ex-dona solia fer: càlcul de la funció d'ona mecànica quàntica de l'estat sòlid i reaccions químiques. Aquesta ciència real es basa en a supercomputadors i es va convertir en un processament paral·lel, però és un enfocament difícil de l'aproximació de la programació. Els estudiants graduats joves, intel·ligents i energètics seran els que hauran de fer-ho. aplicacions."

Notareu que això no sona res com a magatzematge de dades, intel·ligència comercial, integració de dades o fins i tot dades grans. Sembla una supercomputació. I per alguna raó interessant, els mons de la informàtica d’alt rendiment i la intel·ligència empresarial mai no han col·lisionat ni coagulat de cap manera significativa.

Long Road Endavant per Hortonworks i Cloudera

I aquí teniu les notícies realment dolentes per a Hortonworks i possiblement per Cloudera. Els grans venedors com IBM, SAP i Oracle i Teradata - per dir-ho poc, i citar Dire Straits: "No són muts!" Fa tres anys més, tots ells van desenvolupar serioses estratègies Hadoop.

Aquests objectius centrals són els tipus de negocis que esperen els usuaris: interfícies gràfiques d'usuari, funcionalitat arrossegada, eines de modelatge i descobriment, flux de treball, governança, seguretat; en definitiva, tots els bits i peces que fan que el programari empresarial sigui usable. I, per descomptat, aquests grans venedors tenen bases d'instal·lació massiva.

Per descomptat, Cloudera i Hortonworks han aconseguit un bon negoci, però només una petita part del que obtenen aquests grans jugadors cada any. Informeu-vos de la quantitat que carreguen els seus clients als seus clients, en comparació amb quina probabilitat té la seva sobrecàrrega i la imatge no és tan rossa. Per descomptat, és adequat al curs amb problemes de programari en fase inicial, però tot i així …

El futur d’Hadoop?

Per tant, potser podríem veure l’onada clàssica d’adquisicions, com la que havíem tingut enrere, quan IBM va comprar Cognos, Oracle va obtenir Hyperion i SAP van col·locar BusinessObjects? Potser, però els nous nens d’aquest bloc no tenen propietat d’Hadoop; només ho prenen en préstec. I tan prometedors com podrien ser YARN i Tez, els cicles de llançament semblen quedar al darrere del que produeixen els cops pesats.

L'altre dia, un expert de la indústria va comentar que la política d'Apache pot ser un greu coll d'ampolla. Això no és extraordinàriament sorprenent, sobretot quan es consideren els dòlars que hi participen: hi ha una gran motivació per als innovadors per aconseguir que s’aconsegueixin els seus recursos. I algú ha notat com Chrome ha superat últimament el Firefox en funcionalitat i operativitat? Font tancada, algú?

Una cosa està segura: aquest joc es jugarà de maneres interessants. Sí, els mamífers (llegiu: venedors petits) sovint poden sobrepassar els dinosaures; però encara hi ha al·ligadors i cocodrils arreu del món; i si ensopegueu amb un no desitjat, només podríeu descobrir quina nitidesa poden ser aquestes dents. Uns quants crocs junts podrien fins i tot enderrocar un elefant o dos.