Amb tot el debat sobre enormes centres de dades de la NSA que contenen reculls de bits de dades sobre la nostra vida privada, hi ha una cosa de la qual no s’ha parlat gaire, almenys sobre CNN. Es tracta d’un problema d’enginyeria que ha sorgit juntament amb la tecnologia del núvol, les big data i els impressionants centres d’emmagatzematge de dades físiques que ara s’estan construint a tot el món. Aleshores, què és? Bé, independentment de qui administri un dels sistemes informàtics mamuts que gestiona aquestes instal·lacions, cal disposar de sistemes de programari que ajudin totes aquestes dades a entrar i sortir del conducte ràpidament. Aquesta necessitat representa una de les preguntes o trencaclosques de TI més interessants als nostres professionals.
Com diuen molts experts, la demanda extrema actual de processament de dades va molt més enllà dels plantejaments tradicionals. En poques paraules, l'ús d'estructures i eines de base de dades simples com la interfície de consulta SQL no proporciona una potència de processament o una funcionalitat suficient per als gustos dels sistemes propietaris que s'han desenvolupat durant els últims anys. Els arxius de les grans empreses tecnològiques actuals necessiten una tecnologia extremadament escalable. Necessiten eines de processament de dades que puguin introduir i sortir resultats en un volum molt superior al que pot facilitar un servidor. Necessiten solucions ràpides per al creixement, solucions que inclouen nivells complexos d’intel·ligència artificial, solucions dissenyades per a un fàcil maneig per part d’un departament d’informàtica.
La pregunta és, com poden conquerir les empreses i les agències governamentals les limitacions del camí tradicional de maneig de dades? Aquí farem un cop d'ull a una opció molt prometedora: un programari que gestiona dades de gran format i l'administració de diversos centres de dades.