Per personal de Techopedia, 11 de maig de 2016
Take away: la presentadora Rebecca Jozwiak discuteix els avenços en l’arquitectura i l’emmagatzematge de bases de dades amb Dez Blanchfield, Robin Bloor i Brian Bulkowski.
Actualment no teniu la sessió iniciada. Inicieu la sessió o registreu-vos per veure el vídeo.
Rebecca Jozwiak: Senyores i senyors, hola i benvinguts a Hot Technologies del 2016. Avui estem, "Exposant la diferenciació: arriba una nova era d'infraestructura escalable". Avui estic buscant Eric Kavanagh. Sóc Rebecca Jozwiak, la teva humil anfitriona del grup directiu mentre Eric es troba a Jamaica. És bo per a ell.
Així, com ha estat durant dècades, aquest any és calent, tot i que, probablement, la tecnologia avança a un ritme que supera la llei de Moore i què fan les organitzacions per mantenir-se al dia? Busquen qualsevol cosa que sigui ràpida i, segons podria discutir, probablement sigui una de les coses més importants quan pensem en bases de dades. I, per descomptat, tenim les opcions a les relacionals habituals, ara tenim el nostre NoSQL, tenim el nostre magatzem de columnes, tenim les nostres bases de dades gràfiques, les nostres bases de dades RDF, però realment, el que busquen empreses és escala, és paral·lelisme i ràpid. .
Ara, les arquitectures tradicionals es basaven en aquest model relacional. Però si ens fixem en la majoria de negocis web que han sorgit en els darrers tres, cinc, deu anys, no seran els models que utilitzen per a la seva infraestructura. Utilitzen una arquitectura diferent, paral·lela, escalen i són ràpids, i això és el que es dirigeix avui a molta gent.
La nostra cartera, tenim Dez Blanchfield, és un científic del grup Bloor. Tenim el doctor Robin Bloor, el nostre analista en cap del grup Bloor, i tenim a Brian Bulkowski, CTO i fundador de Aerospike. Per això, nois, passaré a Dez.
Dez Blanchfield: Gràcies i gràcies per tenir-me aquí. Vaig a provar l'escenari de com arribem molt ràpidament a on ens trobem i ens endinsarem en molts més detalls tècnics a mesura que aprofundim els temes actuals. Acabo de controlar la pantalla aquí.
Així, més gran, millor i més ràpid. Quan penso on estem, la imatge que em recorda personalment és aquesta mateixa imatge que tinc a la meva diapositiva, que és l'expansió de l'univers. Ja hem tingut que desenvolupar i créixer la tecnologia des de fa dècades, de fet a partir de finals dels anys cinquanta, quan el mainframe es va convertir en una cosa real. En molts casos, la tecnologia ha continuat creixent en pitjor o major que una corba lineal, depenent de quina part de la corba està en funció del programari o del maquinari.
L’escala ha esdevingut cada cop més gran i cada cop més ràpida i ràpida, quant al que estem tractant d’entregar, i cada cop més petita a nivell de fabricació i de semiconductors. I al centre hi ha el programari i les aplicacions i els sistemes que fonamenten aquest programari, i solen ser de naturalesa cada vegada més petita, i hem vist coses com aplicacions containeritzades i micro servidors, ha tornat a ser una cosa nova. Ho vam fer en dècades passades, dècades abans, però com a resultat d’anar cada cop més petits allà, cada vegada som més grans a la escala de la qual ara podem executar coses, com aplicacions i bases de dades particulars, i la lògica de aquestes bases de dades.
Tinc aquesta visió on hem escalat molt horitzontalment, essencialment a l’eix X; hem escalat verticalment a l’eix Y. Ja estem en el punt que hem d’anar a un lloc diferent, i al meu cap és una mena de plantejats mentalment com a eix Z, i és que hem d’aprofundir en la tecnologia i mirar com podem fer-ho coses diferents a les que hem fet fins ara, per obtenir aquest tros de velocitat addicional. Per tant, visualitzo tota aquesta expansió de l’univers, on hem tingut lloc una explosió, i existeixen algunes tecnologies i això millora un creixement i una demanda lineals. Hem hagut de trobar diferents maneres d’obtenir aquest resultat més gran, millor i més ràpid.
Simplement per cobrir ràpidament el tipus d’ubicació que tenim ara en un parell d’ambients de maquinari. Hem vist que la disminució dels costos d’un gigabyte d’espai de disc comporta un parell de transicions i tecnologia bastant grans i aproximacions a la qüestió a escala més gran, millor i més ràpida. Es tracta de dos gràfics separats que cobreixen aproximadament una dècada aproximadament, poc més d'una dècada cadascun del preu que baixa d'un gigaquet d'espai de disc dur.
Es tracta d’una corba J clàssica o un pal d’hoquei com sovint ens referim a ells, ja que fa un temps podríeu gastar literalment centenars de milers de dòlars a comprar un gigabyte d’espai de disc, no fa gairebé dues dècades, mentre que avui en dia s’ha convertit en dòlars i al final estic segur que acabarà, el que definim la carrera a zero, es convertirà en cèntims. Això va provocar un canvi interessant en el tipus de coses que podrien fer les empreses. I em refereixo a això com a una interrupció a través de dades o dades grans en particular, i per això, el que vull dir és que vam veure tecnologies, com convertir-nos en una cosa on podríem escalar molt horitzontalment en emmagatzematge i el tipus de càlcul que fem. pot aplicar-se a aquest emmagatzematge, i com obre una tecnologia interessant, ja que ens permet fer un emmagatzematge paral·lel molt gran i redundant al nivell més ràpid, i parts Hadoop per si mateixes, de manera nativa, poden copiar dades en un escrit un cop llegides moltes vegades en format., i simplement escala la cosa a un grau gairebé lineal.
I és que totes les empreses com aquesta es produeixen una interrupció mitjançant dades grans. Tenim empreses com Uber que és la companyia de taxis més gran del món. En realitat no són propietaris de taxis, i hi ha una llarga llista aquí. Airbnb és el major proveïdor d’allotjament, en realitat no té béns immobles. Un dels meus preferits és Facebook, per exemple en aquesta llista, on realment no creen el contingut, el creem per a ells, però en realitat són el major propietari de suports del planeta. Tenim interessants com els bancs de més ràpid creixement, en realitat no tenen diners. Es tracta de plataformes i bancs de préstec entre iguals, i n'hi ha una a Austràlia, en particular, que cada vegada té més fama aquí anomenada SocietyOne. I alguns dels principals bancs que han de tenir diners en efectiu inverteixen en aquest banc entre iguals. I passem per aquesta llista fins a Netflix; En realitat no són propietaris de cap cinema, però, efectivament, la casa de cinema més gran del planeta.
De manera que van arribar al lloc on es van trobar, al meu cap, mitjançant l’aplicació de tecnologies intel·ligents a nivell de dades, perquè podríem fer un emmagatzematge més gran i ampli a preus més baixos a causa del preu reduït d’un gigabyte d’espai de disc dur, i podríem aplicar un càlcul intel·ligent i distribuir un model informàtic al respecte. Aquestes empreses tenien la capacitat de crear un avantatge competitiu i desorganitzar-se com a conseqüència de la disminució dels costos de l’espai en disc.
Hem vist passar alguna cosa similar pel que fa a la memòria. Fa un parell de dècades, si teníeu sis milions de dòlars al voltant, podríeu comprar una gigabyte de memòria RAM i hem tingut una corba J o un pal d’hoquei molt similar, que tingueu lloc en la reducció dels costos o el preu reduït de RAM. I això va provocar algunes coses interessants i, al meu entendre, una de les majors interrupcions d’aquest espai és la quantitat de memòria que es pot integrar en dispositius, com dispositius mòbils, com telèfons i tauletes i, fins i tot, ordinadors portàtils. Actualment, en alguns casos, és bastant ridícula la quantitat de memòria que entra en un ordinador portàtil. En alguns casos, el meu portàtil actual té més memòria que alguns dels servidors que feien servir abans no fa gaire.
Això ha provocat un canvi significatiu per si mateix, de manera similar que té una memòria RAM, que ens va permetre escalar i escalar ràpidament. I ara hem tingut l’aparició d’una tecnologia que anomenem flash, i aquesta és una tecnologia que originàriament prové d’alguna cosa que s’enregistrava en maquinari en forma de EEPROM, un xip que va ser dissenyat per poder estar disponible, i escriviu-hi i, només quan s'apagés, es mantindria tot allò que escriví al xip com a emmagatzematge persistent. Era lent, feia molta molèstia i, en aquells dies, crec que cap als anys 1980-1991 es va convertir en una cosa. El 1984, Toshiba, que crec que va inventar la tecnologia, va fer que fos una cosa comercial que podríem utilitzar.
Però, abans de molt, la gent es va assabentar que realment podia prendre una combinació dels components que s’utilitzaven per crear aquest concepte d’un EEPROM, una memòria de només lectura, un cop esborrat i escrit a ella, i en realitat podrien escriure-hi. de forma regular i utilitzar-lo una mica més com a espai de disc, i una mica més com a RAM. Amb el temps, es va desenvolupar. Ara, aquesta tecnologia d'emmagatzematge flash ha estat una fusió entre l'emmagatzematge de disc tradicional, ja sigui un disc girant o en alguns casos un disc híbrid de memòria i memòria RAM. I el més important és el sistema entre, perquè podeu llegir-lo i escriure-hi, i després apagueu el poder i conservarà el que hi heu escrit. Així doncs, un espai de disc, òbviament, hi escriviu, apagueu l’alimentació, i el cargol de gir i el molt modificat, per falta d’una descripció millor, manté els zeros i els que heu escrit.
A l’espai de memòria d’accés aleatori, escriviu alguna cosa a la memòria a la memòria RAM, apagueu l’ordinador i tot s’esborra perquè no hi ha més electrons per mantenir-lo carregat i retenir la informació que li heu escrit. A més, està al centre i és extremadament ràpid, més ràpid que el disc, molt més lent que la memòria RAM. Però podeu escriure-hi i llegir-lo i, quan apagueu, continuarà. Això ha provocat algunes increïbles tecnologies i, sobretot, hem desenvolupat dispositius mòbils i ordinadors portàtils reals, realment ràpids i capaços de fer moltes coses, i ara s’ha traslladat a l’espai d’infraestructura al voltant d’emmagatzematge i càlcul, i això ha comportat importants. canvis en el que podem oferir a escala. Es tracta d’un lloc on crec que l’eix Z de la meva ment es produeix ara.
És gairebé just a temps de moltes maneres, perquè ara hem vist un trastorn pel que faig referència a la demanda i és que els consumidors tenen, independentment del que passa a la infraestructura i l’espai tecnològic, i la capacitat de conduir més ràpidament. i un càlcul més ràpid i un rendiment a nivell d’infraestructura, els consumidors demanen aquesta interrupció en forma d’allò que es fa referència ara, l’experiència de les celebritats. Tothom vol tots els sistemes, cada aplicació, cada lloc web per saber qui són i què els agrada i poder-los oferir una experiència personalitzada personalitzada. Ja no és prou bo només per anar a un lloc web on compro entrades de cinema. Vull que sàpiga què he comprat abans, per què ho he comprat i, potencialment, el que la gent com jo comprava i recomana coses.
Invariablement, estem veient que a què em refereixo és un ordre social i és que vull l’experiència de les celebritats, però també vull socialitzar aquesta idea, vull compartir-la amb tots els meus amics i dir-los què. ho faig, i també vull saber què fan els meus amics. I això és el resultat d’una demanda explosiva de càlcul i emmagatzematge addicionals i d’una ràpida transformació de les coses. Hem vist la generació Fitbit, el que jo anomeno seguiment continuat. Tot el que faig és rastrejat, registrat i capturat en algun lloc. Hem vist tot en temps real: banca, licitació, motors de recomanació, haver de ser capaç de fer front a les coses que realitzo personalment com a consumidor en temps real.
A continuació, veiem un impacte molt gran, com els riscos de seguretat entorn de la ciberseguretat. Solia ser que teníem pirates informàtics individuals, aleshores teníem bandes criminals que s’apliquen a ell mateix, ara tenim nacions senceres que van a la guerra per internet, cosa que és real i succeeix realment. Estigueu atents a això, asseureu-vos i feu una ullada a ella, perquè hi ha un impacte real, i alguns dels nostres premers previ a la presentació discutien el risc de tenir el vostre propi ordinador o, almenys, la vostra xarxa.
Hem vist aquest concepte d’extracció d’entitats. L’extracció d’entitats és quan hem de trobar coses d’interès dins de conjunts de dades molt grans, particularment al voltant del frau i l’activitat il·legal i de tipus hacker. Però, més sovint, veurem que l’extracció d’entitats s’està convertint en un punt d’atenció per a les coses bones i per a les coses que són de valor per a nosaltres, en lloc de buscar coses que ens ataquen.
També hem vist una explosió, el que es coneix com a dades geospacials. Es tracta de dades que realment saben d’on prové, o d’on provenen altres dades. Us podeu imaginar que esteu a peu de carrer i voleu trobar l’estació d’aparcament més propera o el restaurant més proper, aplicacions que puguin aplicar dades i computació geoespacial, informàtica a dades, que sap on és a l’espai, és molt important perquè Heu de poder saber on es troben altres objectes i entitats i fer-ho ràpidament.
Hem vist mòbils connectats de forma permanent. Fins i tot quan ens adormim a la nit, els nostres mòbils segueixen marcant, actualitzant els nostres correus electrònics, comprovant els nostres calendaris, mirant com és el clima i esbrinant què és el que volem esmorzar. Hi ha molt de soroll allà, i això ha generat un impacte massiu en el que hem de fer a la part del darrere i la velocitat que ho fem.
En general, la magnífica escala i l'impacte del que es coneix com a Internet de les coses, o més sovint, la connectivitat màquina-màquina, on els dispositius parlen amb dispositius i s'aconsegueixen fins als motors lligats a la costat dels avions que diuen a l’avió o al sistema de gestió de l’avió, que un rodament del motor número quatre experimenta un desgast i una calor excessius, i que s’ha de substituir quan aterrem, i es comunica amb una altra màquina, i per tant s’hauria de col·locar una comanda i màgicament un enginyer apareix al vol a l'aeroport i està disposat a substituir-lo durant el subministrament de combustible.
I l’escala tan gran i tan gran que hem hagut d’entrar en allò que em refereixo, mitjançant l’accés a un tipus d’afrontament. Perquè un món nou, i benvingut al nou món, un món nou de tot allò que fem servir estem connectats; una vegada eren satèl·lits i dispositius de xarxa, ara es tracta de dispositius mòbils i ordinadors portàtils, tauletes i telèfons, i fins i tot el meu flamant Audi té un cartell integrat i informa constantment sobre la seva salut, però també s’actualitza, i sap on és, i quins mapes són aplicables, i fins i tot em diu quan ha de fer una ruta diferent si hi ha trànsit a la carretera.
Tot el que estem construint ara, tot el que us parlem ara, està dissenyat per connectar-nos i connectar-nos a altres coses, no només de mi a sistema, sinó de sistema a sistema i per poder fer front a això Haurem d’aplicar un pensament molt diferent a la capa d’infraestructura, tant al maquinari com al programari, i en particular a les capes de bases de dades que els sistemes necessiten per això, i en molts aspectes la base de dades s’ha convertit en el motor i les aplicacions són realment. només botes petites que fan coses.
Vaig a acabar aquí ràpidament amb aquesta visió lleugerament humorística sobre el lloc on anem amb aquestes coses, i el que faig referència a "IoT amb el botó". Hi ha hagut un nou gadget creat anomenat el Amazon Dash Button i es tracta d’un gadget de mida petita. De fet, de moltes formes, és el mateix que la meva unitat USB de polze. Quan compres aquesta cosa, es tracta d’uns 4, 99 dòlars EUA en línia des d’Amazon, t’envien a la teva mida, la configureu amb el telèfon mòbil i només l’adjuntes a un dels vostres dispositius, com ara una nevera o una rentadora o qualsevol altra cosa. A l’exemple del vostre rentador, si finalment no teniu pessic per rentar, podeu prémer aquest botó i es marcarà a casa i automàticament en farà la comanda més, i màgicament més us l’enviaran a través dels nostres bons amics d’Amazon.
Per a mi això em fa por, perquè veurà una explosió de diverses coses que es connecten a la xarxa i s’intenta crear connectivitat i generar demanda. Si us podeu imaginar, una o dues d’aquestes coses potser no són tan terrorífiques, però l’última vegada que vaig mirar, hi havia més de 110 coses d’aquestes, de manera que gairebé totes les marques del planeta intenten aconseguir la seva petita empenta. botó IoT, que aneu a casa i pressioneu un botó i em diu: "Ordeneu-me una pizza". Feu un altre botó i demani un dinar pre-construït per als vostres fills per a l'escola demà.
Això comporta una demanda massiva de transformació a la part posterior, a nivell d’aplicació, en particular a nivell de base de dades, que crec que només hem vist la punta de l’iceberg del tipus de transformació de rendiment que necessitem veure. . I amb això, vaig a lliurar-lo al doctor Robin Bloor i faré les seves visions sobre el lloc on ens trobem.
Rebecca Jozwiak: D'acord Robin, t'he passat la pilota.
Robin Bloor: No està bé? D'acord, aquí anem, sóc jo. Vaig veure la presentació de Dez abans d’arribar a aquesta, així que diria coses que són complementàries en lloc de repetir algunes de les coses que va dir Dez. Vaig pensar que es parlaria de l’evolució de la base de dades en termes del que ha passat realment a l’arquitectura, etcètera, de les bases de dades des d’una perspectiva històrica.
El problema fonamental que té qualsevol proveïdor de bases de dades és el manteniment d’una arquitectura flexible que escala i manté el ritme de l’evolució del maquinari. Parlaré això, però quan realment mireu enrere i vegeu la forma en què es van crear les bases de dades i la forma en què es construeixen ara, realment són molt diferents a la que jo anomenaria nivell de disseny arquitectònic. . Val la pena revisar només per què és així, o almenys crec que ho és. Els factors de maquinari i Dez ens han proporcionat un excel·lent llenguatge de les capes inferiors en termes de memòria i disc. El que tenim ara, i aquest és el futur que ve, Intel és el proper, CP que hi haurà un FPGA. El que fa la gent amb això, no en tinc cap idea. AMD fusiona CPU i GPU i quina diferència hi haurà? Aquests són els tipus de canvis que realment faran la diferència de la base de dades i sospito que Aerospike entre altres, perquè Aerospike està impulsat pel rendiment, probablement ja s’està fent una ullada a això i s’explica allà on creu que realment ha d’anar. amb la forma de funcionar del producte.
Tenim un sistema en un xip que encara no s’ha desenganxat. Els SSD els coneixem, però el que cal fer és que realment augmenten en velocitat, aproximadament la taxa de la llei de Moore, un factor de 10 cada sis anys. Però Intel està a punt de llançar el punt de partida 3D, que afirma poder anar més de cent vegades més ràpid que els SSD, de fet, una mica de caiguda en la barreja, llavors canviarà la velocitat a la qual productes com Aerospike poden realment anar.
Després tenim les arquitectures de maquinari paral·leles, és a dir, de la manera com hem construït el maquinari en el sentit de: originalment era només una CPU que es trobava a la memòria, que es trobava en disc, però ha estat molt més complicat que això. La idea d’un sistema en xip és que realment es pot tenir paral·lelisme xip a xip a xip i fer que tot vagi a una velocitat extraordinària, i no tenim ni idea exacta de quins d’aquests productes es dominaran.
Això és només una mirada al futur, però a nivell de maquinari el rendiment s’està accelerant i els costos continuen baixant, de la mateixa manera que es descrivia Dez. Les vostres CPU no necessàriament són més barates, sinó que obtenen un procés més ràpid i així successivament.
Des de la perspectiva empresarial, en algunes situacions, i es tracta de situacions de mercat, essent el primer lloc on es troba el valor empresarial. Si particularment, si esteu absolutament convençuts, una determinada acció baixarà de preu, la primera persona que aconsegueixi la comanda de venda obté el millor preu. És realment tan senzill. Per tant, hi ha una carrera tecnològica que passa al comerç automatitzat dels bancs per intentar guanyar aquestes situacions. Què va passar després d’això? Què passa després que els bancs hagin fet les coses amb tot això? De sobte estàs començant a veure que altres zones s’infecten amb el mateix tipus de necessitats de velocitat.
Realment el que estava passant, és que els éssers humans estaven sent tret de l'equació, i això va passar amb la publicitat a Internet molt ràpidament. Però el fet va ser que no és la transacció específica, l'execució de mètodes, es tracta d'un procés de negoci sencer, sinó que s'ha acabat de llençar una pàgina web i cal prendre una decisió que pot ser una decisió força complicada, pel que fa a quina publicitat hauria de publicar realment a aquesta pàgina web, deduint de qui sigui l’usuari del navegador, quin seria l’anunci més adequat per posar-lo, etcètera, etc. S’ha convertit en una cosa molt complexa i ho tornaré a mencionar.
Però la qüestió és que el rendiment i l'escalabilitat del procés empresarial no és el mateix problema que el rendiment i l'escalabilitat de la capacitat de consulta, i això és una cosa que sóc conscient, a causa d'una recent sala d'informació que vam fer amb Aerospike que. també en som conscients. Una altra cosa, quan realment esteu treballant a aquestes velocitats, les propietats dels actius són importants per a una transacció, qualsevol processament d'esdeveniments. Realment, importen. Així doncs, una gran quantitat del que estan fent algunes bases de dades, que estan perdent una carta o dues d’actius, poden funcionar raonablement en el context, això funcionarà bé en el context que parlem. Realment no és acceptable, per ser sincer.
Des d'una perspectiva tecnològica, esteu veient, ja que sé que hi ha dos tipus de palanquejament per tal de crear el tipus d'arquitectures que realment es necessiten per donar el tipus de velocitat que, com Aerospike, pot fer un milió de transaccions. per segon. En realitat, cal ser molt precís quant al desenvolupament de programari. Vostè no pot simplement piratejar. Heu d’estar preocupats per les longituds de la ruta del codi. Heu de fer un excel·lent ús a la memòria i, en realitat, optimitzeu transaccions senceres. Cal un paral·lelisme intel·ligent i també cal un paral·lelisme contra seguretat. Cal augmentar la dimensió, més que no pas ampliar, ja que tan aviat com impliqueu la xarxa en qualsevol cosa, es convertirà en el punter més probable amb la qual arribeu a latència i començarà a fer les transaccions massa lentes.
Heu d’aconseguir el màxim possible a qualsevol informació coneguda d’una xarxa abans de fer una escala real, i realment no voleu escalar-la ràpidament, realment no voleu molts processos. Vostè vol una xarxa que no sigui utilitzada per ningú. I voleu tenir una xarxa increïblement ràpida.
L’emmagatzematge SSD accelerat és alguna cosa, de fet crec que la majoria d’això s’aplica al que fa Aerospike. Una de les coses interessants és que és una base de dades NoSQL. Es creia que –no ho sé, fa uns anys–, es creia que la base de dades relacional era l’única base de dades i ho dominava tot, i només eren situacions estranyes en els que no necessitaves per anar relacional. Ara és una mica girat al cap. Són les ràpides bases de dades que es troben en aquestes bases de dades SQL, i una de les raons per això, la principal raó per això és que eviten unir-se a les dades, emmagatzemen dades gairebé de forma objecte. En acabar amb un objecte, només el guardeu i, tot seguit, torneu tot l'objecte, no és unir les coses per processar-les. Això és sobre la velocitat. Aquest tipus de tècniques que generen velocitat en el context de la base de dades.
Aquest és el rastre de les llàgrimes, aquest és el que va passar a la base de dades. La història o la narració de les bases de dades relacionals eren el final d’una base de dades en realitat no era certa. Fins i tot quan van començar a dominar, encara era necessari. Les bases de dades objecte feien les transaccions passades en aquells dies, perquè les bases de dades relacionals realment no podien fer-les, i després va resultar que les bases de dades relacionals que utilitzaven botigues de fila, tampoc podien fer consultes ràpides, necessitàveu botigues de columnes. Aleshores vam descobrir que si realment volguéssiu fer consultes gràfiques sobre dades, ni un magatzem de columnes ni una base de dades relacional no serien bones, i de veritat necessitàveu tenir una base de dades específicament conscient dels gràfics. Aleshores van entrar les bases de dades RDF i tan bon punt vàreu començar a considerar el significat de la semàntica i vam obtenir les bases de dades NoSQL, molt, molt concretament per a la velocitat. Anomenar-los NoSQL és gairebé com si sou totes aquestes bases de dades com si fossin les mateixes, de fet són radicalment diferents en el que hi ha a sota. L’única raó per la qual porten el nom de NoSQL és que no donen una cosa maleïda a SQL perquè és massa car. Les latències de transacció que necessiten.
El IoT –que pensava que acabaria en el mateix punt que Dez l’ha acabat - no s’ha acabat, tota aquesta situació pel que fa a la velocitat i als requisits de latència, no s’acaba fins que la dona grassa comenci a repeteix aquestes dades i encara no l’ha començat. Moltes dades volen tenir les latències que he estat indicant, així que crec que això és tot el que he de dir. Transmetem-ho a Aerospike i Brian Bulkowski.
Brian Bulkowski: Hola, moltes gràcies per unir-me al grup Bloor i a mi mateix per a aquesta presentació. A l’hora de pensar sobre què parlaven Dez i Robin, m’agradaria explicar-vos una mica el rastre que Aerospike ha dut a l’hora de proporcionar la tecnologia de bases de dades i la tecnologia de bases de dades NoSQL a diverses indústries. Ha estat un camí fantàstic. Vam iniciar Aerospike el 2008 veient moltes de les tendències que mencionen Dez i Robin. Concretament sobre les bases de dades a la memòria que poden aprofitar el flash, així com el tipus de sistemes de núvols a escala, i els tipus d’escala necessaris per fer personalització, analítiques de comportament i el tipus d’experiències VIP famoses que es discuteixen.
Quan vam abordar el problema d'una base de dades que era una base de dades operativa de front-end capaç de proporcionar les bases de dades a les aplicacions que es podien escriure per solucionar-les, vam començar amb el problema de com podríem crear fonamentalment una taula de hash distribuïda, la memòria. -la taula de hash distribuïda que va ser sorprenentment ràpida i capaç de fer coses com ara milions de transaccions per segon, però a un preu raonable. Quan vam acabar el nostre prototip, ens vam adonar que llavors hauríem de saber qui podria necessitar aquest tipus de velocitat. Al ser una empresa de Silicon Valley, ràpidament ens vam adonar que realment era la indústria publicitària que era capaç de consumir aquest tipus d’informació i que estava interessada en ella, i per tant, m’agradaria passar una segona estona parlant de les ofertes en temps real i com això obres del mercat.
Robin va esmentar com funciona la negociació financera, que és la primera transacció, sovint la transacció guanyadora, i hi ha un moment bàsic per comercialitzar la latència i el valor de la latència. La indústria publicitària és lleugerament diferent, d’una manera interessant, perquè l’objectiu de la publicitat és particular –la que s’anomena impressió, la capacitat de publicar un anunci– és una subhasta i aquesta subhasta té entre deu mil·lisegons i cinquanta milisegons. El nom del joc, i sovint hi ha centenars d’empreses que ofereixen en temps real per cada anunci publicat a Internet, és obtenir la quantitat de dades més gran i aportar els millors algoritmes que tindran en aquest termini entre deu i cinquanta mil·lisegons. major quantitat de dades.
Aquest canvi i canvi es va produir a la indústria de la publicitat, en cadascun d’aquests petits mil·lisegunds, té una complicació limitada en el temps amb els millors algoritmes de la major quantitat de dades, i és que es poden reunir un munt de peces petites. dades. La informació recent sobre adreces IP, informació recent sobre una determinada categoria de dispositiu, informació recent sobre el comportament del lloc web, termes de cerca recents, tots entrarien en la salsa secreta dels algoritmes d’una determinada empresa per determinar un preu i una oferta.
Aquest ha estat un mercat fascinant. Primer vam fer el primer desplegament a Aerospike el 2010 amb algunes de les primeres empreses que treballaven seriosament dins de l’economia de licitació en temps real, i després ho hem aconseguit, essent bàsicament aquell magatzem de dades de comportament per part de la majoria de les empreses. l’espai. El que hem trobat des d’aleshores, i és una arquitectura particular que detallaré al llarg d’aquesta presentació, és que tot això passava els anys 2010, 2011, 2013 i continua evolucionant. La publicitat és un mercat molt dinàmic.
Però aquest tipus d'experiència VIP, podeu pensar com posar un anunci adequat, no posar un anunci per als productes infantils, perquè no passo a tenir fills, així que no tindré cap anunci efectiu si és col·locat en això, però si es tracta de cotxes ràpids, aquest és el tipus d’anunci a Brian. És realment el tipus d’experiència VIP en ofertes, tant si voleu descomptar com si no, si sou a un lloc minorista, fins i tot en la detecció de fraus. És el patró normal d’una persona en concret o d’una targeta de crèdit en concret? Tota aquesta forma de tecnologia d’analítica en temps real, de predicció de comportament, d’analítica predictiu, ara s’està quedant fora de la indústria de la publicitat, que fa uns quants anys que ho fa amb diversió i benefici i que realment entra en venda al detall i la banca i la detecció de fraus, etc., mitjançant una arquitectura particular. Així que Aerospike ha tingut el privilegi de formar part d'un nombre d'aquests casos.
L’arquitectura que veiem funcionant, i que és pràctica per fer-ho, és aquella on en lloc de crear un conjunt de consultes des d’un servidor d’aplicacions, en lloc de traslladar més del seu càlcul al servidor d’aplicacions i, a continuació, utilitzar una base de dades com a essencialment emmagatzematge. motor del tipus d'objectes de què parlava Robin. En aquest cas, aquestes arquitectures, en primer lloc, no confonen això amb les vostres analítiques reals aquí. A la part dreta d'aquesta diapositiva veieu que encara hi ha una analítica per generar informació. Es tracta de feines que sovint treballen sobre petabytes, desenes de petabytes de dades, fins i tot exabytes en els casos d'alguns dels nostres grans clients, utilitzant diverses tecnologies. Cal que hi hagi un equip de dades de grans dimensions, un equip d’analítica, un equip quantitatiu que es mostri en què consisteix, per exemple, les matèries de coordenades geospatials, quins models funcionen en termes de trobar aquestes relacions i crear l’experiència VIP. Aquest és tot un problema per a si mateix i no un que Aerospike ha participat directament, i hi ha un munt de grans tecnologies quan es tracta d'aquest tipus de sistemes.
El que ens ha entusiasmat i treballar amb la indústria és, un cop tingueu aquestes visions, com us dediqueu al tipus de transacció màquina-a-màquina o ràpida màquina-a-humana, en què feu aquest coneixement reals per a cada persona, moment per moment? L’arquitectura que hem vist fent servir és allà on hi ha un servidor d’aplicacions que està escrit i fa totes les matemàtiques i mira els models que heu creat, mirant el comportament recent i fent-ho sobre un paradigma clau o almenys un tipus de sistema molt lleuger.
Quan es tracta del tipus de dades de què parlem, el tipus de fluxos de què parlem, amb milions d’escriptures per segon, milions de lectures per segon, milions i centenars i milers de decisions per segon, crear índexs complexos, índexs multidimensionals, simplement no funciona gaire bé, no es pot escalar. La manera d’aconseguir aquesta forma d’escala és implicar molt paral·lelisme. Parlarem una mica de com ho fem més endavant. Però part d’això és un servidor d’aplicacions sense estat escrit en el vostre idioma.
El que veiem sovint és un projecte particular que assumeix un nou marc d'aplicacions basat en les persones que hi treballen, la tecnologia que utilitzen i el problema que s'apropen. Hem vist gent que utilitza Python, molta gent utilitza Java, encara veiem programadors C, perquè moltes coses encara són d’alt rendiment, potser fins i tot utilitzant coses com les antigues biblioteques MATLAB. I necessiten tocar milers i milers de punts de dades per segon per prendre una decisió efectiva.
Una de les preguntes que m’havia fet de vegades és: “Bé, Brian, si sou capaços de realitzar milions de transaccions per segon, qui necessita això?” Si us fixem, per exemple, en el processament de pagaments nord-americans i Aerospike hi participa. solucions per detectar fraus en aquest sistema i donar suport a escriptors d’aplicacions que realitzen algunes coses molt innovadores en la detecció de fraus, només hi ha unes quantes milers de transaccions de pagament per segon que passen fins i tot pels més grans processadors de pagaments. Tot i així, quan la primera empresa ens va venir i va dir que miraven d’utilitzar NoSQL i que volien veure com seria la nostra solució basada en la seva aplicació, van dir que volien tocar 5.000 peces en una finestra de 750 mil·lisegons. Doncs ara, de sobte, teniu uns quants centenars de transaccions comercials i uns quants milers de dades a considerar en cada càlcul, i ara sou a l’àrea de necessitar milions de transaccions per segon.
El cas de deixar de banda la publicitat per un segon, el cas del frau és fascinant perquè, on hi ha diners, hi ha frau i la prevenció de fraus en temps real, en lloc d’intentar resoldre’ls analíticament després que s’hagi produït un frau, és realment un és important aportar en línia la major quantitat de dades i podeu pensar en això com a reflex d'aquesta experiència VIP. Aquesta persona es comporta d’una manera que no sol comportar-se? I, per tant, les probabilitats de que sigui un sistema fraudulent, i no realment aquesta persona, augmenten. Aquesta persona sol accedir a través d’un determinat dispositiu o conjunt de dispositius, amb un determinat conjunt de resolucions de pantalla? Normalment presenten un patró de compres comportamental particular? Potser podrem evitar el frau a la base de la transacció. Això us hauria de recordar molt el tipus de coses que succeeixen en les transaccions del sistema publicitari.
Els tipus de sistemes que resolem són els que cada processador de pagaments individual té un equip de dades gran, tenen moltes dades històriques, creen nous models, no comparteixen amb nosaltres tots els models a Aerospike, perquè en realitat és una salsa secreta. Si sou subscriptor de Gartner i heu sentit a Gartner parlar de l’economia d’algoritmes, es tracta d’un algoritme i una empresa que lluiten cap a cap per tal de disminuir el frau i aconseguir el nombre de transaccions amb èxit, ja que també no teniu. No vull bloquejar les transaccions. Aquest és el tipus de projectes que busquem a Aerospike en aquests nivells d’escala.
Un altre cas que hem estat treballant amb empreses de serveis financers és el que s’anomena Sistema Intraday de Registre. En aquest cas, el que passa és que el tipus d’experiència més rica, fins i tot en un sistema de comerç minorista, és aquell on vull poder mirar la meva posició particular i vull fer-ho amb molta precisió. No vull tenir cap problema al meu sistema DB2. En canvi, vull mirar les dades exactes, i entre el mòbil, però també coses com ara una recalculació del risc, ara s’haurien de fer recalculacions de risc minut a minut, voleu poder calcular el risc de tothom així com el risc global, el risc sistèmic a tota l’empresa en pocs minuts.
I de nou, és el mateix problema. Tots els comptes que siguin determinats, penseu-hi com una cerca de valor clau per a un determinat objecte, aleshores es pot fer en paral·lel i, el més important, aquest paradigma us permet escriure el vostre codi i els vostres algorismes en un llenguatge d'alt nivell, el que és més fàcil de depurar i més temps de comercialització. En aquesta economia d’algoritmes, ara he de ser capaç d’obtenir els meus algoritmes en línia ara mateix. Aquest és un problema molt diferent per a la modelització i la relació comercial, en què són excel·lents els sistemes relacionals. Quan teniu una taula de parts i aquestes parts estan associades a comandes i aquestes comandes estan associades a persones, teniu un procés empresarial que es pot modelar estrictament i que probablement no canviarà durant tota la vida del vostre negoci. Tanmateix, un nou algorisme per trobar un nou patró de frau s’ha d’escriure amb precisió i rapidesa, i s’ha de posar en línia, la presa de decisions empresarials en qüestió de dies com a mínim, si no és més ràpid. Una solució NoSQL per a aquest tipus de sistema de registre és realment un sistema increïble per a aquests nois, ja que els permet ingerir dades de forma molt ràpida, així com crear nous algoritmes, de manera que no només una nova experiència del client per abordar el mòbil, sinó realment. crear una àmplia varietat de noves aplicacions.
El que veiem a llarg termini a Aerospike és el fet que cada tipus de base de dades, cada disseny físic de dades del disc té els seus propis components, i a Aerospike estem realment centrats en aquest valor clau o sistema orientat al paper, com va dir Robin., amb alta consistència transaccional, i permeten realment a persones com els magatzems de columnes i llacs de dades de gran volum i també sistemes transaccionals que han tingut restriccions d’informació. Veiem que tots necessiten incorporar-se a diferents motors de consulta diferents. Veiem alguns dels motors de consulta basats en JSON. Veiem coses com la cerca elàstica, veiem Spark, que necessiten diferents varietats en diferents moments, com les botigues de columnes, així com les botigues de fila, que és on Aerospike sobresurt.
Realment veiem que aquests diferents tipus i la indústria està arribant a un punt en què la selecció de la millor raça de cadascun d'aquests serà una necessitat. Malauradament, a causa de la realitat de les analítiques a llarg termini i els treballs lots per versos i les limitacions operatives, probablement no arribarem al punt de tenir una única mida única, però arribarem al punt de poder per triar clarament entre alguns dels dissenys bàsics de dades.
Parlem un minut sobre la innovació del flaix. Encara tinc la pregunta, tot i que, com es va comentar anteriorment, el flaix ha estat amb nosaltres ara des de fa temps. Quan vam començar Aerospike el 2009 va ser quan, crec, el 2009, potser, sí, el 2009 va ser quan Intel va sortir amb la X25, que va ser realment la primera unitat de flaix SATA de mercat massiva del mercat massiu i hi havia diversos sistemes flash abans., però realment va ser el que va irrompre en molta consciència de la tecnologia. A continuació, Fusion-io va provocar el flash al mercat més ampli de les empreses.
El que passa ara és l’arribada d’un sistema anomenat NVMe. NVMe és un estàndard similar a SATA o SAS o fins i tot SCSI que permet als diferents venedors de targetes interoperar amb els controladors del sistema operatiu amb un alt nivell d’eficiència. Així, doncs, està creant un nivell de rendiment més gran, primer perquè NVMe es basa en PCIE com el transport subjacent, molt més ràpid que SATA, SAS o qualsevol altra cosa, però també permet controladors més ben adaptats.
Per exemple, a Linux hi ha aquest tipus Jens, i Jens és el guia del controlador NVMe, Jens Expo, i fa un treball millor que qualsevol intel·lectual o Fusion-io que hagués pogut fer amb el seu controlador individual, amb tots els seus recursos. Quan el sistema operatiu té la possibilitat de construir el millor controlador, estem veient uns nivells de rendiment realment sorprenents. Tot això fa còpia de seguretat de la idea que el flash realment pot proporcionar molta latència baixa de la memòria RAM.
Ara, Aerospike continua essent una gran base de dades de RAM a causa del seu model de clúster, però, trobem que un cop feu un salt de xarxa, que necessiteu tenir un emmagatzematge escalable, ja esteu gastant almenys entre cinc i 50 microsegons, 70 microsegons addicionals de NAND normalment no són cap impediment, i també podeu utilitzar el flaix tenint en compte que el flash NAND, ja que la xarxa ja hi està implicada. Molta gent es pregunta llavors com és que tot sona genial si esteu comprant el vostre propi maquinari, com fan els núvols públics? Crec que ara hi trobareu, independentment del núvol públic que utilitzeu, aquests núvols públics ofereixen ofertes flash molt fortes. Difereix una mica de proveïdor de núvols a proveïdor de núvols. Amazon compta amb els seus casos d’I2 que s’han acabat pensant ara fa un any, dos anys, que són realment dispositius flash de gran qualitat i Aerospike té el patró de desplegament al damunt.
Voldria trucar a Google Compute, Google Compute Engine, Google Cloud específicament, ja que, segons la nostra experiència, fins ara disposen d’alguns dels dispositius de més alt rendiment i d’alguns dels més flexibles en termes de patrons de desplegament. Però també veieu nous patrons de desplegament com Pivotal, que és una mena de públic / privat, de manera que podeu fer aplicacions Pivotal correctes tant en llocs que admeten flaix i admeten dispositius d'emmagatzematge diferents com en patrons Docker. Així, realment, aquest és un punt de la història en què el flaix no només està disponible per comprar i incorporar als vostres centres de dades, sinó que realment s’ha enfonsat a tots els proveïdors d’infraestructura, perquè és realment la millor manera d’obtenir sistemes IOPS alts. una latència molt raonable.
Un moment sobre Aerospike - Aerospike és una base de dades distribuïda en clústers, que la fa molt adequada per a desplegaments a l'estil del núvol i centres de dades. Trobem que la flexibilitat de poder afegir més dades i més rendiment és absolutament necessària en aquest tipus d’aplicacions netes noves perquè inicieu un projecte, no sabeu si necessiteu cinquanta mil transaccions per segon, cent mil, un milions, dos milions, de manera que voleu donar-vos una mica de sala per poder afegir servidors. Tot i així, voleu ampliar la mida perquè cada servidor pugui ser ràpid pel seu compte. En realitat no voleu acabar amb cinc-cents o mil servidors que són servidors de bases de dades lents. L’escala d’escala no és l’únic joc de la ciutat, la seva escala i escalada, com deia Dez abans, hi ha un nou eix Z.
Tant de bo això us doni algunes idees noves sobre com la velocitat i l’escala s’adrecen a nous mercats i potser hi hagi projectes en els quals podreu plantejar-vos realment crear aplicacions més riques i utilitzar un marc d’aplicacions amb una clau més clau. base de dades valor o NoSQL que hi ha a sota. A Aerospike, certament, he vist que molts dels nostres clients i molts dels nostres usuaris de codi obert tenen èxit amb aquest patró, i espero que la indústria l’adopti en major mesura.
Rebecca Jozwiak: Moltes gràcies Brian, i estic segur que Dez i Robin tenen algunes bones preguntes per a vostè. Robin?
Dez Blanchfield: Estic encantat de saltar. Robin, tens alguna pregunta? En cas contrari, en tinc un ràpid que puc començar.
Robin Bloor: Ho sento, vaig estar en silenci. Em vaig submergir, però ningú no em va escoltar. Immediatament se’m va produir la pregunta, perquè es tracta d’un conjunt molt sofisticat de capacitats tecnològiques. En termes de clients existents, quin és el tipus d’escalada o de taxa de transacció que experimenteu sobre algunes d’aquestes aplicacions d’anuncis? Es continua incrementant el tipus de transacció? I si és així, a quin tipus de tarifa?
Brian Bulkowski: Interessant pregunta, Robin. Cada indústria té la seva pròpia corba a cada empresa. Prenguem la publicitat nord-americana, per exemple, el 2012, la publicitat nord-americana s’acostava probablement a 200.000 anuncis per segon, en una espècie d’intradiament estàndard, no pas el meu temps, i ara s’escala probablement a uns tres a cinc milions d’anuncis per segon. Però llavors va passar una cosa interessant. La indústria dels anuncis va començar a abordar algunes preocupacions sobre el frau i les parts de la indústria que són capaços de bloquejar el frau van veure que les taxes de transacció van caure una mica, aproximadament un factor de dos, dins d'alguns dels nostres clients més sofisticats que van poder determinar el frau. Per descomptat, havien de fer algunes recerques en bases de dades per bloquejar el frau, de manera que al final seran les mateixes.
Un cas d’ús interessant és en telecomunicacions, no ho vaig mencionar realment, les telecomunicacions veien augmentar les transaccions a causa de la facturació basada en cada paquet que passa a la xarxa de telefonia mòbil. Antigament, teníem registres detallats de trucades i un cop al minut, una trucada, què sabeu, passaria una mica de ping per la xarxa i encara li queda un tipus? Ara hem de crear i fins i tot fer ruta basada en tots els paquets d’internet. És una pena, dins d'una xarxa mòbil, que ara és de sobte milions de paquets per segon i que creixen una i altra vegada. Així, un cas és que cada aplicació condueix un petit tipus de 2 vegades per any. D’uns clients veiem: “Però espera, tinc una nova aplicació. Vull afegir algun frau al meu risc. Vull afegir una experiència més profunda al client al meu frau i al meu risc ”. Cadascun d’ells crea una nova càrrega a la base de dades subjacent.
Robin Bloor: Sí, vull dir que crec que això era el que feia consell a la breu presentació que vaig donar, que aquestes coses: abans pensàvem que una transacció és que algú fa alguna cosa i potser hi ha una cascada d’esdeveniments i tot es grava., i ara moltes transaccions tenen una immensa quantitat de cerques, i en vareu donar alguns exemples. Per tant, ja no esteu executant una transacció, realment esteu executant un tipus d'aplicació que pot tenir molts i molts elements.
L'altra pregunta abans de lliurar-la a Dez, perquè òbviament estem fent unió en això, l'altra pregunta que m'agradaria que respongués si teniu una resposta raonable, és Dez i espero que Internet de Coses, o Internet de tot, com de vegades es diu, per crear una quantitat força dramàtica de trànsit transaccional. Pots parlar amb això? És la vostra experiència: heu arribat clients amb aquest tipus de problema, i quina opció teniu d’aquest moment?
Brian Bulkowski: És clar, crec que hi ha una mica de confusió i, per dir-ho amb tota tranquil·litat, sobre Internet de les coses. Els clients que veig fins ara simplement porten internet a les coses que tenen. Penseu en els botons d'Amazon, que és tot d'Amazon. Aquests botons, no els podeu tornar a posar i els podeu anar a Walmart en línia. No és com un navegador que puguis barrejar i combinar tot. D'altra banda, màquina-a-màquina està passant, i quan connecteu el cotxe de Tesla per carregar-lo, Tesla envia un enorme flux d’informació, cada sensor al cotxe, però desemboca a l’ordinador de Tesla per analitzar-lo i millorar-lo. qualitat. El que veig és que tot això màquina a màquina i tots els sensors dins d’una empresa individual, creant noves exigències.
Avui, principalment avui, s’explica en aquests sistemes analítics i prenem el cas de Tesla; El primer ús que va fer Tesla, segons la meva comprensió, va ser millorar la durada de la bateria, a "Quines temperatures funcionen, quines són les càrregues? Mirem-ne, dissenyem una bateria millor. ”Però després comencen a pensar, i és fantàstic, és una mena de problema d’analítica profunda que és fascinant, la següent pregunta és:" Com puc millorar l'experiència moment a moment ? ”
Anem ara al cas com Nest, on s’intenta fer analítiques predictius per canviar la temperatura de la casa momentàniament. Aquest és el cas que comencem a veure a Aerospike, on hi ha aquest enorme llac de dades i hi ha aquests processos analítics enormes, però què faré ara? Hauré de guardar, penseu-hi com els diners en efectiu, alguna part de la darrera setmana, l'últim mes, potser fins i tot només val la informació de l'últim dia, probablement en un punt final perquè tractem d'un senzill sensor dispositius i vaig a anar fent un conjunt d’analítiques en aquell moment per canviar d’experiències. Aquest tipus d’experiències similars a Nest, per a les quals veig casos d’ús aerospike.
Robin Bloor: D'acord, el que esperava amb l'Internet de les coses, era que començaríeu a provocar llindars i que començaríeu a crear cascades d'esdeveniments. Heu vist alguna cosa així, o no és tot això que encara heu vist?
Brian Bulkowski: Dez i jo érem: només demanava l'opinió de Dez sobre això quan estàvem abans de xerrar. El que encara no he vist és el tipus de cascada de les dades d’una empresa en cascada en una altra empresa, que el meu nevera Samsung està parlant amb la meva rentadora LG perquè només es va assabentar que vaig vessar un munt de xocolata per tot el terra, així que Aquest tipus de companyia a companyia és un dispositiu per dispositiu, crec que encara estic esperant en termes d'Internet de les coses. Crec que hi ha alguns problemes en els negocis i la seguretat que, principalment, no són tècnics que cal respondre per veure-ho.
Robin Bloor: D'acord, Dez?
Dez Blanchfield: Realment tinc algunes opinions molt importants sobre aquest últim punt concret, que només exposaré breument a la conversa. Crec que sovint els negocis i la tecnologia pensen que realment condueixen d’on prové la demanda, però quan ens fixem en el que va passar quan l’iPhone es va convertir en una cosa, i al meu cap és una mena de primer dispositiu mòbil, si perdoneu el puny, però un dispositiu que es pot transportar, que pot portar a la butxaca moltes aplicacions petites, i que va suposar una transformació significativa del que pensàvem com a ordinador. Molta gent pensa en telèfons iPhones o telèfons intel·ligents, o telèfons Android, però no ho són, en realitat no són més que un petit ordinador que executa aplicacions i una de les aplicacions que executa fa trucades i no són les trucades que ja pensem, no són una trucada puntual analògica tal com ha destacat Brian, són petits paquets que s’encaminen.
Però, més sovint, el que hem vist és que aquesta insurgència de telèfons intel·ligents en realitat no s’utilitza per fer trucades que sovint, la probabilitat del 98% del que faig al meu telèfon intel·ligent no és fer trucades. Tot és excepte trucades, són aplicacions. Crec que aquest efecte en cascada (i tinc ganes de posar-ho ràpidament en qüestió), però l'efecte en cascada és realment provocat pels consumidors, i de fet tinc aquest revestiment que llenço força sovint per obtenir un munt de CXOs. asseure’m a l’habitació i estar atent si penso que s’adormen amb la presentació que faig, cosa que no passa massa sovint, tant de bo.
Ho he dit en aquesta interrupció que veieu en la vostra empresa, realment no està impulsat exclusivament per la tecnologia, és més sovint que no sigui conduït pels vostres clients. I es plantegen i es pregunten, què vol dir allà? Així que quan penso en l’ús de la tecnologia, vull dir que vam veure USENET, vam veure passar tot aquest tipus de coses divertides a Internet, però no molta gent va predir social i l’impacte d’aquesta. Tothom que vol dir a tothom què tenia per esmorzar i el soroll que va crear i la tecnologia de backend que teníem, i, per descomptat, la publicitat està intentant omplir-ho de coses.
Crec que veurem un efecte en cascada fins a un punt en què els dispositius parlen amb dispositius, els consumidors només estan al dia de tot el que això significa realment i el que pot fer això. Heu plantejat un punt interessant sobre per què el botó d'Amazon no parlarà amb Walmart. Publicaré aquesta pregunta: què passa quan Walmart obté el seu propi botó, i què passa si els primers vint amazones, Walmarts i altres grans xarxes de distribució i venda al detall tenen tots els seus botons? On ens porta això? Concretament, serà la meva pregunta amb Brian: “On anem amb aquest paradigma de rendiment totalment nou? Esteu a la vora del sagnant i esteu treballant amb empreses que ho fan tant a nivell d'infraestructura física com a nivell de transferència de dades. On ens porta, quan arriba aquesta propera gran onada? Quina mena de coneixement podeu compartir amb això del que passa a la vostra experiència? "
Brian Bulkowski: Segur, la manera en què penso en moltes coses és centrar-me en les experiències dels usuaris i exactament en les que heu dit, són els usuaris que condueixen, tot i que, com a tecnòlegs i com a empresaris, podríem trobar una idea intel·ligent que pensem que els usuaris els agrada i tornaré a l’exemple Nest. Quan la meva germana va instal·lar Nest a casa seva, va dir: "La meva casa és més tranquil·la, puc sentir coses. No és tan sols que estic pagant menys energia per a l'energia ", ho és, però ara no podríeu extreure aquest Niu de les seves mans perquè li agrada estar a una casa més tranquil·la en lloc d'una on la calefacció funciona com a màxim. i després desactiveu-la.
La pregunta acaba sent, quines són les experiències de l’usuari que podem aportar? Acaba sent aquesta experiència de qualitat de vida, que si tinguéssim els diners i estiguéssim al primer món, pagaríem molt. Et posaré un exemple de casa meva, a la meva xicota li agrada la llet freda. Li agrada molt la llet freda i, tan sovint, hem d’intentar esbrinar on a la nevera serà prou fred i no tenir la resta de coses sobrecalentades. Doncs això és fantàstic, i li vaig dir a la meva xicota: "Pagaries 10 dòlars al mes per tenir llet freda i no tenir talls freds congelats?" Ella era com "Absolutament". I aconseguir 10 dòlars al mes de qualsevol consumidor és dur.
Crec que en aquestes experiències hem de vigilar com és aquella experiència final al consumidor que realment es podria impulsar. Crec que això era part del secret de l'iPhone. Crec que forma part del secret de Tesla construir un cotxe millor amb totes les dades, abolir la idea d’un cicle de producte i un llançament anual i fer millores contínues per cada part. Haurem de presentar algunes idees intel·ligents sobre com utilitzar realment totes aquestes dades d’una manera que sigui moment convincent per a la vida de les persones.
Dez Blanchfield: Sí, és excel·lent aquesta visió. A partir d’això, l’altre extrem de l’espectre, té un ressò exacte amb les coses que estem veient ara amb el que demanen els consumidors, i tots tenim a casa una cosa freda i càlida d’això. L’altre extrem de l’espectre és llavors, i ho hem vist en una espècie del “món de les grans dades” tradicional, on les assignacions de dades són cada cop més rares que les dents de gallina i s’ofereixen més que les que hi ha al mercat. en alguns casos, els tipus d’empreses amb les quals treballaveu i els tipus de desenvolupament que heu vist, és el cas que els tipus de desenvolupadors i el tipus d’arquitecte de dades i les especials de xarxa, cada cop són més difícils de trobar. ? Cal que les organitzacions comencin a pensar ara en avançar en la corba del tipus d’habilitats que necessiten al fons per al tipus de desenvolupadors i arquitectes de dades? Què estàs veient a aquest nivell quant als recursos habilitats que entendran com fer funcionar aquesta tecnologia ara?
Brian Bulkowski: Sí, crec que aquest és un dels reptes a què s'enfronten les organitzacions. Tant si es tracta, els pitjors problemes dels quals he sentit són, en realitat, més grans empreses, perquè si dius: "Sóc d’aquest gran banc, sóc de Chase i vaig ser arquitecte de dades", aleshores, " Teniu la ostra del vostre món i el vostre sou augmenta, així que hi ha aquest problema complicat d’obtenir un lloc de treball en un d’aquests llocs perquè no hi ha prou gent i, a continuació, poder passar de treball a feina. No sento res més que aquest tipus de problemes, i aquest és realment una de les raons per les quals he centrat Aerospike al voltant d'utilitzar eines adequades per a l'equip especial del projecte.
En lloc d'intentar entrar en un equip de projecte i dir: "Hola, haureu d'utilitzar el nostre llenguatge de consulta". Mireu, si aquests nois, estan conduint l'autobús aquests dies, nois i galetes, i si utilitzen un llenguatge de consulta concret. i les eines, s’enganxaran amb això, i no puc parlar d’altres coses. El meu objectiu és poder posar el tipus de potència Aerospike com a base de dades darrere de qualsevol eina que utilitzin i això és part d'aquesta idea, les diapositives que veieu sobre el futur de la base de dades Poliglot. Necessito donar suport als patrons d’aplicació i d’analítica entre aquests nois, perquè realment és difícil intentar trobar persones que tinguin els antecedents matemàtics, així com les capacitats estadístiques per navegar per aquest món.
Dez Blanchfield: Una altra cosa interessant de la qual potser la gent no és conscient, vull dir que Aerospike és un jugador molt fort en el món de codi obert, estic desitjat obtenir una visió molt ràpida sobre el que això vol dir pel que fa a com el negoci funciona i el que fa per vostè. Heu esmentat que heu treballat directament amb gent que està fent les coses fins al nivell del nucli al seu interior, per tant, el nucli Linux. Hi ha alguns grans jugadors que hi ha en aquest espai, i hi ha algunes marques famoses que no mencionarem, però una organització com Aerospike, en la seva història recent més moderna, l'experiència de codi obert, com encaixa en la imatge gran i quins avantatges competitius heu vist que us proporcionen?
Brian Bulkowski: Per descomptat, quan vam passar al codi obert el 2014, ho vam fer perquè ens vam adonar que una infraestructura bàsica, com una base de dades, ha de ser una font disponible, ha de ser fiable i un equilibri natural contrària entre el vell món del tancat. origen i, un cop invertit en una base de dades determinada, aquests nois tenen la seva gràcia per al cicle de la tecnologia després del cicle tecnològic, i hi ha d'haver un equilibri. Hem de ser capaços de mostrar versions que facin coses noves, i potser això és en una versió empresarial, hem de tenir un model de llicència doble que tingui una versió de codi obert per a les persones que es piquen als pneumàtics que treballen sense ànim de lucre., així com una versió empresarial que és una llicència de propietari i permet treballar sense límits.
I, per descomptat, també tindrem els nivells més alts de velocitat i escala, sent una versió empresarial. Creiem en el model de llicència de duel i això ha estat excel·lent per al nostre negoci. Volem que la gent comenci amb Aerospike, volem petits projectes per xutar els pneumàtics, és molt fàcil simplement anar a Amazon, llançar un guió de confirmació i tenir un clúster Aerospike en funcionament en cinc minuts. D'altra banda, volem oferir més als clients empresarials.
Dez Blanchfield: Estem molt a prop de l’hora, així que passaré de nou a Rebecca en un moment, però si hi hagués una sola línia de transport que en sortiríeu, consulteu els consells donaries a les persones que busquen entrar a l’espai de la tecnologia que has aportat al mercat i com l’adoptaran, el que hauríeu de dir que el primer pas per a ells és que, com a mínim, s’immergisca el seu puntera i comenceu a veure com obtindran un avantatge competitiu per part de la vostra plataforma?
Brian Bulkowski: Per descomptat, part del missatge és que hi ha nivells de velocitat i habilitat que ara són fàcils. No cal un clúster Cassandra de mil nodes per aconseguir milions de transaccions per segon. Podeu fer-ho fins i tot a les primeres fases del vostre projecte. Així, les coses són molt més fàcils del que abans eren. Aleshores, el segon consell és que haureu de presentar, tal i com ho heu dit, models de compromís amb els processos de negoci de matemàtiques que fan ús de totes aquestes dades, de manera que la bona notícia és que les dades estan disponibles, una mala notícia és que en realitat heu d’anar a trobar alguns patrons i alguns casos d’ús convincent.
Dez Blanchfield: Sí, un gran consell, així que vaig a tornar a Rebecca ara. Moltes gràcies per això, va ser una xicoteta xerrada sobre la tecnologia, ho agraeixo.
Rebecca Jozwiak: Gràcies, Dez. Tinc un parell de bones preguntes del públic. Permetin-me llençar aquesta diapositiva. Sé que heu parlat del sistema de registre i mainframe, però, amb quina freqüència veieu la descàrrega absoluta o és que la replicació és una conciliació al final del dia, de quina mena veieu?
Brian Bulkowski: El que veiem a Aerospike és utilitzar una base de dades NoSQL davant aquell sistema de conciliació de final de dia. Necessiteu el dia a dia, la resposta correcta. No pots tenir una resposta equivocada, i això ho va dir Robin sobre els actius que no es valora, però els processos empresarials al voltant dels requisits legals de la reconciliació es poden complicar i hi ha dècades de tecnologia i dècades de pràctica jurídica i jurídica per fer conciliació. Llavors, el que veiem a Aerospike és que aneu fent els vostres algorismes en una base de dades més calenta amb més transaccions per segon. Però per raons legals, necessita absolutament un sistema de reconciliació que hagi passat per aquests processos legals. Veiem tots dos, i veiem que aquesta és essencialment la pràctica informàtica de dos nivells, tal com han exposat fins a cert punt gent com Anderson Consulting i Gartner. Ho veiem molt.
Rebecca Jozwiak: D'acord, bé. Algú més va mostrar interès per aquesta diapositiva en particular, va dir que era realment interessant i es va preguntar si podríeu simplement comparar el flash vers la memòria.
Brian Bulkowski: És clar, deixeu-me fer una barra lateral ràpida, de nou, sé que estem a prop del final del temps. Doncs el flash és memòria (és xips), acostumo a pensar en memòria RAM. Així, la memòria RAM té característiques particulars, requereix molta potència, és molt bo tant per a escriptures aleatòries com per a lectures aleatòries. Quan NAND és capaç de fer lectures aleatòries ràpides i reduir potència, però és molt dolent que escriu a l’atzar. Hi ha algunes diferències subtils en el funcionament d’aquests dos xips a nivell de litografia, que creen diverses diferències tècniques.
En el cas que feu analítiques i heu de saltar-vos moltes dades, o en el cas de Aerospike, en què teniu índexs, els índexs segueixen sent molt bons per utilitzar-los en RAM a causa del paral·lelisme i l’accés aleatori. Es requereix un nivell més alt d'accés aleatori. Tanmateix, a Aerospike trobem que utilitzem aquests índexs per trobar un objecte o un fragment de dades en particular, aquest és el lloc adequat per arribar a un NAND perquè es converteix en una mena de botiga més gran que hi ha a sota. Aleshores, és una transacció amb un dispositiu d’emmagatzematge, però encara després de fer moltes potencialitats i filtres al vostre sistema d’indexació.
Rebecca Jozwiak: D'acord, bé. Aleshores, sé que ja hem parlat molt del IoT i un comentari dels assistents va dir que IoT és en gran mesura beneficiós, però les empreses, les entitats governamentals i els desenvolupadors creixen de forma segura i obtenen dades al mateix ritme, creus?
Brian Bulkowski: Potser Dez, t'agradaria saltar?
Dez Blanchfield: Sí, estic encantat de saltar a aquell. Crec que la resposta és que no. De fet, una de les meves línies de divagació preferides sobre aquest tema és molt, molt breument, que crec que l'explosió de màquina a màquina i Internet general de les coses, la comunicació i la seguretat, el risc que hi ha al voltant, estem en aquest moment on els governs no poden mantenir el ritme de canvi. De fet, sabem que moltes organitzacions no poden estar al dia del ritme de canvi. De fet, si ho parafrasejo, el ritme de canvis avui en dia és tan gran que les organitzacions han d’esprintar només per mantenir-se, però han d’esprintar en diverses curses. No crec que la llei, i no crec que el govern en general, tant a nivell estatal com federal, sigui capaç de mantenir el ritme de canvi.
Ara, el meu consell general a la gent és una mena d’actuació ara i demanem perdó més endavant. Hi ha hagut molts exemples d'això en el passat. Es posaran al dia, però crec que actualment correspon als proveïdors de negoci i tecnologia innovar en aquest espai i assegurar-nos que estiguem familiaritzats amb els riscos de seguretat o de privadesa i que hem de fer front. Els bancs en particular, com heu comentat, quan penseu en què ha fet una organització bancària tradicionalment amb coses com el blanqueig anti-diners i coneixeu el vostre client, el repte AML / KYC, solia ser que cada tres a cinc anys intentaríem i complir el compliment.
Ara crec que cal integrar-se en cada transacció. Sempre ho heu pogut fer a nivell d’oferta amb publicitat i borsa i comerç de bons i accions, crec que estem en el punt en què el rendiment que esteu produint amb la plataforma Aerospike ens permet pensar ara com podem aportar privadesa, com aportem la seguretat a la cadena de decisions en temps real immediat? De manera que la resposta és que no, no crec que els governs mantinguin el seu ritme. Crec que les empreses han de mantenir-se al dia i crec que hem d’actuar ara i demanar perdó més endavant.
Brian Bulkowski: Permetin-me afegir un parell de punts també. Els nois amb els quals m’ocupo, les empreses tecnològiques amb les que em dedico, són molt conscients d’assegurar-me que estan al costat correcte de la llei, i una bona quantitat de la discussió és: és aquest PII, puc fer-ho servir, com estic? Faig servir aquest fragment de dades? Quina va ser la seva providència i es tracta d’una decisió o experiència protegida? Com puc fer tot això? Així que aquesta és la bona notícia. De vegades em pregunto sobre la nostra discussió com a societat cap a on ens dirigim, i si fins i tot la nostra discussió sobre la societat està al nivell adequat en termes d’utilitzar les noves capacitats des de IoT fins a l’aprenentatge automàtic, que és l’única manera per ordenar els volums de dades que tenim. Però la bona notícia és que els nois amb els quals he parlat estan en el bon camí per intentar fer-ho bé per les decisions legals que hem pres.
Rebecca Jozwiak: Aquestes són respostes realment bones de tots dos i estic totalment d'acord. No crec que la seguretat avanci a un ritme tan ràpid com el desenvolupament de la tecnologia, sobretot quan es tracta de la Internet de les coses, però he de pensar que la gent fa el possible i esperem que hi arribem. Sempre és una mica dur deu passos per davant dels ciberdelinqüents i ciberdelinqüents, però hi arribarem.
Bé, amics, hem passat vuit minuts més amunt de l’hora. Vull agrair als nostres convidats Brian Bulkowski de Aerospike i Dez Blanchfield i Robin Bloor. Moltes gràcies. Sempre podeu trobar els nostres arxius a Insideanalysis.com, SlideShare, YouTube, tenim molts bons transmissions web que apareixen a la gent, ha estat un mes ocupat. Serà un mes ocupat el mes que ve, així que estigueu atents i esperem veure-us la propera vegada. Gràcies amics, adéu.
