Datos

Historia del Big Data: los problemas detrás de cada salto

Del modelo relacional a MapReduce y Spark: qué problema intentaba resolver cada cambio y por qué las tecnologías anteriores siguen teniendo sitio.

Referencias visuales: Google Research · Apache Spark · Composición editorial.

Contar la historia del Big Data como una sucesión de herramientas nuevas deja fuera lo más interesante: qué se estaba atascando. Organizar información, procesar archivos repartidos y repetir un cálculo muchas veces son necesidades diferentes. Cada salto técnico respondió a alguna de ellas.

1970: separar la información de cómo se guarda

En 1970, Edgar F. Codd publicó A Relational Model of Data for Large Shared Data Banks. Su propuesta buscaba que los usuarios y los programas dependieran menos de la representación física de los datos. El modelo relacional proporcionó una base para trabajar con relaciones y operaciones sobre ellas.

La importancia no estaba solo en dibujar tablas. Si una aplicación necesita conocer cada detalle del almacenamiento para consultar información, cambiar esa organización puede romperla. Separar ambas cosas abre margen para evolucionar el sistema.

Este es un antecedente fundamental del trabajo con datos, aunque llamarlo Big Data moderno borraría las diferencias de época y propósito. Las bases relacionales siguen resolviendo problemas actuales de transacciones, relaciones y análisis.

2004: repartir un cálculo y soportar máquinas que fallan

El artículo de Google sobre MapReduce, publicado en 2004 por Jeffrey Dean y Sanjay Ghemawat, presentó un modelo para procesar conjuntos grandes mediante operaciones de mapeo y reducción. Su implementación se encargaba de repartir trabajo, coordinar máquinas y gestionar fallos.

Un ejemplo didáctico es contar palabras en muchos archivos. Cada trabajador produce pares de palabra y cantidad; después se agrupan las mismas palabras y se suman sus cantidades. Dividir el cálculo no es lo único difícil: también hay que decidir qué repetir si una máquina deja de responder y cómo reunir resultados sin perder trabajo.

1Archivos divididos en fragmentos
2Map: palabra y cuenta parcial
3Agrupar por palabra
4Reduce: sumar las cuentas
El recuento de palabras ilustra el modelo, de forma simplificada.

Hadoop: el almacenamiento también se distribuye

HDFS, el sistema de archivos de Hadoop, se diseñó para grandes archivos y acceso con alto rendimiento agregado. Su documentación de arquitectura trata el fallo de hardware como una situación esperable y explica el papel de la replicación.

Esto cambia la forma de pensar: en lugar de confiar en que una máquina enorme nunca falle, el sistema debe seguir siendo recuperable cuando alguna pieza falle. HDFS prioriza ciertos patrones de acceso y procesamiento por lotes; no está pensado para convertir cada pequeña interacción de una web en una operación distribuida.

2009: repetir y explorar sin reiniciar todo el recorrido

Spark nació como proyecto de investigación en Berkeley en 2009 y se abrió en 2010. Su investigación buscó ampliar las tareas que podían expresarse con eficiencia: algoritmos iterativos, análisis interactivo y procesamiento de flujos.

Piensa en un algoritmo que consulta los mismos datos durante varias rondas. Releerlos y escribir resultados completos en cada paso añade trabajo. Mantener datos reutilizables en memoria cuando procede y representar dependencias entre operaciones permite otro recorrido. La explicación de investigación de Spark sitúa precisamente ahí parte de su motivación.

Qué enseña esta historia al elegir hoy

Cada avance deja una pregunta útil
CambioPregunta para un proyecto actual
Modelo relacional¿Puedo cambiar la organización sin romper las consultas?
Procesamiento distribuido¿Qué tarea se puede repartir y cómo se recupera?
Almacenamiento distribuido¿Qué accesos y fallos debo soportar?
Reutilización del trabajo¿Qué datos o cálculos estoy repitiendo sin necesidad?

El recorrido no acaba con una herramienta que sustituye a todas las demás. Un proyecto puede usar una base relacional para operaciones, archivos para un histórico y un motor distribuido para un cálculo pesado. Cada pieza necesita justificar su trabajo.

La nube permite delegar parte de la infraestructura, pero las preguntas sobre acceso, coste, recuperación y calidad siguen dentro del proyecto. La introducción a cuándo necesitas Big Data parte de esa misma idea: medir el problema antes de adoptar su solución.

Para seguir leyendo

Volver a UnaCosa