Historia del Big Data: los problemas detrás de cada salto
Del modelo relacional a MapReduce y Spark: qué problema intentaba resolver cada cambio y por qué las tecnologías anteriores siguen teniendo sitio.
Contar la historia del Big Data como una sucesión de herramientas nuevas deja fuera lo más interesante: qué se estaba atascando. Organizar información, procesar archivos repartidos y repetir un cálculo muchas veces son necesidades diferentes. Cada salto técnico respondió a alguna de ellas.
1970: separar la información de cómo se guarda
En 1970, Edgar F. Codd publicó A Relational Model of Data for Large Shared Data Banks. Su propuesta buscaba que los usuarios y los programas dependieran menos de la representación física de los datos. El modelo relacional proporcionó una base para trabajar con relaciones y operaciones sobre ellas.
La importancia no estaba solo en dibujar tablas. Si una aplicación necesita conocer cada detalle del almacenamiento para consultar información, cambiar esa organización puede romperla. Separar ambas cosas abre margen para evolucionar el sistema.
Este es un antecedente fundamental del trabajo con datos, aunque llamarlo Big Data moderno borraría las diferencias de época y propósito. Las bases relacionales siguen resolviendo problemas actuales de transacciones, relaciones y análisis.
2004: repartir un cálculo y soportar máquinas que fallan
El artículo de Google sobre MapReduce, publicado en 2004 por Jeffrey Dean y Sanjay Ghemawat, presentó un modelo para procesar conjuntos grandes mediante operaciones de mapeo y reducción. Su implementación se encargaba de repartir trabajo, coordinar máquinas y gestionar fallos.
Un ejemplo didáctico es contar palabras en muchos archivos. Cada trabajador produce pares de palabra y cantidad; después se agrupan las mismas palabras y se suman sus cantidades. Dividir el cálculo no es lo único difícil: también hay que decidir qué repetir si una máquina deja de responder y cómo reunir resultados sin perder trabajo.
Hadoop: el almacenamiento también se distribuye
HDFS, el sistema de archivos de Hadoop, se diseñó para grandes archivos y acceso con alto rendimiento agregado. Su documentación de arquitectura trata el fallo de hardware como una situación esperable y explica el papel de la replicación.
Esto cambia la forma de pensar: en lugar de confiar en que una máquina enorme nunca falle, el sistema debe seguir siendo recuperable cuando alguna pieza falle. HDFS prioriza ciertos patrones de acceso y procesamiento por lotes; no está pensado para convertir cada pequeña interacción de una web en una operación distribuida.
2009: repetir y explorar sin reiniciar todo el recorrido
Spark nació como proyecto de investigación en Berkeley en 2009 y se abrió en 2010. Su investigación buscó ampliar las tareas que podían expresarse con eficiencia: algoritmos iterativos, análisis interactivo y procesamiento de flujos.
Piensa en un algoritmo que consulta los mismos datos durante varias rondas. Releerlos y escribir resultados completos en cada paso añade trabajo. Mantener datos reutilizables en memoria cuando procede y representar dependencias entre operaciones permite otro recorrido. La explicación de investigación de Spark sitúa precisamente ahí parte de su motivación.
Qué enseña esta historia al elegir hoy
| Cambio | Pregunta para un proyecto actual |
|---|---|
| Modelo relacional | ¿Puedo cambiar la organización sin romper las consultas? |
| Procesamiento distribuido | ¿Qué tarea se puede repartir y cómo se recupera? |
| Almacenamiento distribuido | ¿Qué accesos y fallos debo soportar? |
| Reutilización del trabajo | ¿Qué datos o cálculos estoy repitiendo sin necesidad? |
El recorrido no acaba con una herramienta que sustituye a todas las demás. Un proyecto puede usar una base relacional para operaciones, archivos para un histórico y un motor distribuido para un cálculo pesado. Cada pieza necesita justificar su trabajo.
La nube permite delegar parte de la infraestructura, pero las preguntas sobre acceso, coste, recuperación y calidad siguen dentro del proyecto. La introducción a cuándo necesitas Big Data parte de esa misma idea: medir el problema antes de adoptar su solución.


