E24 - Cómo trabajar con grandes volúmenes de información

Resumen

En este episodio, tres data scientists conversan sobre cómo trabajar con grandes volúmenes de información, evitando el término "Big Data", que consideran una palabra de moda. Coinciden en que no hay un corte objetivo: un dataset es "grande" cuando se vuelve tedioso de procesar por volumen, velocidad o variedad. Mati cuenta su caso real (cientos de millones de registros de 4,5 millones de clientes en Athena/S3 con límites de costo y tiempo) y las limitaciones del muestreo, por ejemplo en análisis por comuna. Se repasan la historia (bases transaccionales, Data Warehouse, Google, Hadoop) y la comparación entre Hadoop y Spark. Cris sostiene que lo esencial es entender CPU, RAM, disco, file system y formatos para elegir la solución, que puede ser Spark, paralelización local o particionado. Concluyen que muchas veces el obstáculo es la burocracia y el desconocimiento de las organizaciones, por lo que hay que saber justificar el cambio de herramientas.

Capítulos

• 00:00
  IntroSe presenta el tema: cómo trabajar con grandes volúmenes de información. Evitan decir "Big Data" porque lo ven como una palabra muy usada; lo importante es saber manejar datos grandes.
• 00:36
  Qué es Big DataCada uno da su definición: alto volumen, algo subjetivo. Para Cris, el dataset es grande cuando abrirlo o transformarlo tarda 5-10 minutos y se vuelve tedioso; depende de la máquina y la herramienta.
• 03:50
  Problemática 1Mati trabaja con datos horarios de unos 4,5 millones de clientes en Athena sobre S3. No puede procesar la base completa (terabytes) por restricciones de costo y un límite de unos 30 minutos por consulta.
• 06:15
  Primer enfoqueSu primera solución es tomar muestras; con su experiencia maneja unos 100 millones de datos en un PC o instancia grande. Los demás comentan dividir los datos para predecir por partes y entrenar modelos como Random Forest por grupos; Cris recomienda partir siempre con una muestra para construir el pipeline.
• 11:39
  Problemática 2El muestreo falla en análisis geográfico por comuna (unas 360 en Chile), porque quedan uno o dos clientes por comuna. Los demás sugieren una muestra estratificada (por ejemplo 1000 por comuna, menos de un millón en total); Mati responde que el gerente quiere ver a todos los clientes.
• 15:02
  SparkMati llega a Spark, que escucha hace años. Aclaran que está escrito en Scala y que PySpark es una API/librería para usarlo desde Python.
• 17:12
  HadoopAl buscar Spark, todo se compara con Hadoop. Mati menciona RDD y que un tutorial de Spark se parece mucho a usar SQL.
• 19:23
  Las V'sSe repasan las 3 V: volumen, velocidad y variedad. Mati las considera poco útiles en la práctica; indica que no hay consenso sobre desde cuándo se considera Big Data y que su propio límite práctico es lo que puede procesar con sus herramientas.
• 22:02
  Bases de datos transaccionalesCris explica que SQL Server y similares se diseñaron para registrar transacciones (OLTP) con inserciones, updates y deletes rápidos, y no para análisis.
• 23:01
  Data WarehouseUnión de varias bases operativas construida para análisis y reportería (OLAP), usada por data scientists y el área de negocio.
• 23:39
  DatamartComponente del Data Warehouse que resume datos por área (finanzas, marketing).
• 24:03
  Cómo nació "Big Data"Con la revolución de los datos crecieron el volumen (de gigas a petabytes) y los tipos (imágenes, texto, video). Surge la solución de un clúster de máquinas y el escalado horizontal frente al vertical, a partir de un paper de Google.
• 28:08
  Hadoop vs SparkMati cuenta la historia: Google publicó tres papers (MapReduce), un empleado de Yahoo creó Hadoop en 2005 (nombre del elefante de juguete del hijo) y Apache es una fundación de código abierto. Spark usa RAM en vez de escribir en disco, siendo 10 a 100 veces más rápido (ejemplo de conteo de palabras). Spark tiene ML integrado; Hadoop tenía Mahout, hoy obsoleto. Mati señala que quiere verificarlo por sí mismo y que montar la infraestructura es complejo.
• 44:05
  MemesMeme de Big Data como "sexo adolescente": todos hablan, nadie lo hace. Otro meme: "el petróleo del futuro". Comentan que el término ya se usa menos y que su propia área se llama Big Data sin hacerlo.
• 53:22
  Conceptos básico de cómo funciona un computadorCris explica CPU (hilos), RAM (trabajar datos) y disco (persistir), además del file system y los formatos de archivo. Afirma que estos conceptos son simples.
• 55:00
  HardwareAntes de la nube había servidores on-premise; para escalar se duplican máquinas (escalado horizontal), lo que obliga a distribuir procesamiento y datos y a tolerar fallos con replicación. Hadoop y Spark lo hacen transparente; Spark procesa en memoria.
• 58:44
  HerramientasEstas herramientas requieren configuración y mantenimiento, de ahí los servicios serverless en la nube. Se mencionan Kafka, streaming pipeline, batch vs real time (ejemplo de recomendaciones de Amazon), y que si algo "no se puede" suele ser un tema de presupuesto.
• 01:06:42
  Conexión a datos y formas de guardarlosCris describe bases transaccionales, Data Warehouse (Redshift), S3 como object storage, formatos como Parquet y el particionado por fecha o región. Compara Athena (solo SQL, cobra por consulta) con un clúster Spark (SQL, transformaciones y modelos); propone usar Spark sobre S3 bien particionado. Menciona que redujo un proceso de 24 horas a una usando paralelismo en R.
• 01:19:57
  Discusión de casoEn su empresa solo Athena tiene acceso a las tablas originales en S3, lo que impide usar Spark. Plantean soluciones como mover datos a un S3 donde sí haya acceso, y discuten costos, serverless, burocracia y la necesidad de justificar cambios con conocimiento técnico.
• 01:30:35
  CierreResumen: Big Data es subjetivo, hay trucos (muestreo, paralelismo), y entender el hardware es clave. Recomiendan librerías en paralelo (furrr en R, Polars en Python), clústeres y Spark; despiden el episodio.

Palabras clave