~/$Emiliano Herrera
Data Engineer & Physicist
Construyo sistemas de datos que intentan explicar una parte del mundo. Mi foco está en la intersección entre la ingeniería y la lógica estructural de la física.
Trabajo con datos, pero mi curiosidad empieza mucho antes, en la forma en que se estructuran las ideas. Soluciones sólidas, directas, que tengan sentido para alguien al otro lado del monitor.
Identidad
No me defino por mi cargo ni por mi oficina. Antes que ingeniero, soy alguien que intenta entender los mecanismos de las cosas. Estudié física porque quería descifrar la estructura del mundo; luego me di cuenta de que el mundo ahora son los datos. No es una contradicción, es un cambio de escala.
Para mí, programar es un lenguaje de exploración. Construyo flujos de datos porque el sistema mismo, su orden interno, me atrae más que el resultado vacío. Es una búsqueda de la elegancia en medio de un ruido constante.
Esa misma obsesión me acompaña en la música, la fotografía y el diseño. Distintos métodos para hablar de lo mismo: la estructura, el equilibrio y lo que queda cuando quitamos lo innecesario.
Otras Estructuras
- Ingeniería de datos avanzada
- Física teórica & Simulación
- Matemática aplicada
- Diseño minimalista
- Composición musical & Síntesis
- Fotografía analógica & digital
Criterio
"La ingeniería es la extensión de la física a la realidad técnica. Si el diseño falla, la lógica de fondo está rota."
Hechos
Lo que ha quedado después de la ejecución. Un rastro de eficacia.
2h → 45m
Ejecución
Una reducción de tiempo, un aumento de la claridad.
<1%
Precisión
Casi nada de ruido en los datos finales.
100%
Fluidez
Sistemas autónomos, sin rastro manual.
Proyectos
Artefactos técnicos, arquitectura de sistemas y desarrollos en curso.
Criminal Stats Dashboard for Mexico (Legacy)
Replanteamiento de un flujo de Big Data. Un campo de entrenamiento técnico.
El Problema
Necesitaba dominar el stack moderno de extremo a extremo. Sin atajos.
La Solución
Arquitectura automatizada usando Spark, BigQuery y DBT. Donde el modelado semántico se vuelve fundamental.
Hacker – Crank
Detección de anomalías en el uso de computadoras. Comportamiento y tiempo.
El Problema
¿Podemos predecir un fallo por cómo se mueve el sistema bajo estrés? Una pregunta sobre la previsibilidad.
La Solución
Modelo ligero de detección de anomalías integrando Feature Engineering en el pipeline. Una reducción de ruido operacional.
Infraestructura Mínima en GCP
Módulos de Terraform para desplegar infraestructuras reusables. Automatización de la duda.
El Problema
La configuración manual es fuente de error. Quise codificar las mejores prácticas para no repetirme.
La Solución
Scripts modulares de IaC que automatizan redes y seguridad. Porque la infraestructura tiene que ser sólida y silenciosa.
Schwarzschild Black Hole Visualizer
En DesarrolloVisualización 3D del espacio-tiempo. Un intento de ver lo invisible usando Spark para resolver las ecuaciones de Einstein en tiempo real.
El Problema
Quería saber si el código era capaz de manejar la deformación geodésica sin sucumbir al ruido visual. Una obsesión técnica.
La Solución
Un integrador RK4 sobre Dataproc y renderizado en React Three Fiber. Es la intersección de la física y la ingeniería, donde todo tiene que encajar.
IDM — Plataforma de Incidencia Delictiva
En DesarrolloHacer legibles las estadísticas del crimen en México. Mapas que antes eran ruido burocrático.
El Problema
Los datos públicos suelen ser inescrutables. Quise construir una herramienta para mirarlos con claridad.
La Solución
Pipeline de ingesta en Python y un tablero reactivo. Convirtiendo el caos en información útil, o al menos en algo que se pueda leer.
Experiencia
AgileThought
Data Engineer
Mayo 2022 — Presente
Diseño de flujos de información a gran escala. Intervenir en el caos de la analítica de negocio.
- Optimización de tuberías de datos; de la lentitud a la ejecución en menos de una hora.
- Reducción Drástica de errores en métricas fundamentales. Una cuestión de verdad.
- Diseño de modelos de datos enfocados en el uso real, no solo en la teoría.
- Automatización de procesos mediante Airflow. Menos intervención humana, más precisión.
- Trabajo con equipos de ciencia de datos para asegurar el flujo constante de lo necesario.
Geometría & Observación
La matemática no es un cálculo, es un mapa de lo que no podemos ver a simple vista. Aprendí que los sistemas complejos —un flujo de datos, el movimiento de una galaxia— se rigen por reglas de una simplicidad casi aterradora si se encuentra la abstracción correcta.
Esa misma estructura me lleva a otros sitios: la música, donde el sonido es geometría pura; el diseño, donde la forma intenta no estorbar; y la fotografía, que es atrapar la luz antes de que se pierda. No son intereses aislados; son diferentes lenguajes para hablar de la misma obsesión: el equilibrio y la forma.
Ecuaciones de campo de Einstein: El orden secreto del mundo
Me interesan los problemas donde la lógica más pura choca con la ejecución técnica. No busco lo complejo, busco lo esencial. Lo que queda después de limpiar el ruido.
Tanto en un pipeline como en una imagen, mi trabajo es reducir la entropía. Transformar el caos en una señal que alguien, en algún lugar, pueda entender.
Partial
"La geometría de lo incompleto."
Partial no es una marca, es un recordatorio. El símbolo ∂ representa la derivada parcial: la manera en que entendemos un sistema complejo analizando cómo cambia en una sola dirección. Es una forma de aislar la verdad.
Esa misma lógica —la de marcar una frontera entre lo esencial y lo decorativo— es la que aplico al construir software. El minimalismo no es una estética, es una decisión técnica.
Forma a través de la estructura. Una propuesta donde el diseño es la consecuencia de la lógica interna, no un barniz externo.
Mínimo
0
Frontera
∂Ω
Cambio
δ
Orden
Σ
Stack Técnico
Herramientas y tecnologías que utilizo para construir sistemas resilientes y escalables.
Cloud & Plataformas
- GCP
- BigQuery
- Cloud Storage
- Dataproc
- Compute Engine
Procesamiento
- PySpark
- SparkSQL
- SQL
- Python
Orquestación
- Apache Airflow
- Astronomer
Herramientas
- Terraform
- Docker
- Git
- Linux
Análisis
- DBT
- Power BI
- Looker Studio
Pensamiento Técnico
Artículos y notas sobre ingeniería de datos, arquitectura y sistemas.
La derrota voluntaria de Apache Spark
Si el problema cabe en la memoria de un solo hombre, no busques el caos de lo distribuido. Una nota sobre la escala y el error.
Escribir tablas FACT para alguien que no existe
El diseño de datos no es geometría; es una conversación con un usuario ausente. Modelar es, casi siempre, imaginar un orden.
El silencio de un DAG en verde
Que el proceso termine no significa que la verdad esté a salvo. La observabilidad es la única forma de no caminar a ciegas.
Física y entropía en el código
Los sistemas de datos, como las estrellas, tienden al desorden. Solo la estructura nos salva de la desaparición técnica.
Caminos
Me interesa lo que viene después: sistemas proactivos y productos técnicos con una profundidad que no se agote en el uso.
Detección de anomalías. Lo real.
Modelado preventivo que no busca el error, sino el patrón oculto del desorden.
Plataformas que se explican a sí mismas.
Observabilidad total. Que los datos hablen antes de romperse.
Ingeniería + Inteligencia. Sin fisuras.
Sistemas donde el código es la infraestructura de la razón.