Rody

OEFA · vigilancia de la calidad del aire · 2018–2022

2 883 877

lecturas horarias de 33 estaciones, en un CSV de 1,3 GB

¿Qué aire se respira junto a una mina, una fundición o una refinería?

Rody

La pregunta

¿En qué estaciones y a qué horas el aire entra en un nivel alto de PM2,5 y PM10?

¿Y con cuánta anticipación eso avisa de un episodio que supera el Estándar de Calidad Ambiental (ECA)?

PC3: el dónde y el cuándo TB2: con cuánta anticipación Para quién: las personas con enfermedades respiratorias

Dónde mide OEFA

Rody

33 estaciones

en 10 de las 25 regiones

Cada estación acompaña a una actividad fiscalizada: minas, fundiciones, refinerías, agroindustria, corredores viales, ladrilleras.

Una zona sin estación no es una zona con aire limpio. OEFA mide donde fiscaliza, no donde vive la gente.

Dayana

1 · El dato

Antes de paralelizar, hay que entender qué significa cada fila

Lo que el CSV de OEFA esconde

Dayana

93 %

de las lecturas no trae hora

La reconstruimos por su posición en el día. Donde sí viene, coincide en el 100,0 % de los casos.

26,4 %

de las filas son días enteros en 0

Para OEFA, un 0 es «no medido», no aire limpio: tratarlo como dato diluiría los episodios.

4,7 %

son gases que llegan dos veces

El mismo valor viene en ppb y en µg/m³. Queda una sola unidad por parámetro.

De 2 883 877 filas a 65 873 horas para el modelo

Dayana

 

 

Cada barra sale de los conteos que escribe el cargador (reports/limpieza.json).

Rody

2 · La concurrencia

Todo en Go, solo con la biblioteca estándar: goroutines, canales y sync

Cuatro partes; la PC3 construye las dos primeras

Rody

A · cargador: PC3 B · K-Means: PC3 en paralelo, PC4 distribuido C · API coordinadora: PC4 D · frontend: TB2

Parte A: el CSV se reparte en bloques entre W goroutines

Julio

La fusión va en orden de bloque, no de llegada: el resultado no depende de W.

Con 12 workers, el CSV se carga 4,94 veces más rápido

Julio

6,68 s → 1,35 s

1,3 GB, con 1 worker y con 12

  • Silver y gold idénticos para todo W
  • Eficiencia de 41 %: la fusión en orden y las fases seriales (8,3 % del tiempo) no se reparten

Laptop de desarrollo, 14 CPU lógicas · 10 repeticiones por W · intervalo bootstrap al 95 %.

Parte B: el K-Means en un worker pool

Rody

Ilustrativo: los tiempos no son mediciones. El código es kmeans/concurrente.go; el pseudocódigo, en el respaldo.

El mismo resultado bit a bit para todo W

Rody

 

50 950,4

inercia, idéntica bit a bit con 1, 2, 4, 8 y 12 workers

  • 3,86× con 12 workers, hasta converger en 44 iteraciones
  • Una iteración dura 2,03 ms: coordinar pesa
  • Con chunks de 10 000 filas hay solo 7 chunks para 12 workers: 2,25×

El mismo código en una máquina y en el clúster

Rody

Quién llama a Parciales Quién fusiona
PC3 un worker, sobre su chunk Fusionar, en orden de chunk
PC4 un nodo, sobre su partición el coordinador, en orden de nodo
  • Fusionar y Actualizar no cambian: la versión distribuida reutiliza el código
  • La ronda por la red ya está escrita y probada: el plazo que vence y el parcial rezagado que se descarta

Dayana

3 · Lo que encontramos

¿Qué niveles de aire aparecen, y cuándo y dónde llega el alto?

El aire cae en tres niveles; solo el alto supera el ECA

Dayana

Media de las horas de cada nivel. El ECA es un promedio de 24 horas: una hora alta no es, por sí sola, un incumplimiento.

El nivel alto llega de mañana y en pocas estaciones

Dayana

Su fracción fina es la más baja de los tres niveles (0,35): apunta a polvo antes que a combustión.

Dayana

Lo que el K-Means no hace

44 %

de las horas en que el promedio de 24 horas supera el ECA caen en el nivel alto

Ningún K-Means aísla los episodios: la alerta necesita el nivel y el ECA juntos.

Límites a la vista: el 30 % del nivel alto sale de campañas de semanas en Lima, y el 61 % del gold es de 2022.

Cómo sabemos que está bien

Julio

240 funciones de prueba, todas con -race

CI en cada push y PR: -race, go vet y gofmt

Docker imagen distroless con cargar y entrenar

go test -race ./...: todos los paquetes con pruebas, en ok

gh run list: las corridas del CI, todas en verde

docker build y docker run: el cargador corre dentro del contenedor

Auditoría independiente: un notebook rehace la limpieza y el K-Means en pandas y scikit-learn. 40 de 40 chequeos sin diferencias.

Rody

Lo que nos llevamos

  • Repartir es fácil. Lo difícil es que el resultado no dependa de cómo se repartió: fusionar siempre en el mismo orden.
  • Antes de paralelizar, entender el dato: un 0 de OEFA es «no medido».
  • Medir con intervalos: 4,94× no es 12×, y sabemos por qué.

Qué sigue

  • PC4 (semana 13): el clúster de nodos por TCP, la API en menos de 100 ms y el protocolo verificado con Spin.
  • TB2 (semana 15): el mapa con las alertas y la anticipación de los episodios.

github.com/R0SEWT/aire-distribuido

¿Preguntas?

Respaldo

Las reglas de limpieza, con lo que descartó cada una

Respaldo · reports/limpieza.json

Regla Qué hace Filas
1 Solo lecturas horarias: fuera los promedios diarios o móviles

218 998

2′ Hora por posición en el día, cuando no viene 1 333 932 reconstruidas
3′ Un día entero en 0 es «no medido»

762 744

3′ Una hora en 0 de un contaminante, en un día con datos

8 694

— Fila sin valor (plantilla de exportación de 2022)

262 743

4 Fuera del rango físico (casi todo, presión en 0)

51 219

6 Una sola unidad por parámetro: duplicados descartados

134 285

7 Pivot: una fila por estación y hora

236 001

8 Completitud: PM2,5 y PM10 a la vez

65 873

La regla de las 18 horas: con menos de 18 horas no nulas, OEFA publica 0 como promedio del día. El 0 es «sin dato» también dentro de un día.

Por qué k = 3

Respaldo · notebook 02

  • 1 080 corridas sobre 24 variantes de la receta (features, log, nivel, k)
  • k = 3: la silueta más alta de la grilla con k ≥ 3 (0,54)
  • Estable entre semillas: ARI de 0,99
  • 10 semillas de k-means++; gana la de menor inercia

El speedup, con su fracción serial

Respaldo · reports/benchmark_*.json

Cargador K-Means (chunk 1 000)
Speedup con 12 workers 4,94× 3,86×
Intervalo bootstrap al 95 %

[4,66; 5,21]

[3,28; 4,60]

Eficiencia (speedup / W)

41 %

32 %

Fracción serial efectiva (Karp-Flatt)

13 %

19 %

Techo de Amdahl con esa fracción 7,7× 5,2×

Karp-Flatt estima la fracción serial que explicaría el speedup medido. En el K-Means crece con W: el límite es coordinar (la barrera por iteración), no una sección secuencial fija.

El protocolo de la PC4, ya probado

Respaldo · protocolo/

Mensaje Sentido Para qué
HOLA nodo → coordinador El nodo se registra: se conecta él
CARGAR / LISTO ida y vuelta Asigna la partición, una sola vez
ITERAR coordinador → nodo Abre la ronda t con los centroides
PARCIAL nodo → coordinador Sumas, conteos e inercia de la ronda t
FIN coordinador → nodo Cierra la corrida
PING / PONG, ERROR ambos Vida del nodo y falla explícita

JSON por línea sobre TCP. Las pruebas corren sobre net.Pipe (una conexión en memoria): el plazo que vence, el parcial rezagado, la fusión en orden de nodo. El listener TCP y el clúster son la PC4.

Semillas en paralelo

Respaldo · kmeans/semillas.go

  • 10 corridas completas (k-means++ y Lloyd), 3 a la vez, cada una con su parte de los workers
  • Pared: 122,5 ms; suma de las corridas: 342,7 ms (2,8× de solapamiento)
  • La peor semilla queda a 0,00 % de la mejor
  • No hay nada que sincronizar entre ellas: solo comparten los datos, de solo lectura

El algoritmo del K-Means paralelo

Respaldo · kmeans/concurrente.go y kmeans/parciales.go

 6  C ← cantidad de chunks de B filas; P ← C parciales vacíos
 7  lanzar W goroutines una sola vez; cada una, hasta que se cierre trabajos:
 8      recibir un chunk b por el canal trabajos
 9      P[b] ← Parciales(X, c, filas de b)  // c: solo lectura; P[b]: solo suyo
10      barrera.Done()
11  para t = 1, ..., T hacer
12      barrera.Add(C); enviar b = 0, ..., C - 1 por trabajos
13      barrera.Wait()                      // los C parciales están listos
14      F ← Fusionar(P[0], ..., P[C - 1])   // en orden de chunk, no de llegada
15      mov ← Actualizar(c, F)              // c[j] ← S[j] / N[j] si N[j] > 0
16      si mov ≤ tol entonces salir
17  repetir 12 a 14 con Asignar, que además escribe a[i]
18  cerrar trabajos; esperar a que terminen las W goroutines

Las líneas 1 a 5 (Parciales) y el Algoritmo 2 (la ronda distribuida) están en la sección 3.3.5 del informe.

Límites

Respaldo

  • El nivel alto recoge el 44 % de las horas en que el promedio de 24 horas supera el ECA: describe niveles, no detecta episodios
  • El 30 % del nivel alto sale de campañas de semanas en Lima
  • El 61 % del gold es de 2022
  • Solo 17 de las 33 estaciones miden PM2,5 y PM10 a la vez: las series largas de La Oroya, Paragsha, Talara y Cuajone no llegan al modelo
  • Una zona sin estación no es una zona con aire limpio