Niveles de calidad del aire con K-Means paralelo en Go, sobre las lecturas de OEFA
Equipo 4 · Programación Concurrente y Distribuida (1ACC0065) · UPC · 2026-20
Rody
OEFA · vigilancia de la calidad del aire · 2018–2022
2 883 877
lecturas horarias de 33 estaciones, en un CSV de 1,3 GB
¿Qué aire se respira junto a una mina, una fundición o una refinería?
Rody
La pregunta
¿En qué estaciones y a qué horas el aire entra en un nivel alto de PM2,5 y PM10?
¿Y con cuánta anticipación eso avisa de un episodio que supera el Estándar de Calidad Ambiental (ECA)?
PC3: el dónde y el cuándo TB2: con cuánta anticipación Para quién: las personas con enfermedades respiratorias
Rody
33 estaciones
en 10 de las 25 regiones
Cada estación acompaña a una actividad fiscalizada: minas, fundiciones, refinerías, agroindustria, corredores viales, ladrilleras.
Una zona sin estación no es una zona con aire limpio. OEFA mide donde fiscaliza, no donde vive la gente.
Dayana
1 · El dato
Antes de paralelizar, hay que entender qué significa cada fila
Dayana
93 %
de las lecturas no trae hora
La reconstruimos por su posición en el día. Donde sí viene, coincide en el 100,0 % de los casos.
26,4 %
de las filas son días enteros en 0
Para OEFA, un 0 es «no medido», no aire limpio: tratarlo como dato diluiría los episodios.
4,7 %
son gases que llegan dos veces
El mismo valor viene en ppb y en µg/m³. Queda una sola unidad por parámetro.
Dayana
Cada barra sale de los conteos que escribe el cargador (reports/limpieza.json).
Rody
2 · La concurrencia
Todo en Go, solo con la biblioteca estándar: goroutines, canales y sync
Rody
A · cargador: PC3 B · K-Means: PC3 en paralelo, PC4 distribuido C · API coordinadora: PC4 D · frontend: TB2
Julio
La fusión va en orden de bloque, no de llegada: el resultado no depende de W.
Julio
6,68 s → 1,35 s
1,3 GB, con 1 worker y con 12
Laptop de desarrollo, 14 CPU lógicas · 10 repeticiones por W · intervalo bootstrap al 95 %.
Rody
Ilustrativo: los tiempos no son mediciones. El código es kmeans/concurrente.go; el pseudocódigo, en el respaldo.
Rody
50 950,4
inercia, idéntica bit a bit con 1, 2, 4, 8 y 12 workers
Rody
Quién llama a Parciales |
Quién fusiona | |
|---|---|---|
| PC3 | un worker, sobre su chunk | Fusionar, en orden de chunk |
| PC4 | un nodo, sobre su partición | el coordinador, en orden de nodo |
Fusionar y Actualizar no cambian: la versión distribuida reutiliza el códigoDayana
3 · Lo que encontramos
¿Qué niveles de aire aparecen, y cuándo y dónde llega el alto?
Dayana
Media de las horas de cada nivel. El ECA es un promedio de 24 horas: una hora alta no es, por sí sola, un incumplimiento.
Dayana
Su fracción fina es la más baja de los tres niveles (0,35): apunta a polvo antes que a combustión.
Dayana
Lo que el K-Means no hace
44 %
de las horas en que el promedio de 24 horas supera el ECA caen en el nivel alto
Ningún K-Means aísla los episodios: la alerta necesita el nivel y el ECA juntos.
Límites a la vista: el 30 % del nivel alto sale de campañas de semanas en Lima, y el 61 % del gold es de 2022.
Julio
240 funciones de prueba, todas con -race
CI en cada push y PR: -race, go vet y gofmt
Docker imagen distroless con cargar y entrenar
go test -race ./...: todos los paquetes con pruebas, en ok
gh run list: las corridas del CI, todas en verde
docker build y docker run: el cargador corre dentro del contenedor
Auditoría independiente: un notebook rehace la limpieza y el K-Means en pandas y scikit-learn. 40 de 40 chequeos sin diferencias.
Rody
Lo que nos llevamos
Qué sigue
github.com/R0SEWT/aire-distribuido
¿Preguntas?
Respaldo · reports/limpieza.json
| Regla | Qué hace | Filas |
|---|---|---|
| 1 | Solo lecturas horarias: fuera los promedios diarios o móviles | 218 998 |
| 2′ | Hora por posición en el día, cuando no viene | 1 333 932 reconstruidas |
| 3′ | Un día entero en 0 es «no medido» | 762 744 |
| 3′ | Una hora en 0 de un contaminante, en un día con datos | 8 694 |
| — | Fila sin valor (plantilla de exportación de 2022) | 262 743 |
| 4 | Fuera del rango físico (casi todo, presión en 0) | 51 219 |
| 6 | Una sola unidad por parámetro: duplicados descartados | 134 285 |
| 7 | Pivot: una fila por estación y hora | 236 001 |
| 8 | Completitud: PM2,5 y PM10 a la vez | 65 873 |
La regla de las 18 horas: con menos de 18 horas no nulas, OEFA publica 0 como promedio del día. El 0 es «sin dato» también dentro de un día.
Respaldo · notebook 02
Respaldo · reports/benchmark_*.json
| Cargador | K-Means (chunk 1 000) | |
|---|---|---|
| Speedup con 12 workers | 4,94× | 3,86× |
| Intervalo bootstrap al 95 % | [4,66; 5,21] |
[3,28; 4,60] |
| Eficiencia (speedup / W) | 41 % |
32 % |
| Fracción serial efectiva (Karp-Flatt) | 13 % |
19 % |
| Techo de Amdahl con esa fracción | 7,7× | 5,2× |
Karp-Flatt estima la fracción serial que explicaría el speedup medido. En el K-Means crece con W: el límite es coordinar (la barrera por iteración), no una sección secuencial fija.
Respaldo · protocolo/
| Mensaje | Sentido | Para qué |
|---|---|---|
HOLA |
nodo → coordinador | El nodo se registra: se conecta él |
CARGAR / LISTO |
ida y vuelta | Asigna la partición, una sola vez |
ITERAR |
coordinador → nodo | Abre la ronda t con los centroides |
PARCIAL |
nodo → coordinador | Sumas, conteos e inercia de la ronda t |
FIN |
coordinador → nodo | Cierra la corrida |
PING / PONG, ERROR |
ambos | Vida del nodo y falla explícita |
JSON por línea sobre TCP. Las pruebas corren sobre net.Pipe (una conexión en memoria): el plazo que vence, el parcial rezagado, la fusión en orden de nodo. El listener TCP y el clúster son la PC4.
Respaldo · kmeans/semillas.go
Respaldo · kmeans/concurrente.go y kmeans/parciales.go
6 C ← cantidad de chunks de B filas; P ← C parciales vacíos
7 lanzar W goroutines una sola vez; cada una, hasta que se cierre trabajos:
8 recibir un chunk b por el canal trabajos
9 P[b] ← Parciales(X, c, filas de b) // c: solo lectura; P[b]: solo suyo
10 barrera.Done()
11 para t = 1, ..., T hacer
12 barrera.Add(C); enviar b = 0, ..., C - 1 por trabajos
13 barrera.Wait() // los C parciales están listos
14 F ← Fusionar(P[0], ..., P[C - 1]) // en orden de chunk, no de llegada
15 mov ← Actualizar(c, F) // c[j] ← S[j] / N[j] si N[j] > 0
16 si mov ≤ tol entonces salir
17 repetir 12 a 14 con Asignar, que además escribe a[i]
18 cerrar trabajos; esperar a que terminen las W goroutines
Las líneas 1 a 5 (Parciales) y el Algoritmo 2 (la ronda distribuida) están en la sección 3.3.5 del informe.
Respaldo
aire-distribuido · PC3 · Programación Concurrente y Distribuida · UPC 2026-20