Todo equipo técnico tiene una persona que resuelve lo imposible. Casi nadie decidió tenerla, pero casi todos dependen de ella: sabe qué servicio se cae primero, qué comando hay que lanzar y a quién llamar cuando nada de eso está escrito. Mientras coge el teléfono, el sistema parece robusto. El día que no lo coge, se descubre que la robustez estaba en su cabeza y no en el diseño.
Depender de una persona brillante no es una virtud del equipo. Es una decisión de arquitectura que nadie tomó conscientemente, y como cualquier otra decisión de arquitectura se puede revisar. Este artículo recorre cómo se diseña una guardia que funcione igual de bien con cualquiera de las personas del turno: qué alerta merece despertar a alguien, cómo se evita la fatiga de alertas, cómo se escala y qué hace sostenible el turno para quien lo hace.
Qué alerta merece despertar a alguien
La pregunta que más ordena una guardia es también la más incómoda: ¿qué problema justifica sacar a una persona de la cama? El capítulo sobre monitorización de sistemas distribuidos del libro de SRE de Google propone un filtro sencillo. Un aviso que despierta a alguien tiene que ser urgente, requerir una acción humana, ser nuevo (no un problema ya conocido y cubierto por otro aviso) y afectar a los usuarios ahora o muy pronto.
Todo lo que no cumpla esas condiciones no es una alerta, es una métrica. Su sitio es un panel que se revisa por la mañana, un informe semanal o una tarea automatizada. Mover avisos de la categoría «despertar» a la categoría «mirar mañana» es una de las decisiones de mayor impacto y menor coste que puede tomar un equipo.
Síntomas antes que causas
El mismo capítulo recomienda avisar por síntomas, lo que ven los usuarios (errores, lentitud, indisponibilidad), y dejar las causas (un disco que se llena, un proceso que consume memoria) para el diagnóstico, salvo que sean definitivas e inminentes. Medir latencia, tráfico, errores y saturación, las llamadas cuatro señales doradas, cubre razonablemente bien un servicio sin multiplicar los avisos.
Fatiga de alertas: cuando el ruido se come a la señal
El mecanismo es conocido: se añaden alertas por prudencia y se configuran umbrales conservadores. Durante unas semanas todo parece más seguro, pero después llegan los avisos que no requieren acción, el equipo aprende a descartarlos rápido y el día que salta uno real recibe el mismo trato que los anteriores. La fatiga de alertas no es un problema de actitud de las personas, es una consecuencia previsible de un sistema de avisos mal diseñado.
Para corregirlo no hace falta una herramienta nueva, hace falta criterio y revisión periódica. Cada aviso que despierta a alguien debería tener una acción asociada y, si no la tiene, hay que rebajarlo, agruparlo con otros o eliminarlo. Si varios avisos describen el mismo incidente, el equipo necesita recibir uno, no diez. Y conviene revisar después de cada incidente qué avisos sirvieron y cuáles solo añadieron ruido, algo que encaja de forma natural con un postmortem sin culpables.
Escalado: quién entra después, cuándo y con qué información
Una guardia sin escalado definido obliga a improvisar en el peor momento. El escalado responde a tres preguntas que conviene dejar escritas antes de que ocurra nada: quién entra, cuándo entra y con qué información llega.
| Nivel | Quién entra | Cuándo | Con qué información |
|---|---|---|---|
| 1. Primera respuesta | Guardia primaria: comprueba el síntoma, aplica el procedimiento documentado y decide si puede resolverlo sola | Al saltar un aviso que merece despertar a alguien | Alerta, runbook y panel del servicio |
| 2. Apoyo | Guardia secundaria o persona especialista del componente afectado | Si no hay avance en el tiempo acordado, o el síntoma lo exige desde el principio | Cronología hasta el momento y lo ya probado o descartado |
| 3. Decisión y comunicación | Quien decide y quien comunica: responsable del servicio | Si el incidente afecta a clientes, a datos o a obligaciones legales | Estado, impacto y próximos pasos |
El tercer nivel no es un detalle administrativo. Como explicamos al hablar de NIS2 en España, los plazos de notificación obligan a saber con antelación quién declara el incidente, quién autoriza la notificación y quién habla con el regulador o con los clientes. Esa cadena de decisión se escribe y se ensaya antes de necesitarla.
Escalar tampoco es un fracaso de la primera persona, es el diseño funcionando. Lo que hace útil un escalado es la información que viaja con él: qué síntoma se vio, desde cuándo, qué se ha probado ya y qué se ha descartado. Una buena plantilla de traspaso ahorra más tiempo que cualquier herramienta.
Los tiempos de cada nivel son algo que cada servicio debe ajustar a su criticidad. Lo importante es que existan, que sean conocidos por todo el equipo y que los procedimientos que se usan en cada nivel estén al día. Por eso la guardia depende tanto de unos runbooks útiles y vivos, y no únicamente de la memoria de quien lleva más años en la casa.
Una guardia sostenible se diseña también para quien la hace
Una guardia que quema a la gente acaba por perderla, y con ella se va el conocimiento que sostenía el sistema. El capítulo sobre cómo es estar de guardia en el libro de SRE de Google pone números concretos a esta idea: plantea como límite razonable dos incidentes por turno de 12 horas, porque gestionar uno completo, con análisis y seguimiento posterior, lleva de media unas seis horas. También señala que un equipo que cubre la guardia desde un solo sitio necesita al menos ocho ingenieros para que cada persona la haga con una frecuencia razonable.
No son cifras para copiar tal cual, cada organización tiene otra realidad, pero sí una señal de qué conviene medir: cuántos avisos recibe cada turno, cuántos eran accionables y cuántas horas de descanso se pierden. Una guardia que se mide se puede mejorar, y una que no se mide acaba dependiendo de la buena voluntad de alguien.
Hay otra cara menos visible: la guardia sostenible también protege la rotación del equipo. Si solo una persona sabe resolver ciertos incidentes, esa persona nunca puede descansar de verdad. Repartir el conocimiento, con documentación mínima y ejercicios de simulación a partir de incidentes pasados, es lo que permite que la responsabilidad rote sin miedo.
Qué hacer ya
No hace falta rediseñar toda la operación para empezar. Estas cinco acciones se pueden abordar en unas semanas:
- Revisar los avisos que han despertado a alguien en el último mes y clasificarlos: accionable, rebajable o eliminable.
- Asociar a cada aviso que despierta un procedimiento corto y una persona responsable de mantenerlo.
- Definir y escribir los tres niveles de escalado, con tiempos de ejemplo y la información mínima que debe viajar en cada traspaso.
- Dejar por escrito quién declara un incidente, quién decide la comunicación y quién la ejecuta.
- Medir cada turno (avisos, accionables, horas de sueño perdidas) y revisarlo con el equipo cada mes.
Si prefieres no construir esta operación desde cero, en Irontec trabajamos la operación de infraestructuras con nuestro equipo de infraestructuras cloud y servicios IT, y en seguridad contamos con un SOC integrado dentro de nuestros servicios de ciberseguridad. Un ejemplo de ello es el SOC gestionado con Wazuh de Lanit Consulting, donde nuestro equipo realiza el triaje y el análisis continuo de los eventos de seguridad. Desde Linube, nuestra división cloud, el servicio de administración de sistemas 24×7 cuenta con un equipo de guardia que puede intervenir las 24 horas del día, los 365 días del año, y que analiza lo ocurrido tras la recuperación y propone cambios.
Una guardia bien diseñada es aquella en la que nadie tiene que ser un héroe. Si el sistema solo funciona cuando una persona concreta coge el teléfono, no es un sistema resiliente: es una apuesta. Y las apuestas se pueden convertir en procesos.