Skip to content

07 Gerer un incident

Harrylepap edited this page Nov 13, 2026 · 1 revision

07. Gérer un incident

D'abord rétablir, ensuite comprendre, jamais accuser.

Pourquoi

Un incident met à l'épreuve tout ce qu'une équipe prétend être. La qualité de son code, de ses journaux, de son outillage, mais surtout sa capacité à rester calme et organisée sous pression. Les équipes qui gèrent bien les incidents ne sont pas celles qui en ont le moins. Ce sont celles qui ont décidé à l'avance qui fait quoi.

Le modèle que j'utilise vient de l'Incident Command System, conçu pour les pompiers américains, adapté par Google puis par PagerDuty au logiciel. Son idée centrale : séparer la coordination de l'action.

En pratique

Déclarer tôt

Un incident déclaré pour rien coûte dix minutes. Un incident déclaré trop tard coûte des heures et la confiance des clients. La règle : au moindre doute sur un impact utilisateur, on déclare. On pourra toujours rétrograder.

Gravité Exemple Réponse
1 Service principal indisponible, perte de données, impact financier en cours Tout le monde concerné, communication externe
2 Fonction importante dégradée pour une partie des utilisateurs Équipe d'astreinte, communication au support
3 Dégradation mineure, contournement possible Traitement dans la journée

Les trois rôles

flowchart TB
  R["Responsable de l'incident<br/>coordonne, décide, tient le journal"]
  O["Opérateur<br/>diagnostique et agit sur les systèmes"]
  C["Communicant<br/>informe clients, support, direction"]
  R --> O
  R --> C
Loading

Le responsable ne touche pas au clavier. C'est contre-intuitif, surtout quand il est le plus expérimenté de la pièce. Mais quelqu'un qui débogue ne voit plus l'ensemble : il ne remarque pas que l'incident dure depuis une heure, que le support attend une réponse, qu'une deuxième équipe devrait être appelée.

À deux personnes, l'une coordonne et communique, l'autre agit.

Rétablir avant de comprendre

La tentation de l'ingénieur est de comprendre la cause avant d'agir. C'est une erreur pendant l'incident. Les questions dans l'ordre :

  1. Qu'est-ce qui a changé juste avant ? Une livraison, une configuration, un volume, un partenaire.
  2. Peut-on annuler ce changement ? Si oui, on annule, tout de suite.
  3. Peut-on contourner ? Couper un drapeau, basculer sur un mode dégradé, réduire la charge.
  4. Seulement ensuite : corriger.

La compréhension viendra au post-mortem, avec le temps et le calme nécessaires.

Partir des faits

Pendant le diagnostic, chaque hypothèse est confrontée aux journaux et aux métriques avant d'être retenue. On date le début réel de l'impact, qui précède presque toujours la première alerte. On vérifie l'impact réel : combien d'utilisateurs, combien d'opérations, depuis quand.

Le piège le plus fréquent est la reconnaissance : « j'ai déjà vu ça ». On applique la solution de la dernière fois, elle ne marche pas, et on a perdu vingt minutes. La ressemblance des symptômes ne garantit pas la ressemblance des causes.

Le journal

Un canal unique par incident. Chaque action y est notée avec son heure : « 14h12, retour arrière de la version 3.4.1 lancé ». Ce journal sert pendant l'incident (un nouvel arrivant comprend où on en est en une minute) et après (c'est la matière première du post-mortem).

Le post-mortem

Dans les cinq jours ouvrés, pour tout incident de gravité 1 ou 2. Modèle.

Ce qui fait un bon post-mortem :

  • Une chronologie factuelle, reconstituée à partir du journal et des traces.
  • Des causes contributives au pluriel. La recherche d'une cause racine unique est trompeuse. Un incident naît presque toujours de plusieurs conditions réunies : un changement, un test manquant, une alerte mal réglée, une documentation périmée.
  • Ce qui a bien marché. On veut le refaire.
  • Ce qui a ralenti la détection ou le rétablissement. C'est souvent là que se trouvent les meilleures actions.
  • Des actions concrètes, chacune avec un responsable et une échéance.

Sans blâme, vraiment

« Sans blâme » ne veut pas dire « sans responsabilité ». Cela veut dire qu'on examine les décisions avec l'information dont la personne disposait au moment où elle les a prises. Si un ingénieur a lancé une commande dangereuse, la question est : pourquoi la commande était-elle si facile à lancer, et pourquoi rien ne l'a arrêtée ?

Le jour où quelqu'un est sanctionné pour une erreur racontée honnêtement dans un post-mortem, l'équipe arrête de raconter. Définitivement.

Fermer la boucle

Les actions des post-mortems sont suivies chaque semaine jusqu'à leur clôture. Une action ouverte depuis trois mois est soit faite, soit explicitement abandonnée avec une raison. Rien n'abîme plus vite la culture du post-mortem qu'une liste d'actions que tout le monde a oubliées.

Signaux d'alerte

  • Les incidents sont découverts par les clients avant les alertes.
  • Cinq personnes déboguent en parallèle sans que personne ne coordonne.
  • Les post-mortems désignent une « erreur humaine » comme cause.
  • Le même incident revient, avec le même post-mortem.
  • La liste des actions ouvertes ne fait que s'allonger.

Objections

« Trois rôles, c'est de la bureaucratie pour une petite équipe. » Les rôles ne demandent pas trois personnes. Ils demandent de savoir qui coordonne. À deux, c'est une phrase à dire au début : « je coordonne, tu agis ».

« Un post-mortem pour chaque incident, on n'a pas le temps. » Seulement pour les incidents qui ont touché des utilisateurs de façon significative. Et le temps qu'on n'a pas pour le post-mortem, on le retrouvera au prochain incident identique.

Pour aller plus loin

  • Google, Site Reliability Engineering, chapitres « Managing Incidents » et « Postmortem Culture », 2016.
  • PagerDuty, Incident Response Documentation.
  • John Allspaw, « Blameless PostMortems and a Just Culture », Etsy Code as Craft, 2012.
  • Sidney Dekker, The Field Guide to Understanding Human Error, CRC Press, 2014.

Clone this wiki locally