Résolution DNS interrompue pour certains domaines
Concernés
Performances dégradées depuis 1:00 AM à 9:25 AM, Opérationnel depuis 9:25 AM à 10:45 AM
Performances dégradées depuis 1:00 AM à 9:25 AM, Opérationnel depuis 9:25 AM à 10:45 AM
- Postmortem · UTC
Résumé
Dans la nuit du 25 au 26 octobre 2026, une erreur de système de fichiers sur le serveur hébergeant notre serveur de noms principal (ns1.yorkdns.com) l'a empêché de répondre aux requêtes. Notre serveur de noms secondaire (ns2.yorkdns.com) a pris le relais comme prévu, et la grande majorité des domaines sont restés accessibles. Cependant, certaines zones n'avaient pas été correctement répliquées vers celui-ci :
30 zones n'avaient jamais été transférées vers ns2. Pendant l'indisponibilité de ns1, ces domaines ne se résolvaient plus.
109 zones étaient servies par ns2, mais dans une version datant du 22 octobre : les modifications effectuées depuis n'avaient pas été propagées.
Aucune donnée n'a été perdue.
Chronologie (heure de Paris)
Heure
Événement
22 oct.
Publication d'une nouvelle version de notre outil de gestion DNS, introduisant les deux problèmes de réplication décrits ci-dessous. Aucun effet visible tant que ns1 fonctionnait.
26 oct., 02h00
Début de l'incident : ns1 cesse de répondre. ns2 prend le relais, à l'exception des zones affectées.
07h00
Premiers signalements clients, début de l'investigation.
10h00
Cause de la panne de ns1 identifiée, travaux en cours.
10h25
ns1 réparé et remis en service. Tous les domaines se résolvent à nouveau.
10h55
Problème de réplication identifié. Les 30 zones manquantes sont transférées vers ns2.
11h13
Correctif pour les 109 zones obsolètes validé, puis appliqué à l'ensemble d'entre elles.
11h25
Les 328 zones sont identiques sur ns1 et ns2.
11h45
Incident résolu.
Cause racineLa panne de ns1 a révélé deux problèmes introduits le 22 octobre :
Type de zone incorrect : notre outil de gestion DNS créait les nouvelles zones avec le type « Native » au lieu de « Primary ». Une zone Native n'est jamais annoncée au serveur secondaire, qui ne la reçoit donc jamais.
Numéro de série abaissé : une opération de mise à jour a diminué le numéro de version (serial) de 109 zones. Un serveur secondaire n'accepte une mise à jour que si ce numéro augmente, ns2 a donc conservé l'ancienne version de ces zones.
Notre supervision vérifiait la disponibilité réseau des serveurs, mais ni leurs réponses DNS ni la réplication entre eux. Ces problèmes sont donc passés inaperçus jusqu'à l'incident.
RésolutionLe serveur ns1 a été réparé et sa configuration renforcée. Les zones ont été corrigées, et une comparaison zone par zone confirme que les 328 zones répondent de manière identique sur les deux serveurs.
Prévention
Correctif de l'outil : chaque zone est désormais créée en tant que zone primaire et annoncée à ns2 dès sa création, puis après chaque modification.
Supervision : des sondes interrogent directement ns1 et ns2 avec de véritables requêtes DNS, nous alertant dans un délai d'une à deux minutes si l'un d'eux cesse de répondre.
Nous présentons nos excuses à tous les clients concernés. Pour toute question concernant un domaine spécifique, notre équipe support reste disponible.
- Résolu · UTC
Cet incident a été résolu. Tous les domaines sont desservis par nos deux serveurs de noms, et une surveillance renforcée a été mise en place. Un rapport détaillé sera publié prochainement.
- Mettre à jour · UTC
Toutes les zones sont désormais identiques sur ns1 et ns2. La redondance DNS est pleinement opérationnelle. Nous continuons la surveillance.
- Mettre à jour · UTC
Nous avons identifié un problème de réplication : certaines zones n'étaient pas transférées vers ns2.yorkdns.com. Ces zones ont été corrigées et sont désormais servies par les deux serveurs.
- Surveillé · UTC
ns1.yorkdns.com a été réparé et est de nouveau en service. La résolution DNS est rétablie pour tous les domaines. Nous continuons de vérifier la réplication entre nos deux serveurs.
- Identifié · UTC
Notre serveur de noms principal ns1.yorkdns.com rencontre une panne de stockage. Notre serveur de noms secondaire ns2.yorkdns.com gère les requêtes, mais certains domaines sont encore affectés. Les travaux sur ns1 sont en cours.
- Mettre à jour · UTC
Nous avons reçu des signalements indiquant que des domaines ne se résolvent plus. Notre équipe est en cours d'investigation.
- En cours d'investigation · UTC
Certains domaines ont cessé de se résoudre.

