Méthodologie de mesure du placement

Quand vous citez un taux de placement en boîte de réception, vous citez une estimation, car personne en dehors d’un fournisseur de messagerie ne peut voir directement où un message livré a atterri. SMTP vous indique qu’un message a été accepté (250 OK), mais ne dit rien de sa destination : boîte de réception, spam, onglet Promotions, ou suppression silencieuse.

Tout chiffre de placement que cite un opérateur vient donc de l’une de quatre méthodes indirectes, et chaque méthode se trompe dans une direction connue et systématique. Choisissez la méthode adaptée à votre question, et corrigez le biais inscrit dans sa réponse.

Pour le programme de surveillance qu’alimentent ces méthodes, voir Surveillance de la réputation. Pour comprendre pourquoi les signaux d’engagement sur lesquels reposent certaines méthodes sont eux-mêmes faussés, voir Distorsions du suivi et de la mesure. Pour le tableau de bord le plus détaillé d’un fournisseur de messagerie, voir Google Postmaster Tools.

Les quatre méthodes de mesure en un coup d’œil

Aucune méthode ne suffit à elle seule, et les programmes honnêtes recoupent les sources. Les sections ci-dessous expliquent comment chaque méthode est construite et où elle induit en erreur.

Méthode 1 : les listes de test (et les comptes de test personnels)

Un test sur liste de test (seed test) envoie une copie de la campagne à une liste soignée d’adresses de test. Ce sont des boîtes de test dédiées que le fournisseur du service entretient chez de nombreux fournisseurs de messagerie, filtres antispam et régions. Le test indique où chaque copie a atterri : boîte de réception, spam, onglet précis (Primary, Promotions, Updates, Social ou Forums de Gmail), dossier d’un filtre d’entreprise, ou manquant (accepté puis supprimé, ou bloqué à la passerelle).

Bien fait, le test injecte les adresses de test dans l’envoi de production lui-même (le même message, la même infrastructure et la même IP, la même fenêtre d’envoi), afin que leur traitement se rapproche de celui de la vraie campagne plutôt que de celui d’une copie de test fabriquée à la main.

Ce à quoi les tests sur liste de test servent vraiment :

• Les contrôles qualité avant lancement : détecter les échecs d’authentification (SPF, DKIM, DMARC), les défauts d’affichage et les liens morts avant que la vraie liste ne les voie.
• La comparaison entre fournisseurs : isoler un problème du type « nous arrivons en boîte de réception partout sauf chez Microsoft ».
• Le test de changements : une variable à la fois, comme un nouveau modèle, un nouveau domaine de suivi ou une nouvelle IP d’envoi.
• Le tri des incidents : une lecture rapide pour savoir si un problème en cours vient du contenu, de l’authentification ou de la réputation.
• Les nouveaux programmes sans historique : un panel a besoin que vos messages atteignent de vrais utilisateurs engagés avant de pouvoir dire quoi que ce soit, alors que les listes de test indiquent le placement « indépendamment du filtrage déclenché par l’utilisateur ou fondé sur l’engagement » (irrespective of user-initiated or engagement-based filtering). Pour un programme qui démarre à froid, une liste de test peut être le seul signal disponible.

Où les listes de test se trompent

Les critiques de Mailgun, de la Certified Senders Alliance (CSA) et de Suped convergent vers les mêmes défauts structurels :

1. Pas d’engagement, alors que les filtres modernes fonctionnent à l’engagement. Les adresses de test ne font rien. Selon la CSA, elles « n’ouvrent ni ne lisent les emails, ne cliquent pas sur les liens, ne se désabonnent pas et ne se plaignent pas » (don’t open or read emails, click on links, unsubscribe or complain). Le placement chez Gmail, Microsoft et Yahoo est désormais dominé par le comportement des abonnés (ouvertures, clics, transferts, plaintes, suppressions, enregistrements), si bien qu’un indicateur sans aucune donnée d’engagement peut s’écarter fortement de ce que vivent les vrais abonnés. Un résultat sur liste de test est un instantané de la façon dont les filtres évaluent le contenu, l’authentification et la réputation sans humain dans la boucle.
2. Les fournisseurs ne traitent pas les adresses de test comme de vrais destinataires. Mailgun l’affirme sans détour : « les fournisseurs de messagerie ne traitent pas les boîtes de test comme les vrais destinataires » (mailbox providers don’t treat seed inboxes the same as actual recipients). Les boîtes de test n’ont aucun historique de réception de vos messages, si bien que leur placement penche vers la prudence (aucun capital de confiance accumulé), et elles passent à côté du filtrage personnalisé dont bénéficierait un vrai abonné engagé.
3. Un échantillon minuscule et non représentatif. Une poignée d’adresses de test ne peut pas remplacer des milliers de vrais destinataires dont le volume, les horaires et la qualité de liste varient. Les résultats montrent un seul instant, pas une tendance durable.
4. Des faux positifs comme des faux négatifs. Les adresses de test peuvent afficher la boîte de réception alors que les vrais abonnés sont filtrés, ou l’inverse. Un seul mauvais résultat sur liste de test n’est généralement que du bruit : n’agissez que sur une tendance répétée sur plusieurs envois.
5. Le coût. Les services professionnels de listes de test sont une dépense récurrente. Tester avec vos propres comptes personnels supprime le coût mais conserve toutes les autres limites (petit échantillon, conditions non représentatives, aucune vraie dynamique de réputation).

Règle pratique : utilisez les listes de test comme signal de direction et contrôle qualité, examinez-les séparément pour chaque fournisseur de messagerie, et recoupez-les avec des données réelles (rapports agrégés DMARC, taux de plaintes, journaux de rebonds, statut sur les listes de blocage) avant de changer quoi que ce soit.

Méthode 2 : les panels d’abonnés

Un panel est un ensemble de vraies boîtes aux lettres, appartenant à de vraies personnes qui acceptent d’être suivies par le fournisseur de la mesure. Validity (anciennement Return Path) appelle son panel « Consumer Network », et d’autres construisent des équivalents. Quand vos messages atteignent un panéliste, le fournisseur observe non seulement le placement mais aussi le comportement : boîte de réception ou spam, lecture ou non du message, signalement comme spam, et d’autres actions de l’utilisateur.

Les données de panel peuvent donc révéler les facteurs et les seuils de filtrage fondés sur l’engagement que les listes de test, non interactives, ne peuvent pas voir, c’est-à-dire précisément les signaux qui déterminent le placement chez les grands fournisseurs.

Où les panels se trompent

Leurs faiblesses sont le miroir de celles des listes de test :

1. Une couverture étroite des fournisseurs. Un panel ne mesure que les fournisseurs chez lesquels il a assez de panélistes, historiquement les grands webmails grand public (Google, Outlook.com de Microsoft, Yahoo et, dans les données de 2018, AOL). Il dit peu de chose des passerelles d’entreprise ou entre entreprises (B2B), des fournisseurs régionaux et de la longue traîne que les listes de test atteignent.
2. Aucune visibilité sur les messages manquants ou bloqués, d’où un chiffre optimiste. La mesure par panel ne voit que les messages acceptés par la passerelle et livrés dans la boîte d’un panéliste. Les messages bloqués ou supprimés en amont n’entrent jamais dans le dénominateur, si bien que les taux de placement en boîte de réception issus des panels sont structurellement plus élevés que ceux des listes de test. L’illustration de Validity elle-même en 2018 (ci-dessous) montre l’ampleur de cet écart.
3. Le biais de composition du panel. Les résultats reflètent la démographie, la répartition des fournisseurs et le comportement du panel, qui peuvent ne pas correspondre à votre audience.

L’écart entre liste de test et panel, chiffré (daté : 2018)

Note sur les sources : les chiffres ci-dessous viennent du Return Path (aujourd’hui Validity) 2018 Deliverability Benchmark, qui a échantillonné plus de 2 milliards de messages promotionnels envoyés de juillet 2017 à juin 2018 chez plus de 140 fournisseurs de messagerie. Les ventilations des données de panel et du secteur portent sur environ 17 000 expéditeurs, 2 millions de panélistes et 2 milliards de messages envoyés à Microsoft, Google, Yahoo et AOL. Les taux absolus sont anciens et ont été dépassés par des études plus récentes (voir Surveillance de la réputation pour les chiffres actuels de Litmus, et Valeurs de référence de la délivrabilité pour les taux actuels de boîte de réception, de spam et de messages manquants mesurés par Validity sur liste de test, par fournisseur, région et secteur). Ils ne sont cités ici que parce que le rapport met les deux méthodes côte à côte sur les mêmes messages. La relation entre les méthodes est la leçon qui dure.

La même période de 2018, la même population d’expéditeurs, deux méthodes :

Les 91 % du panel et les 85 % de la liste de test décrivent les mêmes messages. L’écart de 6 points correspond presque entièrement aux quelque 10 % de messages que les listes de test ont comptés comme manquants ou bloqués et que le panel n’a jamais vus. Selon Validity elle-même : « les taux de placement en boîte de réception calculés à partir des données de panel ne tiennent pas compte des emails manquants ou bloqués, si bien que le taux obtenu sera toujours plus élevé » (inbox placement rates calculated with panel data do not factor in missing/blocked emails, so the resulting inbox placement rate will always be higher). Chaque fois que vous comparez deux chiffres de placement, demandez-vous d’abord quelle méthode a produit chacun. Un « 91 % » et un « 85 % » peuvent être la même réalité mesurée de deux façons, et non une vraie différence.

Une seconde ventilation de panel, datée mais parlante, mérite d’être conservée. En 2018, le placement chez les quatre principaux fournisseurs atteignait en moyenne 96 % chez AOL, 92 % chez Gmail, 92 % chez Yahoo et 75 % chez Outlook. Microsoft était déjà en 2018 le grand fournisseur de messagerie le plus difficile à atteindre, ce qui concorde avec le constat, toujours présent dans les études actuelles, que Microsoft est le plus strict.

Méthode 3 : la télémétrie par pixel ou taux de lecture comme indicateur indirect du placement

Votre propre suivi des ouvertures ne mesure pas le placement, mais son effondrement est un signal de placement, car un message doit atteindre la boîte avant qu’un pixel puisse se déclencher. C’est la méthode la moins chère, la plus large et la plus réactive (elle couvre en temps réel tous les fournisseurs auxquels vous envoyez réellement), et aussi la plus contaminée.

Distorsions du suivi et de la mesure explique le fonctionnement complet. Voici les points qui comptent quand vous utilisez les ouvertures comme indicateur indirect du placement :

• Apple MPP déclenche le pixel lors du préchargement côté réception, pour presque chaque message livré à un utilisateur d’Apple Mail, engagé ou non. Cela rend les ouvertures individuelles presque sans valeur comme signe d’attention, mais fait du taux d’ouverture MPP agrégé un indicateur indirect de fait de la livraison en boîte de réception pour le segment Apple, car une ouverture MPP exige tout de même que le message ait atteint la boîte.
• Une baisse soudaine du taux d’ouverture agrégé chez un fournisseur, alors que les autres restent stables, est le signe classique d’un classement en spam chez ce fournisseur. C’est l’alerte précoce la plus sensible dont disposent la plupart des expéditeurs, justement parce qu’elle porte sur toute votre audience réelle et non sur un échantillon.
• Elle ne distingue pas la boîte de réception de l’onglet Promotions, ne voit pas directement les messages manquants, et est polluée par les ouvertures des scanners et des proxys. Elle vous dit si le placement a bougé, pas vers où. Confirmez la direction et le lieu avec un test sur liste de test ou un tableau de bord.

Méthode 4 : les tableaux de bord des fournisseurs de messagerie et leurs angles morts

Les tableaux de bord des fournisseurs (Google Postmaster Tools, Microsoft SNDS et JMRP, les flux de Yahoo) sont les seules « données réelles » qui viennent directement du serveur de réception : le verdict du fournisseur lui-même sur votre réputation, votre taux de plaintes pour spam et vos taux de réussite de l’authentification. Ils font autorité là où ils publient quelque chose. Leur faiblesse n’est pas le biais mais l’absence : le tableau de bord reste vide précisément quand un expéditeur petit ou nouveau a le plus besoin d’une réponse.

Les situations sans données de Google Postmaster Tools

Google Postmaster Tools (GPT) n’affiche rien, ou affiche des trous dans un graphique par ailleurs rempli, pour plusieurs raisons distinctes. Il est important de les distinguer, car « aucune donnée » est régulièrement pris à tort pour « un problème » :

Le volume nécessaire, et la vitesse d’apparition des données

Google ne publie aucun minimum fixe. Ces seuils ont été observés par des praticiens (Suped), et tous comptent des destinataires Gmail personnels par jour :

Prévoyez plusieurs centaines de messages par jour vers des adresses Gmail personnelles pour des tableaux de bord fiables. Une fois le volume suffisant, les délais sont les suivants :

Selon Google, les données du tableau de bord sont « généralement mises à jour dans les 24 heures, mais cela peut prendre plus de temps » (usually updated within 24 hours, but can take longer). Il n’y a aucune donnée rétroactive. Un domaine inscrit après un incident n’a aucun historique pour la période de l’incident, c’est pourquoi chaque domaine d’authentification devrait être inscrit avant que des problèmes surviennent.

L’angle mort général : tout tableau de bord de fournisseur est un instrument limité au courrier grand public, au-dessus d’un plancher, et en retard. Sous le plancher, et pour les destinations B2B ou d’entreprise qui ne publient aucun tableau de bord, vous revenez aux listes de test et aux panels.

Quand se fier à quelle méthode

Deux règles découlent de l’ensemble du tableau :

• Ne comparez jamais un chiffre de placement à un autre sans connaître les deux méthodes. Les taux des panels sont plus élevés que ceux des listes de test par construction, car le panel exclut les messages bloqués et manquants. Un fournisseur de mesure qui annonce un chiffre plus élevé utilise peut-être simplement des données de panel.
• Recoupez avant d’agir. Les listes de test et les tendances du pixel font apparaître des pistes ; les rapports DMARC, les taux de plaintes, les journaux de rebonds, le statut sur les listes de blocage et les tableaux de bord des fournisseurs les confirment. Un mauvais résultat sur liste de test, ou une baisse des ouvertures sur une journée, n’est que du bruit tant qu’une seconde méthode ne va pas dans le même sens.

Voir aussi

• Surveillance de la réputation, y compris la pile de surveillance qu’alimentent ces méthodes et les taux actuels de placement en boîte de réception des études de référence
• Distorsions du suivi et de la mesure
• Google Postmaster Tools
• Microsoft SNDS et JMRP
• Indicateurs et valeurs de référence de la délivrabilité, les seuils à l’aune desquels ces mesures sont jugées
• Outils de test de la délivrabilité, y compris les fournisseurs de tests sur liste de test et de placement en boîte de réception