Méthodologie de mesure du placement

Personne, en dehors d’un fournisseur de messagerie, ne peut voir directement où un message livré a atterri. SMTP vous indique qu’un message a été accepté (250 OK) ; il ne dit rien de la boîte de réception, du spam, d’un onglet Promotions ou d’une suppression silencieuse. Tout chiffre de placement que cite un opérateur est donc produit par l’une de quatre méthodes indirectes, et chaque méthode se trompe dans une direction connue et systématique. Cet article explique comment choisir la bonne méthode pour une question donnée et corriger le biais inscrit dans sa réponse.

Pour le programme de surveillance qu’alimentent ces méthodes, voir Surveillance de la réputation ; pour comprendre pourquoi les signaux d’engagement sur lesquels reposent certaines méthodes sont eux-mêmes faussés, voir Distorsions du suivi et de la mesure ; pour le tableau de bord de fournisseur de messagerie le plus complet, voir Google Postmaster Tools.

Les quatre méthodes de mesure en un coup d’œil

Aucune méthode ne suffit à elle seule : les programmes honnêtes recoupent les sources. La suite de cet article explique comment chacune est construite et où elle trompe.

Méthode 1 : les listes de test (et les comptes de test personnels)

Un test sur liste de test (seed test) envoie une copie de la campagne à une liste soignée d’adresses de test (des boîtes de test dédiées que le fournisseur du service entretient chez de nombreux fournisseurs de messagerie, filtres antispam et zones géographiques) et indique où chaque copie a atterri : boîte de réception, spam, un onglet précis (Primary, Promotions, Updates, Social ou Forums de Gmail), un dossier de filtre d’entreprise, ou manquant (accepté puis supprimé, ou bloqué à la passerelle). Bien fait, le test injecte les adresses de test dans l’envoi de production (même message, même infrastructure et même IP, même fenêtre d’envoi), si bien que leur traitement se rapproche de celui de la vraie campagne plutôt que de celui d’un clone de test fabriqué à la main.

Ce à quoi les tests sur liste de test servent vraiment :

• Contrôle qualité avant lancement : détecter les échecs d’authentification (SPF/DKIM/DMARC), les défauts d’affichage et les liens morts avant que la vraie liste ne les voie.
• Comparaison par fournisseur : isoler un constat du type « nous arrivons en boîte de réception partout sauf chez Microsoft ».
• Test de changements : une variable à la fois, par exemple un nouveau modèle, un nouveau domaine de suivi ou une nouvelle IP d’envoi.
• Tri des incidents : une lecture rapide pour savoir si un problème en cours relève du contenu, de l’authentification ou de la réputation.
• Nouveaux programmes sans historique : un panel a besoin que vos messages atteignent de vrais utilisateurs engagés pour dire quoi que ce soit, alors que les listes de test indiquent le placement « indépendamment du filtrage déclenché par l’utilisateur ou fondé sur l’engagement » (irrespective of user-initiated or engagement-based filtering). Pour un programme qui démarre à froid, une liste de test peut être le seul signal disponible.

Où les listes de test se trompent

Les critiques de Mailgun, de la CSA et de Suped convergent vers les mêmes défauts structurels :

1. Pas d’engagement, alors que les filtres modernes fonctionnent à l’engagement. Les adresses de test sont inertes. Selon la CSA, elles « n’ouvrent ni ne lisent les emails, ne cliquent pas sur les liens, ne se désabonnent pas et ne se plaignent pas » (don’t open or read emails, click on links, unsubscribe or complain). Comme le placement chez Gmail, Microsoft et Yahoo est désormais dominé par le comportement des abonnés (ouvertures, clics, transferts, plaintes, suppressions, enregistrements), un indicateur qui ne tient aucun compte de l’engagement peut s’écarter fortement de ce que vivent les vrais abonnés. Un résultat sur liste de test est un instantané du contenu, de l’authentification et de la réputation tels que les filtres les évaluent sans humain dans la boucle.
2. Les fournisseurs ne traitent pas les adresses de test comme de vrais destinataires. Mailgun l’affirme sans détour : « les fournisseurs de messagerie ne traitent pas les boîtes de test comme les vrais destinataires » (mailbox providers don’t treat seed inboxes the same as actual recipients). Les boîtes de test n’ont aucun historique d’échanges avec vous : leur placement penche vers la prudence (aucun capital de confiance accumulé) et passe à côté du filtrage personnalisé dont bénéficierait un vrai abonné engagé.
3. Un échantillon minuscule et non représentatif. Une poignée d’adresses de test ne peut pas remplacer des milliers de vrais destinataires aux volumes, horaires et qualités de liste variés. Les résultats représentent un seul instant, pas une tendance durable.
4. Des faux positifs comme des faux négatifs. Les adresses de test peuvent afficher la boîte de réception alors que les vrais abonnés sont filtrés, ou l’inverse. Un seul mauvais résultat sur liste de test n’est généralement que du bruit : n’agissez que sur une tendance répétée sur plusieurs envois.
5. Le coût. Les services professionnels de listes de test sont une dépense récurrente ; les tests maison sur des comptes personnels suppriment le coût mais conservent toutes les autres limites (petit échantillon, conditions non représentatives, aucune vraie dynamique de réputation).

Règle pratique : utilisez les listes de test comme signal de direction et contrôle qualité, examinées fournisseur par fournisseur, et recoupées avec des données réelles (rapports agrégés DMARC, taux de plaintes, journaux de rebonds, statut sur les listes de blocage) avant de changer quoi que ce soit.

Méthode 2 : les panels d’abonnés

Un panel (Validity/Return Path appelle le sien « Consumer Network » ; d’autres construisent des équivalents) est un ensemble de vraies boîtes aux lettres appartenant à de vraies personnes consentantes et surveillées par le fournisseur de la mesure. Quand vos messages atteignent un panéliste, le fournisseur observe non seulement le placement mais aussi le comportement : boîte de réception ou spam, lecture ou non du message, signalement comme spam, et d’autres actions de l’utilisateur. Les données de panel peuvent donc révéler les facteurs et seuils de filtrage fondés sur l’engagement que les listes de test, non interactives, ne peuvent pas voir, c’est-à-dire précisément les signaux qui déterminent le placement chez les grands fournisseurs.

Où les panels se trompent

Les faiblesses symétriques de celles des listes de test :

1. Une couverture étroite des fournisseurs. Un panel ne mesure que les fournisseurs chez lesquels il a assez de panélistes, historiquement les grands webmails grand public (Google, Microsoft/Outlook.com, Yahoo et, dans les données de 2018, AOL). Il dit peu de chose des passerelles d’entreprise ou B2B, des fournisseurs régionaux et de la longue traîne que les listes de test atteignent.
2. Aucune visibilité sur les messages manquants ou bloqués, d’où un chiffre optimiste. La mesure par panel ne voit que les messages acceptés par la passerelle et livrés dans la boîte d’un panéliste. Les messages bloqués ou supprimés en amont n’entrent jamais dans le dénominateur, si bien que les taux de placement en boîte de réception issus des panels sont structurellement plus élevés que ceux des listes de test. L’illustration de Validity elle-même en 2018 (ci-dessous) montre explicitement l’ampleur de cet écart.
3. Le biais de composition du panel. Les résultats reflètent la démographie, la répartition des fournisseurs et le comportement du panel, qui peuvent ne pas correspondre à votre audience.

L’écart entre liste de test et panel, chiffré (daté : 2018)

Provenance : les chiffres ci-dessous viennent du Return Path (aujourd’hui Validity) 2018 Deliverability Benchmark, qui a échantillonné plus de 2 milliards de messages promotionnels envoyés de juillet 2017 à juin 2018 chez plus de 140 fournisseurs de messagerie ; les ventilations panel et secteur portent sur ~17 000 expéditeurs, 2 millions de panélistes et 2 milliards de messages envoyés à Microsoft, Google, Yahoo et AOL. Les taux absolus sont anciens et dépassés par des études plus récentes (voir Surveillance de la réputation pour les chiffres actuels de Litmus, et Valeurs de référence de la délivrabilité pour les taux actuels de boîte de réception, de spam et de messages manquants mesurés par Validity sur liste de test, par fournisseur, région et secteur) ; ils ne sont cités ici que parce que le rapport met les deux méthodes côte à côte sur les mêmes messages : c’est la relation entre les méthodes qui est la leçon durable.

Même période de 2018, même population d’expéditeurs, deux méthodes :

Les 91 % du panel et les 85 % de la liste de test décrivent les mêmes messages. L’écart de 6 points correspond presque entièrement aux ~10 % de messages que les listes de test ont comptés comme manquants ou bloqués et que le panel n’a tout simplement jamais vus. La note de Validity elle-même : « les taux de placement en boîte de réception calculés à partir des données de panel ne tiennent pas compte des emails manquants ou bloqués, si bien que le taux obtenu sera toujours plus élevé » (inbox placement rates calculated with panel data do not factor in missing/blocked emails, so the resulting inbox placement rate will always be higher). Chaque fois que vous comparez deux chiffres de placement, demandez-vous d’abord quelle méthode a produit chacun : « 91 % » et « 85 % » peuvent être la même réalité mesurée de deux façons, et non une vraie différence.

Une seconde ventilation de panel, datée mais parlante, à conserver : en 2018, le placement chez les quatre principaux fournisseurs atteignait en moyenne 96 % chez AOL, 92 % chez Gmail, 92 % chez Yahoo et 75 % chez Outlook. En 2018 déjà, Microsoft était la grande messagerie la plus difficile à atteindre, ce qui concorde avec le constat, toujours présent dans les études actuelles, que Microsoft est le plus strict.

Méthode 3 : la télémétrie par pixel ou taux de lecture comme indicateur indirect du placement

Votre propre suivi des ouvertures n’est pas une mesure du placement, mais son effondrement est un signal de placement, car un message doit atteindre la boîte avant qu’un pixel puisse se déclencher. C’est la méthode la moins chère, la plus large et la plus réactive (elle couvre en temps réel tous les fournisseurs auxquels vous envoyez réellement), et aussi la plus contaminée.

Lisez Distorsions du suivi et de la mesure pour le fonctionnement complet ; les points essentiels pour utiliser les ouvertures comme indicateur indirect du placement :

• Apple MPP déclenche le pixel par préchargement côté réception, pour ~chaque message livré à un utilisateur d’Apple Mail, engagé ou non. Cela rend les ouvertures individuelles presque sans valeur comme mesure de l’attention, mais fait du taux d’ouverture MPP agrégé un indicateur indirect de facto de la livraison en boîte de réception pour le segment Apple : une ouverture MPP exige tout de même que le message ait atteint la boîte.
• Une baisse soudaine du taux d’ouverture agrégé chez un fournisseur, alors que les autres tiennent, est la signature classique d’un classement en spam chez ce fournisseur : c’est l’alerte précoce la plus sensible dont disposent la plupart des expéditeurs, justement parce qu’elle porte sur toute votre audience réelle et non sur un échantillon.
• Elle ne distingue pas la boîte de réception de l’onglet Promotions, ne voit pas directement les messages manquants et est polluée par les ouvertures des scanners et des proxys. Elle vous dit si le placement a bougé, pas vers où. Confirmez la direction et le lieu avec un test sur liste de test ou un tableau de bord.

Méthode 4 : les tableaux de bord des fournisseurs de messagerie et leurs angles morts

Les tableaux de bord des fournisseurs (Google Postmaster Tools, Microsoft SNDS/JMRP, les flux de Yahoo) sont les seules « données réelles » qui viennent directement du récepteur : le verdict de réputation du fournisseur lui-même, le taux de plaintes pour spam et les taux de réussite de l’authentification. Ils font autorité là où ils publient quelque chose. Leur faiblesse n’est pas le biais mais l’absence : le tableau de bord reste vide précisément quand un expéditeur petit ou nouveau a le plus besoin d’une réponse.

Les situations sans données de Google Postmaster Tools

GPT n’affiche rien, ou affiche des trous dans un graphique par ailleurs rempli, pour plusieurs raisons distinctes. Les distinguer est important, car « aucune donnée » est régulièrement pris à tort pour « un problème » :

Le volume nécessaire, et la vitesse d’apparition des données

Google ne publie aucun minimum fixe. Seuils observés par les praticiens (Suped), tous comptés en destinataires Gmail personnels par jour :

Comptez sur plusieurs centaines de messages par jour vers des adresses Gmail personnelles pour des tableaux de bord fiables. Délais une fois le volume suffisant :

La formule de Google elle-même : les données du tableau de bord sont « généralement mises à jour dans les 24 heures, mais cela peut prendre plus de temps » (usually updated within 24 hours, but can take longer). Il n’y a aucune donnée rétroactive : un domaine inscrit après un incident n’a aucun historique pour la période de l’incident, c’est pourquoi chaque domaine d’authentification devrait être inscrit avant que des problèmes surviennent.

L’angle mort généralisable : tout tableau de bord de fournisseur est un instrument limité au courrier grand public, au-dessus d’un plancher, et en retard. Sous le plancher, et pour les destinations B2B ou d’entreprise qui ne publient aucun tableau de bord, vous revenez aux listes de test et aux panels.

Quand se fier à quelle méthode

Deux règles qui découlent de l’ensemble du tableau :

• Ne comparez jamais un chiffre de placement à un autre sans connaître les deux méthodes. Panel > liste de test par construction (le panel exclut les messages bloqués ou manquants). Un fournisseur de mesure qui annonce un chiffre plus élevé utilise peut-être simplement des données de panel.
• Recoupez avant d’agir. Les listes de test et les tendances du pixel font apparaître des pistes ; les rapports DMARC, les taux de plaintes, les journaux de rebonds, le statut sur les listes de blocage et les tableaux de bord des fournisseurs les confirment. Un mauvais résultat sur liste de test, ou une baisse d’ouvertures sur une journée, n’est que du bruit tant qu’une seconde méthode ne va pas dans le même sens.

Voir aussi

• Surveillance de la réputation : la pile de surveillance à cinq sources qu’alimentent ces méthodes, et les taux de placement en boîte de réception actuels des études de référence
• Distorsions du suivi et de la mesure : pourquoi l’indicateur indirect par pixel ou taux de lecture est contaminé (MPP, Safe Links, proxys, scanners)
• Google Postmaster Tools : la référence complète, tableau de bord par tableau de bord, de la vue du récepteur lui-même
• Microsoft SNDS et JMRP : le tableau de bord du fournisseur côté Microsoft
• Indicateurs et valeurs de référence de la délivrabilité : les seuils à l’aune desquels ces mesures sont jugées
• Outils de test de la délivrabilité : le catalogue d’outils de diagnostic, y compris les fournisseurs de tests sur liste de test et de placement en boîte de réception