Le fonctionnement interne du filtrage de Gmail

Les exigences de Gmail envers les expéditeurs disent ce que Gmail vérifie ; cet article explique ce que Gmail fait du résultat, c’est-à-dire comment le placement est réellement décidé. Deux faits dominent tout ce qui suit et expliquent pourquoi la délivrabilité chez Gmail résiste à un diagnostic unique :

1. La réputation est calculée sur le domaine d’envoi authentifié, pas sur l’IP, à l’inverse de la plupart des récepteurs centrés sur l’IP. L’authentification est la condition préalable qui rend un message tout simplement évaluable.
2. Le placement est propre à chaque utilisateur et appris. Le même message du même expéditeur peut arriver en boîte de réception chez un destinataire et en dossier spam chez un autre, car Gmail laisse l’historique de signalements et de marquages d’un utilisateur l’emporter sur la réputation générale de l’expéditeur. Il n’y a pas de réponse unique à « est-ce que j’arrive en boîte de réception chez Gmail ? », seulement une répartition entre destinataires.

Tout cela est documenté, et non déduit, principalement à partir des propres travaux de recherche de Google (Taylor, CEAS 2006 ; Taylor/Fingal/Aberdeen, NIPS 2007) et de ses pages d’aide et de blog. L’article de 2006 décrit un système de l’époque de la version bêta ; les mécanismes ont depuis été reconstruits sur l’apprentissage automatique (voir classification par apprentissage automatique), mais cet article est le seul endroit où Google a exposé concrètement la logique de la réputation, et ses principes (évaluation du domaine authentifié, autocorrection par les votes des utilisateurs, zone intermédiaire confiée à un filtre statistique) décrivent toujours le comportement du système. Considérez les formules comme une illustration du modèle, pas comme le code en production aujourd’hui.

Le modèle de réputation du domaine authentifié

Source : « Sender Reputation in a Large Webmail Service », Bradley Taylor, Google, CEAS 2006 (Third Conference on Email and Anti-Spam). Gmail a été lancé en version bêta en avril 2004 ; l’article décrit le système de réputation construit pendant cette bêta.

Pourquoi le domaine, et pas l’IP

Google a écarté la réputation d’IP comme clé principale, car l’IP « est une forme d’authentification rudimentaire » (is a crude form of authentication) : un même expéditeur n’utilise pas toujours la même IP ; l’IP qui se connecte n’est pas toujours le véritable expéditeur, à cause du transfert ; les IP des en-têtes Received ne peuvent pas être authentifiées de façon fiable ; et quand plusieurs domaines partagent un ensemble d’IP, un seul domaine qui envoie du spam « peut ruiner la réputation de tous les autres domaines » (can ruin the reputation for all the other domains). Gmail classe donc les messages selon qui envoie (le domaine authentifié) plutôt que selon ce que contient le message. Gmail était signalé comme « le seul » (the only one) grand système de réputation fondé sur le domaine authentifié plutôt que sur l’IP.

Méthodes d’authentification utilisées pour établir le domaine, et leur répartition observée sur les messages entrants de Gmail :

DomainKeys (le prédécesseur de DKIM) était l’autre signal ; Gmail l’a adopté tôt, en partie parce que SPF casse lors d’un transfert alors qu’une signature y survit. La recommandation de Google, hier comme aujourd’hui : mettre en place les deux, pour que si un transfert ou une altération du message casse l’un, l’autre authentifie encore ; « si les deux sont présents, le signal d’authentification est d’autant plus fort » (if both are present, it is that much stronger of an authentication signal).

Les taux d’authentification différaient nettement entre messages souhaités et indésirables : l’authentification est en soi un signal de réputation.

Le calcul de la réputation

Chaque message livré enregistre un événement avec son classement et son authentification. Quatre compteurs s’accumulent par domaine authentifié :

La réputation est un nombre de 0 à 100 : « on peut voir la réputation comme la probabilité que les messages d’un expéditeur donné ne soient pas du spam » (you can think of the reputation as the probability that a given sender’s mail is not spam). 0 est le plus proche du spam, 100 le plus éloigné.

good       = autononspam + manualnonspam − manualspam
total      = autospam + autononspam
reputation = 100 × good / total

La version affinée plafonne les termes manuels pour qu’un petit nombre de votes ne puisse pas dominer, et évite la division par zéro (si total = 0, il n’y a pas de réputation) :

manualnonspam2 = min(autospam,    manualnonspam)
manualspam2    = min(autononspam, manualspam)
good2          = autononspam + manualnonspam2 − manualspam2
reputation     = 100 × good2 / total

Exemples chiffrés tirés de l’article :

• weliketospam.com envoie 100 spams ; 60 atterrissent automatiquement dans le dossier spam, 40 se glissent en boîte de réception comme faux négatifs → réputation 40. 30 utilisateurs signalent ensuite les spams manqués → la réputation tombe à 10.
• weneverspam.com envoie 100 messages ; 5 arrivent à tort dans le dossier spam comme faux positifs → réputation 95. 3 utilisateurs annulent ce classement → la réputation monte à 98.

La réputation sert aussi de taux de faux positifs attendu : pour un expéditeur de réputation 2, avec un seuil de dossier spam fixé sous la réputation 5, cela signifie « environ 2 % de faux positifs sur les messages de cet expéditeur » (about 2 % of the time you’ll have false positives on that sender’s mail).

Autocorrection, pondération des votes et dynamique de rétablissement

• Les réputations sont calculées sur de nombreux jours, si bien qu’un domaine solide « peut se bâtir une réputation très solide » (can build up a very solid reputation) et qu’« un petit accès de spam [...] est absorbé comme du bruit » (a little blip of spam ... is absorbed as noise). Le revers : un domaine qui envoie du spam pendant longtemps puis se corrige met quelques jours à se rétablir.
• Les boutons Report Spam et Not Spam sont tous deux essentiels. Ne tenir compte que des signalements de spam ne permet pas à la réputation de remonter après une erreur du filtre : elle ne peut pas s’autocorriger. Google qualifie la présence des deux boutons d’« essentielle au succès » (critical for the success) du système.
• Tous les utilisateurs ne votent pas, et les votes sont limités. Seule une partie des utilisateurs, « ceux qui fourniront les meilleures informations » (the ones that will provide the best information), est prise en compte ; les utilisateurs qui ne signalent jamais ni spam ni non-spam sont exclus. Pour éviter que les gros utilisateurs dominent, chaque utilisateur est limité à un signalement de spam par domaine et par heure, soit 24 votes par domaine et par jour au maximum.

L’usage de la réputation (le partage en trois)

Après avoir authentifié l’expéditeur et calculé la réputation du domaine :

1. Réputation au-dessus d’un seuil → livrer tous les messages de l’expéditeur en boîte de réception.
2. Réputation sous un seuil → les envoyer tous dans le dossier spam.
3. Entre les deux (ou inconnue) → transmettre le message, avec la valeur de réputation, à un filtre antispam statistique qui prend la décision finale sur le contenu.

Point essentiel : un utilisateur peut passer outre la politique générale pour des adresses d’expéditeur précises. C’est l’origine documentée des écarts de placement d’un utilisateur à l’autre.

À quoi ressemblait la répartition des réputations

• Les domaines de spam se regroupent étroitement autour de 0 ; les domaines de messages souhaités se regroupent dans la fourchette 90 à 100. Les expéditeurs légitimes d’envois en masse qui obtiennent moins de 90 traduisent « des pratiques d’envoi loin d’être idéales » (a reflection of less-than-ideal sending practices) : une hygiène imparfaite se traduit par un score moyen, pas par un zéro.
• Réputations de quelques domaines (2006, à titre d’illustration du modèle) : aol.com 98,5, yahoo.com 95,6/95,0 (SPF/DK), hotmail.com 95,4, ebay.com 95,2 (SPF) contre 98,2 (DomainKeys), earthlink.net 93,3 (SPF) contre 98,0 (DK) ; domaines de spam signalés de 1,5 à 3,3.
• L’écart SPF/DomainKeys d’ebay.com est instructif : eBay ne signait avec DomainKeys que ses messages transactionnels, et ces messages « étaient probablement plus souhaités par les utilisateurs que les autres » (would likely be more wanted by users than other mail), si bien que le flux signé obtenait un meilleur score : une première illustration de l’intérêt de la séparation des flux (voir Segmentation avancée des adresses IP et Pratiques d’infrastructure d’envoi).

Défaillances documentées et règles qui en découlent pour l’expéditeur

Problèmes relevés dans l’article, tous encore d’actualité :

• Le transfert : les utilisateurs transfèrent des messages (spam compris) avec des outils comme procmail qui réécrivent l’expéditeur d’enveloppe ; le spam transféré s’authentifie alors comme venant du service de transfert et « nuit injustement à la réputation du domaine qui transfère » (hurts the reputation of the forwarding domain unfairly). D’où la règle : n’authentifiez pas les messages que vous ne faites que transférer, sauf si vous en avez d’abord filtré le spam ; les signer revient à assumer la responsabilité du flux qui en résulte. C’est le même problème qu’ARC a traité plus tard.
• Les listes de diffusion : le domaine d’une liste (l’exemple de l’article est Yahoo Groups, signé yahoogroups.com) peut avoir une bonne réputation globale alors que certains groupes qu’il héberge envoient du spam ; une confiance généralisée « laissera passer du spam » (will allow some spam through). En outre, les utilisateurs trouvent souvent plus facile de signaler une liste comme spam que de se désabonner, ce qui nuit à la réputation de l’expéditeur de la liste « plus que nécessaire » (worse than it needs to be) : un argument pour un désabonnement bien visible et sans friction (voir List-Unsubscribe et désabonnement en un clic).

Politiques recommandées aux expéditeurs dans l’article :

1. S’authentifier avec SPF et DomainKeys/DKIM (vous disposez peut-être déjà implicitement de SPF best-guess).
2. Ne pas authentifier les messages que l’on ne fait que transférer, sauf à en avoir d’abord filtré le spam.
3. Tenir les spammeurs et les machines zombies à l’écart de son réseau et respecter les bonnes pratiques d’envoi en masse : « si un expéditeur fait quelque chose de mal, comme utiliser le simple opt-in au lieu du double opt-in, cela se traduit simplement par une mauvaise réputation et une plus grande probabilité de finir dans le dossier spam » (if a sender is doing something bad such as using single opt-in instead of double opt-in, it simply translates into a poor reputation and a greater likelihood of ending up in the spam folder). Ce sont les utilisateurs qui font respecter les consignes de Gmail sur les envois en masse, à travers la réputation, pas un règlement.

Classification du spam et du phishing par apprentissage automatique

Le modèle de réputation ci-dessus répond à la question « cet expéditeur est-il digne de confiance ? » ; pour tout ce qui se trouve dans la zone intermédiaire ambiguë, le verdict sur le contenu est rendu par des classificateurs à apprentissage automatique, reconstruits et redimensionnés à plusieurs reprises.

• « The War Against Spam : A Report from the Front Line » (Taylor, Fingal, Aberdeen, NIPS 2007 Workshop on Machine Learning in Adversarial Environments) présente le filtrage antispam de Gmail comme un succès concret de l’apprentissage automatique en environnement adverse : l’immense majorité du spam est identifiée avec une grande précision (peu de faux positifs). Ce cadre adverse compte : les spammeurs s’adaptent, donc les filtres doivent être réentraînés en continu au lieu d’appliquer un ensemble de règles figé.
• 2014 : reconstruction à l’échelle de TensorFlow. Les filtres à règles de Google avaient atteint ~99 % de précision ; à partir de 2014, Google les a complétés par des algorithmes d’apprentissage automatique fondés sur TensorFlow qui « régénèrent en continu » (continuously regenerate) les filtres antispam, trouvent de nouveaux schémas et s’adaptent « bien plus vite que les anciens systèmes manuels » (far quicker than previous manual systems). Résultat annoncé : plus d’un milliard d’utilisateurs de Gmail évitent le spam avec une efficacité d’environ 99,9 %.
• Annonces de 2017 sur le modèle de sécurité (Google, 31 mai 2017) : plus de 99,9 % de précision dans le blocage du spam et du phishing ; 50 à 70 % de tous les messages reçus par Gmail sont du spam ; les classificateurs combinent des milliers de signaux de spam, de logiciels malveillants et de rançongiciels, ainsi que des heuristiques sur les pièces jointes et des signatures d’expéditeurs. Les défenses anti-phishing intègrent Google Safe Browsing avec une analyse de réputation et de similarité des URL ; un modèle de détection précoce du phishing peut retarder de façon sélective les messages à risque pour une analyse plus poussée, ce qui concerne moins de 0,05 % des messages en moyenne. Des avertissements au moment du clic, des avertissements en cas de réponse à l’extérieur et des défenses contre les rançongiciels et les logiciels malveillants polymorphes complètent le dispositif.
• 2024 : classificateurs à LLM. Google a déployé un grand modèle de langage entraîné sur le phishing, les logiciels malveillants et le spam qui bloque 20 % de spam en plus et examine 1 000 fois plus de spam signalé par les utilisateurs chaque jour, ainsi qu’un second modèle « superviseur » qui évalue des centaines de signaux de menace lorsqu’un message à risque est repéré. Voir le durcissement pendant les fêtes plus bas.

Conséquence pour l’expéditeur : le classificateur est une cible mouvante, entraînée sur l’ensemble des signalements des utilisateurs. Il n’existe aucune liste blanche de contenu à satisfaire : le filtre optimise ce que les utilisateurs traitent comme souhaité. C’est le fondement mécanique des recommandations de contenu de Contenu et design au service de la délivrabilité : éviter les schémas suspects et optimiser l’engagement, pas cocher une liste de mots-clés.

La catégorisation de la boîte de réception (les onglets)

La catégorisation est une décision distincte, prise après l’acceptation, du verdict spam/boîte de réception. Un message qui a déjà gagné la boîte de réception est ensuite rangé dans l’une des cinq catégories par défaut (le type de boîte de réception « Default » de Gmail). Arriver dans un onglet de catégorie autre que Primary n’est pas un échec de délivrabilité : Promotions, c’est la boîte de réception, pas le spam.

Fonctionnement :

• Les utilisateurs activent ou désactivent les catégories via Quick Settings → Default inbox type → Customize ; désactiver entièrement les catégories impose de passer à une autre disposition de boîte de réception. Comme c’est le destinataire qui choisit les onglets présents, un expéditeur ne peut pas supposer qu’un destinataire donné possède seulement un onglet Promotions.
• Les expéditeurs ne peuvent pas choisir l’onglet à l’avance. Les destinataires changent la catégorie par glisser-déposer (avec une option d’annulation), ce qui apprend leur préférence à Gmail pour qu’il « trie vos emails plus précisément » (sort your email more accurately) au fil du temps : là encore, une préférence propre à l’utilisateur qui l’emporte.
• Demander aux lecteurs engagés de vous faire glisser vers Primary est légitime et efficace ; voir Contenu et design au service de la délivrabilité pour les facteurs de contenu (personnalisation, style conversationnel, nombre limité d’images et de liens) qui orientent vers Primary plutôt que Promotions.

La prédiction de catégorie comme problème d’apprentissage automatique

Source : « Email Category Prediction » (Zhang, Garcia Pueyo, Wendt, Najork, Broder, Google, WWW 2017 Companion). Points clés pour les expéditeurs :

• ~90 % des emails grand public sont générés par des machines : la catégorisation vise les messages issus de modèles (reçus d’achat, campagnes promotionnelles, confirmations de réservation, rappels de factures), pas les échanges de personne à personne.
• L’approche exploite la découverte des modèles et les « fils causaux » (causal threads) des séquences d’emails : les messages automatiques légitimes suivent des schémas prévisibles (commande → confirmation d’expédition → alerte de livraison). Les séquences prévisibles et cohérentes avec un modèle se classent proprement ; une structure erratique, non.
• Comparaison des modèles : les réseaux de neurones (MLP, LSTM) surpassent largement une référence à chaîne de Markov, les LSTM devançant légèrement les MLP. Parmi les applications en aval citées figurent le remplissage de l’agenda, les alertes d’expédition, la publicité ciblée et la détection du spam : la catégorisation alimente donc à son tour le filtrage.

Les signaux de personnalisation par utilisateur

Au-delà du vote spam/non-spam, Gmail exploite un modèle d’importance propre à chaque utilisateur et des contrôles antispam par utilisateur. Ce sont ces mécanismes qui rendent le placement individuel.

Marqueurs d’importance (rubrique d’aide « Importance markers in Gmail »). Gmail prédit quels messages comptent pour chaque utilisateur à partir :

• de la fréquence à laquelle l’utilisateur échange avec l’expéditeur ;
• des messages que l’utilisateur ouvre et auxquels il répond ;
• des mots-clés présents dans les emails que l’utilisateur lit habituellement ;
• des interactions : ajout d’une étoile, archivage, suppression.

Les utilisateurs voient un marqueur d’importance jaune, peuvent le corriger (ce qui entraîne le modèle) et retrouver les messages marqués avec is:important. Un utilisateur peut désactiver le marquage prédictif (« Don’t use my past actions to predict which messages are important ») ou masquer complètement les marqueurs : réglages modifiés dans le navigateur mais appliqués à toute l’application.

Contrôles antispam qui alimentent la personnalisation (rubrique d’aide sur le tri du spam dans Gmail) :

Le fil conducteur : l’historique du destinataire lui-même peut l’emporter sur la réputation globale de l’expéditeur, dans les deux sens. Un expéditeur dont le domaine a une solide réputation arrive tout de même en spam chez tout destinataire qui l’a bloqué ou signalé à plusieurs reprises ; un expéditeur à la réputation faible arrive en boîte de réception chez les destinataires qui l’ont ajouté à leurs contacts ou ont cliqué sur Not Spam.

Durcissement pendant les fêtes de fin d’année

Google annonce publiquement un durcissement de ses filtres pendant les périodes de forte fraude. Pour la saison des fêtes 2024 (blog, décembre 2024) :

• Gmail bloque plus de 99,9 % du spam, du phishing et des logiciels malveillants.
• Le classificateur à LLM nouvellement déployé et le modèle superviseur (voir classification par apprentissage automatique) ont été mis en service avant le Black Friday.
• Résultat : les utilisateurs ont signalé 35 % d’arnaques en moins arrivées en boîte de réception pendant le premier mois de la saison des fêtes, par rapport à l’année précédente.
• Schémas d’arnaques de fin d’année nommément visés par le durcissement de Gmail : arnaques à la facture (fausses factures qui incitent à appeler un numéro pour contester), arnaques aux célébrités (usurpation d’identité ou fausse recommandation) et arnaques à l’extorsion (menaces citant une adresse personnelle ou un détail privé).

À retenir pour l’expéditeur : les seuils des filtres ne sont pas constants au fil du calendrier. Un flux à la réputation limite qui arrive en boîte de réception pendant un mois calme peut basculer en spam pendant une période de durcissement : constituez une marge de réputation avant le quatrième trimestre (Q4), et ne lancez pas de nouveaux flux ni de nouvelle chauffe pendant le pic des fêtes.

À retenir pour l’expéditeur : ce qui fait réellement bouger le placement chez Gmail

1. Authentifiez-vous pour être évaluable, puis bâtissez la réputation du domaine. SPF et DKIM alignés sur le domaine From ; la réputation s’attache à ce domaine authentifié, pas à votre IP. Les messages non authentifiés sont en grande partie inévaluables et corrélés au spam (~60 % du spam n’est pas authentifié, contre ~26 % des messages souhaités).
2. Le seul indicateur qui pilote directement le modèle est le vote spam de l’utilisateur. Report Spam fait baisser la réputation ; Not Spam et l’ajout aux contacts la font monter. Maintenez le taux de spam de Postmaster Tools sous 0,10 % et n’atteignez jamais 0,30 % : ce sont les seuils des exigences envers les expéditeurs qui correspondent à ce vote.
3. La réputation évolue lentement dans les deux sens. Des jours de comportement régulier la construisent ; un accès isolé est absorbé comme du bruit ; le rétablissement après un abus prolongé « prend quelques jours » (takes a few days). Pas de solution du jour au lendemain ; voir Rétablissement après un incident de réputation.
4. Séparez vos flux. Dès 2006, le transactionnel signé séparément du marketing obtenait un meilleur score, parce que les flux ne sont pas souhaités au même degré. Segmentez par domaine ou sous-domaine d’envoi et par type de contenu.
5. La catégorisation n’est pas la délivrabilité. Promotions, c’est la boîte de réception. Optimisez le placement par onglet grâce au contenu (personnalisation, ton conversationnel, moins d’images et de liens), pas en essayant de déjouer le classificateur : vous ne pouvez pas choisir l’onglet à l’avance.
6. La personnalisation par utilisateur met en échec le diagnostic unique. Comme les marqueurs d’importance, les blocages, les contacts et les préférences par adresse sont tous propres à chaque destinataire, « où arrivent mes messages chez Gmail ? » n’a pas de réponse unique, seulement une répartition. Les tests sur boîtes de test portent sur une poignée de comptes neufs sans historique propre à l’utilisateur et ne peuvent donc pas représenter ce que voit un vrai destinataire engagé (ou désengagé). Fiez-vous davantage aux tendances agrégées de réputation et de taux de spam de Postmaster Tools qu’à une capture d’écran d’une seule boîte (voir Distorsions du suivi et de la mesure).

Note de provenance : la réponse d’aide de Gmail 6596 (« Gmail inbox tabs and categories ») recoupe la section sur les onglets Gmail de Contenu et design au service de la délivrabilité et la présentation de la catégorisation ci-dessus ; elle n’a pas été extraite séparément, car elle n’apporte rien de plus que la réponse 3094499 déjà utilisée.

Voir aussi

• Exigences de Gmail envers les expéditeurs : les règles vérifiables et les seuils de taux de spam qui alimentent ce modèle.
• Erreurs SMTP de Gmail et dépannage : les codes de réponse, y compris les messages de blocage pour réputation.
• Google Postmaster Tools : la vue, côté expéditeur, de la réputation du domaine et des IP et du taux de spam.
• Contenu et design au service de la délivrabilité : les facteurs de contenu pour éviter le spam et arriver dans l’onglet Primary.
• Fondamentaux de la délivrabilité des emails : le principe du message souhaité et attendu qui sous-tend tout le modèle de réputation.
• ARC : la correction ultérieure de la défaillance liée au transfert que décrit l’article de 2006.