Aller au contenu

Rapport de robustesse

La résistance de nos marquages, mesurée sur nos propres machines et publiée, comme le demande l’engagement 3 du code de bonne pratique. Mesures effectuées le 23 octobre 2026, sur CPU, avec le code et les modèles qu’exécute l’API.

Deux couches, deux types de robustesse

  • Le manifeste C2PA est constitué de métadonnées signées : il prouve qui a signé quoi, et casse de manière visible si le fichier est modifié. La plupart des plateformes suppriment les métadonnées quand elles réencodent un fichier envoyé : il survit donc rarement à une republication.
  • Le filigrane (TrustMark, variante Q) se trouve dans les pixels et porte un ID de 61 bits. Il résiste aux réencodages et redimensionnements habituels, et son ID mène aux Content Credentials durables du fichier, le manifeste que nous conservons. C’est lui que mesure ce rapport.

Méthode de mesure

78 images générées par l’IA (scènes du quotidien ; médiane de 0,7 mégapixels), chacune filigranée avec un ID aléatoire comme le fait l’API, puis modifiée de chacune des façons ci-dessous, et relue. Un succès, c’est l’ID exact ; tout le reste, y compris l’absence de filigrane détecté, compte comme un échec. Les mêmes modifications sur les images sans filigrane montrent à quelle fréquence le lecteur signale un marquage absent. Les intervalles sont des intervalles de Wilson à 95 %.

Le filigrane après chaque modification

ID de filigrane relus après chaque modification
ModificationID reluIntervalle à 95 %Images non marquées lues comme marquées
Sans modification (PNG)100 % (78/78)95,3 %–100 %0
JPEG, qualité 95100 % (78/78)95,3 %–100 %0
JPEG, qualité 85100 % (78/78)95,3 %–100 %0
JPEG, qualité 75100 % (78/78)95,3 %–100 %0
JPEG, qualité 60100 % (78/78)95,3 %–100 %0
JPEG, qualité 50100 % (78/78)95,3 %–100 %0
WebP, qualité 80100 % (78/78)95,3 %–100 %0
Grand côté ramené à 1 080 px, JPEG 85 (envoi sur un réseau social)100 % (78/78)95,3 %–100 %0
Redimensionnement à 75 %100 % (78/78)95,3 %–100 %0
Redimensionnement à 50 %100 % (78/78)95,3 %–100 %0
Redimensionnement à 25 %100 % (78/78)95,3 %–100 %0
Recadrage sur les 90 % centraux de chaque côté100 % (78/78)95,3 %–100 %0
Recadrage sur les 75 % centraux de chaque côté52,6 % (41/78)41,6 %–63,3 %0
Recadrage sur les 50 % centraux de chaque côté0 % (0/78)0 %–4,7 %0
Luminosité +20 %88,5 % (69/78)79,5 %–93,8 %0
Luminosité −20 %100 % (78/78)95,3 %–100 %1
Contraste +20 %100 % (78/78)95,3 %–100 %0
Contraste −20 %100 % (78/78)95,3 %–100 %0
Saturation +30 %100 % (78/78)95,3 %–100 %0
Niveaux de gris98,7 % (77/78)93,1 %–99,8 %1
Flou gaussien, rayon 1 px100 % (78/78)95,3 %–100 %0
Flou gaussien, rayon 2 px100 % (78/78)95,3 %–100 %0
Bruit gaussien, σ 5100 % (78/78)95,3 %–100 %0
Bruit gaussien, σ 10100 % (78/78)95,3 %–100 %0
Rotation de 2° puis recadrage droit100 % (78/78)95,3 %–100 %0
Rotation de 5° puis recadrage droit41,0 % (32/78)30,8 %–52,1 %0
Retournement horizontal100 % (78/78)95,3 %–100 %0

Le filigrane dégrade peu l’image : un PSNR médian de 42,2 dB par rapport à l’original (au plus bas 39,0 dB). Sur le CPU d’un ordinateur portable, l’insertion a pris en médiane 0,15 s et la lecture 0,06 s.

Ses points faibles : les recadrages qui conservent moins d’environ 80 % de chaque côté (la moitié des ID résistent à 75 %, aucun à 50 %), les rotations de quelques degrés (41 % à 5°) et les fortes hausses de luminosité. Les modifications faites exprès pour le supprimer n’ont pas été testées. L’absence de filigrane ne prouve rien sur une image. Un filigrane trouvé vaut ce que disent ses Content Credentials : le lecteur a signalé un marquage sur une image non marquée 2 fois sur 2 106, chaque fois avec un ID aléatoire de 61 bits qui ne correspond presque certainement à aucun manifeste ; recherchez donc toujours l’ID.

Les fausses alertes du contrôle de sécurité

Les mêmes 78 images du quotidien, passées au contrôle de sécurité avec les deux politiques : des images du quotidien devraient toutes être autorisées.

Images du quotidien signalées ou bloquées par le contrôle de sécurité
PolitiqueAutoriséesSignalées ou bloquéesIntervalle à 95 % des fausses alertes
ai-act78/7800 %–4,7 %
safe-only78/7800 %–4,7 %

Un contrôle a pris en médiane 0,12 s sur le CPU d’un ordinateur portable. La fréquence à laquelle les images explicites sont détectées n’est pas mesurée ici : aucun de nos tests ne crée ni ne détient d’image sexuelle. L’évaluation publiée du classifieur de nudité en tient lieu, et les taux d’erreur sur l’âge apparent mesurés sur les visages de FairFace figurent sur la page du contrôle de sécurité, avec ses limites connues.