La California Privacy Rights Act (CPRA), la Virginia Consumer Data Protection Act (VCDPA), la Consumer Privacy Protection Act (CPPA) du Canada et de nombreuses autres réglementations internationales marquent toutes des améliorations significatives qui ont été apportées à la confidentialité des données au cours des dernières années. En vertu de ces lois, les entreprises peuvent faire face à de graves conséquences en cas de mauvaise gestion des données des consommateurs.

Par exemple, en plus des conséquences réglementaires d’une violation de données, des lois telles que le CCPA permettent aux consommateurs de tenir les entreprises directement responsables des violations de données en vertu d’un droit d’action privé.

Bien que ces réglementations durcissent certainement les conséquences entourant l’utilisation abusive des données des consommateurs, elles ne suffisent toujours pas – et ne suffiront peut-être jamais – à protéger les communautés marginalisées. Près des trois quarts des ménages en ligne craignent pour leur sécurité numérique et leur vie privée, la plupart des préoccupations concernant les populations mal desservies.

Les groupes marginalisés sont souvent impactés négativement par la technologie et peuvent faire face à un grand danger lorsque des outils de prise de décision automatisés comme l’intelligence artificielle (IA) et l’apprentissage automatique (ML) présentent des préjugés à leur encontre ou lorsque leurs données sont utilisées à mauvais escient. Il a même été démontré que les technologies d’intelligence artificielle perpétuent la discrimination dans la sélection des locataires, les prêts financiers, les processus d’embauche, etc.

Le biais démographique dans les outils d’IA et de ML est assez courant, car les processus d’examen de la conception manquent considérablement de diversité humaine pour garantir que leurs prototypes sont inclusifs pour tout le monde. Les entreprises technologiques doivent faire évoluer leurs approches actuelles d’utilisation de l’IA et du ML pour s’assurer qu’elles n’ont pas d’impact négatif sur les communautés mal desservies. Cet article explore pourquoi la diversité doit jouer un rôle essentiel dans la confidentialité des données et comment les entreprises peuvent créer des technologies plus inclusives et éthiques.

Les menaces auxquelles sont confrontés les groupes marginalisés

Les communautés mal desservies sont sujettes à des risques considérables lorsqu’elles partagent leurs données en ligne, et malheureusement, les lois sur la confidentialité des données ne peuvent pas les protéger contre la discrimination manifeste. Même si les réglementations actuelles étaient aussi inclusives que possible, il existe de nombreuses façons de nuire à ces populations. Par exemple, les courtiers en données peuvent toujours collecter et vendre la géolocalisation d’un individu à des groupes ciblant des manifestants. Les informations sur la participation d’un individu à un rassemblement ou à une manifestation peuvent être utilisées de plusieurs manières intrusives, contraires à l’éthique et potentiellement illégales.

Bien que ce scénario ne soit qu’hypothétique, il y a eu de nombreux cas réels où des situations similaires se sont produites. Un rapport de recherche de 2020 a détaillé les risques pour la sécurité des données et la confidentialité auxquels les personnes LGBTQ sont exposées sur les applications de rencontres. Les menaces signalées comprenaient une surveillance étatique flagrante, une surveillance par reconnaissance faciale et des données d’application partagées avec des annonceurs et des courtiers en données. Les groupes minoritaires ont toujours été exposés à de tels risques, mais les entreprises qui apportent des changements proactifs peuvent contribuer à les réduire.

Le manque de diversité des outils automatisés

Bien qu’il y ait eu des progrès progressifs dans la diversification de l’industrie technologique au cours des dernières années, un changement fondamental est nécessaire pour minimiser le biais perpétuel dans les algorithmes d’IA et de ML. En fait, 66,1 % des scientifiques des données seraient blancs et près de 80 % seraient des hommes, ce qui souligne un manque criant de diversité parmi les équipes d’IA. En conséquence, les algorithmes d’IA sont formés en fonction des points de vue et des connaissances des équipes qui les construisent.

Les algorithmes d’IA qui ne sont pas formés pour reconnaître certains groupes de personnes peuvent causer des dommages importants. Par exemple, l’American Civil Liberties Union (ACLU) a publié des recherches en 2018 prouvant que le logiciel de reconnaissance faciale “Rekognition” d’Amazon a faussement associé 28 membres du Congrès américain avec des mugshots. Cependant, 40% des fausses correspondances étaient des personnes de couleur, malgré le fait qu’elles ne représentaient que 20% du Congrès. Pour éviter de futurs cas de biais d’IA, les entreprises doivent repenser leurs processus d’examen de la conception pour s’assurer qu’ils sont inclusifs pour tout le monde.

Un processus de revue de conception inclusif

Il n’y a peut-être pas une seule source de vérité pour atténuer les biais, mais il existe de nombreuses façons pour les organisations d’améliorer leur processus de revue de conception. Voici quatre façons simples pour les organisations technologiques de réduire les biais au sein de leurs produits.

1. Posez des questions difficiles

L’élaboration d’une liste de questions à poser et auxquelles répondre pendant le processus d’examen de la conception est l’une des méthodes les plus efficaces pour créer un prototype plus inclusif. Ces questions peuvent aider les équipes d’IA à identifier les problèmes auxquels elles n’avaient pas pensé auparavant.

Les questions essentielles incluent si les ensembles de données qu’ils utilisent incluent suffisamment de données pour éviter des types spécifiques de biais ou s’ils ont administré des tests pour déterminer la qualité des données qu’ils utilisent. Poser des questions difficiles et y répondre peut permettre aux scientifiques des données d’améliorer leur prototype en déterminant s’ils doivent examiner des données supplémentaires ou s’ils doivent faire appel à un expert tiers dans le processus de révision de la conception.

2. Engagez un professionnel de la confidentialité

Comme tout autre professionnel lié à la conformité, les experts en protection de la vie privée étaient à l’origine considérés comme des goulots d’étranglement en matière d’innovation. Cependant, comme de plus en plus de réglementations sur les données ont été introduites ces dernières années, les responsables de la protection de la vie privée sont devenus un élément central de la suite C.

Les professionnels internes de la protection de la vie privée sont essentiels pour servir d’experts dans le processus d’examen de la conception. Les experts en confidentialité peuvent fournir une opinion impartiale sur le prototype, aider à introduire des questions difficiles auxquelles les scientifiques des données n’avaient pas pensé auparavant et aider à créer des produits inclusifs, sûrs et sécurisés.

3. Tirez parti de différentes voix

Les organisations peuvent apporter diverses voix et perspectives à la table en élargissant leurs efforts de recrutement pour inclure des candidats de différents groupes démographiques et de différents horizons. Ces efforts devraient s’étendre à la suite C et au conseil d’administration, car ils peuvent représenter les employés et les clients qui n’ont peut-être pas voix au chapitre.

Accroître la diversité et l’inclusivité au sein de la main-d’œuvre fera plus de place à l’innovation et à la créativité. Les recherches montrent que les entreprises multiraciales ont 35 % de chances supplémentaires de surpasser leurs concurrents, tandis que les organisations dotées d’équipes de direction à forte diversité de genres réalisent un bénéfice 21 % plus élevé que leurs concurrents.

4. Mettre en œuvre une formation sur la diversité, l’équité et l’inclusion (DE&I)

Au cœur de chaque organisation diversifiée et inclusive se trouve un solide programme DE&I. La mise en œuvre d’ateliers qui éduquent les employés sur la confidentialité, les préjugés de l’IA et l’éthique peut les aider à comprendre pourquoi ils devraient se soucier des initiatives DE&I. Actuellement, seules 32 % des entreprises appliquent un programme de formation DE&I pour les employés. Il est évident que les initiatives DE&I doivent devenir une priorité plus élevée pour qu’un véritable changement soit apporté au sein d’une organisation, ainsi que de ses produits.

L’avenir des outils d’IA éthiques

Alors que certaines organisations sont sur la bonne voie pour créer des outils plus sûrs et plus sécurisés, d’autres doivent encore apporter de grandes améliorations pour créer des produits totalement sans biais. En intégrant les recommandations ci-dessus dans leur processus d’examen de la conception, non seulement ils se rapprocheront de la création de produits inclusifs et éthiques, mais ils pourront également accroître leurs efforts d’innovation et de transformation numérique. La technologie peut grandement profiter à la société, mais il incombera à chaque entreprise d’en faire une réalité.

Veronica Torres, conseillère mondiale en matière de confidentialité et de réglementation chez Jumio.