1. Introduction
La Commission du droit de l’Ontario,et la Commission ontarienne des droits de la personne ont créé ensemble un outil pour l’évaluation de l’impact de l’AI dont les organisations peuvent se servir pour déterminer si les systèmes d’intelligence artificielle (IA) sont conformes aux obligations en matière de droits de la personne. Cette évaluation de l’impact de l’IA sur les droits de la personne (l’« EIDP » ou l’« outil ») a pour but d’aider les développeurs et administrateurs de systèmes d’IA à identifier, évaluer, minimiser ou éviter la discrimination et à assurer le respect des obligations en matière de droits de la personne tout au long du cycle de vie d’un système d’IA.
L’EIDP repose sur les principes suivants :
Les droits de la personne doivent être au premier plan de l’élaboration de systèmes d’IA
Les droits de la personne témoignent de la dignité et de la valeur de chaque personne. Tous ont droit à l’égalité et à des chances égales sans discrimination.
Les biais et la discrimination dans le domaine de l’IA sont des phénomènes bien réel et complexe. Les biais et la discrimination peuvent passer inaperçus ou êtres faciles à négliger et si rien n’est fait, cela peut causer des préjudices profonds et durables aux particuliers, communautés et organisations. Les biais et la discrimination peuvent également avoir des conséquences financières et judiciaires pour les organisations et porter atteinte à leur réputation.
L’évaluation d’un système pour déterminer s’il donne lieu à des biais et à de la discrimination n’est pas une tâche facile; il ne faut pas la considérer comme un aspect mineur à envisager après coup, mais l’intégrer dans toutes les étapes de la conception, du développement et de la mise en œuvre d’un système d’IA.
Application des lois ontariennes et canadiennes sur les droits de la personne aux systèmes d’IA
Le présent outil devrait aider les concepteurs, développeurs, utilisateurs et propriétaires de systèmes d’IA à identifier et réduire les biais et la discrimination. Il s’agit d’un guide qui, lorsqu’il est utilisé soigneusement et de façon réfléchie, devrait aider les organisations à concevoir de meilleurs systèmes d’IA et à comprendre leurs obligations en matière de droits de la personne.
L’évaluation de l’impact de l’IA sur les droits de la personne est un processus à multiples facettes qui requiert une expertise intégrée
Cet outil encourage les concepteurs de systèmes d’IA à obtenir la participation d’experts en droits de la personne et de diverses communautés tout au long du cycle de vie de ces systèmes, y compris leur conception, leur développement et leur utilisation.
L’EIDP n’est qu’un aspect de la gouvernance de l’IA
L’IA soulève de nombreuses questions importantes d’ordre juridique et en matière de droits de la personne. Éliminer ou réduire les biais ne permet pas nécessairement de résoudre les autres problèmes liés à la surveillance, à la protection de la vie privée, à l’exactitude des données, à l’équité, etc. Cet outil se veut complémentaire et devrait être utilisé en parallèle avec d’autres outils d’évaluation de l’IA portant, par exemple, sur l’équité procédurale ou la protection de la vie privée. Les organisations et groupes sont invités à adopter cet outil et à l’adapter à leurs évaluations actuelles.
2.Introduction à l’EIDP
A. Objet et limites de l’EIDP
La réglementation actuelle et émergente sur l’IA exige de plus en plus que les organisations effectuent une évaluation de l’impact de l’IA ou respectent les lois sur les droits de la personne avant de déployer des systèmes d’IA[1]. Toutes les évaluations d’impacts de l’IA ne sont pas identiques. Par exemple, dans le cas de la protection de la vie privée, bien qu’elle relève des droits de la personne, il est préférable d’utiliser des méthodes spécifiques d’évaluation de l’impact sur la vie privée. La présente EIDP est destinée aux organisations à des fins d’évaluation globale des biais et de la discrimination.
Objet
L’EIDP est un cadre pratique et compréhensible qui aide les organisations privées et publiques à évaluer et à atténuer l’impact sur les droits de la personne des systèmes d’IA utilisés dans un large éventail d’applications.
L’EIDP vise à :
- approfondir la connaissance et la compréhension des impacts sur les droits de la personne;
- fournir des conseils pratiques concernant certains impacts sur les droits de la personne, particulièrement en ce qui concerne la non-discrimination et l’égalité de traitement;
- établir des stratégies d’atténuation concrètes et des correctifs à adopter relativement aux biais et à la discrimination auxquels donnent lieu les systèmes d’IA.
Limites
L’outil d’EIDP ne fournit pas de conseils juridiques ni de réponses juridiques définitives quant aux impacts négatifs sur les droits de la personne, y compris les violations des lois fédérales ou provinciales sur les droits de la personne ou d’autres lois pertinentes. Les organisations et particuliers qui s’interrogent sur le respect des lois pertinentes et sur leurs obligations connexes devraient obtenir des conseils juridiques indépendants.
Bien que l’EIDP vise à identifier, à traiter et à corriger des impacts négatifs potentiels sur les droits de la personne, une organisation ou un particulier qui prétend avoir suivi L’EIDP ou s’être fondé sur lui ne pourra se soustraire à sa responsabilité en cas de tels impacts, y compris la discrimination illicite.
B. Présentation de l’EIDP
La présente EIDP est une série de questions accompagnées t d’explications. Elle se divise en deux parties.
La partie A est une évaluation des incidences du système d’IA sur les droits de la personne. Dans cette partie, les organisations sont invitées à répondre à des questions sur l’objet du système d’IA, sa portée et le traitement de particuliers et de communautés.
La partie A inclut des questions qui aident les organisations à déterminer si un système d’IA présente un « risque élevé » de problèmes relatifs aux droits de la personne, si ce système cause une différence de traitement fondée sur des motifs protégés, si cette différence de traitement est justifiée; si le système permet de répondre à des besoins différents.
La partie B traite de l’atténuation. Une fois que la catégorie dans laquelle se trouve le système d’IA a été établie, elle pose une série de questions visant à aider les organisations à minimiser les problèmes identifiés relatifs aux droits de la personne que présente le système d’IA en question.
C. La référence : les lois sur les droits de la personne
Les droits de la personne sont protégés par le Code des droits de la personne de l’Ontario (le « Code »), la Loi canadienne sur les droits de la personne (la « Loi »), et la Charte canadienne des droits et libertés (la « Charte »). Le Code est axé sur l’égalité et le traitement sans discrimination. La Charte est d’une portée plus large. En plus d’assurer le droit à l’égalité et à un traitement sans discrimination, elle protège le droit à la liberté et à un procès équitable ainsi que la liberté d’expression et de mouvement, et autres droits.
La Charte, la Loi et le Code protègent les particuliers et les groupes contre la discrimination fondée sur des motifs énumérés comme un handicap, la race, le sexe, l’âge et la religion. Le Code s’applique à tous les citoyens de l’Ontario de même qu’aux entités publiques et privées, et il se concentre sur des domaines sociaux comme l’emploi, le logement, les services, les syndicats et les contrats. La Loi protège contre la discrimination dans les domaines de compétence fédérale : le gouvernement et les programmes fédéraux et le secteur privé sous réglementation fédérale, notamment les banques, les sociétés ferroviaires et les lignes aériennes. La Charte s’applique uniquement aux mesures prises par les pouvoirs publics.
3. Réalisation d’une EIDP
L’équipe chargée de mener une EIDP devrait se composer de personnes spécialisées dans différents domaines sociaux et techniques : technologie, droit, droits de la personne, stratégies commerciales, défense d’intérêts sociaux.
Les évaluations de l’IA sont itératives et devraient être considérées non pas comme linéaires, mais plutôt comme circulaires. Il s’agit de déterminer si un système d’IA présente des problèmes liés aux droits de la personne, de prendre des mesures pour atténuer ces problèmes puis d’évaluer le système à nouveau.
Les organisations utilisent souvent différents d’évaluation des risques. L’EIDP se veut un outil spécifique à l’IA et à la discrimination qui peut être adapté à différentes applications et utilisations, et qui peut servir de complément à d’autres procédures d’évaluation de l’IA.
A. Qui devrait utiliser l’EIDP
Cet outil peut être employé par toute organisation, publique ou privée, qui souhaite concevoir, mettre en œuvre ou utiliser un système d’IA.
Il est fondé sur les lois en vigueur en Ontario, mais il pourrait se révéler utile à toute organisation ou à tout particulier au Canada.
Il s’agit d’un outil pouvant être appliqué à n’importe quel algorithme, système de prise de décision automatisée ou système d’intelligence artificielle[2].
B. Quand utiliser l’EIDP
Cette évaluation devrait être effectuée:
- lorsqu’on envisage et élabore un système d’IA;
- avant que le système d’IA ne soit mis à la disposition de parties externes (p. ex., avant qu’un fournisseur ne mette un modèle ou une application à la disposition des acheteurs, ou avant qu’un fournisseur de services n’utilise une technologie de l’IA pour le service à la clientèle);
- dans les 90 jours suivant un changement important apporté au système;
- chaque année dans le cadre d’activités régulières de maintenance et de révisions.
La fréquence des évaluations de l’impact sur les droits de la personne repose sur le type de système d’IA et son utilisation. Les grands modèles de langage et les réseaux neuronaux complexes qui sont alimentés régulièrement en nouvelles données devront faire l’objet d’une surveillance et d’EIDP fréquentes.
4.Structure de l’EIDP
L’EIDP est divisée en deux parties :
Partie A – Impact et discrimination
Dans la section 1 les parties sont appelées à décrire l’objet du système d’IA , ce que l’on compte en faire et les raisons pour lesquelles il est implanté.
La section 2 est une évaluation de l’importance de l’impact du système d’IA sur des particuliers et communautés. Les lois sur les droits de la personne s’appliquent en toutes circonstances et à toutes les communautés canadiennes. Cette section vise à déterminer non pas si une organisation est « en règle » quant au respect des droits de la personne, mais plutôt si le système d’AI présente un risque élevé de violation des droits de la personne[3] en raison du contexte dans lequel il est utilisé ou de la population sur laquelle on s’attend à ce qu’il ait un impact.
Si votre système d’IA est considéré comme présentant un risque élevé, vous devez répondre aux sections 3 et 4. Sinon, vous n’êtes pas tenu de poursuivre l’évaluation, mais vous devriez maintenir une surveillance au cas où des problèmes liés aux droits de la personne se présenteraient.
La section 3 permet de déterminer si le système d’IA a un impact disproportionné sur des particuliers ou communautés relativement à des motifs protégés, et si ce traitement disproportionné est justifiable. Ce n’est que dans des circonstances rares et très précises qu’une différence de traitement peut être justifiée. Nous vous invitons à obtenir des conseils juridiques auprès d’un expert en droits de la personne si vous croyez que le système d’IA pourrait être visé par une exception ou une justification légale.
La section 4 permet d’établir si le système d’IA prévoit des mesures d’adaptation pour les personnes handicapées et les enfants.
La section 5 énonce des lignes directrices et étapes supplémentaires selon les résultats des sections 1, 2, 3 et 4.
Partie B – Intervention et atténuation
La partie B traite de l’atténuation. Une fois que la partie A est remplie, l'IA sera classée dans l'un des différents niveaux de risque potentiel. La partie B fournit des conseils sur les mesures à prendre pour minimiser les risques liés aux droits de la personne, par exemple : transparence, explicabilité, divulgation, exactitude des données, audits, etc.Les questions de cette section visent à mieux définir le système et à suggérer des mesures d’atténuation à prendre.
Partie A – Évaluation de l’objet et de l’impact
Section 1 – L’objet du système d’IA
Les questions 1 à 4 ont pour but de déterminer l’objet du système d’IA, sa raison d’être et l’objectif visé. Ces questions revêtent de l’importance pour l’analyse des droits de la personne, car elles :
- permettent d’établir en toute transparence pourquoi le système d’IA est conçu ou mis en œuvre;
- encouragent les développeurs à déterminer s’il serait possible de réaliser les fins visées autrement qu’avec le système d’IA;
- permettent d’établir un niveau de base en regard duquel le succès du système d’IA pourra être évalué une fois mis en œuvre;
- aident les développeurs à évaluer la proportionnalité du système d’IA, c.-à-d. de mettre en balance ses objectifs et la mesure dans laquelle il porte ou pourrait porter des risques aux droits de la personne.
1. Quelle est la fonction générale du système d’IA?
Donnez une description générale de la fonction du système d’IA. Parmi les fonctions possibles il pourrait s’agir du triage, de l’évaluation de l’admissibilité à des services, du calcul de prestations ou de la quantité de services à accorder, de l’évaluation des risques ou du rendement, de la fourniture de Renseignements ou de conseils, de la formulation de recommandations, de la prise de décisions ou d’analyses pour déceler des anomalies (p. ex., les fraudes).
2. Quel est l’objet prévu du système d’IA? Quel est l’objectif principal et quels sont les objectifs secondaires? S’il y a plus d’un objectif, classez-les en ordre de priorité.
Énoncez l’objectif de la façon la plus concrète et précise possible. Les objectifs potentiels comprennent : améliorer l’efficacité, l’exactitude, ou l’équité; réduire les couts, mieux cibler les ressources ou les services; évaluer les performances; ou fournier un service.
3. À qui le système d’IA est-il censé profiter? À qui pourrait-il être préjudiciable?
Après avoir décrit la fonction (question 1) et l’objet prévu de ce système d’IA (question 2), pensez aux personnes sur lesquelles le déploiement de ce système aura un impact. Qui en bénéficiera et quels en seront les avantages pour eux? Qui pourrait subir des préjudices en cas de défaillances ou d’erreurs non intentionnelles ou qui passent inaperçues?
4. Par quels autres moyens serait-il possible de réaliser ces objectifs? Un système d'IA est-il jugé nécessaire ou préférable?
Pourquoi un système d’IA est-il l’option privilégiée pour atteindre les objectifs énonces en question 2. Existe-t-il d’autres options?
Section 2 – Le système d’IA présente-t-il un risque élevé de violation des droits de la personne?
Les questions 5 à 13 visent à déterminer si le système d'IA présente un risque élevé de violation des droits de la personne. Cette analyse se concentre sur deux risques potentiels :
Premièrement, les questions 5 à 9 demandent si le système d'IA est utilisé dans un contexte ou une situation où les droits de la personne sont susceptibles d'être affectés.
Deuxièmement, les questions 10 à 13 demandent si le système d'IA est susceptible de capturer ou d'avoir un impact sur une population historiquement marginalisée ou désavantagée.
Ces questions doivent être prises en compte dès le début du processus de conception de l'IA.
Questions 5 à 9 :Utilisation et contexte
Il n’existe aucune situation où les lois sur les droits de la personne ne sont pas pertinentes ou sont inapplicables. Cependant, dans certains cas, les droits de la personne peuvent revêtir plus d’importance, ou la discrimination est susceptible de causer des préjudices plus graves.
La question 5 demande aux développeurs et aux responsables du déploiement d’indiquer si l’IA a été utilisée pour prendre une décision ou dans le cadre du processus décisionnel. Les systèmes d’IA qui prennent ou contribuent à prendre des décisions sont plus susceptibles de susciter des préoccupations relatives aux droits de la personne.
La question 6 demande aux organisations d’indiquer si le système d’IA sera utilisé dans un contexte ou une situation qui pourrait faire intervenir des questions liées aux droits de la personne, par exemple, le logement, l’emploi, l’éducation, les services gouvernementaux, la santé et d’autres services.
Les questions 7 et 8 demandent aux développeurs et aux responsables du déploiement d’évaluer l’impact du système d’IA sur le corps et le comportement d’un individu, car il s’agit d’attributs très personnels qui sont au cœur de l’expérience humaine.
La question 9 porte sur la portée éventuelle du système d’IA. Plus les gens sur lesquels il aura un impact sont nombreux, plus il risque de soulever des questions liées aux droits de la personne.
Questions 10 à 13 :Population touchée Les droits de la personne sont conférés à toutes les tranches de la population. Toutes les personnes jouissent du droit à l’égalité et du droit de vivre sans discrimination. Cependant, le même traitement n’est pas toujours synonyme d’égalité. Certaines populations qui devaient par le passé ou doivent actuellement franchir des obstacles s’opposant à leur participation pleine et entière à la société pourraient toujours subir de la discrimination à moins que ce problème ne soit décelé et réglé. Si le système d’IA est conçu pour cibler un groupe historiquement défavorisé, avoir un impact sur lui ou en rendre compte, il pourrait présenter un risque élevé.
Les questions 10 à 13 visent à déterminer si ce système pourrait avoir un impact sur une population historiquement défavorisée ou vulnérable.
Cette évaluation vise à aider les développeurs et les responsables du déploiement à déterminer les situations où ils devraient faire preuve d’une grande prudence. Si le système d’IA présente un risque élevé, ils devront évaluer et atténuer avec vigilance les problèmes liés aux droits de la personne. Cette vigilance pourrait s’imposer encore plus si le système d’IA présente un risque élevé dans les deux scénarios. Des lignes directrices et recommandations suivent.
Tenez compte de ces deux aspects importants au moment de répondre à ces questions :
- Les organisations devraient disposer d'une équipe pluridisciplinaire chargée d'évaluer les questions relatives aux droits de la personne dans les systèmes d'IA. Ce modèle favorise une analyse réfléchie et complète.
- Plusieurs des questions des sections 2, 3 et 4 demandent aux parties de répondre par OUI, NON ou JE NE SAIS PAS. Nous les invitons à prendre en compte les points de vue du plus grand nombre possible de parties prenantes dans leurs réponses, particulier ceux qui sont susceptibles d'être affectés par le système d'IA.
5. Le système d’IA prend-il une décision, fournit-il des Renseignements ou établit-il une cote qui pourrait influer sur une décision?
Si le système d’IA est utilisé pour prendre ou recommander une décision, fournir des Renseignements ou établir une cote qui influera sur une décision, il est primordial d’effectuer une évaluation de l’impact sur les droits de la personne.
Pour qu’il soit nécessaire d’établir l’impact sur les droits de la personne, la décision peut être simplement l’une d’une série de décisions et pas nécessairement une décision définitive. Une décision peut comprendre un renvoi, une recommandation, une priorisation ou une évaluation. Elle peut porter sur un particulier ou une communauté. Les systèmes d’IA conçus pour faciliter des tâches quotidiennes, comme les éditeurs de texte, les assistants numériques et les outils de paiement électronique et de navigation ne font pas partie de cette catégorie.
OUI NON JE NE SAIS PAS
6. Le système d’IA est-il utilisé pour prendre ou contribuer à prendre des décisions dans un domaine assujetti aux lois sur les droits de la personne?
Les catégories énumérées dans l’encadré « Renseignements » ci-dessous sont des domaines qui sont protégés par la législation canadienne ou des traités internationaux sur les droits de la personne. Ces domaines sont l’objet d’une plus grande surveillance sur le plan des droits de la personne car il s’agit d’aspects importants de l’expérience humaine. Moins un système d’IA est susceptible d’avoir un impact sur une communauté ou un particulier, moins son impact sur les droits de la personne est susceptible d’être significatif.
OUI NON JE NE SAIS PAS
Les secteurs ou domaines suivants dans lesquels un système d’IA peut être déployé sont susceptibles d’être assujettis aux lois sur les droits de la personne :
- Droits et libertés de la personne ou de la communauté concernée (cela comprend l'utilisation de l'IA dans le système judiciaire, les services judiciaires et les tribunaux administratifs, le jugement, la police, l'application de la loi, la détermination de la peine, les services correctionnels, la probation et la libération conditionnelle).
- Initiatives ou services gouvernementaux, comme les services sociaux, l’assurance-emploi, les organismes de réglementation, le logement (notamment : admissibilité, détection des fraudes, accès aux services, traitement des demandes, technologie de reconnaissance faciale, cotes de crédit).
- Santé, sécurité ou bien-être de la communauté ou du particulier concerné (notamment : dépistage, sélection, conseils de santé ou médicaux, l'accès aux services, le coût et la fourniture des services, l'affectation des ressources et l'établissement de priorités).
- Éducation publique, y compris au palier universitaire et collégial (notamment : évaluation des risques liés aux élèves ou étudiants, évaluations du rendement scolaire, évaluations à des fins de suspension ou de renvoi, affectation des ressources, évaluations du rendement du personnel enseignant).
- Emploi (notamment : embauche, renvois, sélection, gestion des performances, formation).
- Contrats (y compris dans le domaine du logements locatif).
- Adhésion à un syndicat ou à une association professionnelle (notamment : accès à l’adhésion, accès à des avantages, évaluations du rendement).
- Biens, services et installations (notamment : présélection et sélection des auteurs de demande, accès aux services, prestation des services, conseils professionnels, coût des services, priorisation, prestation de services professionnels : services bancaires, assurance, services juridiques, logement locatif).
- Enfants et adolescents( notamment : administration du bien-être de l’enfance, y compris les décisions relatives à l’ouverture de dossiers ou à la prise en charge d’enfants, l’allocation des prestations pour enfants et l’influence sur l’apprentissage et le développement des enfants et leurs interactions en ligne avec des écoles, des communautés d’apprentissage et des communautés sociales).
7. Le système d’IA emploie-t-il des outils biométriques (p. ex., technologie de reconnaissance faciale, reconnaissance des empreintes digitales, lecture de l’iris)?
Les outils biométriques d’IA mesurent des caractéristiques humaines qui sont associées à des motifs protégés, comme la couleur de la peau d’une personne ou la forme de son visage. Un système d’IA qui surveille ou évalue des facteurs biologiques ou s’appuie sur eux risque d’avoir un impact sur les droits de la personne.
En plus d’inquiétudes relatives à la discrimination, les outils biométriques d’IA suscitent des préoccupations en matière de droits de la personne liées à la surveillance, à la protection de la vie privée et la liberté d’expression et d’association.
OUI NON JE NE SAIS PAS
8. Le système d’IA évalue-t-il le comportement ou l’état d’esprit (p. ex., par l’analyse de l’affect, de la dynamique de frappe au clavier, ou les habitudes d’achat ou de l’utilisation des appareils, ou par la reconnaissance des émotions)?
Le comportement est un aspect très personnel qui peut constituer un facteur de substitution pour un motif protégé. Un système d’IA qui surveille ou évalue des comportements humains ou s’appuie sur eux risque d’avoir un impact sur les droits de la personne, car il pourrait établir des distinctions, diviser en catégories et produire des résultats en fonction de ces comportements.
En plus d’inquiétudes relatives à la discrimination, les outils d’IA qui permettent la surveillance du comportement suscitent des préoccupations en matière de droits de la personne liées à la surveillance, à la protection de la vie privée et au contrôle.
OUI NON JE NE SAIS PAS
9. Le système d’IA peut-il influer sur le comportement, l’expression et les émotions, les susciter ou les prédire à grande échelle?
Ces systèmes peuvent comprendre des sites de médias sociaux, des agents conversationnels ou des moteurs de recherche, par exemple. Ils suscitent des inquiétudes sur le plan des droits de la personne, surtout en raison de la taille de l’auditoire auquel ils risquent de causer des préjudices à grande échelle.
OUI NON JE NE SAIS PAS
Résultats
- Si vous avez répondu « oui » à la question 5 et « oui » à une ou plusieurs des questions de cette section(questions 6 à 9), le système d’IA présente un risque élevé de problèmes liés aux droits de la personne. Il nécessite donc un examen continu et l’atténuation de son impact sur les droits de la personne. Veuillez répondre aux questions 10 à 13.
- Si vous avez répondu « oui » à la question 5 et « non » et « non » à une ou plusieurs des questions de cette section (questions 6, à 9), le système d’IA ne présente pas un risque élevé.. Veuillez poursuivre aux questions 10 à 13.
- Si vous avez répondu « non » à la question 5 et « oui » à une ou plusieurs des questions de cette section (questions 6 à 9), des préoccupations en matière de droits de la personne pourraient être se poser, mais le risque n’est pas élevé pour l’instant. Nous vous invitons à poursuivre le reste de l’évaluation et à surveiller le système poursuivre la section 2 pour identifier toute dérive ou tout changement.
- Si vous avez répondu « non » à la question 5 et « non » à une ou plusieurs des questions de cette section (questions 6 à 9), le système d’IA ne présente pas un risque élevé selon la présente section. Veuillez répondre aux questions 10 à 13.
- Si vous ne connaissez pas la réponse à une ou plusieurs de ces questions, veuillez consultez des collègues et d’experts susceptibles de connaitre la réponse, et , puis reprenez la présente section pour vous assurer que vous connaissez les réponses avant le déploiement.
10. Le Système d’IA fonctionne-t-il dans un domaine ou des préoccupations ont déjà été soulevées concernant le biais et de la discrimination.
Un expert en droits de la personne pourra vous conseiller sur les domaines de la société et les activités qui, historiquement, suscitent des préoccupations relatives aux biais et à la discrimination, par exemple : la discrimination fondée sur l’âge dans l’embauche et les congédiements; la discrimination raciale dans le domaine du logement; l’utilisation des codes postaux comme facteurs de substitution pour l’origine ethnique dans les services bancaires ou l’établissement des cotes de crédit.
OUI NON JE NE SAIS PAS
11. Qui sera visé par le système d’IA ou y sera exposé? Soyez précis?
Sur qui aura-t-il un impact? Déterminez le plus généralement possible sur qui le système d’IA portera ou aura un impact. Il peut s’agir de tous les clients d’une entreprise, ( les demandeurs d’emploi, de prestations ou de services,ou tous les résidents d’une ville,
12. Quelles sont les caractéristiques démographiques des personnes qui sont visées par le système d’IA ou y sont exposées? Soyez précis.
En vous reportant à votre réponse à la question 11 et considérez les données démographiques des personnes affectées par le système d’AI. Pour répondre à cette question, tenez compte des caractéristiques suivantes de ces personnes :
- Statut socioéconomique
- Emplacement géographique
- Caractéristiques démographiques
- Appartenance éventuelle à une catégorie protégée (âge, race, sexe, religion, etc.)
- Vulnérabilité éventuelle (p. ex., problème de santé, sans emploi ou logement)
- Autre (veuillez préciser)
13. Le système d’IA pourrait-il avoir un impact sur un groupe historiquement défavorisé?
Tenez compte de vos réponses aux questions 11 et 12. Les groupes historiquement défavorisés font-ils partie des personnes susceptibles d'être affectées ou négligées par le système d'IA ?
OUI NON JE NE SAIS PAS
Résultats
Si vous avez répondu « oui » à la question 10 ou 13, ou aux deux, le système d’IA présente un risque élevé de problèmes liés aux droits de la personne. Veuillez poursuivre l’évaluation et répondre aux questions des sections 3 et 4.
- Si vous avez répondu « non » aux questions 10 et 13, le système d’IA ne présente pas un risque élevé pour la population sur laquelle le système d’IA aura un impact. Le système reste à risque élevé s’il est considéré comme tel en raison de vos réponses (questions 5 à 9). Le système peut néanmoins présenter un risque élevé s'il s'agit d'une utilisation ou d'un contexte à risque élevée (questions 5 à 9).
- Si vous ne connaissez pas la réponse aux questions 10 ou 13 , consultez des collègues et des experts. Il faut répondre à ces questions avez avant le déploiement.
- Si, après avoir répondu aux questions 5 à 13, il est établi que le système d’IA ne présente pas un risque élevé, vous n’avez pas à terminer le reste de l’évaluation. Nous vous recommandons toutefois de refaire l’évaluation de l’impact sur les droits de la personne dans un délai de 90 jours suivant un changement important dans le système et dans le cadre d’une maintenance annuelle.
Section 3A – Le système d’IA donne-t-il lieu à une différence de traitement?
Les questions 1 à 13 évaluées si un système d’IA présente un risque élevé en matière des droits de la personne. La section 3 permet à déterminer si le système d’IA est discriminatoire au regard des droits de la personne.
Les questions 14 à 22 posent des questions détaillées sur deux aspects juridiques qui permettent de déterminer si un système est discriminatoire : 1) Quelles sont les communautés touchées par un système d'IA 2) Le système d'IA fait-il preuve d'une différence de traitement entre les communautés ou au sein d'une même communauté ?
Les questions 14 à 22 doivent être posées après le développement du système mais avant son déploiement. En d'autres termes, ces questions doivent être posées lorsque le système est testé avant d'être opérationnel.
Les questions 14, 15, 16 et 17 ont pour but de déterminer si les extrants du système d’IA donnent lieu à une différence de traitement fondée sur un motif protégé par les droits de la personne
Les questions 18 et 19 sont pertinentes uniquement si vous ne pouvez pas répondre aux questions 14 à 17. Les question 18 et 19 portent sur les lacunes dans les données et vous demandent de préciser les aspects du système d’IA que vous pouvez évaluer et ceux que vous n’êtes pas en mesure d’évaluer.
Si les réponses aux questions 14 à 17 donnent à penser que le système d’IA cause une différence de traitement, ou si vous ne savez pas s’il en cause une, les questions 20, 21 et 22 vous permettront de déterminer.
Si, après avoir répondu aux questions de la présente section, vous constatez que votre système d’IA donne lieu à de la discrimination fondée sur des motifs protégés, passez aux sections 4 et 5.
14. Quelles sont les caractéristiques démographiques des personnes que le système d’IA signale ou à l’égard desquelles il prend une décision? Soyez précis.
Que vous révèlent les tests ou l'audit des résultats du système d'IA?
15. Que vous révèlent les tests ou l’audit des résultats du système d’IA? Le système d’IA produit-il des résultats qui donnent lieu à une différence de traitement fondée sur un ou plusieurs motifs protégés?
Y a-t-il des communautés qui sont surreprésentées ou sous-représentées dans les résultats du système d’IA? Ce dernier cible-t-il, directement ou indirectement, toute personne pour un ou plusieurs des motifs protégés énumérés ci-dessous? L'encadré de la page 19 traite plus en détail des motifs protégés
- Âge
- Ascendance, couleur, race
- Citoyenneté
- Origine ethnique
- Caractéristiques génétiques
- Lieu d’origine
- Croyance (y compris la religion)
- Handicap
- État familial
- État matrimonial
- Identité sexuelle, expression de l’identité sexuelle
- Sexe
- Orientation sexuelle
- Assistance sociale (en matière de logement)
- Casier judiciaire (en matière d’emploi)
OUI NON JE NE SAIS PAS
Motifs protégés
Les motifs protégés sont des caractéristiques énumérées dans les lois sur les droits de la personne auxquelles les gens s’identifient (p. ex., race, couleur, sexe, âge, religion, etc.). Il est illégal de traiter une personne de façon défavorable en raison de l’une ou l’autre de ces caractéristiques. Même si ce traitement ou si cet effet défavorable n’est pas délibéré, il peut quand même être considéré comme de la discrimination aux termes de ces lois. Toutes les personnes ont droit à un traitement égal en Ontario en vertu de la loi.
Pourquoi sont-ils protégés?
Certaines personnes et communautés ont été confrontées à des obstacles actuels et historiques ayant entravé leur participation pleine et équitable à la société en raison de la discrimination fondée sur ces caractéristiques personnelles. Cela peut avoir de profondes conséquences négatives à long terme sur la stabilité sociale et économique, et causer des traumatismes durables et une atteinte à la dignité humaine qui se font sentir pendant des générations. Interdire la discrimination sur la base de ces motifs permet de créer une société qui accorde de l’importance à la diversité, où chacun peut participer et apporter sa contribution en toute égalité.
Bien des gens s’identifient à plusieurs de ces motifs, de sorte qu’ils peuvent subir de multiples formes de discrimination.
Motifs protégés
Le Code des droits de la personne de l’Ontario reconnaît les motifs suivants :
- Âge
- Ascendance, couleur, race
- Citoyenneté
- Origine ethnique
- Lieu d’origine
- Croyance
- Handicap
Un handicap s’entend d’une affection médicale dont une personne est atteinte. Il peut être temporaire ou de longue durée. Il peut s’agir notamment d’une incapacité physique, mentale ou cognitive, d’une difficulté d’apprentissage, d’un trouble mental, d’une déficience auditive ou visuelle, de l’épilepsie, de la toxicomanie, de l’alcoolisme ou de la sensibilité à des facteurs environnementaux, entre autres.
- État familial
- État matrimonial (y compris le célibat)
- Identité sexuelle, expression de l’identité sexuelle
- Assistance sociale (en matière de logement uniquement)
- Casier judiciaire (en matière d’emploi uniquement)
- Sexe (y compris la grossesse et l’allaitement)
- Orientation sexuelle
La Charte énumère les caractéristiques suivantes, appelées « motifs énumérés » :
- Race
- Origine nationale ou ethnique
- Couleur
- Religion
- Sexe
- Âge
- Handicap mental ou physique
En vertu de la Charte, les tribunaux peuvent également reconnaître d’autres caractéristiques non énumérées appelées « motifs analogues ». Les motifs analogues sont des caractéristiques personnelles qui, comme les motifs énumérés, sont « immuables, difficiles à changer ou modifiables uniquement à un prix personnel inacceptable ». Lorsqu’un tribunal reconnaît un motif analogue, ce dernier est traité de la même façon que les motifs énumérés et peut faire l’objet de revendications d’égalité.
La Cour suprême du Canada a reconnu jusqu’à maintenant quatre motifs analogues :
- La citoyenneté;
- L’orientation sexuelle;
- L’état matrimonial;
- l’autochtonité-lieu de résidence (discrimination contre un membre des Premières Nations parce qu’il vit à l’extérieur d’une réserve).
Bien que le « statut économique » comme la pauvreté ou l’itinérance ne soit pas un motif reconnu, bien des gens à faible revenu ou pauvres sont défavorisés, et des motifs protégés interviennent souvent dans leur situation.
Impact indirect :
Lorsqu’un système, une loi ou une politique est égalitaire ou neutre en soi (c.-à-d. n’a pas pour but d’être discriminatoire) mais a un effet discriminatoire dans la réalité, on peut considérer qu’il viole les droits de la personne.
Discrimination intersectionnelle :
- Une personne qui s’identifie à plusieurs motifs peut subir un traitement défavorable qui est aggravé par la présence de chacun de ces motifs.
- L’expérience d’une personne en matière de discrimination est souvent associée aux effets cumulatifs de motifs multiples. Selon son ensemble unique d’identités, elle peut être exposée à des formes particulières de discrimination et subir une détresse personnelle et des préjudices sociaux importants en conséquence. Par exemple, une lesbienne juive ayant un enfant et une conjointe de même sexe peut être considérée comme la « mère d’un enfant » ou une « femme juive » et est alors visée par les motifs protégés que sont l’état matrimonial, l’état familial, la croyance et l’orientation sexuelle. En tant que lesbienne, cette femme et sa conjointe peuvent être exposées à des formes de discrimination que ne subissent pas d’autres femmes juives ayant des enfants.
16. Avez-vous testé ou validé le système d’IA pour déterminer les facteurs sur lesquels il s’appuie? S’agit-il de facteurs qui sont reliés à un motif protégé?
Pour répondre à cette question, il faut d’abord déterminer les facteurs sur lesquels s’appuie le système d’IA et comment il les pondère. Ensuite, il faut déterminer si l’un ou l’autre de ces facteurs, seuls ou combinés, sont reliés à un motif protégé. Un expert en droits de la personne peut vous conseiller sur la façon de déterminer les facteurs qui peuvent être associés à un motif protégé.
On dit souvent qu’il s’agit de « facteurs de substitution » ou « substitutions ». Par exemple, dans les systèmes d’IA, le code postal peut constituer un facteur de substitution pour la race lorsqu’une forte proportion de membres d’un groupe racial habitent dans un quartier; les lacunes dans l’expérience de travail peuvent constituer un facteur de substitution pour les femmes, car celles-ci sont plus susceptibles de prendre congé pour prendre soin de leurs enfantset le fait de s’adonner à un sport de compétition peut constituer un facteur de substitution pour les hommes, car ceux-ci sont plus susceptibles de s’adonner à un tel sport.
OUI NON JE NE SAIS PAS
17. Le système d’IA attribue-t-il des caractéristiques à des particuliers en fonction de facteurs de substitution et d’autres données? Produit-il des extrants s’appuyant sur les caractéristiques personnelles supposées de particuliers, que les données ne révèlent pas explicitement? (Le système s’appuie-t-il sur un modèle statistique du comportement humain ou d’une caractéristique personnelle?)
La question 16 demande de mettre à l’essai ou de valider le système d’IA pour les facteurs sur lesquels il s’appuie puis de déterminer s’il s’agit de facteurs de substitution correspondant à des motifs protégés. Vous devez déterminer si l’IA attribue à des particuliers des caractéristiques qui ne figurent pas explicitement dans les données.
OUI NON JE NE SAIS PAS
Comment évaluer la discrimination : il n’existe pas de mesures claires
- Il n’existe pas de moyen universel de mesurer le niveau de disparité statistique nécessaire pour démontrer qu’il existe un impact disproportionné; cet impact doit être important et ne pas être attribuable uniquement au hasard.
- Dans les systèmes d’AI a risque élevée, il ne doit y avoir la discrimination ou biais. Il n’est pas nécessaire que tous les membres d’un groupe protégé subissent de la discrimination de la même manière. Par exemple, la discrimination contre les femmes enceintes représente une discrimination contre les femmes, même si toutes les femmes ne sont pas enceintes.
Résultats
- Si vous avez répondu « oui » à une ou plusieurs des questions 15 à 17, votre système d’IA donne lieu à une différence de traitement fondée sur des motifs protégés. Dans ce cas, passez à la section 3B pour déterminer si cette différence de traitement constitue de la discrimination au sens de la loi.
- Si vous n’êtes pas en mesure de répondre aux questions 14, 15, 16 ou 17, passer aux questions 18 à 22.
- Si vous avez répondu « non » aux questions 15 à 17, votre système d’IA ne donne pas lieu à une différence de traitement. Dans ce cas, passer à la section 4.
Évaluation des lacunes du système
18. Votre capacité à répondre avec pertinence aux questions 14 à 17 est-elle limitée? Si vous n’êtes pas en mesure de faire des tests pour déterminer si le système d’IA donne lieu à une différence de traitement fondée sur des motifs protégés, prenez note des lacunes et limites dans les données et passez à la question 21.
Soyez aussi clair et franc que possible sur les motifs protégés concernant lesquels vous êtes ou n’êtes pas en mesure de faire des tests. Notez la qualité et la précision de vos tests.
Pouvez-vous faire des tests pour déterminer s’il y a discrimination intersectionnelle? Pouvez-vous déterminer si les personnes qui s’identifient à plusieurs motifs obtiennent un résultat ou font l’objet d’un traitement différent
19. Quelle est la cause de ces limites? Est-elle surmontable?
Dans certains cas, les organisations ne peuvent pas déterminer si un système d’IA donne lieu à de la discrimination fondée sur la race, le sexe, la religion, l’âge, etc., parce que les données ne contiennent pas ces Renseignements. Si c’est le cas, envisagez des solutions :
- Est-il possible d’évaluer les données sans disposer des Renseignements directs? Une telle évaluation serait-elle fiable et exacte?
- Pouvez-vous commencer à recueillir les données nécessaires maintenant et éliminer cette limite à l’avenir?
Résultats
- Si votre système d’IA présente un risque élevé de problèmes liés aux droits de la personne et vous n'êtes pas en mesure de déterminer si ses résultats sont discriminatoires, vous vous trouvez dans une situation précaire. Les organisations ontariennes ont l’obligation de s’assurer que leurs produits et services ne violent pas les lois sur les droits de la personne.
- Dans ce cas, il y a lieu d’envisager de prendre les mêmes mesures que si le système d’IA donnait lieu à une différence de traitement.
- Si vous ne pouvez pas évaluer de façon exhaustive votre système d’IA parce que vous ne disposez pas des données nécessaires, envisagez de commencer à recueillir ces données afin de pouvoir rectifier cette situation à l’avenir.
- Passez à la section 3B.
Primauté de la législation sur les droits de la personne
- La législation sur les droits de la personne est de nature constitutionnelle (la Charte) ou quasi constitutionnelle (Code des droits de la personne de l’Ontario, Loi canadienne sur les droits de la personne). C’est à dire que les lois sur les droits de la personne l’emportent sur toutes les autres lois canadiennes en cas d’incompatibilité.
- Les Canadiennes et les Canadiens ont l’obligation positive de ne pas fournir de services ou de produits qui violent les lois sur les droits de la personne. En d’autres mots, une organisation ne peut échapper à sa responsabilité à l’égard des droits de la personne parce que les développeurs ou les administrateurs d’un système d’IA ignorent que ce système est discriminatoire.
- Ce n'est pas une défense contre une violation des droits de la personne que d'affirmer que les lois sur la protection de la vie privée ont empêché un gouvernement ou une organisation privée de savoir qu'il violait les droits de la personne.
Section 3B – La différence de traitement est-elle admissible?
Si votre système d’IA donne lieu à une différence de traitement fondée sur des motifs protégés (ou si vous ne pouvez pas l’évaluer le système de façon exhaustive), les questions 20 à 22vous aidera à établir si cette différence de traitement est admissible.
En vertu des lois canadiennes, il n’existe aucun moyen de mesurer une différence de traitement sur le plan quantitatif pour déterminer si elle est acceptable. Cependant, il est reconnu que dans certains contextes, une discrimination pourrait être nécessaire (p. ex., aux fins de l’action positive) ou (dans des cas beaucoup plus rares) tolérable pour atteindre un objectif plus important ou parce qu’elle est impossible à éviter.
Déterminer si une discrimination est justifiée est une tâche complexe. Les questions 20, 21 et 22 , 20 et 21 examinent si la discrimination peut être jugée admissible. Nous recommandons aux organisations de consulter des experts en droits de la personne et des conseillers juridiques pour répondre à ces questions.
20. Le système d’IA a-t-il pour objet direct ou indirect d’avantager un groupe historiquement défavorisé?
Les lois sur les droits de la personne permettent la discrimination qui vise à rectifier les impacts cumulatifs de la discrimination historique en avantageant un groupe historiquement défavorisé. C’est ce que l’on appelle parfois l’action positive ou programmes spéciaux. Voir l'encadré de cette page pour plus d'informations sur l'action positive et les programmes spéciaux.
OUI NON JE NE SAIS PAS
Action positive
L’action positive désigne des mesures visant à rectifier les désavantages historiques que des groupes identifiables (personnes racialisées, femmes) ont subis en s’assurant qu’ils sont mieux représentés sur le plan de l’emploi ou de l’éducation supérieure.
Mesures d’amélioration
Les lois sur les droits de la personne permettent l’élaboration de politiques et de pratiques visant à lutter contre la discrimination, les difficultés économiques ou les désavantages fondés sur des motifs protégés que subissent des groupes.
En vertu du Code, les organisations et employeurs peuvent créer des « programmes spéciaux » à cette fin. La Commission ontarienne des droits de la personne encourage l’élaboration de programmes spéciaux, qui représentent des moyens efficaces de réduire la discrimination et de remédier aux désavantages historiques. De même, le paragraphe 15 (2) de la Charte permet aux gouvernements de lutter contre la discrimination de façon proactive et de venir en aide aux groupes défavorisés en raison de motifs énumérés ou analogues en autorisant la mise en œuvre de programmes visant à améliorer leur situation.
Exemples de programmes d’amélioration ou de programmes spéciaux :
- Programme visant à favoriser l’embauche et l’avancement des femmes dans les professions technologiques.
- Organisme de services sociaux offrant des programmes d’acquisition de compétences essentielles et de counseling exclusivement à ses membres qui sont des réfugiés au Canada et qui ont subi des traumatismes et des mauvais traitements.
Résultats
Si vous avez répondu « oui » à la question 20, la différence de traitement ne constitue probablement pas de la discrimination.
Si vous ne savez pas ou si vous ignorez quoi répondre à la question 20, nous vous recommandons de consulter un expert des droits de la personne qui connaît l’action positive ou les programmes spéciaux. Les différences de traitement qui ne sont pas de la discrimination sont rares; ne supposez pas que c’est le cas à moins que cela ne soit très clair.
21. Le fait pour un particulier ou une communauté d’être inclus ou exclus des résultats du système d’IA aura-t-il un effet négatif ou préjudiciable sur lui?
« L’effet préjudiciable » est un principe important mais complexe de la législation canadienne en matière de droits de la personne. L'encadré de cette page explique l'impact négatif de manière plus détaillée. Les organisations sont invitées à demander un avis juridique pour répondre à cette question.
OUI NON JE NE SAIS PAS
Effet préjudiciable :
La « discrimination par suite d’un effet préjudiciable » est une notion importante en droit en matière de droits de la personne. Elle a lieu dans des situations où une politique, une règle ou une pratique qui semble réserver un traitement égal à tous a en fait l’effet contraire sur un groupe protégé en vertu de la Charte ou de la législation sur les droits de la personne, comme la Charte canadienne des droits ou libertés, le Code des droits de la personne de l’Ontario et la Loi canadienne sur les droits de la personne. Par exemple, un horaire de travail qui exige que tout le personnel se présente au travail le vendredi soir pourrait avoir un effet négatif sur les employés qui doivent se livrer à des rites religieux au même moment. Ce type de discrimination involontaire s’appelle également « discrimination indirecte ». Ainsi, la politique, la règle ou la pratique régissant un milieu de travail a pour effet involontaire de cibler certaines personnes et d’entraîner un traitement inégal, différent ou négatif, sur la base d’un motif protégé.
Résultats
Si vous avez répondu « non », à la question 21, la différence de traitement n’est probablement pas discriminatoire.
Si vous ne savez pas ou si vous ignorez quoi répondre, nous vous recommandons de consulter un expert des droits de la personne qui connaît la question des effets préjudiciables. Les différences de traitement qui ne sont pas de la discrimination sont rares; ne supposez pas que c’est le cas à moins que cela ne soit très clair.
22. Le système donne-t-il lieu à une différence de traitement pour un motif justifiable?
Les « motifs justifiables » sont un principe important mais complexe du droit canadien des droits de la personne. L'encadré de cette page explique plus en détail les raisons justifiables. Les organisations sont invitées à demander un avis juridique pour répondre à cette question.
OUI NON JE NE SAIS PAS
Qu’est-ce qu’un « motif justifiable » d’utiliser un système d’IA qui semble discriminatoire?
Ce n’est que dans des circonstances très rares qu’il est permis d’utiliser un système qui semble discriminatoire. Ces circonstances doivent s’appuyer sur un « motif raisonnable » fondé sur des données probantes selon lesquelles le fait d’utiliser un autre système ou de ne pas utiliser de système du tout causerait l’organisation un préjudice injustifié selon des facteurs liés à la santé, à la sécurité ou au coût. Il ne faut pas oublier qu’un certain préjudice est acceptable, et que pour déterminer le degré de préjudice, on se fonde sur des facteurs comme la taille, la nature et la structure d’une organisation ainsi que les ressources dont elle dispose. Pour déterminer ce qui constitue un « motif justifiable », il y a lieu de consulter un avocat.
Questions à poser en vue de déterminer si l’utilisation du système d’IA peut être justifiée :
- Le système d’IA permet-il d’atteindre son ou ses objectifs prévus?
- La nécessité de l’utiliser l’emporte-t-elle sur son effet négatif?
- Quelles sont les mesures prises pour minimiser ou éliminer les préjudices liés aux droits de la personne? Avez-vous mis tout en œuvre dans ce but?
- Avez-vous envisagé des systèmes de rechange qui n’utilisent pas l’IA?
- Serait-il possible d’atteindre l’objectif visé au moyen d’un système d’IA différent ou d’une solution ne recourant pas à l’IA?
- Le système a-t-il été conçu pour minimiser les préjudices pour les personnes sur qui il aura un impact?
- Des mesures d’adaptation ont-elles été envisagées?
- Quelles sont les preuves montrant qu’il serait préjudiciable à l’organisation d’adopter un système de rechange ou d’accorder des mesures d’adaptation aux personnes qui subissent un préjudice?
Résultats
Si vous avez répondu « non » à la question 22, la différence de traitement n’est probablement pas de la discrimination.
Si vous ne savez pas ou si vous ignorez quoi répondre, nous vous recommandons de consulter un expert des droits de la personne qui connaît les motifs justifiables de discrimination. Les différences de traitement qui ne sont pas de la discrimination sont rares; ne présumez pas que vous relevez de cette exception, à moins que cela ne soit très clair.
Section 4 – Le système d’IA prévoit-il des mesures d’adaptation?
Les question 22 à 26 visent à déterminer si le système d’IA tient compte de communautés précises et prévoit des mesures d’adaptation connexes.
23. Le système d’IA présente-t-il une disponibilité, une accessibilité et une pertinence équivalentes pour toutes les parties? A-t-on tenu compte des droits ou des besoins des communautés représentées dans tous les motifs protégés au moment de la création du système d’IA?
Il est obligatoire en vertu de la loi d’accorder des mesures d’adaptation aux particuliers ou communautés qui en ont besoin.
L'encadré de cette page traite plus en détail de l'adaptation aux droits de la personne.
Mesures d’adaptation
- En vertu du Code des droits de la personne de l’Ontario, les personnes qui s’identifient à des motifs protégés ont droit aux mêmes occasions et avantages que les autres. Dans certains cas, elles pourraient nécessiter des dispositions spéciales, ou « mesures d’adaptation », pour jouir de l’égalité dans les domaines sociaux visés par le Code, comme l’emploi, le logement et l’éducation.
- Par exemple, lorsqu’un application alimentée par l’IA et accessible au moyen d’une application est généralement employé pour faire le triage des clients en fonction de l’urgence de leurs besoins, il pourrait être nécessaire de prévoir une autre méthode pour ceux qui ne peuvent utiliser l’application pour des raisons fondées sur un motif interdit de discrimination comme l’handicap physique, culture, religion.
- Les employeurs, fournisseurs de services et autres détenteurs d’obligations sont tenus en vertu de la loi de prendre des mesures d’adaptation afin de répondre à des besoins liés au Code à moins de prouver que cela leur causerait un préjudice injustifié. Ce dernier est établi en tenant compte des coûts, des sources externes de financement et de facteurs liés à la santé et à la sécurité.
24. Avez-vous testé l’accessibilité et la disponibilité du système d’IA auprès de populations diverses pour vous assurer que tous y ont accès?
les tests d’IA pourraient porter sur un éventail de handicaps touchant l’ouïe, la vue et la mobilité. Les tests doivent aussi prendre en compte les différences culturelles, linguistiques, religieuses, raciales et sexuelles.
25. Le système d'IA respecte-t-il les droits des enfants et tient-il compte de leur intérêt?
26. Avez-vous mis en place des procédures pour tester et contrôler le système d'IA pendant les phases de développement, de déploiement et d'utilisation, afin de détecter les risques potentiels pour les enfants ?
Résultats
- Si vous n’avez pas envisagé les mesures d’adaptation que certaines populations pourraient nécessiter et si vous n’avez pas pris de telles mesures, vous pourriez manquer à vos obligations en matière de droits de la personne.
- Si votre système aura un impact sur des enfants ou sera utilisé par des enfants de quelque façon que ce soit, vous devrez prendre en compte les dommages potentiels et les mesures d'atténuation.
Section 5 : Résultats
Six catégories sont décrites ci-dessous. Après que vous aurez répondu aux questions 1 à 26, vous pourrez classer le système d’IA dans l’une de ces catégories. Suivez les directives pour déterminer à quelle catégorie votre système d’IA appartient.
Les systèmes d’IA de la catégorie I présentent peu de problèmes liés aux droits de la personne, voire aucun. Ce sont ceux qui nécessitent le moins de mesures d’atténuation.
Les catégories sont numérotées en ordre croissant de la gravité des problèmes liés aux droits de la personne qu’ils présentent.
Les systèmes qui font partie de la catégorie VI sont les plus préoccupants. Ils nécessitent le plus d’interventions, et peuvent même porter les organisations à se demander si un système d’IA est approprié dans les circonstances.
Nous vous recommandons de passer en revue vos réponses avec un expert en droits de la personne pour confirmer que votre système d’IA fait partie de la bonne catégorie.
1. Pas à risque élevé
Pour que votre système se trouve dans cette catégorie, vous devez :
- Avoir répondu « oui » ou « non » à la question 5 et « non » aux questions 6, 7, 8, 9, 10 et 13.
Votre système d’IA n’est pas utilisé dans un contexte susceptible de présenter des problèmes liés aux droits de la personne; il est donc peu susceptible de causer de tels problèmes. Il est recommandé de refaire l’évaluation de l’impact sur les droits de la personne si un changement important est apporté au système d’IA et chaque année au cas où il y aurait eu une dérive du système.
2. Risque élevé; faibles enjeux
Pour que votre système se trouve dans cette catégorie, vous devez :
- Avoir répondu « non » à la question 5 et « oui » à au moins une des questions 6, 7, 8, 9 et 13.
Votre système d’IA est utilisé dans un contexte susceptible de présenter des problèmes liés aux droits de la personne, mais il n’est pas utilisé à des fins importantes. Nous recommandons les mesures suivantes :
- Surveillez le système d’IA pour déterminer s’il dérive ou s’il est modifié.
- Surveillez les utilisations en aval du système d’IA pour vous assurer que celui-ci n’est toujours pas utilisé à des fins importantes.
- Réévaluez le système d’IA en cas de changement important et chaque année.
3. Risque élevé; pas de différence de traitement
Pour que votre système se trouve dans cette catégorie, vous devez :
- Avoir répondu « oui » à la question 5 et à au moins une des questions 6, 7, 8, 9, 10 et 13;
- Avoir répondu « non » aux questions 15 à 17;
- Ne pas avoir répondu aux questions 20 à 22 car elles ne s’appliquaient pas à votre situation.
Votre système d’IA est utilisé dans un contexte susceptible de présenter des problèmes liés aux droits de la personne. Cependant, il ne donne pas lieu actuellement à une différence de traitement. Nous recommandons les mesures suivantes :
- Assurez-vous que vos mesures d’audit, de test et de validation sont approfondies, exactes et fiables;
- Continuez de tester régulièrement votre système pour déterminer s’il cause une différence de traitement; et
- Mettez en œuvre les stratégies d’atténuation énumérées dans la partie B, notamment : procédure interne d’évaluation de l’impact sur les droits de la personne; transparence et qualité des données; consultations; évaluation d’indicateurs et suppression des biais.
4. Risque élevé; impossible de déterminer s’il y a différence de traitement
Pour que votre système se trouve dans cette catégorie, vous devez :
- Avoir répondu « oui » à la question 5 et à au moins une des questions 6, 7, 8, 9, 10 et 13;
- Avoir répondu « oui » à la question 18: vous n’êtes pas en mesure de déterminer si votre système d’IA cause une différence de traitement.
Votre système d’IA est utilisé dans un contexte susceptible de présenter des problèmes liés aux droits de la personne et vous n’êtes pas en mesure actuellement de déterminer s’il donne lieu à une différence de traitement. En vertu du Code des droits de la personne de l’Ontario, vous êtes tenu de faire en sorte que vos produits et services ne violent pas la loi; comme vous ne pouvez pas le faire, nous recommandons les mesures suivantes :
- Prenez les mesures indiquées pour la catégorie VI, comme s’il y avait une différence de traitement (sauf si vous avez répondu « oui » à l’une des questions 20 à 22, auquel cas vous devez passer à la catégorie V);
- Prenez des mesures pour tenter de corriger et d’améliorer vos évaluations.
5. Risque élevé; différence de traitement faisant l’objet d’une exception (il s’agit là d’une situation rare, et vous devriez consulter un avocat et des experts en droits de la personne à ce sujet)
Pour que votre système se trouve dans cette catégorie, vous devez :
- Avoir répondu « oui » à la question 5 et à au moins une des questions 6, 7, 8, 9, 10 et 13;
- Avoir répondu « oui » à au moins une des questions 15 à 17;
- Ne pas avoir répondu aux questions 18 et 19 car elles ne s’appliquaient pas à votre situation;
- Avoir répondu « oui » à l’une des questions 20, 21 ou 22.
Votre système d’IA est utilisé dans un contexte susceptible de présenter des problèmes liés aux droits de la personne et il a été établi qu’il donne lieu à une différence de traitement fondée sur des motifs protégés. Cependant, l’objet de votre système est visé par une exception relative à la discrimination. Nous recommandons les mesures suivantes :
- Continuez d’auditer, de valider ou de tester régulièrement le système d’IA;
- Déterminez si le système d’IA présente une dérive ou un changement; et
- Suivez les mesures d’atténuation de la partie B, particulièrement les suivantes :
- Section 1 – procédure interne d’évaluation relative aux droits de la personne
- Section 2 – explicabilité et qualité des données
- Section 3 – consultations.
6. Risque élevé; différence de traitement qui n’est pas justifiée ou acceptable ou dont vous vous demandez si elle est justifiable
Pour que votre système se trouve dans cette catégorie, vous devez :
- Avoir répondu « oui » à la question 5 et à au moins une des questions 6, 7, 8, 9, 10 et 13; et
- Avoir répondu « oui » à au moins une des questions 15 à 17; et
- Ne pas avoir répondu aux questions 18 et 19 car elles ne s’appliquaient pas à votre situation; et
- Avoir répondu « non » aux questions 20, 21 ou 22.
Votre système d’IA est utilisé dans un contexte susceptible de présenter des problèmes liés aux droits de la personne, il donne lieu à une différence de traitement et il n’y a aucune justification qui permet de croire que cette différence de traitement est acceptable. Il s’agit là de la catégorie la plus préoccupante. Nous recommandons les mesures suivantes :
- Envisagez de limiter l’utilisation de ce système d’IA ou d’y renoncer.
- Suivez attentivement toutes les étapes de la partie B, Atténuation, questions 1 à 35;
- Continuez d’évaluer et d’examiner régulièrement le système d’IA; et
- Testez et évaluez le système d’IA pour déterminer s’il atteint son ou ses objectifs et dans quelle mesure.
Partie B – Stratégies d'atténuation des risques
La partie A de cette évaluation consiste à déterminer si un système d'IA présente des implications en matière de droits de la personne, et notamment s'il présente un risque élevé d'atteinte aux droits de la personne.
La partie B de cette évaluation vise à minimiser les risques pour les droits de la personne. La partie B est divisée en quatre éléments :
- Les procédures internes d'évaluation des droits de la personne
- Lacapacité d'explication, la divulgation et la qualité des données
- Les consultations
- Test et révision
Chaque élément est une composante importante de l'atténuation des risques liés aux droits de la personne.
Section 1 : Procédure interne d’évaluation de l’impact sur les droits de la personne
La présente section encourager les organisations à mettre sur pied un système interne d’évaluation de l’impact sur les droits de la personne. Tout au long de son cycle de vie, un système d'IA doit être évalué du point de vue des droits de la personne. Cette section encourage en outre les organisations, en particulier les grandes, à établir des lignes de communication entre les différents départements et domaines d'expertise.
Les questions 1 à 6 encouragent les organisations à mettre en place des procédures internes pluridisciplinaires pour évaluer préoccupations en matière de droits de la personne liées à l'IA. Si cette évaluation démontre que votre système d'IA présente un risque élevé de violations des droits de la personne, vos procédures internes devraient accorder une attention constante et étroite aux questions relatives aux droits de la personne.
1. Avez-vous établi un processus d’examen et d’évaluation régulière de l’impact du système d’IA sur les droits de la personne tout au long de son cycle de vie?
2. À quelle étape de son cycle de vie le système d’IA se trouve-t-il actuellement?
- Concept initial; remue-méninges
- Début de la conception
- Collecte des données
- Examen des données
- Tests et audit
- Déploiement
- Maintenance
- Autre
Des évaluations de l’impact sur les droits de la personne devraient avoir lieu régulièrement et à toutes les étapes du cycle de vie du système d’IA.
3.(i) À quelle fréquence votre équipe se réunira-t-elle pour effectuer un examen du système d’IA et une évaluation de son impact sur les droits de la personne?
La fréquence d’une évaluation de l’impact sur les droits de la personne repose sur les fins auxquelles il sera employé et sur sa conception. Si votre système présente un risque élevé de problèmes liés aux droits de la personne et donne lieu à une différence de traitement, une évaluation devrait être effectuée très souvent. En outre, les grands modèles de langage et les réseaux neuronaux complexes qui sont alimentés régulièrement en nouvelles données devront faire l’objet d’une surveillance et d’une évaluation de l’impact fréquentes..
- Toutes les semaines
- Tous les mois
- Tous les trois mois
- Tous les six mois
(ii) Qui fait partie de l’équipe qui s’occupe de ce système d’IA?
L'évaluation de l'IA en matière de droits de la personne doit être pluridisciplinaire. La liste ci-dessous comprend des exemples et des suggestions concernant les personnes qui peuvent participer à l'évaluation de l'IA. Les organisations doivent établir leur propre processus interne relativement aux préoccupations relatives aux droits de la personne dans le contexte de leurs systèmes d’IA. Si un tel système présente un risque élevé de problèmes liés aux droits de la personne et s’il a été établi qu’il donne lieu à une différence de traitement, il est souhaitable que l’organisation obtienne l’apport du plus grand nombre possible d’intervenants de la liste suivante, en portant une attention particulière aux groupes qui pourraient subir des impacts du système d’IA.
- Scientifiques des données
- Avocats
- Experts en droits de la personne
- Membres de la collectivité
- Agents d’approvisionnement
- Personnel de première ligne
- Décideurs
- Cadres supérieurs
Autres
4. Si l’évaluation de l’impact révèle un problème lié aux droits de la personne, qui doit en être informé? Qui dispose des connaissances et de l’autorité nécessaires pour évaluer, aborder et atténuer ce problème?
Cette question a pour but d’encourager les organisations à établir des voies de communication, des voies hiérarchiques et des lignes de responsabilité.
- Cadres supérieurs
- Clients qui ont acheté ou adoptent l’outil
- Scientifiques des données qui développe l’outil
- Membres du personnel de première ligne qui déploient l’outil
- Experts en droits de la personne ou avocats
- Autres
5. Qui supervise l’évaluation de l’impact sur les droits de la personne pour s’assurer qu’elle est réfléchie et complète?
Les organisations doivent définir les responsabilités en ce qui concerne les questions et les évaluations relatives aux droits de la personne dans le domaine de l'IA.
6. Encourage-t-on les particuliers à signaler les problèmes liés aux droits de la personne sans craindre de répercussions?
- Les particuliers ou groupes peuvent-ils soulever des questions au sujet du système d’IA en toute sécurité?
- Avez-vous prévu des mesures de protection des dénonciateurs?
Section 2 : Divulgation, Qualité des Données et Explicabilité
La transparence est un facteur important en ce qui concerne les préoccupations liées aux droits de la personne. Elle comprend le fait de divulguer l’existence et l’utilisation d’un outil d’IA et d’expliquer comment il fonctionne.
Les questions 7 à 9 portent sur la transparence et la divulgation des systèmes d'IA. La transparence et la divulgation de l'existence d'un système d'IA, de son utilisation et de son fonctionnement sont des éléments essentiels de la protection des droits de la personne et de la responsabilité juridique.
Les questions 10 à 19 portent sur les résultats de l'IA, l'exactitude et la fiabilité des données. Ces questions encouragent les développeurs à tenir compte du lien entre les données et les communautés susceptibles d'être affectées par un système d'IA.
Enfin, la question 20 porte sur les modèles d'explicabilité. L'explicabilité - le processus consistant à rendre un système d'IA ou une décision compréhensible pour les humains - peut aider à évaluer la justification ou le caractère raisonnable d'un résultat spécifique de l'IA. Comprendre comment ou pourquoi un système d'IA a produit ses résultats peut, dans certains cas, être nécessaire pour satisfaire aux obligations légales en matière de droits de la personne ou de droit administratif.
Divulgation
7. Quelles mesures avez-vous prises pour informer les particuliers ou la communauté sur lesquels le système d’IA aura un impact de l’utilisation de ce système?
- Où peut-on obtenir des Renseignements sur l’existence du système d’IA?
- Comment les Renseignements sur le système d’IA sont-ils communiqués à la communauté touchée?
- Quelles mesures avez-vous prises pour vous assurer que la communauté touchée par le système d’IA reçoit des Renseignements sur son utilisation et les comprend?
8. Quels sont les Renseignements sur le système d’IA que vous avez rendus publics?
- Algorithme, code source, logiciel – sont-ils accessibles en langage clair?
- Renseignements sur l’ensemble de données : source des données, objet de leur collecte, calendrier de collecte, mises à jour des données, utilisation ou non de données synthétiques et motifs, Renseignements sur les données d’entraînement.
- Liste de facteurs sur lesquels le système d’IA s’appuie et leur pondération.
- Modèles d’explicabilité et description du fonctionnement du système.
- Seuils et données utilisées pour définir les cotes.
9. Quelles sont les mesures de reddition de comptes en matière de droits de la personne que vous avez rendues publiques concernant le système d’IA?
- Un résumé des réponses à l'évaluation de l’impact de l’AI sur les droits de la personne.
- Votre système d'IA a-t-il été identifié comme un système un risque élevée.
- Le processus interne que vous avez établi ou les mesures que vous avez prises pour faire le suivi des problèmes liés aux droits de la personne et les résoudre.
- Les mesures prises pour valider, tester et surveiller le système d’IA; les critères de validation et les résultats.
- Les consultations, l’évaluation d’indicateurs, la suppression des biais.
Données
10. Avez-vous examiné, audité ou validé les données pour en établir l’exactitude, l’exhaustivité et la pertinence?
- Les données comprennent-elles des Renseignements sur les communautés touchées par le système d’IA? (P. ex., s’il s’agit des personnes âgées, les données sont-elles représentatives des personnes âgées)
- Les données sont-elles représentatives de toutes les parties qui seront touchées par le système d’IA?
- Si vous utilisez des données synthétiques, êtes-vous en mesure de les valider de façon rigoureuse?
11. Votre ensemble de données est-il représentatif de toutes les personnes qui seront touchées par le système d’IA ou que ce système est censé servir? Si des données d’entraînement sont utilisées, ces données sont-elles représentatives du contexte dans lequel le système d’IA sera utilisé? Si des données synthétiques sont employées, les données réelles sur lesquelles elles s’appuient sont-elles représentatives de toutes les personnes qui seront touchées par le système d’IA ou que ce système est censé servir?
Examinez l’ensemble de données pour vous assurer qu’il est juste, équitable et surtout, représentatif.
12 .Les données utilisées aux fins du développement du système d’IA (p. ex., entraînement, essais et validation) sont-elles d’une qualité et d’une fiabilité suffisante pour l’application envisagée de ce système?
13. Les données affichent-elles des biais ou des suppositions qui augmentent le risque de résultats discriminatoires? Que sont ces biais ou suppositions?
14. Si vous utilisez des données synthétiques en vue de rectifier les biais dans des données réelles, quelles méthodes employez-vous pour assurer la diversité, la variété et la représentation équitable dans ces données synthétiques?
- Est-il approprié d’utiliser des données synthétiques pour ce système d’IA?
- Avez-vous évalué la qualité de l’ensemble de données synthétiques?
- Êtes-vous en mesure de confirmer que l’ensemble de données synthétiques est exact et équitable?
- Avez-vous relevé des biais dans les données synthétiques?
- Avez-vous comparé les ensembles de données synthétiques à des ensembles de données réelles?
15. Avez-vous établi où, comment et par qui les données ont été recueillies? Ont-elles été recueillies à des fins différentes de celles du système d’IA en question?
16. Les données sont-elles mises à jour régulièrement compte tenu des changements au sein de la communauté desservie par le système d’IA? Si vous utilisez des données synthétiques, faites-vous le suivi des données réelles sur lesquelles elles s’appuient?
17. Avez-vous relevé des risques associés à la variation de la qualité des données et à une dérive éventuelle des données?
18. Avez-vous une agente ou un agent de la conformité à la protection de la vie privée? Avez-vous consulté un expert en protection de la vie privée?
19. Observez-vous toutes les exigences et tous les textes de loi sur la protection de la vie privée?
Explicabilité
20. Avez-vous créé un modèle d’explicabilité pour ce système?
- Qu’est-ce que ce modèle d’explicabilité permet d’expliquer?
- Permet-il d’expliquer si le système d’IA fonctionne comme prévu par ses concepteurs?
- Classer les facteurs en ordre d’importance.
- Autres
- Explique-t-il une décision précise d’un système d’IA (explicabilité locale)?
- Explique-t-il le fonctionnement de l’ensemble du système d’IA (explicabilité générale)?
- Le système d’IA est-il interprétable? Peut-on comprendre comme il produit des prédictions ou recommandations?
- Le créateur ou concepteur du système d’IA comprend-il comment ce dernier fonctionne et peut-il l’expliquer de façon compréhensible à des non-spécialistes?
- Le fonctionnement du système d’IA peut-il être expliqué de façon suffisamment compréhensible aux groupes sur lesquels les résultats de ce système auront un impact?
- Le fonctionnement du système fait-il l’objet d’un suivi?
Section 3 : Consultations
Faire participer les personnes susceptibles d’être touchées par un système d’IA à la conception de ce système, à la définition de son objet et à son utilisation peut contribuer à éviter les conséquences et applications inattendues et indésirables.
Question 21 à 26 vous demandent de prendre en compte les consultations. Pour être efficaces et pertinentes, les consultations doivent comprendre des démarches suffisantes, le temps et les ressources nécessaires pour répondre, la divulgation de Renseignements sur le système d’IA et de l'éducation à la connaissance de l'IA.
21. Avez-vous consulté un éventail diversifié et d’expertise variée concernant cet outil avant et pendant son développement et sa conception?
22. Avez-vous consulté un échantillon diversifié de parties et d'experts sur cet outil avant et pendant le développement et la conception ?
23. Avez-vous consulté les communautés susceptibles d’être touchées par cet outil, et les membres de ces communautés qui risquent de subir des effets négatifs ou disproportionnés?
24. Dans le cadre de votre processus de consultation, donnez-vous des Renseignements sur l’IA en général et suffisamment d’information sur le système d’IA en question pour assurer une participation pertinente des parties consultées?
25. Les parties ont-elles eu assez de temps pour assimiler les Renseignements fournis et formuler des commentaires pertinents et d’occasions de le faire?
26. Avez-vous établi un processus pour consigner les commentaires reçus pendant les consultations, en rendre compte et y donner suite?
27. Comment avez-vous donné suite aux commentaires reçus?
Section 4 : Tests et révisions
Les questions 27 à 33 portent sur la manière dont le système d'IA est testé et révisé. La façon dont un système d’IA est testé et revu et la fréquence de ces tests et révisions reposent sur le type de système et son utilisation. Toute IA identifiée comme un système à risque élevée par cette évaluation doit être testée et réexaminée fréquemment.
Si le système d'IA est adaptatif, il doit être évalué fréquemment du point de vue des droits de la personne. Un système adaptatif évolue constamment et son impact potentiel sur les droits de la personne est une préoccupation constante. .
Si le système d’IA a un impact sur différentes populations qui évolue continuellement, il suscite des préoccupations permanentes et nécessite des évaluations plus fréquentes.
Cette section aborde trois éléments importants des tests et de l'examen de l'IA : l'audit de l'IA, les tests métriques et réduire les biais.
Audit/examen
28. Avez-vous audité le système d’IA pour déterminer s’il donne lieu à de la discrimination fondée sur des motifs protégés?
29. L’audit a-t-il été effectué par un tiers indépendant?
30. Les résultats de l’audit ont-ils été examinés et pris en compte?
31. Un plan a-t-il été dressé pour tester et auditer régulièrement le système d’IA afin de déterminer s’il a des conséquences non intentionnelles?
Évaluation d’indicateurs
L’évaluation d’indicateurs est un volet important de l’évaluation et de l’interprétation des résultats que produit un système d’IA. Toutefois, l’évaluation d’indicateurs ne remplacent pas l’analyse visant à déterminer s’il y a discrimination en contravention des lois sur les droits de la personne. Les organisations doivent s’appuyer sur les résultats de l’évaluation d’indicateurs en plus de l’analyse concernant les droits de la personne et non au lieu de cette analyse.
32.(i) Sur quel indicateur d’équité vous êtes-vous appuyé pour évaluer les résultats du système d’IA?
- Parité démographique
- Chances égales
- Probabilités égales
- Valeur prédictive positive (VPP)
- Parité des taux de faux positifs
- Parité de la valeur prédictive négative (VPN)
- Autre
(ii) Pourquoi avez-vous choisi cet indicateur d’équité et pourquoi pensez-vous qu’il est approprié?
(iii) Quels ont été les résultats de l’évaluation de l’équité?
(iv) Y avait-il une raison de croire que l’évaluation de l’équité était compromise, incomplète ou inexacte? Dans l’affirmative, pourquoi?
Suppression des biais
33. Avez-vous utilisé des techniques de suppression des biais?
34. Avez-vous tenté de mettre à l’épreuve le système d’IA au moyen de la technique de l’équipe rouge pour déterminer s’il donne lieu à des biais et à de la discrimination?
[2] Par souci d’uniformité, le terme « système d’IA » est utilisé dans l’ensemble de l’outil.