Mémoire sur le cadre ontarien pour la fiabilité de l'IA

Lorsque des systèmes d'IA défectueux dans leur développement sont utilisés par le gouvernement pour des services publics, ils peuvent aggraver les disparités existantes et/ou créer de nouvelles conditions discriminatoires. De telles conditions pourraient avoir un impact profond et durable sur les communautés marginalisées et vulnérables, et éroder la confiance du public dans les institutions. Dans la mesure où les systèmes décisionnels automatisés et d'IA sont de plus en plus utilisés pour rendre les services publics plus efficaces et accessibles, il est essentiel qu’ils ne soient pas biaisés et qu’ils ne créent ou ne perpétuent pas de discrimination systémique.

Les droits de la personne sont inscrits dans les conventions internationales et les lois canadiennes sur les droits de la personne, notamment la Loi canadienne sur les droits de la personne, la Loi sur l'équité en matière d'emploi, la Charte des droits et libertés et les codes provinciaux des droits de la personne, dont le Code des droits de la personne de l'Ontario (le Code). L'Ontario est tenu d’adopter une utilisation de l'IA qui soit conforme à ses obligations légales en matière de droits de la personne.

 

Quelques domaines de préoccupation spécifiques identifiés par la CODP

Services policiers

La CODP a identifié de sérieuses préoccupations en matière de droits de la personne quant à l'impact discriminatoire potentiel de la collecte de données policières par le biais de la reconnaissance faciale et des algorithmes prédictifs, qui peuvent affecter de façon négative et disproportionnée les groupes protégés par le Code.

Les organismes d'application de la loi utilisent de plus en plus l'IA pour vérifier l'identité des personnes, recueillir et analyser des données et aider à la prise de décisions. Les outils et les approches élaborés pour évaluer si une personne présente un risque pour autrui doivent être conçus et appliqués de manière à s'appuyer sur des renseignements transparents, précis, valides et fiables. Les organismes utilisant l'IA sont responsables de tout impact négatif aux termes du Code et ce, même si l'outil, les données ou l'analyse sont conçus, hébergés ou réalisés par un tiers.

Il y a un danger à utiliser des outils ou des approches basés sur l'intelligence artificielle qui sont inexacts ou qui reposent sur des données biaisées sur le plan racial. Ces outils ou approches peuvent surestimer le risque posé par les personnes racisées ou autochtones, et aggraver les disparités existantes relatives aux résultats sur le plan de la justice pénale. Par exemple, le fait de déterminer le niveau de risque présenté par une personne en fonction du nombre de fois où elle a été arrêtée par la police et, par conséquent, est « connue des services de police », peut avoir une incidence profonde et durable sur les groupes qui sont les plus susceptibles d'être arrêtés en raison du profilage racial.

 

Soins de santé

La CODP se préoccupe depuis longtemps de l'inégalité d'accès aux services de soins de santé et des conséquences négatives disproportionnées sur la santé que les groupes protégés par le Code continuent de subir. Récemment, nous avons publié des questions et réponses à l'intention des employeurs et des prestataires de services afin de s'assurer que toute demande de renseignements personnels sur la santé liée à la pandémie, y compris l'utilisation de l'application COVID Alert, est légitime et conforme aux lois sur les droits de la personne et la protection de la vie privée. La CODP a également demandé la collecte de données sur les droits de la personne, combinée à des renseignements sur la santé, afin de surveiller et de traiter l'impact disproportionné de la COVID-19 et des services liés à la pandémie sur les groupes protégés par le Code.

 

Éducation

La CODP a également constaté une utilisation préoccupante de la technologie et de l'IA dans le secteur de l'éducation. Par exemple, dans le cadre de l’examen du Peel District School Board de 2020, le ministre de l'Éducation a constaté que le Peel District School Board (PDSB) s'était servi d'un algorithme pour évaluer les candidats à l'enseignement qui, semble-t-il, écartait de façon inappropriée des candidats racisés pourtant qualifiés. L'algorithme perpétuait les préférences historiques en matière d'embauche, en sélectionnant des candidats reflétant les recrutements antérieurs. Il s'agit là d'un exemple démontrant que la technologie et l'IA peuvent, par inadvertance, faciliter la discrimination.

 

Actions fondées sur les droits de la personne pour atteindre les engagements du cadre

La CODP recommande plusieurs actions fondées sur les droits de la personne, afin de renforcer la protection, la responsabilisation et la surveillance en matière de droits de la personne et d'aider collectivement le gouvernement à atteindre les objectifs fixés par les trois engagements du cadre. Ces mesures permettraient également de mettre en œuvre plusieurs des « points »[2] définis par le SDO dans sa norme des services numériques, afin d'aider le gouvernement à fournir des services publics simplifiés, accélérés et améliorés.

 

La CODP reconnaît l'expertise de la Commission du droit de l'Ontario (CDO) dans le domaine de l'IA, comme en témoignent ses rapports, notamment : The Rise and Fall of AI and Algorithms in American Criminal Justice: Lessons for Canada (disponible en anglais seulement) (octobre 2020); Enjeux juridiques et développement de l’IA au sein du gouvernement (disponible en anglais seulement) (mars 2020) et Réglementer l’intelligence artificielle – Enjeux et choix essentiels (disponible en anglais seulement) (avril 2020). Les actions énumérées ci-dessous sont éclairées par le travail continu de la CDO dans ce domaine.

 

1. Adopter le cadre pour régir l’élaboration, l'utilisation et la mise en œuvre de l'IA dans la législation et la réglementation.
   • Toute autre action ou mesure liée à l'IA, en particulier dans les domaines à haut risque tels que les services gouvernementaux touchant les communautés vulnérables, devra être prise avec prudence jusqu'à ce que ces lois et règlements soient promulgués.

 

2. Entamer des consultations significatives avec des experts en droits de la personne, y compris la CODP et des représentants de groupes protégés par le Code, à chaque étape de l'élaboration de tout cadre législatif ou réglementaire lié à l'IA.

 

3. Établir dans la législation et le cadre une reconnaissance des valeurs et des principes des droits de la personne, ainsi qu'un engagement à lutter contre les préjugés systémiques relatifs à l'IA qui ont des répercussions négatives ou qui ne tiennent pas compte de façon appropriée des besoins singuliers des groupes protégés par le Code, notamment les populations vulnérables comme les personnes handicapées, les enfants et les personnes âgées, les communautés autochtones et racisées, ainsi que les communautés à faible revenu.

 

4. Veiller à ce que la législation et le cadre s'appliquent au gouvernement provincial et aux administrations municipales, ainsi qu'aux organismes et services gouvernementaux, incluant sans s’y limiter l'éducation, les services de police, les soins de santé, les services correctionnels, les transports et l'aide sociale.

 

5. Fixer dans la législation et le cadre des limites strictes pour les mesures (y compris celles qui visent des groupes spécifiques) pouvant causer des préjudices ou porter atteinte aux droits, incluant sans s’y limiter le suivi ou la surveillance, l'utilisation de technologies biométriques et la collecte de données.

 

6. Fournir dans la législation et le cadre des définitions claires et dans un langage simple de tous les termes techniques et systèmes, incluant sans s’y limiter l’intelligence artificielle, la prise de décision automatisée et les données.

 

7. Intégrer dans la législation et le cadre une obligation de créer et de tenir à jour un catalogue public divulguant tous les systèmes d'intelligence artificielle utilisés par le gouvernement, en y incorporant des explications en langage clair et simple de chaque système, de leurs objectifs, de la manière dont ils sont utilisés, des renseignements recueillis et des mesures prises pour minimiser leurs effets et conséquences discriminatoires.

 

8. Intégrer dans la législation et le cadre une obligation de collecte et de publication publique des données relatives aux droits de la personne sur l'utilisation par l'Ontario des systèmes d'IA et de prise de décision automatisée, désagrégées en fonction de variables sociodémographiques, y compris des groupes protégés par le Code.

 

9. Établir dans la législation un dispositif de contrôle indépendant par un organisme de surveillance garantissant que les évaluations d'impact et les vérifications des systèmes d'IA portant sur les préjugés et la discrimination, qui sont rendues publiques, sont effectuées de manière continue, et lui donner la compétence de traiter les problèmes systémiques et de tenir le gouvernement responsable.

 

10. Prévoir dans la législation un dispositif de divulgation des actes répréhensibles/de dénonciation ainsi qu’un système public accessible et efficace pour entendre et juger les problèmes systémiques liés à l'IA, et y remédier.

 

11. Inclure dans la législation et le cadre une obligation de créer des indicateurs de rendement clés (IRC) pour mesurer les progrès accomplis dans la réalisation des objectifs fixés par les trois engagements du cadre. Compte tenu de l’évolution constante de la technologie liée à l'IA, les IRC devraient intégrer des processus réguliers et publics de réévaluation.

 

12. S'assurer que toutes les étapes du cadre, ainsi que la mise en œuvre de toute IA, ne se déroulent qu'après des consultations publiques significatives, en accordant une attention particulière aux communautés les plus touchées, ciblées ou affectées de manière disproportionnée par l'IA, y compris les populations vulnérables telles que les personnes handicapées, les enfants et les personnes âgées, les communautés autochtones et racisées, ainsi que les communautés à faible revenu, entre autres.

La CODP reconnaît que cette étape du processus de consultation est axée sur une vision globale de l'utilisation de l'IA. Nos recommandations reflètent cette vision globale et les étapes préliminaires d'un processus durable visant à concevoir des lignes directrices pour l'utilisation de l'IA par le gouvernement. Nous espérons continuer à fournir de précieux renseignements tout au long du processus. Il est important de noter que le cadre gagnerait à ce que le gouvernement entame une discussion plus approfondie avec les parties prenantes sur la signification du concept d’« IA digne de confiance », y compris de ses éléments et de ses composantes.

 

Droits de la personne, données et IA

La CODP demande depuis longtemps aux gouvernements de recueillir et d'analyser des données afin de surveiller l'impact négatif des programmes et des services sur les groupes vulnérables protégés par le Code. Elle soutient notamment l'élaboration, par la Direction générale de l'action contre le racisme, de normes cohérentes sur les données pour certains organismes du secteur public, et fournit des conseils aux organismes sur la façon de recueillir des données basées sur les droits de la personne. Par exemple, la CODP a demandé à ce qu’on recueille des données sur les droits de la personne pour surveiller le profilage racial dans les services de police, les disparités raciales et les disparités en matière de santé mentale liées aux placements en isolement dans les prisons provinciales, et la surreprésentation des enfants et des jeunes autochtones et racisés dans le système de protection de l'enfance. Dernièrement, nous avons demandé qu’une collecte de données soit effectuée pour surveiller l'impact disproportionné de la COVID-19 et des mesures connexes sur les personnes handicapées, les femmes, les populations autochtones et les communautés racisées, en particulier les personnes vivant dans la pauvreté.

Dans le cadre de ces demandes de collecte de données, la CODP souligne régulièrement l'importance des principes des droits de la personne que sont l'équité, la protection de la vie privée, la transparence et la responsabilité. Alors que le gouvernement entreprend l'élaboration d'un cadre pour l’adoption d’une approche relative à l’IA qui soit responsable, sûre et respectueuse des droits, l'occasion se présente d'élaborer des principes pour les systèmes d'IA favorisant des changements positifs en matière de droits de la personne, plutôt que de générer ou de perpétuer la discrimination systémique. La CODP est favorable à un examen approfondi des possibilités et des risques liés à la mise en œuvre de l'IA, et serait heureuse d'offrir son aide pour que ces principes importants fassent partie de l'approche gouvernementale fondée sur les droits de la personne.

Veuillez agréer mes salutations distinguées.

Ena Chadha, LL.B., LL.M.
Commissaire en chef

c. c. :   Amy Bihari, chef (intérimaire) de l’accès aux données et de l’analytique, Services numériques de l'Ontario
           L’honorable Doug Downey, procureur général
           Commissaires de la CODP