Projet de loi 194, Loi de 2024 visant à renforcer la cybersécurité et la confiance dans le secteur public

 

L’honorable Todd McCarthy
Ministre des Services au public et aux entreprises et de l'Approvisionnement
777, rue Bay, 5^e étage 
Toronto (Ontario)  M5B 2H7

 

Monsieur le Ministre,

Objet : Projet de loi 194, Loi de 2024 visant à renforcer la cybersécurité et la confiance dans le secteur public
 

Le Code des droits de la personne de l’Ontario (le « Code ») déclare que l’Ontario a pour principe de reconnaître la dignité et la valeur de toute personne et d’assurer à tous et à toutes les mêmes droits et les mêmes chances, sans discrimination. L’assurance d’une protection contre la discrimination est au cœur du Code et garantit à tous les Ontariens et Ontariennes l’égalité dans les avantages que procurent les lois et politiques. Étant donné la nature fondamentale de son objet, le Code a primauté sur toutes les autres lois provinciales^[1]. Cela signifie que toutes les autres lois de l'Ontario doivent être en ligne avec le Code. Lorsqu’elle a confirmé ce statut, la Cour suprême du Canada a déclaré à l’égard du Code : « Par conséquent, il faut non seulement lui attribuer un sens étendu, mais aussi lui assurer une application accessible. »^[2] Ces principes exigent que les lois, les règlements, les politiques, les procédures et les programmes soient élaborés conformément au Code.

Le Code confère à la Commission ontarienne des droits de la personne (la « CODP ») les fonctions de promouvoir et de faire progresser le respect des droits de la personne en Ontario, de protéger ces droits en Ontario et d’identifier les pratiques discriminatoires et d’en promouvoir l’élimination. Par ailleurs, le protocole d’entente entre le procureur général de l’Ontario, « …le gardien de l’intérêt public en ce qui a trait à la règle de droit … », et la CODP prévoit que la CODP joue un rôle important dans l’élaboration et l’exécution des politiques et des programmes du gouvernement [Dispositions c. et f. de l’article 5 du protocole d’entente]. C'est dans le cadre de ces mandats que la CODP présente ses observations sur les dispositions proposées concernant l’utilisation de l’intelligence artificielle (l’« IA ») par le secteur public dans le projet de loi 194, la Loi de 2024 visant à renforcer la cybersécurité et la confiance dans le secteur public.

La CODP félicite le gouvernement de l'Ontario d'avoir reconnu que l’IA occupe déjà une place importante dans la vie des Ontariennes et des Ontariens aujourd'hui et qu'un cadre est nécessaire pour l'utilisation responsable et sûre de la technologie par le secteur public de l'Ontario. Alors que beaucoup sont impatients d'exploiter les possibilités et avantages que représente le potentiel de l'IA, son utilisation par des entités du secteur public, à travers le monde, a déjà entraîné de graves préjudices pour des particuliers et des communautés, notamment une discrimination algorithmique fondée sur la race, le sexe et d'autres attributs personnels, ainsi que des violations de la vie privée. Le respect des droits de la personne fondés sur ces motifs, entre autres, est fondamental aux valeurs canadiennes.

Les problèmes actuels et émergents découlant du développement et de l'utilisation de l'IA sont la raison pour laquelle la CODP et le commissaire à l'information et à la protection de la vie privée/Ontario ont diffusé une déclaration commune appelant à la mise en place de solides protections qui assureront l’adoption d’une approche fondée sur les droits de la personne, capable de protéger la population ontarienne contre des technologiques numériques dangereuses^[3]. Depuis, notre organisme a rencontré des représentants du ministère des Services au public et aux entreprises et de l'Approvisionnement pour les conseiller sur l’élaboration d’une ligne directive de la fonction publique de l’Ontario relative à l’utilisation de l’AI générative et d’autres éléments du Cadre ontarien pour la fiabilité de l'intelligence artificielle. Par ailleurs, la CODP a présenté un mémoire au Comité permanent de la politique sociale dans le cadre de l’examen du projet de loi 149, Loi de 2023 visant à œuvrer pour les travailleurs, quatre^[4].

Dans la présente, la CODP formule des recommandations concernant le projet de 194, qui visent à assurer que les possibilités, avantages et protections liés à l’utilisation de l’IA sont mis à la disposition de tous les Ontariens et Ontariennes sans aucune discrimination. Ces recommandations sont fondées sur des garde-fous établis à l'échelle internationale, qui ont déjà reconnu l'importance de la diligence raisonnable en matière de droits de la personne. Devant l’utilisation croissante de l'IA, le gouvernement de l'Ontario doit intégrer la protection des droits de la personne dans le fondement de tout cadre de gouvernance et à chaque niveau de réglementation subséquent.

 

---

 

Conséquences discriminatoires de l'utilisation des systèmes d'intelligence artificielle par le secteur public

 

Le projet de loi 194 reconnaît que la technologie d’information numérique qui touche les enfants doit s’accompagner de protections spéciales et mentionne tout particulièrement les sociétés d’aide à l’enfance, les écoles et les hôpitaux comme étant des secteurs vulnérables à des cybermenaces et à des perturbations technologiques. La CODP appuie une approche qui accorde la priorité à ces secteurs. La CODP a attiré l'attention sur la nécessité d'innover et d'adopter des mesures de protection des droits de la personne dans le système du bien-être de l'enfance de l'Ontario^[5] et dans le système d’éducation financé par les fonds publics^[6]. La santé et le bien-être constituent un des domaines prioritaires de la CODP dans son plan stratégique^[7]. Les trois secteurs relevés sont parmi ceux qui préoccupent particulièrement la CODP, car ils ont déjà été touchés par de la discrimination systémique causée par une mauvaise utilisation documentée des technologies de l’IA. Des incidents liés à l'utilisation de l'IA par le secteur public dans d'autres territoires de compétence ont déjà démontré la nature et l'étendue des dommages possibles, et il serait négligent de penser que des événements similaires ne peuvent pas se produire ici. Cependant, il y a deux secteurs importants qui ne figurent pas dans les domaines d'intérêt précisés par la loi. Il s’agit des services policiers et des services d’aide sociale, dont nous parlerons plus en détail ci-dessous.

La CODP a publiquement dénoncé les utilisations suivantes des technologies de l'IA en raison de leurs effets néfastes importants ou de leur potentiel d'atteinte aux droits de la personne. Dans bon nombre de ces cas, les organismes concernés auraient dû être conscients des limites des technologies et de leur potentiel de causer des préjudices ou d’y contribuer. Ces exemples soulèvent des préoccupations importantes et attirent l'attention sur les risques associés aux technologies dont la sécurité n'a pas encore été réellement vérifiée. Ils soulignent également les torts importants qui peuvent résulter de défaillances ou d'une mauvaise utilisation, y compris des violations des droits de la personne. Ces défaillances et torts potentiels ne sont pas des risques limités aux entités privées; ils peuvent également provenir d'institutions publiques.

 

Bien-être de l’enfance

Les organismes de protection de l’enfance aux États-Unis déploient des systèmes d’IA pour prédire le risque de négligence et de préjudices à l’égard d'enfants^[8]. Les systèmes prédictifs génèrent des scores de risque à l'aide de données relatives à des facteurs tels que le handicap, le taux de pauvreté et la taille de la famille, ainsi que des indicateurs géographiques, ainsi que des approximations, comme des indicateurs géographiques qui pourraient servir à déduire d'autres attributs personnels. L’utilisation de ce genre de système est préoccupante sur le plan des droits de la personne, car elle attribue des niveaux de risques fondés sur des mesures arbitraires et des données démographiques liées à des motifs protégés au lieu des circonstances spécifiques de chaque enfant et de chaque famille. Ces biais algorithmiques risquent de reproduire des tendances historiques de discrimination systémique dans les enquêtes de protection de l’enfance, les appréhensions, les placements d’enfants dans des familles d’accueil et les décisions de réunion. Le ministère américain de la Justice étudie actuellement l'utilisation de ces systèmes du point de vue du risque de discrimination algorithmique^[9].

Le rapport de la CODP sur la surreprésentation des enfants autochtones et noirs au sein du système de bien-être de l’enfance de l’Ontario a révélé que des outils et normes conjugués aux préjugés de travailleurs pouvaient produire des évaluations incorrectes du niveau de risque auquel les enfants sont exposés, qui se répercutent sur les décisions d’intervention^[10]. La CODP demeure préoccupée par le fait que l'adoption de technologies d'IA comme celles que l'on trouve aux États-Unis risque d’accroître la prévalence de la discrimination systémique dans le système de bien-être de l'enfance de l'Ontario.

 

Éducation

Plusieurs états américains utilisent des systèmes d’IA pour prédire l’assiduité et le rendement scolaires, qui se fondent sur des données liées à des attributs personnels comme la race, le sexe, le handicap et le revenu du ménage^[11]. Bien que la collecte et l'utilisation de données fondées sur les droits de la personne soient importantes pour déceler la discrimination systémique, les conseils scolaires en question ont été accusés d'utiliser les données pour influencer négativement les éducateurs, en fonction des attributs personnels des élèves. L'utilisation des technologies a également été jugée peu fiable et opaque, car les responsables ne divulguaient pas ou ne pouvaient pas expliquer comment des facteurs tels que la race étaient pris en compte dans les scores des risques^[12].

L’examen que mène actuellement la CODP sur le racisme envers les Noirs dans les systèmes d’éducation de l’Ontario financés par les fonds publics a confirmé l’existence de racisme envers les Noirs dans tous les conseils scolaires, ce qui se traduit par une réduction du niveau de scolarité, l’intervention accrue des sociétés de protection de l'enfance et de la police, ainsi qu’un niveau inférieur de santé et de bien-être chez les élèves noirs. De plus, les données sociodémographiques recueillies sont insuffisantes et celles qui sont recueillies ne sont pas uniformes d'une école à l'autre et d'un conseil scolaire à l'autre. Ces facteurs aggravent le risque de préjudices dans le déploiement des technologies d'IA dans ce contexte.

En Ontario, l’examen indépendant du Peel District School Board, mené par le gouvernement, a révélé que l’utilisation, par le conseil scolaire, d’un système d’IA pour sélectionner les candidats à des postes d'enseignement aurait peut-être limité la diversité des candidats embauchés. Les examinateurs ont indiqué que « l’algorithme sélectionne les candidats dont le profil correspond à celui d’employés précédemment recrutés avec succès, ce qui reproduit indirectement les préférences passées en matière d’embauche ». Cela a écarté injustement des candidats racialisés qualifiés et perpétué par inadvertance la discrimination^[13].

 

Services d’aide sociale

Au Danemark, le gouvernement a déployé un système d'IA pour détecter de manière proactive l'utilisation frauduleuse du système de bien-être social du pays. Résultat : des personnes et des familles vulnérables ont fait l'objet d'enquêtes répétées et leurs prestations ont été suspendues jusqu'à ce que les enquêtes soient menées à terme. Seulement 8 % des quelque 50 000 enquêtes effectuées ont abouti à une forme quelconque de sanction. Les autorités nationales en matière de droits de la personne et de protection de la vie privée ont constaté que le système se fondait sur des attributs comme la race, l’état familial, l'âge, le sexe et le handicap pour augmenter l'évaluation du niveau de risques d'une personne^[14]. Le système a également établi un profil ethnique des gens en fonction des langues qu'ils parlaient, y compris le fait qu’ils parlent le danois ou non^[15].

Aux Pays-Bas, 20 000 familles ont fait l'objet d'une enquête erronée de la part des autorités fiscales du pays pour avoir frauduleusement demandé des prestations pour enfants, ce qui a obligé environ 10 000 familles à rembourser des dizaines de milliers d'euros et, dans certains cas, a provoqué des situations de chômage et de faillite. Le gouvernement avait déployé un système algorithmique qui dirigeait la loupe vers des personnes ayant une certaine origine ethnique ou la double nationalité, et créait un profil d'individu en fonction de sa race. Le gouvernement néerlandais a démissionné en 2021 en réponse à la pression publique suscitée par ce scandale^[16].

Human Rights Watch et d'autres organisations ont également exprimé leurs préoccupations concernant la façon dont les technologies d'IA ont été utilisées dans les systèmes d'aide sociale au Royaume-Uni, en Espagne et dans d'autres pays européens^[17].

 

Santé

Des systèmes d'IA sont utilisés par des réseaux de soins de santé à travers les États-Unis pour attribuer des scores de risque aux patients, dans le but de faciliter la prise de décisions en matière de soins de santé. Cependant, lors de la formation de ces systèmes, il a été découvert que les modèles avaient révélé que les hôpitaux allouaient moins de ressources aux « patients noirs qui ont le même niveau de besoin, et l'algorithme conclut donc à tort que les patients noirs sont en meilleure santé que les patients blancs tout aussi malades »^[18] [traduction]. En conséquence, les hôpitaux ont reproduit des pratiques discriminatoires mettant la vie de patients en danger, selon lesquelles les patients noirs devaient être beaucoup plus malades pour recevoir les mêmes soins que les patients blancs. 

Les technologies d'intelligence artificielle utilisées pour l'imagerie médicale et les diagnostics sont connues pour leur manque de précision lorsqu'il s'agit de communautés sous-représentées. Par exemple, les techniques d'IA sont moins performantes pour distinguer entre les grains de beauté malins et bénins chez les personnes racialisées, et pour détecter les maladies cardiovasculaires chez les femmes^[19].

En Europe, des préoccupations ont été soulevées concernant le fait que des systèmes d'IA ont recommandé des prescriptions médicales incorrectes à des immigrants, à des personnes âgées et à des personnes en situation de handicap, car ils reproduisaient des préjugés des professionnels de la santé selon lesquels ces groupes exagéraient leurs problèmes de santé^[20].

Les appels à l’action de la Commission de vérité et réconciliation du Canada demandent à tous les paliers de gouvernement de reconnaître que l’état actuel de la santé des Autochtones au Canada est le résultat direct de politiques et pratiques discriminatoires. Qualité des services de santé Ontario a souligné les inégalités importantes en matière de santé que subissent les peuples autochtones de l'Ontario, dont une grande partie est enracinée dans le racisme systémique^[21]. Cette discrimination pourrait facilement se traduire par des données biaisées utilisées pour former les technologies d’IA dans les milieux des soins de santé, ce qui entraînerait des résultats de santé encore plus dévastateurs pour les communautés autochtones.

 

Services policiers

L’utilisation des technologies de reconnaissance faciale par les forces de l’ordre a attiré l’attention du public au Canada, car elle soulève des risques évidents d’atteinte à la vie privée et aux droits de la personne en ce qui concerne la collecte, la manipulation, l’utilisation et la divulgation de renseignements personnels, et les procédures suivies par les entités du secteur public et d’autres organisations ainsi qu’entre elles.  

L’enquête bien connue de la technologie de reconnaissance faciale de Clearview AI par les autorités de protection de la vie privée au Canada^[22] et le document d’orientation du Commissaire à l'information et à la protection de la vie privée/Ontario à l’intention des services de police de l’Ontario sur la reconnaissance faciale et les bases de données de photos signalétiques^[23] mettent en évidence les préoccupations concernant les préjugés dans la technologie et les procédures régissant son utilisation. Cela inclut les préoccupations des communautés marginalisées qui craignent d'être représentées de manière disproportionnée dans les bases de données biométriques.

Des exemples d’utilisation des technologies d’IA et de leurs protocoles dans d’autres territoires de compétence ont aussi donné lieu à des interrogations concernant la protection de la vie privée et des droits de la personne. Par exemple :

• L'utilisation de l'IA générative pour produire un visage à partir d'échantillons d'ADN et appliquer la technologie de reconnaissance faciale sur l'image^[24];
• Des demandes de reconnaissance faciale non autorisées adressées à des forces de l’ordre d'un autre territoire de compétence pour contourner les interdictions^[25];
• L’utilisation de technologies de détection d’armes à feu^[26] et de tirs de balles^[27], qui n'étaient pas fiables et déployées de manière disproportionnée dans les communautés marginalisées. La technologie envoyait donc des policiers en état d'alerte dans ces quartiers.

La CODP s'intéresse particulièrement aux technologies prédictives utilisées dans les décisions de déploiement de la police. Certains services de police ont commencé à recourir à des techniques fondées sur des données de criminalité provenant de services policiers traditionnellement discriminatoires en vue d’établir des probabilités d’incidents criminels^[28]. L'utilisation de données biaisées pour prédire la criminalité et informer les décisions de déploiement conduit à l’augmentation des actions policières dans des zones déjà sur-surveillées. Des services de police américains ont annulé des contrats d’acquisition de technologies prédictives en raison de leurs méthodologies défectueuses^[29] et de leur fiabilité douteuse^[30].

Les efforts de réglementation en Europe et au niveau des États et des municipalités aux États-Unis se sont concentrés sur l'utilisation des technologies d'IA pour la sécurité publique. La réglementation de l'utilisation de l'IA par les services de police et d'autres organismes de sécurité publique devrait également être considérée comme une priorité pour le gouvernement de l'Ontario.

 

---

 

Recommandations de la CODP

 

Recommandation 1 : Reconnaître l'importance primordiale du respect des droits de la personne dans le projet de loi 194

 

Le préambule du projet de loi 194 déclare que le gouvernement de l’Ontario « Estime que les systèmes d’intelligence artificielle dans le secteur public doivent être utilisés de façon responsable, transparente, sécuritaire et assortie de l’obligation de rendre des comptes pour le bien de la population de l’Ontario, et ce, tout en protégeant la vie privée ».

La CODP appuie la reconnaissance du droit fondamental à la protection de la vie privée dans l'utilisation de l'IA. Ce droit est consacré dans la Charte canadienne des droits et libertés et protégé par les lois fédérales et provinciales.

Cependant, il est également essentiel que les possibilités, les avantages et les protections associés à l'utilisation de l'IA soient accessibles à tous les Ontariens sans discrimination. C’est pourquoi la CODP et le commissaire à l'information et à la protection de la vie privée/Ontario ont publié une déclaration commune sur l'importance de comprendre les droits à la vie privée liés aux technologies de l'IA dans le cadre d'une approche plus large en matière de droits de la personne et ont demandé au gouvernement de l'Ontario d'élaborer et de mettre en œuvre des garde-fous efficaces face à l'utilisation des technologies de l'IA par le secteur public. Il est important de reconnaître que les droits de l'homme sont inaliénables, indivisibles et interdépendants^[31]. Un ensemble de droits ne peut être pleinement exercé sans l'autre. La loi devrait donc viser à renforcer le respect des droits de la personne en vertu du Code, ainsi que la protection de la vie privée.

La mise en place de protections des droits de la personne est également importante pour la prospérité économique de l'Ontario. L’Organisation de coopération et de développement économiques (OCDE) a fait de la protection des droits de la personne l’un de ses cinq Principes sur l’IA et déclaré que l’objet de ses principes est de « promouvoir l’utilisation d’une IA qui est innovante et fiable et qui respecte les droits de la personne et les valeurs démocratiques »^[32] [traduction]. À l'heure actuelle, 47 pays, dont le Canada, se sont engagés à respecter les principes de l'OCDE sur l’IA. En reconnaissant l’importance des droits de la personne dans le projet de loi 194 et interdisant la discrimination dans l’utilisation de l’IA, l’Ontario se hisserait aux normes internationales garantissant des politiques efficaces en matière d’utilisation des technologies d’IA et maintiendrait son avantage concurrentiel.

Le gouvernement de l'Ontario a déjà reconnu l'importance de faire respecter les droits fondamentaux garantis par le Code et la Charte dans d'autres domaines essentiels des services publics, notamment dans la Loi de 2019 sur la refonte complète des services de police de l'Ontario, adoptée par l’Assemblée législative en 2019. La loi énonce les principes sur lesquels repose la prestation des services policiers dans la province. L’un d’entre eux est :

L’importance de préserver les droits et libertés fondamentaux
garantis par la Charte canadienne des droits et libertés et le Code des droits de la personne.

Le Code des droits de la personne énonce les droits et responsabilités les plus fondamentaux des Ontariennes et des Ontariens et a un statut quasi constitutionnel^[33]. Étant donné que l'IA peut avoir des conséquences sur tous les domaines du secteur public, il est impératif que les organismes qui déploient des systèmes d’IA érigent le respect du Code et de tous les droits de la personne en principe fondamental de leur utilisation de l'IA.

Les évaluations des impacts sont un outil efficace pour déceler et éliminer toute atteinte aux droits de la personne dans des systèmes d’IA avant qu’ils ne contribuent à de la discrimination et à d’autres violations de la loi. La CODP, dans son initiative conjointe avec la Commission du droit de l’Ontario et la Commission canadienne des droits de la personne,^[34] publiera, avant la fin de l’année, un outil d’évaluation des impacts des technologies de l’IA sur les droits de la personne, qui aidera les développeurs, opérateurs et administrateurs à s’acquitter de leurs responsabilités en matière de respect des droits de la personne prescrites par le Code et la Loi canadienne sur les droits de la personne.

 

La CODP recommande que la loi soit modifiée pour :

Souligner l’importance des droits de la personne dans le Préambule en ces termes :
 

• Estime que les systèmes d’intelligence artificielle dans le secteur public doivent être utilisés de façon valide et fiable, sûre, respectueuse de la vie privée, transparente, responsable et protectrice des droits de la personne. Ils devraient être utilisés pour le bien de la population de l’Ontario tout en protégeant les droits et libertés fondamentaux garantis par la Charte canadienne des droits et libertés ainsi que par le Code des droits de la personne.
   
• Inscrire la protection des droits de la personne dans la loi elle-même, sous la forme d'un principe d'affirmation des droits de la personne comme l'énonce la recommandation 2.
  ​
• Exiger que les mesures de gestion des risques prévues au paragraphe 5 (4) comprennent des évaluations des impacts sur les droits et libertés fondamentaux garantis par la Charte canadienne des droits et libertés ainsi que par le Code des droits de la personne.
   

 

---

 

Recommandation 2 : Intégrer les principes recommandés par le CIPVP et la CODP dans le projet de loi 194

 

La CODP est favorable à une approche fondée sur des principes de la réglementation de l’IA. La CODP recommande que le gouvernement intègre dans la loi les principes énoncés par le CIPVP et la CODP dans leur déclaration conjointe de mai 2023. Cela pourrait prendre la forme d’une déclaration de principes, comme dans la Loi de 2019 sur la refonte complète des services de police de l'Ontario. Les principes énoncés seraient les suivants^[35] :

 

Principe 1 : utilisation valide et fiable
La technologie devrait démontrer, dans le cadre d'essais et d'une surveillance continus, qu'elle fonctionne toujours avec précision et comme prévu, conformément à ses utilisations déclarées pendant toute la durée de son utilisation. En ce qui concerne les droits de la personne, la technologie doit fonctionner comme il se doit pour fournir un service non discriminatoire aux diverses collectivités de l'Ontario.
 

Principe 2 : utilisation sûre
Des mesures robustes devraient être mises en place pour assurer que l’utilisation d'une technologie est considérée comme sûre avant d'être déployée. Ces mesures doivent anticiper et prévoir la possibilité qu'une technologie puisse être mal utilisée ou avoir des résultats imprévus. La technologie et les résultats de son utilisation ne devraient pas entraîner de discrimination.
 

Principe 3 : utilisation respectueuse de la vie privée
Les organismes devraient utiliser les renseignements et les données dans le développement et l'exploitation de la technologie d'une manière conforme à la loi sur la protection de la vie privée et seulement après que les particuliers et les collectivités ont compris et consenti à l'utilisation de leurs renseignements^[36]. La collecte et l'utilisation des données personnelles devraient se limiter à des fins conformes à la loi et à des méthodes qui protègent la vie privée dans la mesure du possible.
 

Principe 4 : utilisation transparente
Les organismes devraient publiquement expliquer comment la technologie est censée fonctionner, en précisant la démarche utilisée pour le développement de la technologie, et les indicateurs de fiabilité et de sécurité de cette technologie (p. ex., les résultats des évaluations des impacts, les registres d’incidents et les plaintes déposées par les bénéficiaires des services). Les organismes devraient être en mesure de comprendre comment la technologie fonctionne dans toutes les situations et pourquoi des erreurs sont produites, y compris le non-respect des obligations légales en vertu du Code.
 

Principe 5 : utilisation responsable
Les organismes devraient se doter de structures de gouvernance internes, y compris des politiques et des procédures pour le développement, l'utilisation et l'examen d'une technologie, accompagnées d’une description précise des rôles et des responsabilités pour garantir une utilisation fiable et sûr de la technologie, ainsi que le respect de l'obligation de ne pas causer de discrimination comme le prévoit la partie 1 du Code. Les utilisateurs de services devraient disposer de canaux clairement définis pour demander des informations et signaler les incidents.
 

Principe 6 : utilisation protectrice des droits de la personne
Les avantages de l'utilisation de l’IA devraient être universels et exempts de discrimination. Les droits de la personne sont inaliénables et ne doivent pas être ignorés ou érodés par l'utilisation de l’IA. Le respect juridique des protections des droits de la personne devrait être primordial au niveau de la conception des technologies et des procédures d'IA, et les organismes devraient prévenir et corriger efficacement toute discrimination.

L'intégration de ces principes dans la loi garantira que les règlements protégeront les droits et libertés fondamentaux de tous les Ontariens et Ontariennes et suivront une approche fondée sur les droits de la personne. Pour plus de renseignements sur ces principes, voir le mémoire du CIPVP sur le projet de loi 194.

 

La CODP recommande ce qui suit :

La loi devrait être modifiée afin d’inclure une « Déclaration de principes » à l’article 1, comme dans la Loi de 2019 sur la refonte complète des services de police de l'Ontario. Comme il est indiqué plus haut, ces principes devraient prôner une utilisation de l’IA qui est :

 

1. valide et fiable
    
2. sûre
    
3. respectueuse de la vie privée
    
4. transparente
    
5. responsable
    
6. protectrice des droits de la personne.

 

Dans la mesure du possible, la loi devrait exiger la divulgation de renseignements relatifs à la gouvernance et aux caractéristiques techniques des systèmes et pratiques d’IA.

 

---

 

Recommandation 3 : Exiger des exigences strictes en matière d'explicabilité pour les décisions individuelles et la logique globale des systèmes d'IA afin de protéger le public et le gouvernement contre l'utilisation peu fiable et dangereuse de l'IA par le secteur public.

 

La transparence et la responsabilisation sont essentielles à la protection des droits de la personne. Toutes les parties, y compris le gouvernement et le secteur public, devront remplir des exigences strictes en matière d'explicabilité pour assurer la transparence et la responsabilisation dans l'utilisation de l'IA. Le document d’information qui accompagne l’annonce du gouvernement déclare que l’Ontario propose d’établir des exigences, par exemple « exiger de ces organisations qu’elles informent le public lorsqu’elles interagissent avec l’IA, ou exiger que les décisions prises par l’IA soient toujours soumises à un contrôle humain, reconnaissant ainsi la capacité de l’IA à être biaisée »^[37].

La CODP recommande que le gouvernement établisse de solides conditions d'explicabilité aussi bien pour les décisions individuelles que pour la logique globale des systèmes d'IA, afin que les utilisateurs puissent comprendre les décisions, les extrants et les résultats des systèmes d'IA et avoir confiance dans ceux-ci. L'explicabilité permet aux individus de comprendre comment les technologies les ont affectés (y compris s'ils ont été victimes de discrimination), de soulever des préoccupations et de déposer des plaintes s’il le faut. Elle responsabilise les développeurs et les fournisseurs de services, en les obligeant à s'assurer que leurs technologies fonctionnent de manière fiable et comme prévu, et à comprendre et régler les conséquences négatives de leurs technologies.

L'explicabilité permet également au gouvernement et au secteur public de disposer des informations nécessaires pour acheter, tester et surveiller efficacement les systèmes, et de prendre des mesures d'application de la loi au besoin. Par exemple, des fournisseurs pourraient présenter des systèmes d’IA comme étant conçus pour accomplir l’objectif prévu, mais qui, en réalité, fonctionnent d’une manière contraire à l’éthique ou illégale. Bon nombre des exemples cités plus haut portent sur des systèmes d'IA qui évaluent des individus et des groupes en fonction de la race, du sexe et d'autres attributs personnels. Un fournisseur pourrait aussi affirmer que les limitations de sa technologie peuvent être corrigées par certaines techniques, comme la génération augmentée d'information contextuelle, technique qui améliore l’exactitude et la fiabilité de produits en utilisant les données de l’organisme.

De telles exigences constitueraient des premières étapes positives qui pourraient être renforcées par l'exigence qu'un système d'IA soit en mesure de fournir à l'examinateur les informations nécessaires pour agir. Par exemple, un préposé à la protection de l'enfance doit connaître les variables qui entrent en jeu dans une évaluation automatisée des risques et la façon dont le système a pris en compte ces variables dans les circonstances de chaque cas. De même, une personne qui tente d'obtenir des services publics ne peut pas comprendre une décision qui se fonde sur les résultats d’une technologie d'évaluation automatisée si on lui donne une explication générale des types de renseignements utilisés pour effectuer l'évaluation, mais sans lui dire comment ses données ont été prises en compte pour arriver à la décision.

La sécurité et la gestion des risques de l'IA ne peuvent pas être efficaces si les exigences d'explication et d'explicabilité sont superficielles.

 

La CODP recommande ce qui suit :

 

La loi doit être modifiée afin de prévoir la prise de règlements qui établissent des exigences d'explicabilité avant que les systèmes d'IA puissent être utilisés. En particulier, la loi devrait exiger que les règlements prescrivent :

1. des procédures internes visant à récupérer d'un système d'IA les informations nécessaires à un examen par un être humain, ou à récupérer les informations qui permettraient à un être humain d'effectuer manuellement la tâche exécutée par le système dans le but d’en vérifier la fiabilité;
    
2. l'obligation pour les organismes d'adopter des mécanismes permettant aux utilisateurs de services de demander et de recevoir des renseignements sur la façon dont leurs renseignements personnels, y compris les données sur leurs attributs personnels, ont été utilisés par la technologie de l'IA dans le processus de traitement et de prise des décisions;
    
3. l'obligation pour les organismes de conserver les données suffisamment longtemps pour la tenue d’une comptabilité technique et pour que les individus puissent exercer leur droit d'accès à l’information (par exemple, les requêtes au Tribunal des droits de la personne de l’Ontario doivent être déposées dans les douze mois qui suivent l’acte présumé de discrimination).
    

 

---

 

Recommandation 4 : Énoncer les responsabilités et les pouvoirs du gouvernement lorsque les entités du secteur public ne peuvent pas empêcher les violations des droits et des protections juridiques

 

La CODP estime que la protection des droits de la personne nécessite une interdiction totale des systèmes d'IA dans certaines circonstances. C’est ce genre d’interdictions que prévoit le paragraphe 5 (6). La CODP et le CIPVP ont également recommandé de telles interdictions pour éviter les effets néfastes des technologies d'IA sur les droits fondamentaux^[38]. De même, l’Union européenne reconnaît que certaines utilisations des technologies de l'IA peuvent violer sa Charte des droits fondamentaux (dont le droit à vivre à l’abri de la discrimination) et a établi des interdictions fondées sur les droits de la personne pour toutes les technologies d’IA, à l’article 5 de sa Législation sur l’intelligence artificielle^[39]. Même d'un point de vue général de respect des droits, il ne devrait y avoir aucune tolérance pour les activités qui violent les droits et libertés fondamentaux.

Avec tout progrès, il y a un risque que certaines technologies ne répondent pas aux valeurs et aux attentes de la société. Bien que le gouvernement ait indiqué une interdiction possible des systèmes d'IA, il devrait aussi établir clairement son rôle et les mesures qu’il pourrait prendre dans l'intérêt public si une entité du secteur public continue d'utiliser une technologie qui s'avère peu fiable, dangereuse ou illégale. Cela peut signifier ordonner une pause dans l’utilisation de la technologie problématique ou imposer des exigences plus strictes pour les tests, l'utilisation ou la gouvernance de la technologie.

 

La CODP recommande ce qui suit :

• L’article 5 et les dispositions connexes de l’article 7 devraient être précisés en ce qui concerne les obligations et pouvoirs du gouvernement dans les cas où des entités du secteur public continuent d’utiliser des technologiques non conformes aux exigences légales, y compris aux exigences prévues par le Code.
   
• Les entités du secteur public devraient être tenues de divulguer leur utilisation de l'IA et, dans la mesure du possible, les résultats des évaluations des impacts et de tout autre test de conformité exigé par la réglementation.

 

---

 

Conclusion : Le manque de gouvernance dans l'utilisation de l'IA présente des défis et des risques pour le respect des droits de la personne

 

Les conséquences de la discrimination algorithmique peuvent être graves et avoir des effets dévastateurs. Comme il est décrit ci-dessus, des familles ont été séparées à tort, des emplois et des logements ont été supprimés, des personnes et des groupes en situation vulnérable ont été surveillés, et l'accès à des services sociaux et de santé essentiels a été refusé, parce que des entités du secteur public se sont appuyées sur des systèmes d'IA défectueux conduisant à des décisions erronées, qui ont érodé la confiance du public. On ne peut présumer que la conduite des entités du secteur public sera toujours respectueuse des droits et libertés fondamentaux de la population de l'Ontario. En conséquence, l'intégration de principes de protection des droits de la personne dans la loi, comme nous le recommandons, garantira que des principes similaires seront inclus dans les règlements.

La CODP appuie une approche qui prône la collaboration entre le secteur public et des membres vulnérables de la société dans certains domaines, comme le bien-être de l’enfance, l’éducation et la santé. Comme il est expliqué plus haut, l’étude d’autres territoires de compétence a révélé que l’utilisation de l’IA dans ces domaines, ainsi que dans les secteurs des services policiers et des services sociaux, avait causé des préjudices graves pour des groupes vulnérables.

Le gouvernement doit assurer une démarche participative productive auprès des diverses collectivités de l'Ontario dans le cadre de l'élaboration de cette gouvernance de l'IA. Cette démarche devrait garantir un dialogue fertile avec les groupes susceptibles d'être affectés négativement par les technologies de l'IA, en vue d'atténuer les risques de discrimination et d'améliorer les résultats en matière de droits de la personne. Ces activités devraient avoir lieu avant l'élaboration de lois, de règlements, de système de gouvernance, de normes techniques, de méthodologies et de pratiques pour l'utilisation des technologies d'IA. Les entités du secteur public doivent également être tenues de divulguer des pratiques, des lignes directrices et des directives communes en matière d’utilisation des technologies d'IA, afin de permettre la tenue d’un examen qui servira à cerner les problèmes et à apporter des améliorations. L’Approche de la CODP fondée sur les droits de la personne pour l’élaboration de programmes et de politiques (le cadre de l’AFDP) énonce un ensemble de mesures bien définies que les décideurs devraient prendre dans l'élaboration de lois, de règlements, de politiques et de lignes directrices, y compris un processus participatif rigoureux qui sert à atténuer les risques de discrimination et à améliorer les résultats en matière de droits de la personne.

Les recommandations de la CODP pour le projet de loi 194, si elles sont adoptées, garantiront la mise en place d’un cadre fondamental protégeant les droits de la personne et éliminant les préjugés potentiels dans l'utilisation de l'IA. C'est la nature fondamentale de ces recommandations qui nécessite leur inclusion dans la loi elle-même, par opposition aux règlements.

L'Ontario est un chef de file en matière de droits de la personne et devrait maintenir cette position en intégrant des principes de protection des droits de la personne dans l'utilisation de l'IA. La CODP continue de conseiller la fonction publique de l'Ontario en vue de l'achèvement de son cadre d'IA et est prête à contribuer à l'élaboration d'un cadre plus large pour l'utilisation de l'IA par le secteur public en Ontario, d'une manière qui respecte les obligations du gouvernement en matière de droits de la personne. Dans le respect des obligations positives de la CODP en vertu du Code et de son protocole d'entente avec le procureur général, la CODP serait ravie de présenter des observations au sujet des prochains règlements d’application de la loi.

En ligne avec son engagement de rendre des comptes au public et de servir la population de l’Ontario, la Commission rendra public son mémoire.

Veuillez agréer, Monsieur le Ministre, l’expression de mes sentiments les meilleurs.

 

La commissaire en chef,
Patricia DeGuire

 

---