Souveraineté des données autochtones et garde-fous éthiques

Jusqu’ici, nous avons exploré certains des risques associés à l’IA et réfléchi à la façon dont ces systèmes peuvent influer sur l’apprentissage, l’information et la prise de décisions. Une IA responsable exige aussi que nous réfléchissions aux choix que nous faisons à l’égard de ces systèmes : à quelle information ils peuvent accéder, comment ils sont utilisés, qui a l’autorité de prendre ces décisions et qui demeure responsable des résultats.

Ces questions deviennent particulièrement importantes lorsque l’IA est utilisée avec de l’information ou des savoirs liés à des communautés. Quand nous entendons le mot « données », nous pensons peut-être à des chiffres, à des dossiers ou à des renseignements personnels. Dans les contextes autochtones, les données peuvent comprendre bien plus que cela.

Pour les peuples autochtones, les questions sur les données sont aussi liées à une longue histoire : celle de qui avait l’autorité de recueillir, d’interpréter, de conserver et d’utiliser cette information. Ces questions sont au cœur de la souveraineté des données autochtones, que nous explorerons plus en détail dans la prochaine section.

À la base, la souveraineté des données autochtones nous demande de penser autrement l’accès et l’autorité. Pouvoir trouver, consulter ou télécharger de l’information ne signifie pas nécessairement avoir l’autorité de l’utiliser, de la reproduire, de la partager ou de la transformer (Bush et al., 2026; Centre de gouvernance de l’information des Premières Nations [CGIPN], s.d.).

Cela est particulièrement important lorsque l’information et les savoirs sont liés à une communauté. Les données autochtones peuvent comprendre de l’information sur des personnes, des communautés, des terres, des langues, des cultures, des histoires et des savoirs. Les décisions sur la façon dont cette information est recueillie et utilisée peuvent faire intervenir des droits, des relations et des responsabilités qui vont au-delà du consentement individuel.

Pourquoi est-ce important ?

Lorsque les peuples autochtones n’ont pas d’autorité réelle sur la façon dont leurs données et leurs savoirs sont utilisés, le préjudice peut aller au-delà de la protection des renseignements personnels. Des savoirs culturels peuvent être retirés de leur contexte d’origine, des savoirs sacrés ou restreints peuvent être reproduits de façon inappropriée, et de l’information peut être recueillie, interprétée ou utilisée sans autorité ni consentement réels de la communauté.

Ces préoccupations sont liées à une longue histoire au cours de laquelle l’information sur les Premières Nations était souvent recueillie, interprétée et utilisée par des institutions extérieures plutôt que gouvernée par les Premières Nations elles-mêmes (CGIPN, s.d.).

Une réponse importante : les principes de PCAP®

Les principes de PCAP® des Premières Nations sont nés des efforts des Premières Nations pour changer cette relation et conserver une plus grande autorité sur leur propre information. Élaborés par le Centre de gouvernance de l’information des Premières Nations (CGIPN), ces principes décrivent comment les Premières Nations exercent leur compétence sur la façon dont leur information est recueillie, utilisée, interprétée et partagée.

Un peu plus de contexte

Les quatre principes fonctionnent ensemble. Par exemple, la propriété et la possession sont liées, mais elles ne sont pas la même chose. Une Première Nation peut être propriétaire de l’information même lorsque celle-ci est physiquement conservée par un autre organisme. Toutefois, sans la possession ou un contrôle réel de l’endroit où cette information est conservée, il peut devenir plus difficile d’exercer la propriété.

PCAP® a aussi une portée précise. Il s’agit expressément d’un cadre des Premières Nations, et non d’un cadre pour tous les peuples autochtones. Différentes Premières Nations peuvent appliquer les principes selon leurs propres lois, protocoles, visions du monde et priorités, tandis que les communautés inuites et métisses peuvent avoir leurs propres approches de la gouvernance des données (CGIPN, s.d.).

Qu’est-ce que cela signifie lorsqu’on utilise l’IA ?

L’IA ajoute une autre dimension à ces considérations. Le personnel éducatif devrait faire preuve d’une extrême prudence lorsqu’il utilise l’IA avec des savoirs autochtones. Les savoirs autochtones sont liés à des personnes, à des relations, à des lieux et à des protocoles particuliers. L’IA générative reproduit de l’information sans en préserver tout le contexte nécessaire, car elle fonctionne en grande partie de façon probabiliste. Ainsi, un résultat peut sembler crédible tout en omettant de préciser d’où viennent les savoirs, qui les détient ou les protocoles qui encadrent la façon dont ils devraient être partagés (Groten et al., 2024).

Une utilisation responsable de l’IA exige toujours de tenir compte de la source, du contexte, de l’autorité et de la pertinence de la technologie pour une tâche donnée. Lorsqu’on travaille avec des données et des savoirs autochtones, ces considérations prennent une importance accrue, notamment le respect de la souveraineté des données autochtones, des protocoles culturels et du droit des peuples et des communautés autochtones de déterminer la façon dont leurs savoirs sont partagés, représentés et utilisés.

Avant d’intégrer l’IA à votre pratique d’enseignement, demandez-vous d’abord pourquoi vous l’utiliseriez. À quel besoin répond-elle ? Offre-t-elle un avantage réel par rapport aux approches existantes ? Pourrait-elle soutenir l’apprentissage des élèves, ou risque-t-elle de leur enlever des occasions de développer eux-mêmes des compétences importantes ?

Leon Furze, chercheur et consultant en éducation, avance un argument semblable dans sa « Need/Potential Matrix », qui encourage les écoles à tenir compte des besoins auxquels répond une technologie plutôt que d’adopter de nouveaux outils simplement parce qu’ils existent. Il prévient aussi que, compte tenu de la vitesse du développement de l’IA, il est parfois plus approprié d’attendre que de se précipiter pour adopter un outil mal conçu ou inadapté. Le fait qu’un outil offre de nouvelles possibilités ne justifie pas, à lui seul, son utilisation en classe. Une fois l’objectif clair, les écoles et les systèmes scolaires peuvent déterminer quelles mesures de protection doivent être en place.

Bien sûr, déterminer si l’IA sert un objectif éducatif significatif n’est qu’un aspect de la question. On ne devrait pas s’attendre à ce que le personnel éducatif évalue seul la sûreté technique, la sécurité ou les pratiques de protection des renseignements personnels des outils d’IA, ni qu’il comprenne les pratiques internes des entreprises qui conçoivent les modèles d’IA. Les autorités scolaires ont l’importante responsabilité d’établir des attentes claires, d’examiner les outils et de fournir des consignes sur ce qui est approprié en classe. Le personnel éducatif peut ensuite s’appuyer sur ces consignes ainsi que sur son propre jugement professionnel et pédagogique.

Les systèmes scolaires n’ont pas à partir de zéro pour décider comment l’IA peut être utilisée en toute sécurité. Reconnaissant que de nombreux membres du personnel éducatif et de nombreux élèves utilisent déjà l’IA, plusieurs systèmes d’éducation et organismes au Canada ont élaboré des lignes directrices et des ressources sur l’IA pour aider les conseils scolaires et le personnel éducatif à s’y retrouver dans un paysage de l’IA en constante évolution. Ces ressources offrent des points de départ utiles pour réfléchir à une utilisation responsable de l’IA, notamment en ce qui concerne la protection des renseignements personnels, la sécurité des élèves, l’équité, l’intégrité scolaire et le rôle du jugement professionnel du personnel éducatif.

Voici quelques exemples canadiens :

• Ministère de l’Éducation et de la Garde d’enfants de la Colombie-Britannique – « Considerations for Using AI Tools in K-12 Schools »
• Alberta School Boards Association (ASBA) – « AI Policy Guidance »
• Ministère de l’Éducation et du Développement de la petite enfance du Nouveau-Brunswick – « Recommended Approaches to Generative AI »
• Ontario Association of School Business Officials et Educational Collaborative Network of Ontario – « Guidelines for Responsible Use of Generative Artificial Intelligence »

Ces lignes directrices agissent comme des garde-fous. Elles établissent des limites quant à la façon dont l’IA peut être utilisée tout en offrant au personnel éducatif des conseils pratiques pour composer avec l’IA dans son travail quotidien. Le personnel éducatif est invité à consulter le site Web de son conseil scolaire ou du ministère de l’Éducation de sa province pour savoir quelles lignes directrices ou politiques sur l’IA sont déjà en place, et le cas échéant, comment elles pourraient s’appliquer à sa pratique pédagogique.

Questions pour évaluer l’utilisation de l’IA

Le personnel éducatif prend chaque jour des décisions importantes sur les technologies à intégrer en classe. Les questions suivantes peuvent vous aider à déterminer si un outil d’IA pourrait convenir à votre pratique pédagogique, et de quelle façon. Vous n’avez pas besoin d’avoir vous-même toutes les réponses techniques. Savoir quoi demander, quoi surveiller et quand demander conseil à votre autorité scolaire est une partie importante d’une utilisation responsable de l’IA.

Associer le garde-fou au risque

Toutes les utilisations de l’IA n’exigent pas le même niveau de supervision. À mesure que l’incidence potentielle d’une décision assistée par l’IA augmente, les mesures de protection qui l’entourent devraient aussi augmenter.

Les garde-fous devraient soutenir le personnel éducatif

Les consignes sont plus utiles lorsque le personnel éducatif est soutenu dans leur application. Le « AI Competency Framework for Teachers » de l’UNESCO souligne que la responsabilité d’une utilisation sûre et éthique de l’IA ne peut reposer uniquement sur le personnel éducatif. Les écoles, les décideurs et les établissements de formation à l’enseignement ont aussi la responsabilité de préparer et de soutenir le personnel éducatif afin qu’il utilise l’IA de façon appropriée (UNESCO, 2024).

Le perfectionnement professionnel peut aider le personnel éducatif à mieux comprendre le fonctionnement de l’IA, à reconnaître les risques potentiels et à prendre des décisions éclairées quant à une utilisation appropriée. Ainsi, les garde-fous offrent à la fois des limites et du soutien, ce qui permet au personnel éducatif d’exercer son jugement professionnel dans le cadre d’attentes communes claires.

Surveiller et faire évoluer de façon continue

Les technologies d’IA, leurs capacités et la façon dont elles sont utilisées dans les écoles continueront de changer. Les garde-fous devraient évoluer avec elles.

L’UNESCO souligne que le choix, l’utilisation et la surveillance de l’IA devraient demeurer sous contrôle humain et relever de la responsabilité humaine. Son cadre présente aussi le développement des compétences du personnel éducatif en IA comme un processus continu, soutenu par un perfectionnement professionnel continu à mesure que les technologies et leurs répercussions évoluent (UNESCO, 2024).

Concrètement, les écoles peuvent surveiller la façon dont l’IA est utilisée, recueillir les commentaires du personnel éducatif, des élèves et des familles, et revoir leurs consignes au fil du temps afin de répondre aux risques émergents à mesure que les technologies d’IA et leurs utilisations continuent d’évoluer.

Au chapitre 2, nous avons exploré comment les données utilisées pour entraîner un modèle d’IA façonnent les schémas qu’il apprend. Lorsque certaines communautés, langues, cultures ou perspectives sont absentes ou mal représentées dans ces données, ces lacunes peuvent se retrouver dans les résultats du modèle.

Un système d’IA peut produire des stéréotypes, négliger d’importantes différences culturelles, avoir du mal avec des langues moins bien représentées ou présenter un point de vue comme s’il représentait tout le monde. Cela devient particulièrement important lorsque l’IA sert à créer du contenu éducatif sur des cultures ou des communautés. La sécurité culturelle suppose toutefois davantage que la simple exactitude d’une ressource générée par l’IA. Cela signifie aussi tenir compte de l’origine des savoirs, de qui détient l’autorité sur leur utilisation et du contexte qui pourrait être perdu lorsque l’IA les reproduit ou les modifie.

Scénario : intégrer des savoirs autochtones dans une leçon de sciences

Vous planifiez une leçon de sciences sur le ciel nocturne et souhaitez inclure de façon significative des perspectives et des savoirs autochtones. Vous avez constaté qu’il n’est pas toujours simple de communiquer avec des détenteurs de savoirs locaux appropriés, et vous voulez éviter d’écarter ces perspectives simplement parce qu’elles sont plus difficiles d’accès.

Vous envisagez d’utiliser un outil d’IA générative pour vous aider à trouver et à comprendre des histoires et des savoirs autochtones liés au ciel nocturne.

La sécurité culturelle consiste à aborder avec soin le contenu généré ou médié par l’IA, en particulier lorsqu’il représente des cultures, des langues ou des communautés qui dépassent notre propre expérience. Les ressources et les consignes élaborées par la communauté peuvent aider le personnel éducatif à travailler à partir de sources appropriées et à éviter de compter sur l’IA pour combler des lacunes dans des savoirs qu’elle n’est peut-être pas en mesure de représenter de façon éthique.

L’utilisation responsable de l’IA en éducation est une responsabilité partagée. Les élèves, le personnel éducatif, les dirigeants des écoles et des systèmes, les fournisseurs de technologies, les familles et les communautés peuvent tous jouer des rôles différents dans la façon dont l’IA est utilisée et dans les mesures de protection nécessaires.

Pour le personnel éducatif, cela signifie exercer son jugement professionnel pour décider quand et comment l’IA convient à sa pratique. Les dirigeants des écoles et des systèmes ont un rôle plus large : évaluer les outils, établir des garde-fous clairs et mettre en place des processus pour répondre aux préoccupations lorsqu’elles surviennent. Les élèves doivent également avoir l’occasion de comprendre non seulement comment utiliser l’IA, mais aussi comment la remettre en question, reconnaître ses limites et faire des choix réfléchis quant au moment de l’utiliser.

Les communautés comptent aussi dans ces conversations. Les décisions sur la technologie peuvent toucher différentes personnes de différentes façons. Offrir aux personnes touchées par ces décisions de réelles occasions d’y contribuer peut aider à faire ressortir des perspectives, des priorités et des préoccupations qui pourraient autrement passer inaperçues.

Ce travail exige aussi une réflexion continue. Les technologies d’IA continueront de changer, et notre compréhension de leurs avantages et de leurs risques évoluera avec elles. Les politiques, les pratiques et les garde-fous devront être revus à mesure que de nouvelles données probantes, de nouvelles technologies et de nouvelles préoccupations apparaîtront.

Instaurer une culture éthique de l’IA exige de continuer à poser des questions réfléchies, à faire participer les personnes touchées par les décisions et à placer le jugement humain et la responsabilité au cœur de l’utilisation de l’IA.

Ces mêmes questions de responsabilité, de transparence et d’utilisation appropriée de l’IA se retrouvent aussi dans l’apprentissage quotidien des élèves. Nous explorerons ensuite ce à quoi ressemble l’intégrité scolaire à l’ère de l’IA, y compris comment le personnel éducatif peut établir des attentes claires tout en soutenant un apprentissage significatif des élèves.