Évaluation et révolution numérique
Intelligence artificielle, multiplication des algorithmes, développement de nouveaux outils et techniques comme l’apprentissage automatique (« le machine learning ») ou la programmation schématisée (« low code »)… le numérique et la mise en données de la société sont partout et la révolution numérique s’observe dans toutes les composantes de la société et auprès de la plupart des acteurs économiques, sociaux, environnementaux ou culturels, pour ne citer que ces exemples.
La pratique évaluative ne fait pas exception à ces tendances de fond puisque la révolution numérique et l’intensification de la numérisation ont des impacts bien réels à plusieurs niveaux qu’il convient de cerner au mieux. Vis-à-vis des praticien·ne·s de l’évaluation, la numérisation et l’automatisation amènent de grandes évolutions dans les métiers et dans tout ce qui les nourrit en termes de compétences et de formations et qualifications. Du point de vue des méthodologies, là aussi le numérique fait entrevoir des opportunités, en alliant mieux, par exemple, les méthodes quantitatives et qualitatives, en faisant émerger de nouveaux indicateurs plus pertinents d’efficacité, d’efficience ou d’impact ou plus simplement en facilitant la conduite d’exercices d’évaluation. Des risques sont à prévenir avec l’usage de technologies numériques parfois disruptives qui peuvent poser question au niveau de la transparence ou de l’éthique.
Au fond, avec toutes les évolutions en marche, on n’est pas certain de prendre la mesure exacte de ce qu’offrent réellement ou potentiellement les transformations numériques pour la pratique évaluative, sa promotion, son appropriation par les décideurs voire son institutionnalisation qui demeure très hétérogène entre les pays et les continents (il en est d’ailleurs de même pour le mouvement de la numérisation). Il y a encore des efforts à faire pour cerner comment la numérisation contribue à l’amélioration continue des systèmes d’évaluation et, partant, au renforcement pertinent et crédible des soutenabilités et de la gouvernance publique.
Pour traiter de ce sujet, le comité de programme du FIFE2023 a envisagé trois forums détaillés dans les sections déroulantes ci-dessous. Vous pouvez également retrouver ces informations dans le programme définitif du FIFE2023.
Le numérique au service de la gouvernance de l’évaluation ?
L’évaluation des ODD à l’épreuve des technologies numériques
Technologies numériques et pratiques de l’évaluation
Forum A - Le numérique au service de la gouvernance de l’évaluation ?
L’action publique est marquée par de profondes mutations (crises sanitaire, sociale, environnementale, géopolitique) qui touchent ses modalités de définition, de mise en œuvre et d’évaluation, ainsi que le rôle des acteurs qui y contribuent.
Dans ce contexte en évolution rapide, quel rôle jouent les innovations technologiques émergentes ? Tous les pays et tous les acteurs ont-ils les mêmes armes pour en maîtriser l’usage ?
Les contributions proposées pourront ainsi apporter des éclairages sur les points suivants :
En quoi la préparation de la décision publique est-elle facilitée par les ressources de la numérisation ? Quels outils permettent d’améliorer et fiabiliser la connaissance utile à la décision, et de garantir sa crédibilité, sa redevabilité et son efficacité ? On peut citer l’usage des statistiques, le recours aux modèles et aux algorithmes, les outils de traitement de données de masses, l’analyse textuelle, l’accès aux données ou à l’expertise, la géolocalisation ou d’autres technologies. Sont-elles accessibles à tous et tous les évaluateurs peuvent-ils s’en servir ? Quels sont les atouts et les faiblesses des bases de données et outils statistiques, ou d’autres instruments, dans les pays en développement, au regard du développement de l’évaluation ? Quels pourraient être les outils appropriés pour les pays en développement ou quelle(s) amélioration(s) pourrait-on apporter aux outils existants ?
Le recours à ces technologies transforme le métier d’évaluateur·rice à tous les stades du processus d’évaluation, depuis la formulation de la commande jusqu’à la restitution des conclusions, en passant par le choix des méthodes, la relation aux parties prenantes et la conduite de l’étude. Comment les acteurs de l’évaluation s’adaptent-ils à ces nouvelles règles du jeu ? Quels problèmes rencontrent-ils en matière de formation, de communication ou d’éthique ? Comment peuvent-ils relever les nouveaux défis liés aux risques d’exclusion des citoyens pauvres, vulnérables et peu connectés ? Contre quels risques doivent-ils se prémunir en matière, par exemple, de protection de la vie privée ?
Les nouveaux outils et technologies disponibles peuvent-ils permettre de faire face à des exigences de redevabilité qui évoluent ? L’évaluation connaît-elle de nouvelles formes de communication ? Comment la décision publique est-elle construite, présentée et expliquée aux citoyens, avec ou sans leur participation ? Comment est-il rendu compte de l’action publique et à partir de quelles informations et quels indicateurs ? Qu’apporte la numérisation des données à ce propos ?
La transformation numérique modifie sensiblement les conditions et les modalités d’exercice et d’évaluation de la gouvernance publique. Quelles sont ces évolutions, leurs apports ou les freins auxquels elles se heurtent ? Comment réagissent les différents acteurs concernés (exécutifs, parlements, communautés académiques et professionnelles, société civile…) et comment évoluent leurs rôles respectifs et leurs relations ? Y a-t-il des formes d’évaluation mieux adaptées que d’autres à ces nouvelles formes de gouvernance?
Exemples d’évaluations des actions publiques en matière de numérisation : objet, méthodes, résultats.
Forum B - L’évaluation des ODD à l’épreuve des technologies numériques
L'évaluation est reconnue dans l'Agenda 2030 comme étant cruciale pour l'examen des ODD. Les évaluateurs peuvent faire une réelle différence dans la réalisation des ODD.
Grâce aux données massives, l’analyse et les statistiques se sont largement développées et ont bénéficié de capacités de traitement de gros volumes de données, de données en temps réel et de données semi ou non structurées. L’intelligence artificielle (IA) est aujourd’hui une technologie relevant essentiellement des données massives. Données massives et IA peuvent impacter l’approche et les résultats de l’évaluation.
Quel serait l’apport de ces technologies numériques dans l’évaluation des ODD ?
Quelles sont les précautions à prendre ? Quelles sont les meilleures pratiques ?
L’objectif de la statistique publique est d’éclairer la décision. La difficulté d’accès aux statistiques fiables, l’utilisation abusive des données et les questions d’éthique demeurent un obstacle à des analyses évaluatives pertinentes. Les contextes d’insécurité, de crise sociale, de pandémie exigeraient une attention particulière aux méthodes et outils numériques à exploiter.
Comment assurer la qualité des statistiques pour l’évaluation ?
Quelles seraient les meilleures démarches à adopter pour l’utilisation des données massives et de l’IA dans l’évaluation ?
Le numérique serait-il en mesure de garantir la fiabilité des données collectées à distance pour l’évaluation ?
Ces nouvelles approches impactent-elles les compétences des statisticien·ne·s et des évaluateur·trice·s en termes de savoir-faire et de savoir être ?
« Ne laisser personne de côté », qui traduit la priorité donnée par l’Agenda 2030 à l’inclusion des populations les plus vulnérables, doit également s’opérer au niveau de l’évaluation. Le numérique offre plusieurs opportunités permettant de promouvoir l’inclusion de toutes et tous et doit permettre de renforcer l’accessibilité de l’évaluation, à tout moment et depuis n'importe où ; il peut également permettre une participation équitable.
Dans quelle mesure les technologies numériques conduisent-elles à une évaluation inclusive et équitable ?
Dans quelle mesure le numérique ne risque-t-il pas de laisser pour compte les personnes vulnérables face à l’accès aux outils numériques ?
Comment adopter une approche inclusive lors des évaluations via le numérique dans des contextes où l’accès à l’internet demeure un luxe ?
Forum C - Technologies numériques et pratiques de l’évaluation
La numérisation de la gestion publique pourrait affecter tous les processus administratifs – des intrants utilisés (p.ex., plus grande participation citoyenne), aux actions publiques elles-mêmes (p.ex., utilisation accrue de l’information en temps réel) et aux boucles de rétroaction sur les succès et les échecs (p.ex., grâce à des indicateurs de rendement plus faciles d’accès). Elle facilitera par ailleurs l’accès aux données statistiques et leurs possibilités de traitement.
La pratique de l’évaluation des programmes et politiques sera nécessairement affectée par ces évolutions. Comment ? Ce sous-thème abordera les effets des technologies et procédés numériques sur les pratiques de l’évaluation.
Ces effets pourront concerner à la fois les compétences de l’évaluateur et la conduite du processus d’évaluation. Les compétences de l’évaluateur renvoient à la professionnalisation qui s'exprime à travers des référentiels de compétences, des normes de pratiques et un encadrement éthique. Dans ce sous-thème, on s’intéressera donc aux effets probables de la numérisation sur les compétences dans les domaines suivants :
la pratique méthodologique (y compris les nouveaux moyens de collecte et d’analyse de données massives ou ciblées ; acquisitions de nouvelles compétences ou cooptation de nouveaux spécialistes ?),
la pratique réflexive (la numérisation modifie-t-elle comment nous nous percevons comme spécialistes de l’évaluation ?),
la pratique de gestion (comme toute évaluation est un projet qui doit être géré, comment la numérisation simplifie-t-elle ou complexifie-t-elle la gestion de projet d’évaluation?).
Concernant la conduite du processus d’évaluation, la numérisation va nécessairement toucher :
la pratique interpersonnelle (comment la numérisation affecte-t-elle les liens qui se créent ou non au cours de l’évaluation ? quelle influence de l’utilisation importante de la visioconférence ?...),
la possibilité d’élargir le cercle des parties prenantes (la numérisation améliore-t-elle ou réduit-elle la capacité à intégrer la participation des citoyens ?).
Sur un autre plan, on pourra se demander si et comment la numérisation modifie les normes de pratiques établies par l’AfrEA, par l’UNEG ou par le Joint Committee on Standards for Educational Evaluation ? Dans le même ordre d’idée, on se demandera si les codes d’éthique existants (UNEG, SCÉ, AEA, AES, EvalIndigenous, etc.) devront être revus pour tenir compte des nouveaux défis soulevés par la numérisation.