Introduction

Les services sociaux à l’enfance au Royaume-Uni

Le système des services sociaux à l’enfance du Royaume-Uni est décrit comme étant « en crise » (Mackley et al., 2018). Depuis vingt ans, les mesures d’austérité introduites par le gouvernement britannique ont fortement pesé sur les budgets des collectivités locales et sur leurs dépenses consacrées aux services sociaux à l’enfance. Alors que le financement des collectivités locales a baissé de 55 % entre 2010 et 2020 (Ogden et Phillips, 2024), ces coupes ne se sont pas réparties de manière égale entre les services à l’enfance. Les dépenses destinées à maintenir les familles unies ont nettement diminué (Bennett et al., 2021), tandis que les dépenses globales des services sociaux à l’enfance ont plus que doublé en dix ans (Webb, 2023), et se concentrent de plus en plus sur les interventions obligatoires prévues par la loi, comme les enquêtes de protection de l’enfance, le retrait des enfants à leurs parents et leur maintien en placement (MacAllister, 2022 ; Webb et al., 2022). Cette tendance a été entretenue par les coupes dans les services de prévention, qui font croître la « demande » d’interventions obligatoires (Bennett et al., 2021) et aggravent encore les difficultés, dont des charges de dossiers élevées, l’épuisement professionnel et une forte rotation du personnel (Family Rights Group, 2018).

En Angleterre, les collectivités locales ont l’obligation légale d’intervenir lorsqu’il existe des inquiétudes pour la sécurité d’un enfant, en particulier lorsque les professionnels estiment que « l’enfant subit, ou risque de subir, un préjudice important » (Children Act, 1989 ; HM Government, 2023 : 8). Une conférence initiale de protection de l’enfance (Initial Child Protection Conference) est alors réunie pour évaluer ces inquiétudes. Les services sociaux et les organismes partenaires (santé, police, écoles) y partagent des informations et prennent la main pour élaborer un plan destiné à mettre l’enfant en sécurité. Les données disponibles indiquent que les parents et les enfants vivent les procédures de la conférence initiale de protection comme excluantes, conflictuelles et humiliantes (Gibson, 2015). Au Royaume-Uni, on reconnaît cependant la nécessité que la pratique du travail social abandonne une culture descendante de l’« expert » au profit d’une culture relationnelle, qui traite les inquiétudes pour la sécurité des enfants par un processus de coproduction avec les familles (Ferguson et al., 2022 ; Ingram et Smith, 2018). La conférence familiale (Family Group Conferencing, FGC) est l’une des manières d’associer les familles et leurs réseaux de soutien social à la prise de décision, en partenariat avec les professionnels, sur la meilleure façon de protéger leurs enfants (Family Rights Group, 2021 ; Pennell et al., 2011).

Les évaluations de la FGC ont cherché à identifier et à mesurer des résultats comme la satisfaction des personnes participantes, les liens familiaux, l’amélioration des relations entre familles et professionnels, la sécurité des enfants, le maintien des enfants hors placement et les économies réalisées (Holland et al., 2005 ; Marsh et Crow, 1997 ; Mason et al., 2017 ; Merkel-Holguin, 2004 ; Munro et al., 2017 ; Pennell et Burford, 2000 ; Taylor et al., 2023). Parmi ces évaluations figurent des revues systématiques et de grands essais contrôlés randomisés (voir Mason et al., 2017 ; Taylor et al., 2023), centrés sur le résultat quantitatif du placement de l’enfant (combien d’enfants ont été retirés ou non de leur famille), sur l’impact pour les finances publiques et sur les économies attendues. Saisir le détail des processus menés par la famille avec des méthodes d’évaluation classiques est difficile, car les interventions sont rarement nettement délimitées et leur mise en œuvre dépend souvent de facteurs contextuels locaux (Mezey et al., 2015). S’y ajoutent des difficultés de recrutement et un accès limité aux données (Mezey et al., 2015 ; Moody et al., 2021), qui réduisent l’utilité possible des résultats. Sans une base de preuves solide sur ce qui fonctionne, il est difficile de déterminer où affecter des ressources limitées pour obtenir le plus grand effet. En outre, les essais contrôlés randomisés ne permettent pas, à eux seuls, de saisir comment et pourquoi des processus de décision menés par la famille, comme la FGC, produisent des résultats particuliers dans des contextes différents.

Les cadres dans lesquels s’exercent les pratiques des services sociaux sont des systèmes ouverts et dynamiques, qui évoluent et s’adaptent avec les écosystèmes plus larges des territoires et des relations entre professionnels et familles. C’est pourquoi les interventions des services sociaux à l’enfance sont en général adaptées à leur cadre plutôt que strictement définies à l’avance, comme c’est plus souvent le cas dans le domaine de la santé. Il faut donc des approches évaluatives capables de saisir les conditions dynamiques qui aident ou empêchent une intervention d’atteindre les résultats visés dans des cadres différents ; l’évaluation réaliste est l’une de ces approches.

Utiliser l’évaluation réaliste pour comprendre les interventions des services sociaux à l’enfance

À la différence des formes classiques d’évaluation, l’évaluation réaliste cherche moins à répondre à la question une intervention ou un programme fonctionne-t-il ? qu’à comprendre comment et pourquoi une intervention ou un programme fonctionne dans des cadres différents, auprès de populations différentes (Pawson et Tilley, 1997 : 141). La tâche de l’évaluation réaliste est d’élaborer des théories de programme qui formulent des hypothèses sur « la manière dont un programme est censé fonctionner, compte tenu des influences contextuelles et des mécanismes d’action sous-jacents » (Jagosh, 2019 : 363). Les théories de programme sont les « unités d’analyse de l’évaluation réaliste » (Dalkin et al., 2015 : 3). En identifiant, en formulant, en testant et en affinant ces théories, on affine ses hypothèses par un processus itératif (Pawson et Tilley, 1997). Pawson et Tilley (1997) ont introduit l’heuristique des configurations Contexte-Mécanisme-Résultat (Context-Mechanism-Outcome, CMO) comme outil d’analyse permettant d’opérationnaliser les théories de programme. Le contexte désigne les « éléments de l’environnement d’arrière-plan d’un programme qui ont un effet sur les résultats (par exemple la démographie, la législation, les normes culturelles) » (Jagosh, 2019 : 363). Les mécanismes sont « les ressources offertes par un programme et la manière dont les personnes répondent à ces ressources (par exemple l’information, le conseil, la confiance, l’engagement, la motivation) » (Jagosh, 2019 : 363). Décomposer les mécanismes en ressources du mécanisme et en réponses au mécanisme est utile, car cela aide à distinguer ce qui relève du mécanisme et ce qui relève du contexte, ce qui clarifie la théorie de programme (Dalkin et al., 2015). Les résultats, en évaluation réaliste, sont les « effets voulus ou non voulus qui découlent des interactions entre contexte et mécanisme (par exemple un changement de regard, l’utilisation d’un service, la prise de décision, la résilience, des résultats de santé, le sentiment d’efficacité personnelle, les liens sociaux) » (Jagosh, 2019 : 363).

Une part centrale de l’évaluation réaliste consiste à se confronter aux présupposés ontologiques et épistémologiques qui sous-tendent le programme ou l’intervention évalués (voir Jagosh, 2019, 2020 ; Pawson et Tilley, 1997). Quatre idées fondamentales offrent un point de départ utile : (1) la profondeur ontologique, (2) la causalité générative, (3) l’abduction et (4) la rétroduction. La profondeur ontologique est l’idée que « la réalité est stratifiée en couches » (Jagosh, 2019 : 364). Pour les réalistes, ce qui est réel n’est pas forcément observable, et il faut aller au-delà des données empiriques pour commencer à comprendre la réalité. Dans le prolongement, la causalité générative, par opposition à la causalité successionniste, est « l’idée que des mécanismes cachés sous-jacents engendrent les résultats » (Jagosh, 2019 : 364) : l’approche réaliste doit donc regarder au-delà des données empiriques pour théoriser les raisons possibles de ce qu’elle observe. Cela suppose à la fois l’abduction et la rétroduction (Emmel, 2021). L’abduction est une « théorisation pragmatique, centrée sur la créativité comme logique d’inférence » (Tavory et Timmermans, 2014). En termes courants, c’est une « intuition, un pressentiment ou une imagination informée qui mène à de nouvelles idées pour générer des théories et tester des mécanismes possibles » (Jagosh, 2020 : 122). La rétroduction est le mode d’inférence fondamental de l’évaluation réaliste : c’est le processus par lequel on revendique des mécanismes causaux (voir Emmel, 2021 ; Jagosh, 2019). Par l’abduction et la rétroduction, la recherche réaliste entre dans « un dialogue entre les preuves et les idées » (Emmel, 2021 : 103) à propos des CMO, de la manière dont le programme ou l’intervention fonctionne, pour qui et dans quelles circonstances. Les principes philosophiques exposés ici sont le fondement de la recherche réaliste.

Des normes de présentation cherchent à démystifier la conduite des évaluations réalistes (Wong et al., 2016). D’autres travaux les ont prolongées par des guides pratiques utiles. Par exemple, l’équipe de Gilmore (2019) a publié un article détaillé montrant comment elle avait mené deux évaluations réalistes d’interventions de santé communautaire sur trois sites d’études de cas. En décrivant en profondeur ce qu’elle avait fait et comment, elle a apporté une transparence bien nécessaire au processus d’analyse des évaluations réalistes conduites dans des cadres de santé complexes. Malgré certains recoupements, le cadre des services sociaux à l’enfance pose à la recherche des difficultés propres. Par exemple, dans ces services, le suivi social est en général attribué à l’enfant, alors que la « cible » d’une intervention est le plus souvent un parent ou une personne qui en a la charge. Comprendre les résultats de ces interventions exige donc une théorisation explicite de la manière dont l’intervention peut produire des résultats pour les enfants, que l’intervention ne touche pas forcément directement.

Dans cet article, nous proposons un exemple détaillé d’évaluation réaliste de la conférence familiale de protection (Safeguarding Family Group Conferencing, ci-après Safeguarding FGC) en Angleterre. Pour structurer l’article, nous reprenons les intitulés utilisés par les équipes de Gilmore (2019) et de Mukumbang (2016a) dans leurs évaluations réalistes. Après une brève description de l’étude Safeguarding FGC, nous présentons la phase 1 de la recherche : la construction de la théorie de programme initiale. Nous y montrons comment nous avons consulté les parties prenantes pour la construire. Pour la phase 2, nous expliquons comment nous avons conçu des guides d’entretien et des grilles d’observation à partir de la théorie de programme initiale, puis produit les données. Pour la phase 3, nous montrons comment nous avons analysé les données et nous en sommes servis pour affiner, réfuter et tester notre théorie de programme, au sein de chaque cas et d’un cas à l’autre. Pour la phase 4, nous décrivons comment nous avons représenté notre théorie de programme à la fin de l’étude. Dans la dernière partie, nous soulignons les principales difficultés et possibilités qu’offre l’évaluation réaliste dans le cadre des services sociaux à l’enfance. Nous concluons par des réflexions sur l’intérêt de l’évaluation réaliste, une approche qui gagne à intégrer différents types de preuves (littérature, parties prenantes, données de recherche), des stratégies de recrutement adaptatives et un travail d’équipe pour la théorisation rétroductive et l’analyse.

La conférence familiale de protection : un exemple détaillé d’évaluation réaliste

Présentation de l’étude Safeguarding FGC

La Safeguarding FGC est un processus de décision mené par la famille, qui réunit familles et professionnels lorsqu’il existe une inquiétude relevant de la protection de l’enfance¹. L’étude Safeguarding FGC est un partenariat recherche-pratique entre l’école de médecine de l’université d’Exeter, le centre de recherche et développement sur les services sociaux à l’enfance (CASCADE) de l’université de Cardiff, le Royal Borough of Kensington and Chelsea, le Westminster City Council et le London Borough of Hammersmith and Fulham. La recherche visait à identifier les familles les plus susceptibles de bénéficier de la Safeguarding FGC, et de quelle manière, à identifier et comprendre ce qui facilite ou freine sa mise en œuvre, et à élaborer un dispositif de mise en œuvre détaillé en vue d’une diffusion nationale dans les collectivités locales d’Angleterre. Les questions de recherche étaient les suivantes :

• 1. Qu’est-ce qui fonctionne, et de quelle manière, pour permettre l’adoption et l’ancrage de la Safeguarding FGC dans le parcours de protection de l’enfance comme alternative à la conférence initiale de protection de l’enfance ?
• 2. Quels résultats sont jugés les plus appropriés par les familles, y compris les enfants et les jeunes, et par les professionnels ?
• 3. Pour quelles familles, et dans quelles circonstances, les conférences familiales de protection permettent-elles une expérience plus positive du parcours de protection de l’enfance et favorisent-elles des résultats appropriés pour les familles et les professionnels ?

L’étude Safeguarding FGC est financée par le National Institute for Health Research (réf. NIHR131922).

Cet article porte sur la méthodologie employée pour évaluer la Safeguarding FGC (questions de recherche 2 et 3). Pour la question de recherche 1, une publication en cours d’évaluation présente les résultats qualitatifs de l’évaluation de la mise en œuvre (Day et al., 2024). Le protocole complet de l’étude est également disponible (Stabler, 2024a). L’approbation éthique de la recherche a été accordée par le comité d’éthique de la recherche de l’école de médecine de l’université d’Exeter (numéro de référence 493165) et par les collectivités locales participantes. Les personnes participantes ont reçu des fiches d’information sur ce qu’impliquait leur participation, y compris la possibilité d’une publication des résultats. Elles ont donné leur consentement par écrit ou, lorsque ce n’était pas possible, un consentement oral enregistré, conformément au cadre de notre approbation éthique.

Les phases qui suivent n’ont pas constitué une progression linéaire de tâches : elles se sont déroulées en cycles itératifs de collecte de données, de discussions d’équipe, de construction et de mise à l’épreuve de la théorie avec les parties prenantes et les personnes participantes. L’équipe de Dalkin note que ce processus d’élaboration et de mise à l’épreuve des théories de programme est « souvent alambiqué » (Dalkin et al., 2021 : 124). En décrivant notre démarche, nous cherchons à rendre le processus transparent et à illustrer une manière de mener concrètement une évaluation réaliste.

Phase 1 : construire la théorie de programme initiale

La théorie de programme initiale sert à « formuler des hypothèses sur la manière dont l’intervention peut fonctionner, pourquoi et pour qui, à partir de revues de littérature et de documents et d’entretiens avec des personnes ressources ayant conçu ou mis en œuvre le programme » (Gilmore et al., 2019 : 3 ; Mukumbang et al., 2016b ; Pawson et Tilley, 1997). La théorie de programme initiale fonctionne comme un « premier jet » d’explication du fonctionnement du programme. Nous employons l’expression théorie de programme initiale pour désigner notre première tentative d’expliquer le fonctionnement de la Safeguarding FGC à partir de l’engagement des parties prenantes, de la littérature et des recherches antérieures. Nous employons ensuite à dessein l’expression théorie de programme pour désigner la théorie testée et affinée à l’aide des données. Le singulier « théorie de programme » renvoie à notre idée d’ensemble du fonctionnement de la Safeguarding FGC, et le pluriel « théories de programme » aux configurations CMO qui composent cette théorie plus large. À chaque étape de l’évaluation réaliste, nous avons formulé nos théories de programme sous forme d’énoncés « si… alors » (voir aussi Brand et al., 2019). Les énoncés « si… alors » sont une manière de formuler des hypothèses sur « comment les résultats du programme se manifestent à travers les mécanismes du programme et les contextes correspondants » (Jagosh et al., 2022 : 2). Ce format a aidé l’équipe de recherche à garder à l’esprit, dès le départ, l’identification des mécanismes générateurs. Les termes « énoncés si… alors », « CMO » et « théories de programme » sont employés de manière interchangeable.

L’étude Safeguarding FGC repose sur une revue réaliste rapide (Stabler et al., 2019) et sur les résultats d’une étude pilote menée à Londres en 2019 (Bowring et Daly, 2021). La théorie de programme sur le fonctionnement des Safeguarding FGC et sur les familles qui semblaient en bénéficier a orienté la mise en place de la Safeguarding FGC sur le site pilote de 2019 et a été le point de départ de la présente étude. La théorie de programme issue de la revue et du pilote de 2019 a formé la base de notre théorie de programme initiale et comprenait un ensemble de « mécanismes interpersonnels intermédiaires » expliquant comment et pourquoi la Safeguarding FGC produisait des résultats dans des contextes particuliers (Stabler et al., 2019). Ces explications comprenaient (1) la réduction de la honte et de la culpabilisation lors des réunions, pour les familles comme pour les professionnels ; (2) une plus grande participation des parents aux décisions sur la manière de mettre leur enfant en sécurité ; (3) le sentiment de pouvoir d’agir des parents et de leur groupe de soutien élargi ; (4) la place centrale de la parole de l’enfant dans la prise de décision ; et (5) une moindre inquiétude des professionnels face au risque, grâce à une vision plus complète de la vie de la famille. Étant donné la petite taille de l’étude pilote de 2019 et le temps écoulé depuis, nous avons pris cette théorie de programme comme point de départ pour élaborer une théorie de programme propre à l’étude, plutôt que de la tester directement.

L’engagement des parties prenantes

Pour actualiser la théorie de programme de 2019, nous avons mené 13 entretiens avec 14 professionnels des services sociaux et des organismes partenaires ayant une expérience de la mise en place ou de la conduite de Safeguarding FGC, observé trois réunions au cours desquelles des professionnels du site pilote discutaient de la Safeguarding FGC, et échangé avec des membres des équipes des collectivités locales partenaires. Les questions des entretiens avec les parties prenantes ont été hiérarchisées et validées par l’équipe de l’étude, dont plusieurs membres avaient travaillé sur la théorie de programme de 2019. Elles portaient sur la mise en place et la conduite de la Safeguarding FGC et touchaient aux domaines suivants : la gestion du risque, l’engagement des enfants et des jeunes, l’engagement et l’appropriation par la famille, les familles susceptibles de bénéficier de l’intervention, les composantes essentielles de la Safeguarding FGC et les résultats.

Élaborer les énoncés « si… alors »

La liste ci-dessous présente les étapes suivies pour élaborer un ensemble d’énoncés « si… alors » qui rendent compte des idées de l’équipe de l’étude sur la manière dont la Safeguarding FGC pourrait fonctionner, nourries par un engagement initial approfondi des parties prenantes.

• Rédaction de 240 énoncés « si… alors » à partir des notes de l’équipe de recherche issues de l’engagement des parties prenantes et des intuitions éclairées et théorisations de l’équipe sur les chemins causaux possibles.
• Organisation et regroupement des énoncés « si… alors » par thème dans Excel.
• Réduction des 240 énoncés « si… alors » à 18, au fil de discussions avec l’équipe de l’étude et des parties prenantes clés. L’une des difficultés de l’évaluation réaliste est de gérer l’expansion de la théorie de programme initiale à mesure que de nouvelles intuitions et idées sont discutées, puis de réduire le nombre d’idées retenues pour l’évaluation. Il a donc fallu, inévitablement, renoncer à beaucoup de nos intuitions initiales.
• Mise au second plan de neuf des énoncés « si… alors » consolidés, selon des critères réalistes de hiérarchisation (Jagosh, 2022b).
• Utilisation des neuf énoncés « si… alors » restants pour élaborer les guides d’entretien et la grille d’observation. La grille d’observation comportait des rubriques correspondant aux étapes d’une FGC (voir la grille d’observation dans le tableau supplémentaire S1). Sous chaque rubrique figuraient des questions-guides fondées sur la théorie de programme initiale, pour orienter la prise de notes de la personne chargée de l’observation.

À ce stade, nous avions le sentiment d’avoir formulé, autant que possible, la manière dont la Safeguarding FGC pouvait selon nous fonctionner, et que nous pouvions passer à la collecte des données.

Phase 2 : collecter les données pour tester et affiner les théories de programme

Dans cette partie, nous décrivons comment la théorie de programme initiale a orienté les guides d’entretien et la grille d’observation. Nous présentons et justifions ensuite les méthodes de collecte de données employées et la taille de l’échantillon.

Les données qualitatives ont été recueillies pendant 9 mois sur trois sites d’études de cas en Angleterre. Les trois collectivités locales participant à la recherche avaient choisi d’expérimenter la Safeguarding FGC avant de décider de l’étendre, ou non. Les raisons en sont diverses et tiennent en partie à la surveillance exercée sur les services à l’enfance par les organismes de contrôle comme l’Ofsted, à des ressources limitées et au souhait de voir d’abord des preuves de succès (sur la mise en œuvre, voir Day et al., 2024). Seul un petit nombre de familles a donc bénéficié d’une Safeguarding FGC sur chaque site pendant la période de recrutement de l’étude. Parmi elles, trois familles ont accepté de participer à la recherche. Emmel affirme que, lorsqu’on recueille des données qualitatives dans le cadre d’une étude réaliste, « indiquer que 1 ou 200 cas ont été recueillis importe moins que la manière dont les éclairages sur des événements et des expériences servent à l’interprétation, à l’explication et aux affirmations tirées de la recherche » (Emmel, 2013 : 141). Manzano va dans le même sens : « l’important n’est pas "combien" de personnes nous interrogeons, mais "qui", "pourquoi" et "comment" » (Manzano, 2016 : 349). Le petit nombre de familles recrutées dans l’étude Safeguarding FGC masque la richesse et la profondeur des données qualitatives recueillies. Pour chaque famille participante, une personne de l’équipe de recherche a observé jusqu’à trois réunions entre la famille et les professionnels (dont la Safeguarding FGC et les réunions de bilan) et y a pris des notes anonymisées à l’aide d’une grille de prise de notes. Toutes les personnes présentes à la Safeguarding FGC ont ensuite été invitées par l’équipe de recherche à participer à deux entretiens, le premier dans le mois suivant la Safeguarding FGC, le second dans les 3 mois. Les données qualitatives comprenaient aussi les notes réflexives de l’équipe de recherche sur des réunions et des conversations avec des professionnels. Pour la première famille ayant consenti à la recherche, une personne de l’équipe a observé 3 réunions d’au moins une heure et demie chacune, en prenant des notes, et a mené 12 entretiens avec 8 personnes, membres de la famille et professionnels, à deux moments, sur une période de 6 mois. Malgré ces limites, l’équipe de recherche a pu recueillir des données approfondies, qui éclairent les expériences et les perceptions des familles et des professionnels sur le processus de Safeguarding FGC et sur son fonctionnement.

Élaborer des guides d’entretien et des grilles d’observation pour tester et affiner la théorie de programme

La théorie de programme initiale a servi à créer les guides d’entretien et une grille d’observation pour la collecte des données. L’entretien réaliste vise à éclairer la manière dont les personnes participantes « comprennent et ont vécu le programme, et à comparer ces expériences avec nos hypothèses sur la manière dont le programme fonctionne » (Manzano, 2016 : 349). Nous avons créé des guides d’entretien différents pour les parents et les personnes qui ont la charge de l’enfant, la famille élargie et les amis, les enfants et les jeunes, les professionnels des services sociaux et les organismes partenaires, selon les aspects du programme que chaque groupe était le mieux placé pour commenter. Nous avons aussi consulté un groupe de parents ayant une expérience vécue des services sociaux à l’enfance, pour recueillir leur avis sur les questions d’entretien et la grille d’observation. Un aspect de la Safeguarding FGC nous intéressait particulièrement : comprendre le ou les mécanismes sous-jacents qui amenaient les familles à accepter la proposition d’une Safeguarding FGC comme alternative à une conférence initiale de protection de l’enfance (le mode de travail habituel entre familles et professionnels lorsqu’il existe une inquiétude de protection). Le tableau 1 montre comment nous avons traduit un énoncé « si… alors » de notre théorie de programme initiale en questions pour notre guide d’entretien destiné aux parents et aux personnes qui ont la charge de l’enfant.

Les deux premières questions élaborées à partir de l’énoncé « si… alors » du tableau 1 ont été volontairement laissées ouvertes, pour essayer de comprendre ce qui avait amené les parents et les personnes qui ont la charge de l’enfant à accepter une Safeguarding FGC. Des questions ouvertes et des relances explorant la manière dont les différentes composantes de l’intervention avaient fonctionné pour les personnes participantes ont permis à la recherche de saisir un éventail d’idées allant au-delà de ce que nous avions théorisé. Nous avons associé ces questions ouvertes à une technique d’entretien directe propre à l’évaluation réaliste, qui consiste à présenter aux personnes interviewées certains aspects de la théorie de programme initiale (Manzano, 2016). Dans cette approche, la personne qui mène l’entretien expose tout ou partie de la configuration CMO et invite la personne interviewée à l’approuver, à la contester ou à la compléter (voir la question 3 du tableau 1) (Manzano, 2016). L’intérêt de ce type de questionnement est de donner aux personnes participantes la possibilité de commenter directement la logique des CMO, de les clarifier, de les compléter ou de les réfuter. En pratique, cette approche directe a montré ses limites, selon l’aisance des personnes participantes face à des idées qu’on leur soumettait, à l’idée de contredire l’équipe de recherche et de proposer d’autres explications. L’équipe de Griffiths note que cette manière de mener les entretiens est « probablement plus efficace avec les responsables politiques et une partie des professionnels de terrain » (Griffiths et al., 2022 : 2). Compte tenu de ces limites, et parce que nous voulions recueillir un éventail de réponses, la plupart des questions posées en entretien étaient ouvertes (comme les questions 1 et 2 du tableau 1), tout en restant directement fondées sur la théorie de programme et tournées vers la compréhension du fonctionnement du programme dans des cadres différents, pour des personnes différentes. Poser les questions de diverses manières s’est révélé utile et a produit des données qui ont approfondi notre compréhension de la manière dont les personnes interviewées avaient vécu la Safeguarding FGC. Nous avons ensuite comparé et confronté ces expériences avec d’autres données et avec nos théories de programme (Manzano, 2016).

Phase 3 : l’analyse des données

L’analyse réaliste des données est itérative : à mesure que les données étaient recueillies, elles étaient analysées dans un processus cyclique de mise à l’épreuve et d’affinement (Wong et al., 2016). L’une des principales différences entre l’évaluation réaliste et les autres types d’évaluation est le recours à la théorisation rétroductive. La rétroduction va au-delà du raisonnement inductif et déductif et consiste à « remonter à partir des schémas ou régularités observés, ou à aller en dessous ou derrière eux, pour découvrir ce qui les produit » (Lewis-Beck et al., 2004). La rétroduction est « l’activité qui consiste à théoriser et à tester les mécanismes causaux cachés responsables de la manifestation de l’empirique » (Jagosh, 2020 : 121). À mesure que les données étaient recueillies et versées à l’analyse, les théories de programme ont évolué, et la compréhension, par l’équipe de recherche, des nuances du fonctionnement du programme pour différentes familles et dans différents contextes s’est précisée.

Les entretiens ont été enregistrés et transcrits mot pour mot. Faute de temps, la transcription a été confiée à un prestataire extérieur. Les notes d’observation ont été saisies à l’aide des grilles d’observation. Les notes réflexives de l’équipe de recherche ont également été saisies et intégrées à l’analyse. Toutes les personnes, tous les lieux et toutes les organisations mentionnés dans les données ont été pseudonymisés pour préserver l’anonymat.

Étape 1 : la familiarisation

L’évaluation réaliste demande de rechercher, dans les données, les chaînes causales qui conduisent à des résultats voulus et non voulus. L’éclairage causal peut ne pas apparaître pleinement dans une citation d’entretien donnée, car, selon la méthodologie réaliste, les mécanismes générateurs existent sous l’empirique (c’est la profondeur ontologique) et c’est par la rétroduction que la recherche réaliste théorise ce qu’ils pourraient être. C’est pourquoi nous avons d’abord considéré les données de manière globale, en relisant chaque transcription d’entretien et en réfléchissant à ce qu’elle apprenait sur le fonctionnement du programme (Jagosh, 2022a). Cela a aidé l’équipe de recherche à se faire une idée des principaux éclairages causaux des données. Pour les consigner, l’équipe a rédigé un court résumé de chaque transcription, en gardant la théorie de programme à l’esprit, et a relevé les principaux thèmes qui émergeaient des données. Le résumé et les thèmes ont été placés en tête de chaque élément de données avant sa préparation pour un codage plus détaillé.

Étape 2 : coder et annoter dans NVivo

Les données ont été chargées dans le logiciel NVivo 12 de QSR International. NVivo est un outil utile pour organiser l’analyse d’un corpus de données qualitatives vaste et varié. L’équipe de Dalkin (2021) a écrit sur l’usage de NVivo et d’autres logiciels d’aide à l’analyse de données qualitatives en évaluation réaliste. Elle souligne la nécessité d’utiliser NVivo avec souplesse, d’une manière adaptée aux particularités de chaque équipe et de chaque étude. La partie qui suit décrit notre manière d’utiliser NVivo.

Nous avons utilisé NVivo comme outil pour organiser et coder les données. Nous ne l’avons pas utilisé comme registre exhaustif de toutes les décisions liées à l’élaboration de la théorie : nous avons plutôt suivi les modifications de la théorie de programme dans Excel. Une grille de codage a été élaborée dans NVivo à partir des neuf CMO de la théorie de programme initiale, formulés en énoncés « si… alors ». L’intitulé court de chaque CMO a été saisi dans NVivo comme code parent. À chacun de ces neuf CMO (codes parents) ont été associés quatre codes enfants. Les codes enfants sont des sous-codes qui catégorisent plus finement les données pour soutenir l’analyse. Pour chaque code parent, les codes enfants étaient (1) Confirme, (2) Affine, (3) Remet en question et (4) Relie (voir le tableau 2 pour la description de chaque code enfant). Les données qualitatives issues des entretiens, des observations et des notes réflexives de l’équipe de recherche ont été codées selon cette grille.

Nous avons rattaché chaque segment de données retenu à un code parent (l’une des neuf théories de programme) et à l’un des quatre codes enfants : « confirme », « affine », « remet en question » ou « relie ». Nous pouvions ainsi voir quelles données se rapportaient à quelles théories de programme, et si ces données confirmaient, affinaient ou remettaient en question nos hypothèses, ou les reliaient à d’autres théories de programme.

Les guides d’entretien et la grille d’observation avaient été élaborés à partir de la théorie de programme actualisée, et les questions et relances correspondaient à des théories de programme précises, ce qui aidait à savoir à quelles théories de programme rattacher les données. Lors du codage, nous avons fait appel à notre jugement pour rechercher des éclairages causaux sur l’ensemble de la théorie de programme. Pour chaque segment de données codé, nous avons aussi créé une annotation dans NVivo. La fonction d’annotation de NVivo permet de créer une note attachée à un segment de données précis. Pour chaque élément codé, nous avons rédigé une annotation indiquant l’intitulé du code, le code enfant et une ou deux phrases expliquant la logique du codage, avec les initiales de la personne qui codait et la date. Cela a permis de garder la trace de la logique, des décisions et des justifications complémentaires du rattachement de segments précis à différents codes et codes enfants (voir le tableau 3 pour un exemple tiré de nos données).

Nous avons codé les données le plus tôt possible après leur collecte et leur transcription. Au début de la période de collecte, nous avons rattaché une part importante des données aux codes enfants « affine ». C’est que nous dépassions nos intuitions initiales et affinions notre compréhension du fonctionnement du programme en parlant avec des personnes qui le vivaient. Au fil de l’étude, nous avons rattaché beaucoup plus de données au code « confirme », à mesure que nos énoncés « si… alors » se clarifiaient et étaient mis à l’épreuve. Il faut préciser que le codage était un outil d’analyse, et que nous n’avons pas recodé les données lorsque notre réflexion sur une configuration CMO évoluait. Nous avons plutôt discuté de notre hypothèse avec d’autres membres de l’équipe.

Étape 3 : la consolidation

Pour mieux comprendre les données, l’équipe de recherche a conçu un tableur destiné à consigner les principaux éclairages. Le tableur présentait le nom de chaque fichier de données sur l’axe vertical et les codes parents sur l’axe horizontal. La personne qui avait recueilli les données y ajoutait ensuite un court résumé des principaux éclairages liés à chaque code parent, pour chaque transcription d’entretien, chaque observation et chaque note réflexive : le nombre de segments rattachés au code parent, puis quelques phrases résumant la manière dont les données confirmaient, affinaient ou remettaient en question l’énoncé « si… alors ». Ce tableur a permis de partager les éclairages au sein de l’équipe et a servi de base aux discussions ultérieures lors des réunions de partage des données.

Étape 4 : la mise en discussion

Une grande partie de l’analyse s’est faite par la conversation, au sein de l’équipe de recherche, et entre l’équipe de recherche et les parties prenantes clés, lors des réunions de partage des données, des réunions théoriques et des réunions du groupe d’expertise des parties prenantes.

Les réunions de partage des données

Des réunions de partage des données se tenaient chaque semaine entre les membres de l’équipe de l’étude qui assuraient principalement la collecte. Elles avaient pour but de permettre aux membres de l’équipe qui travaillaient sur les sites d’études de cas de parler des données dont le sens leur paraissait à discuter, ou de signaler des données qui leur semblaient susceptibles de modifier la logique des énoncés « si… alors » existants. Lors de chaque réunion, en nous référant au tableur des principaux éclairages, nous examinions en général les données rattachées à un énoncé « si… alors », issues de différentes sources et de différents sites. Nous discutions du détail des données recueillies et confrontions nos interprétations avec celles des autres membres de l’équipe. Toutes les modifications de la théorie de programme proposées étaient consignées, puis soumises à l’ensemble de l’équipe de recherche lors des réunions théoriques.

Les réunions théoriques

Les réunions théoriques avaient lieu environ toutes les 4 à 6 semaines. Les dates permettant à l’équipe de se retrouver en présentiel étaient privilégiées, en raison de la complexité des discussions. L’ordre du jour variait selon les nouvelles données recueillies. Au total, 15 réunions théoriques d’au moins 2 heures chacune ont été tenues au cours du projet. Parfois, un seul énoncé « si… alors » était discuté ; lors d’autres réunions, la théorie de programme était examinée dans son ensemble. L’objectif général de ces réunions était de revendiquer des mécanismes générateurs et de les mettre à l’épreuve des données et de la discussion, ainsi que d’identifier les contextes et les résultats clés.

Lors de la plupart des réunions théoriques, des données codées étaient présentées et examinées en lien avec un ou deux énoncés « si… alors ». À partir des éclairages tirés des données et des discussions des réunions de partage, des propositions de modification étaient présentées avec des extraits des données. À d’autres moments, la personne qui avait recueilli les données racontait l’« histoire » de ces données, et l’équipe de recherche discutait librement de ce qui pouvait se passer et des énoncés « si… alors » auxquels cela se rattachait. Les réunions théoriques offraient à l’équipe de recherche un espace pour prendre des décisions communes afin d’améliorer la formulation des chaînes causales des énoncés « si… alors » et pour convenir des modifications.

Les réunions théoriques permettaient aussi de vérifier que la théorie saisissait les contextes, mécanismes et résultats les plus importants, et de décider quelles configurations CMO privilégier ou mettre au second plan. Elles offraient aussi périodiquement l’occasion de « vérifier la cohérence » de l’articulation de l’ensemble des théories de programme, en particulier vers la fin de l’étude. L’équipe s’appuyait sur les questions suivantes :

• 1. La chaîne causale de l’énoncé « si… alors » est-elle logique ?
• 2. Saisissons-nous ce qui compte le plus pour expliquer comment la Safeguarding FGC fonctionne, ou ne fonctionne pas ?
• 3. Nous manque-t-il quelque chose, ou avons-nous perdu en affinant les énoncés « si… alors » un élément que nous voulons réintégrer ?
• 4. Avons-nous saisi le contexte le plus pertinent ? (avec une invitation à envisager des contextes situés à différents niveaux du modèle socio-écologique : individuel, interpersonnel, institutionnel, communautaire et politique)
• 5. Qu’y a-t-il au cœur de cet énoncé « si… alors », et quels mots-clés pourraient le résumer ?
• 6. Avançons-nous dans les énoncés « si… alors » des affirmations qui nous semblent aller trop au-delà de nos données ?

Les réunions théoriques étaient enregistrées. Après chacune, un membre de l’équipe de recherche réécoutait l’enregistrement et modifiait les théories de programme en fonction de la discussion, pour en améliorer la logique, le chemin causal et la formulation. La nouvelle version de la théorie de programme était ensuite diffusée à l’équipe et validée. La théorie de programme actualisée servait alors de base au cycle suivant de codage et d’analyse.

Le groupe d’expertise des parties prenantes

Pour vérifier encore la cohérence de la théorie de programme, l’enrichir et la mettre à l’épreuve, l’équipe de recherche a périodiquement discuté des configurations CMO avec le groupe d’expertise des parties prenantes de l’étude (Expert Stakeholder Group). Ce groupe réunissait des personnes ayant une expérience vécue des services à l’enfance, ainsi que des professionnels de terrain et des universitaires travaillant dans le champ des services sociaux à l’enfance. Le groupe s’est réuni six fois, dans des compositions différentes, entre juillet 2022 et juin 2024. L’équipe de l’étude lui présentait la théorie de programme, ou des parties de celle-ci, sous forme d’énoncés « si… alors », ou partageait des sujets et des thèmes liés à la théorie de programme. Le groupe suggérait alors des nuances, des affinements et de nouveaux éclairages qui aidaient à clarifier les CMO et la logique d’ensemble de la théorie de programme, par la discussion et en répondant, à l’aide du logiciel de présentation interactive Mentimeter, à des questions fondées sur la théorie de programme. Comme l’équipe de Griffiths (2022), nous avons adapté notre manière de recueillir des retours sur la théorie de programme au groupe de personnes auquel nous nous adressions. Toutes les modifications et idées proposées étaient ensuite discutées par l’équipe de l’étude et consignées dans un tableur Excel. Sur les 18 CMO initiaux, les neuf que nous avons privilégiés et affinés sont ceux que les membres du groupe d’expertise nous ont désignés comme les plus importants.

Phase 4 : représenter la théorie de programme

La recherche réaliste représente les théories de programme de diverses manières. Nombre de ces manières passent par des descriptions écrites ou des récits pour chaque CMO, qui expliquent comment il a fonctionné (Greenhalgh et al., 2009 ; Jagosh et al., 2015). Ces récits sont parfois accompagnés de représentations visuelles de CMO particuliers ou de la théorie de programme dans son ensemble (voir par exemple Mukumbang et al., 2016b). Nous avons parfois utilisé des représentations visuelles de nos théories de programme, sous forme de schémas, lors de présentations aux parties prenantes et des réunions théoriques. Un schéma d’ensemble de la théorie de programme initiale a servi à théoriser l’articulation des CMO et à repérer les lacunes de nos connaissances (voir le protocole de l’étude, Stabler, 2024a : 12). Plus tard dans l’étude, des visuels d’énoncés « si… alors » particuliers ont servi à simplifier les théories de programme pour la discussion (par exemple la figure 1, une première version d’un schéma d’énoncé « si… alors » sur la manifestation de la confiance). Ces visuels se sont révélés des outils utiles pour construire et affiner les théories de programme, en particulier avec les parties prenantes. Si les schémas fonctionnaient bien pour susciter la discussion et la théorisation, nous avons jugé qu’une description narrative était nécessaire pour rendre compte de la nuance et de la complexité au moment de diffuser plus largement nos résultats.

À la fin de l’étude, nous avons choisi de représenter notre théorie de programme en rédigeant, pour chaque énoncé « si… alors », des récits explicatifs illustrés d’exemples tirés des données. Nous avons élaboré les questions et les pistes suivantes pour guider l’écriture :

Pour chaque énoncé « si… alors », examiner les questions suivantes :

• Qu’entendons-nous par ce CMO ?
• À quoi cela pourrait-il ressembler ?
• Qu’est-ce qui pourrait faire obstacle à ce CMO ?
• Qu’est-ce qui pourrait rendre ce CMO plus probable ?
• Comment ce CMO se relie-t-il à d’autres CMO (le résultat de l’un peut devenir le contexte d’un autre) ?

Pistes pour aider à rédiger les récits :

• En voici quelques exemples…
• Cela semble important : (a) sur l’ensemble de la théorie de programme ou (b) dans cette circonstance.
• Dans le territoire A, on voit X se produire de telle et telle manière, alors que dans le territoire B, cela pourrait ressembler à…
• Nous ne l’avons pas observé, mais il se pourrait que, si X est en place, Y se produise.
• La littérature suivante en témoigne…

Le document final ainsi obtenu était une version complète et développée de notre théorie de programme, que nous avons pu remanier et adapter pour la présenter à différents publics : pour rendre compte aux collectivités locales participantes, pour rédiger un rapport destiné à l’organisme financeur et pour soumettre des publications scientifiques.

Dans cet article, nous avons donné un exemple détaillé de la manière dont nous avons mené une évaluation réaliste de la Safeguarding FGC. Dans la partie suivante, nous revenons sur les difficultés et les possibilités particulières que nous avons rencontrées en menant une recherche réaliste dans le cadre des services sociaux à l’enfance.

Principales difficultés et possibilités de l’évaluation réaliste dans le cadre des services sociaux à l’enfance

Mener des évaluations dans les services sociaux à l’enfance pose plusieurs difficultés majeures, qui ne sont pas toutes propres à l’évaluation réaliste. Nous dégageons ici quelques difficultés rencontrées à chacune des phases décrites plus haut. Nous tentons aussi de montrer comment la méthodologie de l’évaluation réaliste nous a permis d’en surmonter certaines.

La qualité des données existantes

Le point de départ d’une évaluation réaliste est une théorie de programme initiale, qui s’appuie sur la littérature publiée et sur la consultation des parties prenantes pour formuler une première compréhension du fonctionnement d’un programme, qui pourra ensuite être mise à l’épreuve. La littérature évaluative en services sociaux à l’enfance est relativement peu développée par rapport à des disciplines comme la santé ou l’éducation (Proctor, 2017), en partie à cause de désaccords sur la bonne manière d’évaluer dans ce cadre (Frost et Dolan, 2021). Dans la littérature existante, la manière dont les interventions sont censées fonctionner est souvent peu théorisée de façon explicite (Stabler et al., 2022). Cela limite les données préexistantes sur lesquelles une évaluation peut s’appuyer dans ce cadre. L’approche réaliste invite cependant à chercher des données théoriquement riches auprès de différentes sources pour élaborer une théorie de programme initiale, y compris en dehors de la discipline de l’étude. Le travail social a de nombreuses disciplines voisines, comme la psychologie et le counselling, auxquelles on peut puiser pour comprendre les interventions de travail social. En outre, les évaluations réalistes peuvent s’appuyer sur d’autres travaux menés dans le même domaine, ou sur des interventions similaires, sans que ces travaux aient été explicitement conçus comme un programme de recherche. Cette étude s’est appuyée sur d’autres études de l’équipe consacrées aux interventions visant à réduire le besoin de placement des enfants, dont une revue exploratoire (Stabler et al., 2022), une revue réaliste rapide centrée sur des interventions proches de celle évaluée (Stabler et al., 2019 ; Stabler, 2024b) et une évaluation pilote de l’intervention dans trois collectivités locales (Bowring et Daly, 2021). Cela a fourni un solide point de départ pour comprendre comment l’intervention pouvait fonctionner. Cette compréhension peut ensuite être renforcée par l’engagement des parties prenantes : des personnes ayant l’expérience de certaines parties de la théorie de programme partagent leur expertise, qui peut être synthétisée avec les données de la littérature et d’autres études pour produire une théorie de programme initiale.

Le recrutement des personnes participantes

Le recrutement des personnes participantes est une autre difficulté persistante de la recherche en services sociaux à l’enfance. Il est difficile, parce que les personnes qui font l’objet d’interventions de travail social traversent souvent une période difficile de leur vie (Flaherty et Bromfield, 2021), et que les professionnels de terrain gèrent souvent des charges de travail élevées et d’autres obstacles à la participation à la recherche (Pulman et Fenge, 2023 ; Yoon et al., 2022). La participation à une recherche peut alors être vécue comme une charge supplémentaire, qui s’ajoute à ce qu’on attend déjà des membres de la famille et des professionnels : participer à de nombreuses réunions avec de nombreux services. Il peut aussi être difficile, à ce moment-là, pour l’équipe de recherche d’expliquer l’indépendance de son rôle et le caractère confidentiel de la participation, alors que les familles en sont à un point où beaucoup d’informations sur leur vie sont parfois partagées d’une manière qui les met mal à l’aise (Yoon et al., 2022). De plus, les collectivités locales ne disposent pas des infrastructures et des ressources nécessaires pour faciliter la recherche comme le font les organismes de santé (Mezey et al., 2015). Cependant, l’évaluation réaliste ne dépend pas d’un nombre « élevé » de personnes participantes, puisque « l’unité d’analyse n’est pas la personne, mais les événements et les processus qui l’entourent » (Greenhalgh et al., 2017 : 2). Les personnes participantes sont choisies en fonction des connaissances qu’elles peuvent avoir de différentes parties de la théorie de programme. Par exemple, les professionnels de première ligne peuvent avoir des points de vue importants sur les publics pour lesquels les interventions fonctionnent ou non, alors que les personnes qui bénéficient de l’intervention savent comment elle a fonctionné pour elles. Ainsi, des données qualitatives riches issues d’études de cas peuvent reposer sur un cadre d’échantillonnage dans lequel l’« échantillonnage » se fonde sur les contextes plutôt que sur des caractéristiques des familles définies à l’avance (Greenhalgh et al., 2017).

L’analyse des données

Les interventions des services sociaux à l’enfance peuvent fort bien être définies de manière souple plutôt que clairement manualisées. Souvent, dans ce cadre, les interventions ne tiennent pas seulement à « ce » qui est fait, mais à la manière de le faire, et s’appuient sur les relations et les manières d’interagir comme composante centrale (Frost et Dolan, 2021). En outre, le champ d’action des services sociaux à l’enfance est large, si bien que les résultats peuvent être flous, difficiles à mesurer et contestés entre parties prenantes (Forrester, 2017). Dans ce cadre, une approche réaliste peut sembler compliquée, car il peut être difficile de formuler clairement l’architecture du programme par rapport aux mécanismes. Comme on l’a vu, élaborer une théorie de programme initiale en s’appuyant sur l’expertise des parties prenantes est une manière de répondre à cette difficulté. Une autre possibilité est l’analyse en équipe, qui a permis d’examiner les données par la discussion, en mobilisant aussi l’expertise et les connaissances de l’équipe et sa compréhension du fonctionnement du programme. C’est particulièrement utile dans un cadre où les données cherchent à mettre au jour des savoirs différents, avec les langages et le jargon qui leur sont propres. L’analyse en équipe peut permettre de clarifier la compréhension, mais aussi de faire ressortir les parties qui restent incertaines. Celles-ci peuvent ensuite être mises à l’épreuve en priorité, grâce au modèle itératif « enseignant-apprenant » (Greenhalgh et al., 2017) de production des données lors des entretiens, ou par la recherche de littérature complémentaire.

Produire des données pertinentes et accessibles

Le travail de l’évaluation réaliste consiste à faire émerger et à rassembler ce que différentes personnes pensent savoir du fonctionnement d’un programme. En ce sens, une évaluation réaliste dans le cadre des services sociaux à l’enfance peut produire des données qui parlent aux professionnels de terrain, aux responsables politiques et aux familles. Des données qualitatives riches sur le fonctionnement des programmes peuvent nuancer les idées sur les chaînes causales et fournir des exemples concrets utiles. Une théorie de programme bien formulée doit rassembler ces données pour refléter l’expérience des personnes qui connaissent le programme. En un sens, elle restitue aux personnes participantes ce qu’elles « savent » déjà. Il n’est toutefois pas possible de restituer tout le niveau de détail présent dans les données. Tout l’art consiste à garder le niveau de détail qui apporte des informations utiles pour guider les professionnels de terrain, les responsables politiques, les familles, les autres équipes de recherche et toute personne concernée par les résultats, sans y mettre tant d’informations qu’elles en deviennent écrasantes. L’heuristique « CMO » aide à théoriser des mécanismes générateurs ontologiquement profonds, au-delà de l’empirique, tout en gardant l’attention sur la causalité ; elle permet d’inclure plus ou moins d’informations selon le public, ce qui aide à garder les résultats aussi pertinents que possible pour lui.

Conclusion

Dans cet article, nous avons montré comment nous avons mené une évaluation réaliste dans le cadre de l’étude Safeguarding Family Group Conference, dans trois collectivités locales d’Angleterre. Par un processus itératif de collecte, de codage, d’analyse et de discussion des données, l’équipe de recherche a mis à l’épreuve et affiné la théorie de programme initiale, avec une contribution importante des parties prenantes clés. L’équipe de Mukumbang note que « l’évaluation réaliste commence et se termine par une théorie » (Mukumbang et al., 2016a : 6). Dans cet article, nous avons décrit notre parcours (engagement des parties prenantes, collecte de données, analyse et écriture) et la manière dont nous avons élaboré, mis à l’épreuve et affiné notre théorie de programme. L’évaluation réaliste repose sur l’argument philosophique sous-jacent selon lequel il n’existe pas de « vérité ou de connaissance définitive » : le résultat recherché d’une évaluation réaliste est plutôt une « meilleure compréhension de la question de savoir si, comment et pourquoi les programmes fonctionnent » (Greenhalgh et al., 2019 : 1). Dans la recherche de meilleures explications, l’évaluation réaliste pourrait continuer à affiner indéfiniment ses théories de programme (Manzano, 2016 : 356). En réalité, la recherche, y compris l’étude Safeguarding FGC, est contrainte par les financements et les calendriers des projets. Nous invitons d’autres équipes de recherche à reprendre là où notre travail s’est arrêté et à continuer de mettre à l’épreuve et d’affiner la théorie que nous avons élaborée. Enfin, il faut souligner que cet article présente une manière, parmi d’autres, de mener une évaluation réaliste. Nous savons que ce n’est pas la seule, et nous encourageons les équipes qui se lancent dans une évaluation réaliste à adapter l’approche à leur projet, à leur équipe et à leur calendrier. L’évaluation réaliste est souple et gagne à intégrer différents types de preuves (littérature, parties prenantes, données de recherche), des stratégies de recrutement adaptatives et un travail d’équipe pour la théorisation rétroductive et l’analyse.