Introducción

Los servicios sociales de infancia en el Reino Unido

El sistema de servicios sociales de infancia del Reino Unido se describe como un sistema en «crisis» (Mackley et al., 2018). Durante las dos últimas décadas, las medidas de austeridad introducidas por el Gobierno británico han afectado considerablemente a los presupuestos de las autoridades locales y al gasto en servicios sociales de infancia. Aunque la financiación de la administración local cayó un 55 por ciento entre 2010 y 2020 (Ogden and Phillips, 2024), estos recortes no se repartieron por igual entre los servicios de infancia. El gasto destinado a mantener unidas a las familias se redujo de forma notable (Bennett et al., 2021), mientras que el gasto total en servicios sociales de infancia se ha más que duplicado en la última década (Webb, 2023), con un gasto cada vez más concentrado en la intervención obligatoria, como las investigaciones de protección infantil, la separación de niñas y niños de sus familias y su permanencia bajo tutela (MacAllister, 2022; Webb et al., 2022). Esta tendencia se ha visto perpetuada por los recortes en los servicios preventivos, que impulsan la «demanda» de intervención obligatoria (Bennett et al., 2021) y agravan aún más las dificultades, entre ellas la elevada carga de casos, el agotamiento profesional y la alta rotación del personal (Family Rights Group, 2018).

En Inglaterra, las autoridades locales tienen la obligación legal de intervenir cuando existe preocupación por la seguridad de un niño o una niña, concretamente cuando el personal profesional considera que «el niño sufre, o es probable que sufra, un daño significativo» (Children Act, 1989; HM Government, 2023: 8). Para evaluar esa preocupación se celebra una conferencia inicial de protección infantil (Initial Child Protection Conference). En ella, profesionales del trabajo social y de los organismos asociados (es decir, salud, policía y escuelas) comparten información y asumen la dirección para elaborar un plan que garantice la seguridad de la persona menor. Los datos disponibles indican que madres, padres e hijos viven el procedimiento de la conferencia inicial de protección infantil como excluyente, conflictivo y humillante (Gibson, 2015). No obstante, en el Reino Unido se reconoce cada vez más la necesidad de que la práctica del trabajo social abandone una cultura «experta» vertical en favor de una cultura relacional, que aborde la seguridad de la infancia mediante un proceso de coproducción con las familias (Ferguson et al., 2022; Ingram and Smith, 2018). La conferencia de grupo familiar (Family Group Conferencing, FGC) es una de las formas de implicar a las familias y a sus redes de apoyo social en la toma de decisiones, en colaboración con profesionales, sobre la mejor manera de proteger a sus hijos e hijas (Family Rights Group, 2021; Pennell et al., 2011).

Las evaluaciones de la FGC han tratado de identificar y medir resultados como la satisfacción de las personas participantes, los vínculos familiares, la mejora de las relaciones entre familias y profesionales, la seguridad de la infancia, la permanencia de niñas y niños fuera del sistema de tutela y el ahorro de costes (Holland et al., 2005; Marsh and Crow, 1997; Mason et al., 2017; Merkel-Holguin, 2004; Munro et al., 2017; Pennell and Burford, 2000; Taylor et al., 2023). Estas evaluaciones incluyen revisiones sistemáticas y ensayos controlados aleatorizados a gran escala (véanse Mason et al., 2017; Taylor et al., 2023) centrados en el resultado cuantitativo de la medida de acogimiento (es decir, cuántos niños y niñas fueron separados o no de su familia), el impacto en el gasto público y el ahorro de costes previsto. Captar el detalle de los procesos dirigidos por la familia con métodos de evaluación tradicionales resulta difícil, porque las intervenciones rara vez están claramente delimitadas y su implementación depende a menudo de factores contextuales locales (Mezey et al., 2015). Además, puede haber dificultades de reclutamiento y un acceso limitado a los datos (Mezey et al., 2015; Moody et al., 2021), lo que afecta a la utilidad de los resultados. Sin una base empírica sólida sobre lo que funciona, es difícil determinar dónde asignar unos recursos limitados para lograr el mayor impacto. Además, los ensayos controlados aleatorizados por sí solos no permiten captar cómo y por qué los procesos de toma de decisiones dirigidos por la familia, como la FGC, producen determinados resultados en distintos contextos.

Los entornos en los que se desarrollan las prácticas de los servicios sociales son sistemas abiertos y dinámicos, que evolucionan y se adaptan junto con los ecosistemas más amplios del lugar geográfico y de las relaciones entre profesionales y familias. Por ello, las intervenciones en los servicios sociales de infancia suelen adaptarse a su entorno en lugar de estar estrictamente especificadas de antemano, como es más habitual en el ámbito sanitario. Se necesitan enfoques evaluativos capaces de captar las condiciones dinámicas que favorecen u obstaculizan que una intervención alcance los resultados de interés en distintos entornos; la evaluación realista es uno de ellos.

Utilizar la evaluación realista para comprender las intervenciones en los servicios sociales de infancia

A diferencia de las formas tradicionales de evaluación, a la evaluación realista le interesa menos responder a la pregunta ¿funciona una intervención o un programa? y busca más bien averiguar cómo y por qué una intervención o un programa funciona en distintos entornos y con distintas poblaciones (Pawson and Tilley, 1997: 141). La tarea de quien realiza una evaluación realista consiste en desarrollar teorías del programa que formulen hipótesis sobre «cómo se espera que funcione un programa, dadas las influencias contextuales y los mecanismos de acción subyacentes» (Jagosh, 2019: 363). Las teorías del programa son las «unidades de análisis de la evaluación realista» (Dalkin et al., 2015: 3). Mediante la identificación, la formulación, la puesta a prueba y el refinamiento de estas teorías, quienes realizan evaluaciones realistas emprenden un proceso iterativo de depuración de sus hipótesis (Pawson and Tilley, 1997). Pawson y Tilley (1997) introdujeron la heurística de las configuraciones Contexto-Mecanismo-Resultado (Context-Mechanism-Outcome), o CMO, como herramienta analítica para operacionalizar las teorías del programa. El contexto remite a los «elementos clave del entorno de fondo de un programa que influyen en los resultados (p. ej., demografía, legislación, normas culturales)» (Jagosh, 2019: 363). Los mecanismos son los «recursos que ofrece un programa y la manera en que las personas responden a esos recursos (p. ej., información, consejo, confianza, implicación, motivación)» (Jagosh, 2019: 363). Desglosar los mecanismos en recursos del mecanismo y respuestas del mecanismo resulta útil, porque ayuda a distinguir lo que es un mecanismo de lo que es un contexto, lo que aporta claridad a la teoría del programa (Dalkin et al., 2015). En la evaluación realista, los resultados son los «efectos previstos o imprevistos derivados de las interacciones entre contexto y mecanismo (p. ej., cambio de perspectiva, actualización del servicio, toma de decisiones, resiliencia, resultados de salud, autoeficacia, vínculos sociales)» (Jagosh, 2019: 363).

Una parte central de la evaluación realista consiste en confrontarse con los supuestos ontológicos y epistemológicos que sustentan el programa o la intervención evaluados (véanse Jagosh, 2019, 2020; Pawson and Tilley, 1997). Cuatro ideas centrales ofrecen un punto de partida útil: (1) la profundidad ontológica, (2) la causalidad generativa, (3) la abducción y (4) la retroducción. La profundidad ontológica es la idea de que «la realidad está estratificada en capas» (Jagosh, 2019: 364). Para el realismo, lo real no es necesariamente observable, y es preciso ir más allá de la evidencia empírica para empezar a comprender la realidad. En consecuencia, la causalidad generativa, por oposición a la causalidad sucesionista, es «la idea de que mecanismos ocultos subyacentes generan los resultados» (Jagosh, 2019: 364), lo que significa que quienes adoptan el enfoque realista deben mirar más allá de la evidencia empírica para teorizar las posibles razones de lo que observan. Esto requiere tanto abducción como retroducción (Emmel, 2021). La abducción es una «teorización pragmática centrada en la creatividad como lógica de inferencia» (Tavory and Timmermans, 2014). En términos llanos, es una «intuición, corazonada o imaginación informada que conduce a nuevas ideas para generar teorías y poner a prueba posibles mecanismos» (Jagosh, 2020: 122). La retroducción es el modo de inferencia fundamental de la evaluación realista y consiste en postular mecanismos causales (véanse Emmel, 2021; Jagosh, 2019). Mediante la abducción y la retroducción, quienes investigan desde el realismo entablan «un diálogo entre la evidencia y las ideas» (Emmel, 2021: 103) sobre las CMO, sobre cómo funciona el programa o la intervención y para quién, en qué circunstancias. Los principios filosóficos aquí expuestos constituyen la base de la investigación realista.

Los estándares de publicación tratan de desmitificar la manera de llevar a cabo evaluaciones realistas (Wong et al., 2016). Otros trabajos los han completado con útiles guías prácticas. Por ejemplo, Gilmore y su equipo (2019) publicaron un artículo detallado en el que mostraban cómo habían realizado dos evaluaciones realistas de intervenciones de salud comunitaria en tres emplazamientos de estudio de caso. Al describir en profundidad lo que hicieron y cómo lo hicieron, aportaron una transparencia muy necesaria al proceso analítico de las evaluaciones realistas realizadas en entornos sanitarios complejos. Aunque hay cierto solapamiento, el ámbito de los servicios sociales de infancia plantea retos propios a quienes investigan. Por ejemplo, en los servicios sociales de infancia, el o la profesional del trabajo social suele estar asignado al niño o la niña, pero el «destinatario» de una intervención suele ser la madre, el padre o la persona cuidadora. Comprender los resultados de estas intervenciones exige, por tanto, una teorización explícita para entender cómo la intervención puede producir resultados para los propios niños y niñas, que quizá no participen directamente en ella.

En este artículo presentamos un ejemplo práctico de evaluación realista de las Safeguarding Family Group Conferences (en adelante, Safeguarding FGC) en Inglaterra. Para estructurar el artículo nos basamos en los epígrafes utilizados por Gilmore y su equipo (2019) y por Mukumbang y su equipo (2016a) en sus evaluaciones realistas. Tras una breve descripción del estudio Safeguarding FGC, presentamos la fase 1 de la investigación: la construcción de la teoría inicial del programa. En esta sección mostramos cómo consultamos a las partes interesadas para construir una teoría inicial del programa. En la fase 2 explicamos cómo diseñamos guiones de entrevista y plantillas de observación a partir de la teoría inicial del programa y cómo generamos los datos. En la fase 3 mostramos cómo analizamos los datos y cómo los utilizamos para refinar, refutar y poner a prueba nuestra teoría del programa dentro de cada caso y entre casos. En la fase 4 describimos cómo representamos nuestra teoría del programa al final del estudio. En la última sección destacamos los principales retos y oportunidades que ofrece la evaluación realista en el ámbito de los servicios sociales de infancia. Concluimos con una reflexión sobre por qué la evaluación realista es un enfoque útil que se beneficia de la inclusión de distintos tipos de evidencia procedentes de la bibliografía, de las partes interesadas y de los datos de investigación, de estrategias de reclutamiento adaptativas y de un enfoque en equipo de la teorización y el análisis retroductivos.

Safeguarding Family Group Conferencing: un ejemplo práctico de evaluación realista

Presentación del estudio Safeguarding FGC

La Safeguarding FGC es un proceso de toma de decisiones dirigido por la familia que reúne a familias y profesionales cuando existe una preocupación de protección infantil. El estudio Safeguarding FGC es una colaboración entre investigación y práctica en la que participan la University of Exeter Medical School; el Children’s Social Care Research and Development Centre (CASCADE) de la Cardiff University; The Royal Borough of Kensington and Chelsea; Westminster City Council y el London Borough of Hammersmith and Fulham. La investigación tenía como objetivos identificar qué familias tenían más probabilidades de beneficiarse de la Safeguarding FGC y de qué manera; identificar y comprender los factores que facilitan y obstaculizan la implementación de la Safeguarding FGC; y elaborar un paquete de implementación detallado para su despliegue nacional en las autoridades locales de Inglaterra. Las preguntas de investigación fueron las siguientes:

• 1. ¿Qué funciona, y de qué manera, para favorecer la adopción y la integración de la Safeguarding Family Group Conferencing en el circuito de protección infantil como alternativa a una conferencia inicial de protección infantil?
• 2. ¿Qué resultados consideran más adecuados las familias, incluidos niños, niñas y jóvenes, y el personal profesional?
• 3. ¿Para qué familias y en qué circunstancias las Safeguarding Family Group Conferences permiten una experiencia más positiva del circuito de protección infantil y favorecen resultados adecuados para las familias y el personal profesional?

El estudio Safeguarding FGC está financiado por el National Institute for Health Research (Ref.: NIHR131922).

Este artículo se centra en la metodología que utilizamos para evaluar la Safeguarding FGC (preguntas de investigación 2 y 3). En cuanto a la pregunta de investigación 1, hay una publicación en revisión que presenta los resultados cualitativos de la evaluación de la implementación (Day et al., 2024). El protocolo completo del estudio también está disponible (Stabler, 2024a). La investigación recibió la aprobación ética del Comité de Ética de la Investigación de la University of Exeter Medical School (número de referencia 493165) y de las autoridades locales participantes. Las personas participantes recibieron hojas informativas sobre lo que implicaba participar en la investigación, incluida la posibilidad de publicar los resultados. Dieron su consentimiento por escrito o, cuando no fue posible, se grabó en audio su consentimiento verbal, conforme a los términos de nuestra aprobación ética.

Las fases siguientes no fueron una sucesión lineal de tareas, sino que se desarrollaron en ciclos iterativos de recogida de datos, discusiones de equipo y construcción y puesta a prueba de la teoría con las partes interesadas y las personas participantes. Dalkin y su equipo señalan que este proceso de desarrollo y puesta a prueba de teorías del programa es «a menudo enrevesado» (Dalkin et al., 2021: 124). Al exponer nuestro enfoque, queremos aportar transparencia al proceso e ilustrar una manera de llevar a cabo una evaluación realista en la práctica.

Fase 1: construir la teoría inicial del programa

La teoría inicial del programa sirve para «formular hipótesis sobre cómo, por qué y para quién puede funcionar la intervención, a partir de revisiones bibliográficas y documentales y de entrevistas con informantes clave que diseñaron o aplican el programa» (Gilmore et al., 2019: 3; Mukumbang et al., 2016b; Pawson and Tilley, 1997). La teoría inicial del programa funciona como un «primer borrador» de explicación de cómo funciona el programa. Utilizamos el término teoría inicial del programa para referirnos a nuestro primer intento de explicar cómo funciona la Safeguarding FGC a partir de la implicación de las partes interesadas, de la bibliografía y de investigaciones anteriores. Después, utilizamos deliberadamente el término teoría del programa para referirnos a la teoría que pusimos a prueba y refinamos con los datos. Empleamos el singular «teoría del programa» para designar nuestra idea global de cómo funciona la Safeguarding FGC, y el plural «teorías del programa» para designar las configuraciones CMO que componen esa teoría más amplia. En cada etapa de la evaluación realista formulamos nuestras teorías del programa como enunciados «si… entonces» (véase también Brand et al., 2019). Los enunciados «si… entonces» son una forma de articular hipótesis sobre «cómo se manifiestan los resultados del programa a través de los mecanismos del programa y de los contextos correspondientes» (Jagosh et al., 2022: 2). El formato «si… entonces» ayudó al equipo de investigación a tener presente desde el principio la identificación de los mecanismos generativos. Los términos enunciados «si… entonces», CMO y teorías del programa se utilizan indistintamente.

El estudio Safeguarding FGC se basa en una revisión realista rápida (Stabler et al., 2019) y en los resultados de un estudio piloto realizado en Londres en 2019 (Bowring and Daly, 2021). La teoría del programa sobre cómo funcionan las Safeguarding FGC y qué familias parecían beneficiarse de ellas orientó el desarrollo práctico de la Safeguarding FGC en el emplazamiento piloto de 2019 y fue el impulso del presente estudio. La teoría del programa derivada de la revisión y del piloto de 2019 constituyó la base de nuestra teoría inicial del programa e incluía una serie de «mecanismos interpersonales intermedios» que explicaban cómo y por qué la Safeguarding FGC producía resultados en contextos determinados (Stabler et al., 2019). Estas explicaciones incluían (1) la reducción de la vergüenza y la culpa en las reuniones, tanto para las familias como para el personal profesional; (2) una mayor participación de madres y padres en las decisiones sobre cómo mantener a salvo a su hijo o hija; (3) el empoderamiento de madres y padres y de su grupo de apoyo más amplio; (4) el lugar central de la voz del niño o la niña en la toma de decisiones; y (5) una menor preocupación del personal profesional por el riesgo, al conocer una imagen más completa de la vida de la familia. Dada la pequeña escala del estudio piloto de 2019 y el tiempo transcurrido desde su realización, tomamos esta teoría del programa como punto de partida para desarrollar una teoría del programa propia del estudio, en lugar de ponerla a prueba directamente.

Implicación de las partes interesadas

Para actualizar la teoría del programa de 2019, realizamos 13 entrevistas con 14 profesionales de los servicios sociales y de organismos asociados con experiencia en la implementación o la realización de Safeguarding FGC, observamos tres reuniones en las que profesionales del emplazamiento piloto debatían sobre la Safeguarding FGC y trabajamos con miembros de los equipos de las autoridades locales asociadas. Las preguntas de las entrevistas con las partes interesadas fueron priorizadas y acordadas por el equipo del estudio, parte del cual había trabajado en la teoría del programa de 2019. Las preguntas se centraban en la implementación y la realización de la Safeguarding FGC y se referían a los siguientes ámbitos: gestión del riesgo, implicación de niños, niñas y jóvenes, implicación y apropiación por parte de la familia, qué familias podrían beneficiarse de la intervención, componentes esenciales de la Safeguarding FGC y resultados.

Elaborar enunciados «si… entonces»

Los puntos siguientes describen los pasos que seguimos para elaborar un conjunto de enunciados «si… entonces» que recogieran las ideas del equipo del estudio sobre cómo podría funcionar la Safeguarding FGC, a partir de una implicación inicial amplia de las partes interesadas.

• Redactamos 240 enunciados «si… entonces» a partir de las notas tomadas durante la implicación de las partes interesadas y de las intuiciones informadas y la teorización del equipo de investigación sobre posibles vías causales.
• Organizamos y agrupamos los enunciados «si… entonces» por temas en Excel.
• Redujimos los 240 enunciados «si… entonces» a 18 mediante discusiones con el equipo del estudio y con partes interesadas clave. Uno de los retos de la evaluación realista es gestionar la expansión de la teoría inicial del programa a medida que se discuten nuevas intuiciones e ideas, y después reducir el número de ideas que se llevarán adelante en la evaluación. Esto supuso inevitablemente renunciar a muchas de nuestras intuiciones iniciales.
• Relegamos nueve de los enunciados «si… entonces» consolidados según criterios realistas de priorización (Jagosh, 2022b).
• Utilizamos los nueve enunciados «si… entonces» restantes para elaborar los guiones de entrevista y la plantilla de observación. La plantilla de observación incluía epígrafes correspondientes a las etapas de una FGC (véase la plantilla de observación en la Supplementary Table S1). Bajo cada epígrafe se incluían preguntas orientativas basadas en la teoría inicial del programa para guiar la toma de notas de la persona investigadora.

En esta fase consideramos que habíamos formulado en la mayor medida posible cómo pensábamos que podía funcionar la Safeguarding FGC y que estábamos en condiciones de pasar a la recogida de datos.

Fase 2: recogida de datos para poner a prueba y refinar las teorías del programa

En esta sección describimos cómo la teoría inicial del programa orientó los guiones de entrevista y la plantilla de observación. A continuación describimos y justificamos los métodos de recogida de datos utilizados y el tamaño de la muestra.

Los datos cualitativos se recogieron durante 9 meses en tres emplazamientos de estudio de caso en Inglaterra. Las tres autoridades locales que participaron en la investigación optaron por pilotar la Safeguarding FGC antes de decidir si ampliarla o no. Las razones son diversas y se deben en parte al escrutinio al que someten a los servicios de infancia organismos reguladores como Ofsted, a la escasez de recursos y al deseo de ver primero pruebas de éxito (sobre la implementación, véase Day et al., 2024). Esto hizo que solo un pequeño número de familias de cada emplazamiento tuviera una Safeguarding FGC durante el periodo de reclutamiento del estudio. De ellas, tres familias aceptaron participar en la investigación. Emmel sostiene que, cuando se recogen datos cualitativos en el marco de un estudio realista, «informar de que se recogieron 1 o 200 casos no es tan importante como la manera en que la comprensión de los acontecimientos y las experiencias se utiliza para la interpretación, la explicación y las afirmaciones de la investigación» (Emmel, 2013: 141). Manzano coincide al afirmar que «lo importante no es “con cuántas” personas hablamos, sino “con quién”, “por qué” y “cómo”» (Manzano, 2016: 349). El reducido número de familias reclutadas en el estudio Safeguarding FGC oculta la riqueza y la profundidad de los datos cualitativos recogidos. En cada familia participante, una persona del equipo de investigación observó y tomó notas anonimizadas en un máximo de tres reuniones entre la familia y profesionales (incluidas la Safeguarding FGC y las reuniones de revisión), con ayuda de una plantilla de notas. Después, el equipo de investigación invitó a todas las personas que habían asistido a la Safeguarding FGC a participar en dos entrevistas, la primera durante el mes siguiente a la Safeguarding FGC y la segunda en los 3 meses siguientes. Los datos cualitativos incluían también notas reflexivas del equipo de investigación sobre reuniones y conversaciones con profesionales. En el caso de la primera familia que dio su consentimiento, una persona del equipo observó y tomó notas en 3 reuniones de al menos 1,5 horas cada una y realizó 12 entrevistas con 8 personas, entre familiares y profesionales, en dos momentos a lo largo de 6 meses. Pese a las limitaciones, el equipo de investigación pudo recoger datos en profundidad que arrojaron luz sobre las experiencias y percepciones de las familias y del personal profesional respecto del proceso de Safeguarding FGC y de su funcionamiento.

Elaborar guiones de entrevista y plantillas de observación para poner a prueba y refinar la teoría del programa

La teoría inicial del programa se utilizó para crear guiones de entrevista y una plantilla de observación para la recogida de datos. El objetivo de la entrevista realista es arrojar luz sobre cómo las personas participantes «entienden y han vivido el programa, y comparar esas experiencias con nuestras hipótesis sobre cómo funciona el programa» (Manzano, 2016: 349). Creamos distintos guiones de entrevista para madres, padres y personas cuidadoras, para la familia extensa y las amistades, para niños, niñas y jóvenes, para profesionales de los servicios sociales y para los organismos asociados, en función de los aspectos del programa sobre los que cada grupo estaba en mejor posición para opinar. También consultamos a un grupo de madres y padres con experiencia vivida de los servicios sociales de infancia para recabar su opinión sobre las preguntas de las entrevistas y la plantilla de observación. Uno de los aspectos de la Safeguarding FGC que nos interesaba era comprender el mecanismo o los mecanismos subyacentes que llevaban a las familias a aceptar la propuesta de una Safeguarding FGC como alternativa a una conferencia inicial de protección infantil (la forma habitual de trabajo entre familias y profesionales cuando existe una preocupación de protección). La tabla 1 muestra cómo tradujimos un enunciado «si… entonces» de nuestra teoría inicial del programa en preguntas para nuestro guion de entrevista destinado a madres, padres y personas cuidadoras.

Las dos primeras preguntas elaboradas a partir del enunciado «si… entonces» de la tabla 1 se dejaron deliberadamente abiertas para intentar comprender qué había llevado a madres, padres y personas cuidadoras a aceptar una Safeguarding FGC. Las preguntas abiertas y las repreguntas que exploraban cómo habían funcionado para las personas participantes las distintas partes de la intervención garantizaron que la investigación recogiera un abanico de ideas más allá de lo que habíamos teorizado. Combinamos estas preguntas abiertas con una técnica de entrevista directa propia de la evaluación realista, en la que se presentan a la persona entrevistada aspectos de la teoría inicial del programa (Manzano, 2016). En este enfoque, la persona que entrevista explica toda la CMO o parte de ella y la invita a mostrarse de acuerdo, en desacuerdo o a completarla (véase la pregunta 3 de la tabla 1) (Manzano, 2016). La ventaja de este tipo de preguntas es que las personas participantes tienen la oportunidad de comentar directamente la lógica de las CMO, aclararlas, completarlas o refutarlas. En la práctica, observamos que este enfoque directo tenía sus límites, según la seguridad con la que las personas participantes recibían las ideas que se les presentaban, expresaban su desacuerdo con quien entrevistaba y proponían explicaciones alternativas. Griffiths y su equipo señalan que este enfoque de la entrevista «probablemente sea más eficaz con responsables políticos y con algunos profesionales» (Griffiths et al., 2022: 2). Dadas estas limitaciones, y porque queríamos recoger un abanico de respuestas, la mayoría de las preguntas formuladas en las entrevistas fueron abiertas (como las preguntas 1 y 2 de la tabla 1), aunque seguían basándose directamente en la teoría del programa y buscaban comprender cómo funcionaba el programa en distintos entornos y para distintas personas. Formular las preguntas de diversas maneras resultó útil y generó datos que ampliaron nuestra comprensión de cómo habían vivido la Safeguarding FGC las personas entrevistadas. Después comparamos y contrastamos esas experiencias con otros datos y con nuestras teorías del programa (Manzano, 2016).

Fase 3: análisis de los datos

El análisis realista de los datos es iterativo: a medida que se recogían, los datos se analizaban en un proceso cíclico de puesta a prueba y refinamiento (Wong et al., 2016). Una diferencia clave entre la evaluación realista y otros tipos de evaluación es el uso de la teorización retroductiva. La retroducción va más allá del razonamiento inductivo y deductivo e implica «remontarse desde, por debajo o por detrás de los patrones o regularidades observados para descubrir qué los produce» (Lewis-Beck et al., 2004). La retroducción es «la actividad de teorizar y poner a prueba los mecanismos causales ocultos responsables de la manifestación de lo empírico» (Jagosh, 2020: 121). A medida que se recogían datos y se incorporaban al análisis, las teorías del programa evolucionaron y el equipo de investigación fue precisando su comprensión de los matices de cómo funcionaba el programa para distintas familias y en distintos contextos.

Los datos de las entrevistas se grabaron y se transcribieron literalmente. Por limitaciones de tiempo, la transcripción se encargó a un servicio externo. Las notas de observación se pasaron a limpio con las plantillas de observación. Las notas reflexivas del equipo de investigación también se pasaron a limpio y se incluyeron en el análisis. Todas las personas participantes, lugares y organizaciones que aparecían en los datos se seudonimizaron para proteger el anonimato.

Paso 1: familiarización

La evaluación realista exige buscar en los datos las cadenas causales que conducen a resultados previstos e imprevistos. Puede que la comprensión causal no se haga plenamente evidente en una cita concreta de una entrevista porque, según la metodología realista, los mecanismos generativos existen por debajo de lo empírico (es decir, la profundidad ontológica) y, mediante la retroducción, quienes investigan desde el realismo teorizan cuáles podrían ser. Por eso consideramos primero los datos de forma global, leyendo cada transcripción de entrevista y reflexionando sobre lo que aportaba a la comprensión de cómo funciona el programa (Jagosh, 2022a). Esto ayudó al equipo de investigación a hacerse una idea de las principales aportaciones causales de los datos. Para recogerlas, el equipo redactó un breve resumen de cada transcripción teniendo presente la teoría del programa e identificó los temas clave que surgían de los datos. El resumen y los temas se añadieron al principio de cada documento antes de prepararlo para una codificación más detallada.

Paso 2: codificar y anotar en NVivo

Los datos se cargaron en el programa informático NVivo 12 de QSR International. NVivo es una herramienta útil para organizar el análisis de un conjunto de datos cualitativos amplio y diverso. Dalkin et al. (2021) escriben sobre el uso de NVivo y de otros programas de análisis cualitativo asistido por ordenador en la evaluación realista. Señalan que es necesario utilizar NVivo con flexibilidad, de un modo que se ajuste a las particularidades de cada equipo y de cada estudio. La sección siguiente describe nuestra manera de utilizar NVivo.

Utilizamos NVivo como herramienta para organizar y codificar los datos. No lo utilizamos como registro exhaustivo de todas las decisiones relativas al desarrollo de la teoría. En su lugar, hicimos el seguimiento de los cambios de la teoría del programa en Excel. Se elaboró en NVivo un marco de codificación a partir de las nueve CMO de la teoría inicial del programa, expresadas como enunciados «si… entonces». El título abreviado de cada CMO se introdujo en NVivo como código principal. A cada una de estas nueve CMO (códigos principales) se le asignaron cuatro subcódigos. Los subcódigos categorizan los datos con más detalle para apoyar el análisis. Para cada código principal, los subcódigos eran (1) Respalda, (2) Refina, (3) Cuestiona y (4) Conecta (véase en la tabla 2 la descripción de cada subcódigo). Los datos cualitativos de las entrevistas, las observaciones y las notas reflexivas del equipo de investigación se codificaron con este marco.

Codificamos cada fragmento de datos seleccionado en un código principal (una de las nueve teorías del programa) y en uno de los cuatro subcódigos: «respalda», «refina», «cuestiona» o «conecta». Así podíamos ver qué datos se relacionaban con cada una de nuestras teorías del programa, y si esos datos respaldaban, refinaban o cuestionaban nuestras hipótesis o se conectaban con otras teorías del programa.

Los guiones de entrevista y la plantilla de observación se elaboraron a partir de la teoría del programa actualizada, y las preguntas y repreguntas correspondían a teorías del programa concretas, lo que ayudaba a orientar en qué teorías del programa codificar los datos. Al codificar, aplicamos nuestro criterio para buscar aportaciones causales en el conjunto de la teoría del programa. Para cada fragmento codificado creamos además una anotación en NVivo. La función de anotación de NVivo permite crear una nota vinculada a un fragmento concreto de los datos. En cada dato que codificamos creamos una anotación en la que escribíamos el título del código, el subcódigo y una o dos frases que explicaban el razonamiento de la codificación, junto con las iniciales de la persona investigadora y la fecha. Esto nos ayudó a seguir la lógica, la toma de decisiones y la justificación de la codificación de fragmentos concretos en distintos códigos y subcódigos (véase en la tabla 3 un ejemplo extraído de nuestros datos).

Codificamos los datos lo antes posible tras su recogida y transcripción. Al principio del periodo de recogida de datos, codificamos una parte considerable de los datos en los subcódigos «refina». Esto se debe a que estábamos yendo más allá de nuestras intuiciones iniciales y afinando nuestra comprensión de cómo funcionaba el programa al hablar con las personas que lo estaban viviendo. A medida que avanzaba el estudio, codificamos muchos más datos en «respalda», porque nuestros enunciados «si… entonces» se iban aclarando y poniendo a prueba. Cabe señalar que el proceso de codificación era una herramienta analítica y que no volvimos a recodificar los datos cuando evolucionaba nuestra reflexión sobre una CMO concreta. En su lugar, discutíamos nuestra hipótesis con otras personas.

Paso 3: consolidar

Para comprender mejor los datos, el equipo de investigación elaboró una hoja de cálculo que recogía las aportaciones clave. La hoja de cálculo tenía el nombre de cada archivo de datos en el eje Y y los códigos principales en el eje X. La persona investigadora que había recogido los datos incluía después un breve resumen de las aportaciones clave relacionadas con cada código principal para cada transcripción de entrevista, observación y nota reflexiva. Ese resumen incluía el número de fragmentos codificados en el código principal y unas pocas frases que resumían cómo respaldaban, refinaban o cuestionaban los datos el enunciado «si… entonces». Esta hoja de cálculo permitía compartir las aportaciones en todo el equipo y sirvió de base para las discusiones posteriores en las reuniones de puesta en común de datos.

Paso 4: deliberar

Gran parte del análisis se realizó mediante conversaciones dentro del equipo de investigación, y entre el equipo de investigación y las partes interesadas clave, en reuniones de puesta en común de datos, reuniones de teoría y reuniones del grupo experto de partes interesadas.

Reuniones de puesta en común de datos

Las reuniones de puesta en común de datos se celebraban cada semana entre los miembros del equipo del estudio principalmente encargados de recoger los datos. Su objetivo era que las personas investigadoras que trabajaban en los emplazamientos de estudio de caso hablaran de los datos cuyo significado querían discutir, o señalaran datos que, a su juicio, podían afectar a la lógica de los enunciados «si… entonces» existentes. En cada reunión, tomando como referencia la hoja de cálculo de aportaciones clave, solíamos examinar los datos codificados en un enunciado «si… entonces», procedentes de distintas fuentes y de distintos emplazamientos. Discutíamos los detalles de los datos recogidos y contrastábamos nuestras interpretaciones con las de otras personas del equipo. Todos los posibles cambios propuestos a la teoría del programa se registraban y se llevaban después al conjunto del equipo de investigación en las reuniones de teoría.

Reuniones de teoría

Las reuniones de teoría se celebraban aproximadamente cada 4–6 semanas. Se daba prioridad a las fechas en que el equipo podía reunirse en persona, dada la complejidad de las discusiones. El orden del día de las reuniones de teoría variaba según los nuevos datos recogidos. En total, a lo largo del proyecto se celebraron 15 reuniones de teoría de al menos 2 horas cada una. A veces solo se discutía un enunciado «si… entonces»; en otras reuniones se examinaba la teoría del programa en su conjunto. El objetivo general de estas reuniones era postular y poner a prueba mecanismos generativos con los datos y mediante la discusión, e identificar los contextos y resultados clave.

En la mayoría de las reuniones de teoría se presentaban y examinaban datos codificados relacionados con uno o dos enunciados «si… entonces». A partir de lo que aportaban los datos y de las discusiones de las reuniones de puesta en común, se presentaban propuestas de cambio acompañadas de extractos de los datos. Otras veces, la persona investigadora compartía la «historia» de los datos y el equipo de investigación debatía abiertamente qué podía estar ocurriendo y con qué enunciados «si… entonces» se relacionaba. Las reuniones de teoría servían de espacio para que el equipo de investigación tomara decisiones conjuntas con el fin de mejorar la formulación de las cadenas causales de los enunciados «si… entonces» y acordar los cambios.

Las reuniones de teoría también servían para asegurarse de que la teoría recogía los contextos, mecanismos y resultados más importantes, y para decidir qué CMO priorizar o relegar. Periódicamente, las reuniones de teoría permitían además «comprobar la coherencia» del encaje de todas las teorías del programa, sobre todo hacia el final del estudio. El equipo se guiaba por las preguntas siguientes:

• 1. ¿Tiene sentido lógico la cadena causal del enunciado «si… entonces»?
• 2. ¿Estamos recogiendo lo más importante para explicar cómo funciona, o no funciona, la Safeguarding FGC?
• 3. ¿Se nos escapa algo, o hemos perdido algo al refinar los enunciados «si… entonces» que queramos reincorporar?
• 4. ¿Hemos recogido el contexto más pertinente? (con la indicación de tener en cuenta contextos que pueden situarse en distintos niveles del modelo socioecológico: individual, interpersonal, institucional, comunitario y político)
• 5. ¿Qué hay en el núcleo de este enunciado «si… entonces» y qué palabras clave podríamos usar para resumirlo?
• 6. ¿Hacemos en los enunciados «si… entonces» alguna afirmación que nos parezca ir demasiado lejos respecto de nuestra evidencia?

Las reuniones de teoría se grababan en audio y, después de cada una, un miembro del equipo de investigación volvía a escuchar la grabación y modificaba las teorías del programa en función de la discusión para mejorar su lógica, su vía causal y su formulación. La nueva versión de la teoría del programa se hacía circular después en el equipo para su aprobación. La teoría del programa actualizada servía entonces de base para la siguiente ronda de codificación y análisis.

Grupo experto de partes interesadas

Para comprobar una vez más la coherencia de la teoría del programa, obtener nuevas aportaciones y ponerla a prueba, el equipo de investigación discutió periódicamente las CMO con el grupo experto de partes interesadas del estudio (Expert Stakeholder Group). Este grupo incluía a personas con experiencia vivida de los servicios de infancia, así como a profesionales y personal académico del ámbito de los servicios sociales de infancia. Distintas composiciones del grupo se reunieron seis veces entre julio de 2022 y junio de 2024. El equipo del estudio presentaba al grupo la teoría del programa, o partes de ella, en forma de enunciados «si… entonces», o compartía temas relacionados con la teoría del programa. El grupo experto de partes interesadas proponía entonces matices, precisiones y nuevas aportaciones que ayudaban a aclarar las CMO y la lógica global de la teoría del programa, mediante la discusión y respondiendo a preguntas basadas en la teoría del programa con el programa de presentaciones interactivas Mentimeter. Al igual que Griffiths et al. (2022), adaptamos nuestra manera de recabar opiniones sobre la teoría del programa al grupo concreto de personas con el que hablábamos. Todos los cambios e ideas propuestos se discutían después en el equipo del estudio y se registraban en una hoja de cálculo de Excel. De las 18 CMO originales, las nueve que priorizamos y refinamos son las que los miembros del grupo experto de partes interesadas nos señalaron como más importantes.

Fase 4: representar la teoría del programa

Quienes investigan desde el realismo representan sus teorías del programa de maneras diversas. Muchos de estos enfoques recurren a descripciones escritas o relatos de cada CMO que explican cómo funcionó (Greenhalgh et al., 2009; Jagosh et al., 2015). A veces se acompañan de representaciones visuales de CMO concretas o de la teoría del programa en su conjunto (véase, por ejemplo, Mukumbang et al., 2016b). En ocasiones utilizamos representaciones visuales de nuestras teorías del programa en forma de diagramas cuando las presentábamos a las partes interesadas y en las reuniones de teoría. Un diagrama general de la teoría inicial del programa sirvió para teorizar cómo encajaban las CMO entre sí y para detectar lagunas en nuestro conocimiento (véase el protocolo del estudio, Stabler, 2024a: 12). Más adelante en el estudio, se utilizaron representaciones visuales de enunciados «si… entonces» concretos para simplificar las teorías del programa de cara a la discusión (por ejemplo, véase la figura 1: un diagrama de un primer borrador de enunciado «si… entonces» sobre la demostración de confianza). Estas representaciones visuales resultaron herramientas útiles para construir y refinar las teorías del programa, especialmente con las partes interesadas. Aunque los diagramas funcionaban bien para suscitar la discusión y la teorización, decidimos que era necesaria una descripción narrativa para recoger los matices y la complejidad al difundir más ampliamente nuestros resultados.

Al final del estudio, optamos por representar nuestra teoría del programa redactando relatos explicativos, con ejemplos extraídos de los datos, para cada enunciado «si… entonces». Elaboramos las preguntas y pautas siguientes para guiar la redacción:

Para cada enunciado «si… entonces», considerar las preguntas siguientes:

• ¿Qué entendemos por esta CMO?
• ¿Cómo podría manifestarse?
• ¿Qué podría obstaculizar esta CMO?
• ¿Qué podría hacer más probable que esta CMO se produzca?
• ¿Cómo se conecta esta CMO con otras CMO (el resultado de una puede convertirse en el contexto de otra)?

Pautas para ayudar a redactar los relatos:

• Algunos ejemplos de ello son…
• Esto parece importante: (a) en el conjunto de la teoría del programa o (b) en esta circunstancia.
• En la zona A vemos que X ocurre de estas maneras, mientras que en la zona B podría parecerse a…
• No lo hemos observado, pero podría ser que, si X está presente, entonces ocurra Y.
• Esto lo respalda la siguiente bibliografía…

El documento final resultante era una versión completa y extensa de nuestra teoría del programa, que pudimos editar y adaptar para presentarla a distintos públicos, por ejemplo para devolver los resultados a las autoridades locales participantes, para redactar un informe destinado a la entidad financiadora y para enviarla a publicaciones académicas.

En este artículo hemos presentado un ejemplo práctico de cómo llevamos a cabo una evaluación realista de la Safeguarding FGC. En la sección siguiente reflexionamos sobre los retos y oportunidades concretos que encontramos al hacer investigación realista en el ámbito de los servicios sociales de infancia.

Principales retos y oportunidades que ofrece la evaluación realista en el ámbito de los servicios sociales de infancia

La realización de evaluaciones en los servicios sociales de infancia plantea varios retos importantes, no todos exclusivos de la evaluación realista. Hemos destacado algunos de los retos que encontramos en cada una de las fases descritas más arriba. También hemos intentado mostrar cómo la metodología de la evaluación realista nos permitió superar algunos de ellos.

La calidad de la evidencia existente

El punto de partida de una evaluación realista es una teoría inicial del programa que se apoya en la bibliografía publicada y en la consulta a las partes interesadas para formular una primera comprensión de cómo funciona un programa, que después puede ponerse a prueba. La bibliografía evaluativa en los servicios sociales de infancia está relativamente poco desarrollada en comparación con disciplinas como la salud y la educación (Proctor, 2017), en parte por los desacuerdos sobre el enfoque de evaluación adecuado en este ámbito (Frost and Dolan, 2021). En la bibliografía existente suele faltar una teorización explícita de cómo se supone que funcionan las intervenciones (Stabler et al., 2022). Esto limita los datos previos disponibles en los que apoyarse para una evaluación en este ámbito. Sin embargo, el enfoque realista anima a buscar datos teóricamente ricos en distintas fuentes para desarrollar una teoría inicial del programa, incluso fuera de la disciplina del estudio. El trabajo social tiene muchas disciplinas afines, como la psicología y el counselling, a las que se puede recurrir para construir una comprensión de las intervenciones de trabajo social. Además, las evaluaciones realistas pueden apoyarse en otros trabajos realizados en el mismo ámbito, o sobre intervenciones similares, aunque no se hayan concebido explícitamente como un programa de trabajo. Este estudio se apoyó en otros estudios del equipo centrados en intervenciones destinadas a reducir la necesidad de que niñas y niños pasen al sistema de tutela, entre ellos una revisión exploratoria (Stabler et al., 2022), una revisión realista rápida centrada específicamente en intervenciones similares a la evaluada (Stabler et al., 2019; Stabler, 2024b) y una evaluación piloto de la intervención en tres autoridades locales (Bowring and Daly, 2021). Todo ello ofreció un sólido punto de partida para comprender cómo podía funcionar la intervención. Esa comprensión puede reforzarse después mediante la implicación de las partes interesadas: las personas con experiencia de algunas partes de la teoría del programa pueden compartir su conocimiento experto, que puede sintetizarse junto con los datos de la bibliografía y de otros estudios para producir una teoría inicial del programa.

El reclutamiento de participantes

Otro reto persistente de la investigación en los servicios sociales de infancia es el reclutamiento de participantes. Reclutar es difícil porque las personas que están pasando por una intervención de trabajo social probablemente atraviesan un momento difícil de su vida (Flaherty and Bromfield, 2021), y el personal profesional suele lidiar con una elevada carga de trabajo y con otros obstáculos para participar en investigaciones (Pulman and Fenge, 2023; Yoon et al., 2022). Esto puede hacer que la participación en una investigación se viva como una carga añadida, además de lo que ya se espera de familiares y profesionales, que deben asistir a numerosas reuniones con múltiples profesionales. En ese momento también puede resultar difícil para el equipo de investigación explicar la independencia de su papel y el carácter confidencial de la participación, cuando las familias se encuentran en una situación en la que puede estar compartiéndose mucha información sobre su vida de un modo que no les resulta cómodo (Yoon et al., 2022). Además, las autoridades locales no disponen de la infraestructura ni de los recursos necesarios para facilitar la investigación como sí ocurre con las organizaciones sanitarias (Mezey et al., 2015). Sin embargo, la evaluación realista no depende de un número «elevado» de participantes, ya que «la unidad de análisis no es la persona, sino los acontecimientos y procesos que la rodean» (Greenhalgh et al., 2017: 2). Las personas participantes se seleccionan en función del conocimiento que puedan tener sobre distintas partes de la teoría del programa. Por ejemplo, el personal de primera línea puede tener perspectivas importantes sobre para quién funcionan y para quién no funcionan las intervenciones, mientras que quienes reciben la intervención saben cómo funcionó para ellos. Por tanto, los datos cualitativos ricos procedentes de estudios de caso pueden utilizar un marco muestral en el que el «muestreo» se basa en los contextos y no en características de las familias fijadas de antemano (Greenhalgh et al., 2017).

El análisis de los datos

Las intervenciones en los servicios sociales de infancia pueden estar definidas de forma laxa en lugar de claramente manualizadas. A menudo, en este ámbito, las intervenciones no dependen solo de «qué» se hace, sino de cómo se hace, y se apoyan en las relaciones y en las formas de interactuar como componente esencial de la intervención (Frost and Dolan, 2021). Además, el ámbito de actuación de los servicios sociales de infancia es amplio, lo que significa que los resultados pueden no estar claros, ser difíciles de medir y ser objeto de controversia entre las distintas partes interesadas (Forrester, 2017). En este contexto, un enfoque realista puede parecer complicado, ya que puede resultar difícil formular con claridad la arquitectura del programa en relación con los mecanismos. Como se ha señalado más arriba, el proceso de desarrollo de una teoría inicial del programa apoyado en el conocimiento experto de las partes interesadas es una manera de abordar esta dificultad. Otra oportunidad es el enfoque del análisis en equipo, que permitió examinar los datos mediante la discusión, aprovechando también el conocimiento experto y los saberes del equipo y su comprensión de cómo funcionaba el programa. Esto resulta especialmente útil en un ámbito en el que los datos buscan sacar a la luz saberes diversos, con lenguajes y jergas diferentes. El análisis en equipo permite aclarar la comprensión, pero también señalar qué partes siguen pareciendo inciertas. Estas pueden priorizarse después para seguir poniéndolas a prueba, mediante el modelo iterativo «docente-aprendiz» (teacher-learner) (Greenhalgh et al., 2017) de generación de datos en las entrevistas con las personas participantes, o buscando más bibliografía.

Producir una evidencia pertinente y accesible

La labor de quien realiza una evaluación realista consiste en hacer aflorar y reunir lo que distintas personas creen saber sobre cómo funciona un programa. De este modo, una evaluación realista en el ámbito de los servicios sociales de infancia puede generar una evidencia que hable al personal profesional, a responsables políticos y a las familias. Los datos cualitativos ricos sobre cómo funcionan los programas pueden matizar las ideas sobre las cadenas causales y aportar ejemplos útiles de situaciones reales. Una teoría del programa bien formulada debe reunir estos datos para reflejar las experiencias de quienes conocen el programa. En cierto sentido, devuelve a las personas participantes lo que ya «saben». Sin embargo, no es posible presentar todo el nivel de detalle que contienen los datos. El arte consiste en ofrecer el nivel de detalle que proporcione información útil para orientar al personal profesional, a responsables políticos, a las familias, a otras personas investigadoras y a cualquiera para quien los resultados de la investigación sean pertinentes, sin incluir tanta información que resulte abrumadora. La heurística «CMO» ayuda a teorizar mecanismos generativos ontológicamente profundos más allá de lo empírico, sin perder de vista la causalidad, y permite incluir más o menos información según el público, lo que contribuye a que los resultados sean lo más pertinentes posible para cada público.

Conclusión

En este artículo hemos mostrado cómo llevamos a cabo una evaluación realista del estudio Safeguarding Family Group Conference en tres autoridades locales de Inglaterra. Mediante un proceso iterativo de recogida, codificación, análisis y discusión de los datos, el equipo de investigación puso a prueba y refinó la teoría inicial del programa con una contribución importante de las partes interesadas clave. Mukumbang y su equipo señalan que «la evaluación realista empieza y termina con una teoría» (Mukumbang et al., 2016a: 6). En este artículo hemos descrito cómo pasamos por un proceso de implicación de las partes interesadas, recogida de datos, análisis y redacción, y cómo desarrollamos, pusimos a prueba y refinamos nuestra teoría del programa. La evaluación realista se basa en el argumento filosófico de fondo de que no existe una «verdad o conocimiento final»; el resultado buscado de una evaluación realista es más bien una «mejor comprensión de si los programas funcionan, cómo y por qué» (Greenhalgh et al., 2019: 1). En la búsqueda de mejores explicaciones, quienes realizan evaluaciones realistas podrían seguir refinando sus teorías del programa indefinidamente (Manzano, 2016: 356). La realidad es que la investigación, incluido el estudio Safeguarding FGC, está limitada por la financiación y los plazos de los proyectos. Invitamos a otras personas investigadoras a retomar el trabajo donde lo dejamos y a seguir poniendo a prueba y refinando la teoría que desarrollamos. Por último, cabe señalar que este artículo presenta una manera de llevar a cabo una evaluación realista. Reconocemos que no es la única y animamos a quienes emprendan una evaluación realista a adaptar el enfoque a su proyecto, su equipo y su calendario concretos. La evaluación realista es flexible y se beneficia de la inclusión de distintos tipos de evidencia procedentes de la bibliografía, de las partes interesadas y de los datos de investigación, de estrategias de reclutamiento adaptativas y de un enfoque en equipo de la teorización y el análisis retroductivos.