Einleitung

Die Kinder- und Jugendhilfe im Vereinigten Königreich

Das System der Kinder- und Jugendhilfe im Vereinigten Königreich wird als „in der Krise“ beschrieben (Mackley et al., 2018). In den vergangenen zwei Jahrzehnten haben die von der britischen Regierung eingeführten Sparmaßnahmen die Haushalte der Kommunen und ihre Ausgaben für die Kinder- und Jugendhilfe erheblich beeinträchtigt. Während die Mittel für die Kommunen zwischen 2010 und 2020 um 55 Prozent sanken (Ogden and Phillips, 2024), verteilten sich diese Kürzungen nicht gleichmäßig auf die Leistungen für Kinder. Vielmehr gingen die Ausgaben für den Zusammenhalt von Familien deutlich zurück (Bennett et al., 2021), während sich die Gesamtausgaben der Kinder- und Jugendhilfe im letzten Jahrzehnt mehr als verdoppelt haben (Webb, 2023) und sich zunehmend auf gesetzlich vorgeschriebene Eingriffe konzentrieren, etwa Kinderschutzuntersuchungen, die Herausnahme von Kindern aus ihren Familien und ihre Unterbringung außerhalb der Familie (MacAllister, 2022; Webb et al., 2022). Verstärkt wurde dieser Trend durch Kürzungen bei präventiven Angeboten, die die „Nachfrage“ nach gesetzlichen Eingriffen antreiben (Bennett et al., 2021) und die Probleme weiter verschärfen, darunter hohe Fallzahlen, Burn-out und eine hohe Personalfluktuation (Family Rights Group, 2018).

In England sind die Kommunen gesetzlich verpflichtet einzugreifen, wenn Bedenken hinsichtlich der Sicherheit eines Kindes bestehen, insbesondere wenn Fachkräfte der Auffassung sind, dass „das Kind einen erheblichen Schaden erleidet oder wahrscheinlich erleiden wird“ (Children Act, 1989; HM Government, 2023: 8). Zur Einschätzung dieser Bedenken wird eine erste Kinderschutzkonferenz (Initial Child Protection Conference) abgehalten. Dort tauschen Fachkräfte der Sozialen Arbeit und der Partnerinstitutionen (d. h. Gesundheitswesen, Polizei und Schulen) Informationen aus und übernehmen die Federführung bei der Erstellung eines Plans, der die Sicherheit des Kindes gewährleisten soll. Befunde deuten darauf hin, dass Eltern und Kinder das Verfahren der ersten Kinderschutzkonferenz als ausgrenzend, konfrontativ und beschämend erleben (Gibson, 2015). Im Vereinigten Königreich wird jedoch zunehmend anerkannt, dass sich die Praxis der Sozialen Arbeit von einer hierarchischen „Experten“-Kultur hin zu einer beziehungsorientierten Kultur bewegen muss, die den Schutz von Kindern in einem Prozess der Koproduktion mit den Familien angeht (Ferguson et al., 2022; Ingram and Smith, 2018). Der Familienrat (Family Group Conferencing, FGC) ist eine Möglichkeit, Familien und ihre sozialen Unterstützungsnetzwerke partnerschaftlich mit Fachkräften an Entscheidungen darüber zu beteiligen, wie ihre Kinder am besten geschützt werden können (Family Rights Group, 2021; Pennell et al., 2011).

Evaluationen des FGC haben versucht, Ergebnisse wie die Zufriedenheit der Teilnehmenden, familiäre Bindungen, verbesserte Beziehungen zwischen Familien und Fachkräften, die Sicherheit von Kindern, den Verbleib von Kindern außerhalb der Fremdunterbringung und Kosteneinsparungen zu identifizieren und zu messen (Holland et al., 2005; Marsh and Crow, 1997; Mason et al., 2017; Merkel-Holguin, 2004; Munro et al., 2017; Pennell and Burford, 2000; Taylor et al., 2023). Zu diesen Evaluationen gehören systematische Übersichtsarbeiten und groß angelegte randomisierte kontrollierte Studien (siehe Mason et al., 2017; Taylor et al., 2023), die sich auf das quantitative Ergebnis der Unterbringung (d. h. wie viele Kinder aus ihrer Familie herausgenommen wurden oder nicht), die Auswirkungen auf öffentliche Mittel und die erwarteten Kosteneinsparungen konzentrieren. Die Einzelheiten familiengeleiteter Prozesse mit herkömmlichen Evaluationsmethoden zu erfassen, ist schwierig, weil Interventionen selten klar abgegrenzt sind und ihre Umsetzung oft von lokalen Kontextfaktoren abhängt (Mezey et al., 2015). Hinzu können Schwierigkeiten bei der Rekrutierung und ein eingeschränkter Datenzugang kommen (Mezey et al., 2015; Moody et al., 2021), was die Aussagekraft der Ergebnisse beeinträchtigt. Ohne eine solide Evidenzbasis darüber, was wirkt, lässt sich nur schwer bestimmen, wo begrenzte Mittel eingesetzt werden sollten, um die größte Wirkung zu erzielen. Zudem können randomisierte kontrollierte Studien allein nicht erfassen, wie und warum familiengeleitete Entscheidungsprozesse wie der FGC in unterschiedlichen Kontexten zu bestimmten Ergebnissen führen.

Die Settings, in denen sozialarbeiterische Praxis stattfindet, sind offene, dynamische Systeme, die sich mit den umfassenderen Ökosystemen des geografischen Ortes und der Beziehungen zwischen Fachkräften und Familien weiterentwickeln und anpassen. Interventionen in der Kinder- und Jugendhilfe werden daher in der Regel an ihr Setting angepasst, statt strikt vorab festgelegt zu sein, wie es im Gesundheitswesen häufiger der Fall ist. Benötigt werden Evaluationsansätze, die die dynamischen Bedingungen erfassen können, welche eine Intervention in verschiedenen Settings beim Erreichen der interessierenden Ergebnisse unterstützen oder behindern; die realistische Evaluation ist ein solcher Ansatz.

Die realistische Evaluation als Zugang zum Verständnis von Interventionen in der Kinder- und Jugendhilfe

Anders als herkömmliche Evaluationsformen ist die realistische Evaluation weniger daran interessiert, die Frage Wirkt eine Intervention oder ein Programm? zu beantworten; sie fragt vielmehr, wie und warum eine Intervention oder ein Programm in unterschiedlichen Settings bei unterschiedlichen Bevölkerungsgruppen wirkt (Pawson and Tilley, 1997: 141). Die Aufgabe realistisch Evaluierender besteht darin, Programmtheorien zu entwickeln, die Hypothesen darüber aufstellen, „wie ein Programm angesichts kontextueller Einflüsse und zugrunde liegender Wirkmechanismen funktionieren soll“ (Jagosh, 2019: 363). Programmtheorien sind die „Analyseeinheiten der realistischen Evaluation“ (Dalkin et al., 2015: 3). Durch das Identifizieren, Formulieren, Prüfen und Verfeinern dieser Theorien schärfen realistisch Evaluierende ihre Hypothesen in einem iterativen Prozess (Pawson and Tilley, 1997). Pawson und Tilley (1997) führten die Heuristik der Kontext-Mechanismus-Ergebnis-Konfigurationen (Context-Mechanism-Outcome), kurz CMOs, als analytisches Werkzeug zur Operationalisierung von Programmtheorien ein. Kontext bezeichnet zentrale „Elemente des Hintergrundumfelds eines Programms, die sich auf die Ergebnisse auswirken (z. B. Demografie, Gesetzgebung, kulturelle Normen)“ (Jagosh, 2019: 363). Mechanismen sind die „durch ein Programm angebotenen Ressourcen und die Art, wie Menschen auf diese Ressourcen reagieren (z. B. Information, Beratung, Vertrauen, Engagement, Motivation)“ (Jagosh, 2019: 363). Die Aufschlüsselung von Mechanismen in Mechanismus-Ressourcen und Mechanismus-Reaktionen ist hilfreich, weil sie unterscheiden hilft, was ein Mechanismus und was ein Kontext ist, und so die Programmtheorie klarer macht (Dalkin et al., 2015). Ergebnisse sind in der realistischen Evaluation die „beabsichtigten oder unbeabsichtigten Effekte, die aus dem Zusammenspiel von Kontext und Mechanismus hervorgehen (z. B. veränderte Sichtweise, Inanspruchnahme von Angeboten, Entscheidungsfindung, Resilienz, gesundheitliche Ergebnisse, Selbstwirksamkeit, soziale Verbindungen)“ (Jagosh, 2019: 363).

Ein zentraler Bestandteil realistischer Evaluation ist die Auseinandersetzung mit den ontologischen und epistemologischen Annahmen, die dem evaluierten Programm oder der evaluierten Intervention zugrunde liegen (siehe Jagosh, 2019, 2020; Pawson and Tilley, 1997). Vier Kernideen bieten einen nützlichen Ausgangspunkt: (1) ontologische Tiefe, (2) generative Kausalität, (3) Abduktion und (4) Retroduktion. Ontologische Tiefe meint die Vorstellung, dass „die Wirklichkeit in Schichten gegliedert ist“ (Jagosh, 2019: 364). Aus realistischer Sicht ist das Reale nicht notwendigerweise beobachtbar, und man muss über empirische Evidenz hinausgehen, um die Wirklichkeit zu verstehen. Daran anknüpfend ist generative Kausalität, im Gegensatz zur sukzessionistischen Kausalität, „die Vorstellung, dass zugrunde liegende verborgene Mechanismen Ergebnisse hervorbringen“ (Jagosh, 2019: 364) – Forschende mit realistischem Ansatz müssen also über die empirische Evidenz hinausblicken, um mögliche Gründe für das Beobachtete zu theoretisieren. Dies erfordert sowohl Abduktion als auch Retroduktion (Emmel, 2021). Abduktion ist „pragmatische Theoriebildung mit Fokus auf Kreativität als Schlusslogik“ (Tavory and Timmermans, 2014). Einfach ausgedrückt ist sie ein „Bauchgefühl, eine Ahnung oder eine informierte Vorstellungskraft, die zu neuen Ideen für die Theoriebildung und die Prüfung möglicher Mechanismen führt“ (Jagosh, 2020: 122). Retroduktion ist der grundlegende Schlussmodus der realistischen Evaluation und bezeichnet den Prozess, kausale Mechanismen zu postulieren (siehe Emmel, 2021; Jagosh, 2019). Durch Abduktion und Retroduktion treten realistisch Forschende in „einen Dialog zwischen Evidenz und Ideen“ (Emmel, 2021: 103) über CMOs, darüber, wie das Programm oder die Intervention wirkt und für wen unter welchen Umständen. Die hier skizzierten philosophischen Prinzipien bilden die Grundlage realistischer Forschung.

Berichtsstandards sollen die Durchführung realistischer Evaluationen entmystifizieren (Wong et al., 2016). Andere haben dies mit hilfreichen praktischen Anleitungen ergänzt. So veröffentlichte das Team um Gilmore (2019) einen ausführlichen Beitrag, in dem es zeigte, wie es zwei realistische Evaluationen gemeindebasierter Gesundheitsinterventionen an drei Fallstudienstandorten durchgeführt hatte. Indem es eingehend beschrieb, was es getan hatte und wie, brachte es dringend benötigte Transparenz in den Analyseprozess realistischer Evaluationen in komplexen Gesundheitssettings. Trotz gewisser Überschneidungen stellt das Feld der Kinder- und Jugendhilfe Forschende vor besondere Herausforderungen. So ist die Fachkraft der Sozialen Arbeit in der Kinder- und Jugendhilfe in der Regel dem Kind zugeordnet, die „Zielperson“ einer Intervention ist jedoch meist ein Elternteil oder eine Betreuungsperson. Um die Ergebnisse solcher Interventionen zu verstehen, bedarf es daher einer expliziten Theoriebildung darüber, wie die Intervention zu Ergebnissen für die Kinder selbst führen kann, die möglicherweise nicht direkt von ihr erreicht werden.

In diesem Beitrag stellen wir ein Praxisbeispiel einer realistischen Evaluation des Safeguarding Family Group Conferencing (im Folgenden Safeguarding FGC) in England vor. Zur Gliederung des Beitrags stützen wir uns auf die Überschriften, die das Team um Gilmore (2019) und das Team um Mukumbang (2016a) in ihren realistischen Evaluationen verwendet haben. Nach einer kurzen Beschreibung der Safeguarding-FGC-Studie stellen wir Phase 1 der Forschung vor – den Aufbau der initialen Programmtheorie. In diesem Abschnitt zeigen wir, wie wir Stakeholder konsultierten, um eine initiale Programmtheorie zu entwickeln. In Phase 2 legen wir dar, wie wir auf der Grundlage der initialen Programmtheorie Interviewleitfäden und Beobachtungsvorlagen entwickelten und Daten erhoben. In Phase 3 zeigen wir, wie wir die Daten analysierten und nutzten, um unsere Programmtheorie innerhalb von Fällen und fallübergreifend zu verfeinern, zu widerlegen und zu prüfen. In Phase 4 beschreiben wir, wie wir unsere Programmtheorie am Ende der Studie darstellten. Im letzten Abschnitt beleuchten wir die zentralen Herausforderungen und Chancen, die die realistische Evaluation im Feld der Kinder- und Jugendhilfe bietet. Abschließend reflektieren wir, inwiefern die realistische Evaluation ein nützlicher Ansatz ist, der von der Einbeziehung verschiedener Arten von Evidenz aus Literatur, Stakeholdern und Forschungsdaten, von adaptiven Rekrutierungsstrategien und von einem teambasierten Vorgehen bei der retroduktiven Theoriebildung und Analyse profitiert.

Safeguarding Family Group Conferencing: ein Praxisbeispiel einer realistischen Evaluation

Einführung in die Safeguarding-FGC-Studie

Der Safeguarding FGC ist ein familiengeleiteter Entscheidungsprozess, an dem Familien und Fachkräfte beteiligt sind, wenn ein Kinderschutzanliegen besteht. Die Safeguarding-FGC-Studie ist eine Forschungs-Praxis-Partnerschaft zwischen der University of Exeter Medical School, dem Children’s Social Care Research and Development Centre (CASCADE) der Cardiff University, The Royal Borough of Kensington and Chelsea, dem Westminster City Council und dem London Borough of Hammersmith and Fulham. Ziel der Forschung war es, herauszufinden, welche Familien am ehesten vom Safeguarding FGC profitieren und auf welche Weise; förderliche und hinderliche Faktoren für die Umsetzung des Safeguarding FGC zu identifizieren und zu verstehen; und ein detailliertes Implementierungspaket für die landesweite Einführung in den Kommunen Englands zu entwickeln. Die Forschungsfragen lauteten:

• 1. Was wirkt, und auf welche Weise, um die Inanspruchnahme und Verankerung des Safeguarding Family Group Conferencing im Kinderschutzverfahren als Alternative zu einer ersten Kinderschutzkonferenz zu ermöglichen?
• 2. Welche Ergebnisse halten Familien, einschließlich Kinder und Jugendlicher, und Fachkräfte für am angemessensten?
• 3. Für welche Familien und unter welchen Umständen ermöglichen Safeguarding Family Group Conferences eine positivere Erfahrung des Kinderschutzverfahrens und fördern Ergebnisse, die für Familien und Fachkräfte angemessen sind?

Die Safeguarding-FGC-Studie wird vom National Institute for Health Research gefördert (Ref.: NIHR131922).

Dieser Beitrag konzentriert sich auf die Methodik, mit der wir den Safeguarding FGC evaluiert haben (Forschungsfragen 2 und 3). Zu Forschungsfrage 1 befindet sich eine Veröffentlichung in Begutachtung, die über die qualitativen Ergebnisse der Implementierungsevaluation berichtet (Day et al., 2024). Das vollständige Studienprotokoll ist ebenfalls verfügbar (Stabler, 2024a). Das Ethikvotum für die Forschung erteilten die Forschungsethikkommission der University of Exeter Medical School (Referenznummer 493165) und die teilnehmenden Kommunen. Die Teilnehmenden erhielten Informationsblätter darüber, was die Teilnahme an der Forschung mit sich bringen würde, einschließlich der Möglichkeit einer Veröffentlichung der Ergebnisse. Sie gaben ihre schriftliche Einwilligung oder, wo dies nicht möglich war, wurde ihre mündliche Einwilligung im Rahmen unseres Ethikvotums als Audioaufnahme festgehalten.

Die folgenden Phasen waren keine lineare Abfolge von Aufgaben, sondern vollzogen sich in iterativen Zyklen aus Datenerhebung, Teamdiskussionen sowie Theoriebildung und -prüfung mit Stakeholdern und Teilnehmenden. Das Team um Dalkin weist darauf hin, dass dieser Prozess der Entwicklung und Prüfung von Programmtheorien „oft verschlungen“ ist (Dalkin et al., 2021: 124). Mit der Darstellung unseres Vorgehens möchten wir Transparenz in den Prozess bringen und eine Möglichkeit veranschaulichen, eine realistische Evaluation in der Praxis durchzuführen.

Phase 1: Aufbau der initialen Programmtheorie

Die initiale Programmtheorie dient dazu, „auf der Grundlage von Literatur- und Dokumentenanalysen sowie Interviews mit Schlüsselpersonen, die das Programm konzipiert haben oder umsetzen, Hypothesen darüber aufzustellen, wie, warum und für wen die Intervention wirken könnte“ (Gilmore et al., 2019: 3; Mukumbang et al., 2016b; Pawson and Tilley, 1997). Die initiale Programmtheorie fungiert als „erster Entwurf“ einer Erklärung, wie das Programm wirkt. Mit dem Begriff initiale Programmtheorie bezeichnen wir unseren ersten Versuch, auf der Grundlage der Einbindung von Stakeholdern, der Literatur und früherer Forschung zu erklären, wie der Safeguarding FGC wirkt. Den Begriff Programmtheorie verwenden wir dann bewusst für die Theorie, die wir mit Daten geprüft und verfeinert haben. Mit dem Singular „Programmtheorie“ bezeichnen wir unsere übergreifende Vorstellung davon, wie der Safeguarding FGC wirkt, und mit dem Plural „Programmtheorien“ die CMO-Konfigurationen, aus denen sich die umfassendere Theorie zusammensetzt. In jeder Phase der realistischen Evaluation formulierten wir unsere Programmtheorien als „Wenn … dann“-Aussagen (siehe auch Brand et al., 2019). „Wenn … dann“-Aussagen sind eine Möglichkeit, Hypothesen darüber zu formulieren, „wie sich Programmergebnisse über Programmmechanismen und die entsprechenden Kontexte manifestieren“ (Jagosh et al., 2022: 2). Das „Wenn … dann“-Format half dem Forschungsteam, die Identifizierung generativer Mechanismen von Anfang an im Blick zu behalten. Die Begriffe „Wenn … dann“-Aussagen, CMOs und Programmtheorien werden synonym verwendet.

Die Safeguarding-FGC-Studie stützt sich auf ein Rapid Realist Review (Stabler et al., 2019) und auf die Ergebnisse einer Pilotstudie, die 2019 in London durchgeführt wurde (Bowring and Daly, 2021). Die Programmtheorie darüber, wie Safeguarding FGCs wirken und welche Familien offenbar davon profitierten, prägte die praktische Entwicklung des Safeguarding FGC am Pilotstandort 2019 und gab den Anstoß zur vorliegenden Studie. Die Programmtheorie aus dem Review und dem Pilotprojekt 2019 bildete die Grundlage unserer initialen Programmtheorie und umfasste eine Reihe „intermediärer interpersoneller Mechanismen“, die erklärten, wie und warum der Safeguarding FGC in bestimmten Kontexten zu Ergebnissen führte (Stabler et al., 2019). Zu diesen Erklärungen gehörten (1) weniger Scham und Schuldzuweisung in den Sitzungen für Familien und Fachkräfte; (2) eine stärkere Beteiligung der Eltern an Entscheidungen darüber, wie ihr Kind geschützt werden kann; (3) ein Gefühl der Selbstermächtigung bei den Eltern und ihrem erweiterten Unterstützungskreis; (4) die zentrale Stellung der Stimme des Kindes bei der Entscheidungsfindung; und (5) eine geringere Besorgnis der Fachkräfte hinsichtlich des Risikos, weil sie ein vollständigeres Bild vom Leben der Familie haben. Angesichts des geringen Umfangs der Pilotstudie von 2019 und der seither vergangenen Zeit nahmen wir diese Programmtheorie als Ausgangspunkt für die Entwicklung einer eigenen Programmtheorie der Studie, statt sie in der Studie direkt zu prüfen.

Einbindung der Stakeholder

Um die Programmtheorie von 2019 zu aktualisieren, führten wir 13 Stakeholder-Interviews mit 14 Fachkräften aus der Kinder- und Jugendhilfe und aus Partnerinstitutionen, die Erfahrung mit der Implementierung und/oder Durchführung von Safeguarding FGCs hatten, beobachteten drei Sitzungen, in denen Fachkräfte des Pilotstandorts über den Safeguarding FGC berieten, und arbeiteten mit Teammitgliedern der beteiligten Partnerkommunen zusammen. Die Fragen der Stakeholder-Interviews wurden vom Studienteam priorisiert und abgestimmt; einige Teammitglieder hatten bereits an der Programmtheorie von 2019 mitgearbeitet. Die Fragen konzentrierten sich auf die Implementierung und Durchführung des Safeguarding FGC und betrafen folgende Bereiche: Risikomanagement, Einbeziehung von Kindern und Jugendlichen, Einbeziehung der Familie und ihre Eigenverantwortung, welche Familien von der Intervention profitieren könnten, Kernkomponenten des Safeguarding FGC sowie Ergebnisse.

Entwicklung von „Wenn … dann“-Aussagen

Die folgenden Punkte beschreiben die Schritte, mit denen wir eine Reihe von „Wenn … dann“-Aussagen entwickelten, die die Vorstellungen des Studienteams darüber festhielten, wie der Safeguarding FGC wirken könnte, und die auf einer ersten, umfassenden Einbindung der Stakeholder beruhten.

• Formulierung von 240 „Wenn … dann“-Aussagen auf der Grundlage der Notizen der Forschenden aus der Stakeholder-Einbindung sowie der informierten Ahnungen und Theoriebildung des Forschungsteams über mögliche Kausalpfade.
• Ordnung und thematische Gruppierung der „Wenn … dann“-Aussagen in Excel.
• Verdichtung der 240 „Wenn … dann“-Aussagen auf 18 in Diskussionen mit dem Studienteam und zentralen Stakeholdern. Eine der Herausforderungen der realistischen Evaluation besteht darin, die Ausweitung der initialen Programmtheorie zu bewältigen, wenn neue Ahnungen und Ideen diskutiert werden, und anschließend die Zahl der Ideen zu reduzieren, die in der Evaluation weiterverfolgt werden. Das bedeutete zwangsläufig, dass wir viele unserer ersten Ahnungen aufgeben mussten.
• Zurückstellung von neun der verdichteten „Wenn … dann“-Aussagen anhand realistischer Priorisierungskriterien (Jagosh, 2022b).
• Nutzung der verbleibenden neun „Wenn … dann“-Aussagen zur Entwicklung der Interviewleitfäden und der Beobachtungsvorlage. Die Beobachtungsvorlage enthielt Überschriften, die den Phasen eines FGC entsprachen (siehe Beobachtungsvorlage in Supplementary Table S1). Unter jeder Überschrift standen auf der initialen Programmtheorie beruhende Leitfragen, die die Notizen der beobachtenden Person anleiten sollten.

An diesem Punkt hatten wir nach unserem Eindruck so weit wie möglich formuliert, wie der Safeguarding FGC unserer Ansicht nach wirken könnte, und konnten zur Datenerhebung übergehen.

Phase 2: Datenerhebung zur Prüfung und Verfeinerung der Programmtheorien

In diesem Abschnitt beschreiben wir, wie die initiale Programmtheorie in die Interviewleitfäden und die Beobachtungsvorlage einfloss. Anschließend beschreiben und begründen wir die verwendeten Methoden der Datenerhebung und den Stichprobenumfang.

Die qualitativen Daten wurden über 9 Monate an drei Fallstudienstandorten in England erhoben. Die drei an der Forschung beteiligten Kommunen entschieden sich, den Safeguarding FGC zunächst zu erproben, bevor sie über eine Ausweitung entschieden. Die Gründe dafür sind unterschiedlich und liegen zum Teil in der Kontrolle, der die Kinder- und Jugendhilfe durch Aufsichtsbehörden wie Ofsted unterliegt, in knappen Ressourcen und im Wunsch, zunächst Erfolgsbelege zu sehen (zur Implementierung siehe Day et al., 2024). Das führte dazu, dass an jedem Fallstudienstandort im Rekrutierungszeitraum der Studie nur wenige Familien einen Safeguarding FGC hatten. Davon erklärten sich drei Familien bereit, an der Forschung teilzunehmen. Emmel betont, dass bei der Erhebung qualitativer Daten im Rahmen einer realistischen Studie „die Angabe, ob 1 oder 200 Fälle erhoben wurden, weniger wichtig ist als die Art und Weise, wie Einsichten in Ereignisse und Erfahrungen für Interpretation, Erklärung und Forschungsaussagen genutzt werden“ (Emmel, 2013: 141). Manzano argumentiert ähnlich: „Entscheidend ist nicht, ‚mit wie vielen‘ Menschen wir sprechen, sondern ‚mit wem‘, ‚warum‘ und ‚wie‘“ (Manzano, 2016: 349). Die geringe Zahl der für die Safeguarding-FGC-Studie gewonnenen Familien verdeckt den Reichtum und die Tiefe der erhobenen qualitativen Daten. Bei jeder teilnehmenden Familie beobachtete eine forschende Person bis zu drei Sitzungen zwischen der Familie und Fachkräften (einschließlich des Safeguarding FGC und der Überprüfungssitzungen) und machte anhand einer Notizvorlage anonymisierte Aufzeichnungen. Alle Personen, die am Safeguarding FGC teilgenommen hatten, wurden anschließend vom Forschungsteam zu zwei Interviews eingeladen, das erste innerhalb eines Monats nach dem Safeguarding FGC, das zweite innerhalb von 3 Monaten. Zu den qualitativen Daten gehörten außerdem reflexive Notizen der Forschenden zu Sitzungen und Gesprächen mit Fachkräften. Bei der ersten Familie, die in die Forschung einwilligte, beobachtete eine forschende Person 3 Sitzungen von jeweils mindestens 1,5 Stunden, machte Notizen und führte zu zwei Zeitpunkten im Verlauf von 6 Monaten 12 Interviews mit 8 Personen, darunter Familienangehörige und Fachkräfte. Trotz der Einschränkungen konnte das Forschungsteam tiefgehende Daten erheben, die die Erfahrungen und Wahrnehmungen der Familien und Fachkräfte mit dem Safeguarding-FGC-Prozess und seiner Wirkungsweise beleuchteten.

Entwicklung von Interviewleitfäden und Beobachtungsvorlagen zur Prüfung und Verfeinerung der Programmtheorie

Auf der Grundlage der initialen Programmtheorie wurden Interviewleitfäden und eine Beobachtungsvorlage für die Datenerhebung erstellt. Ziel des realistischen Interviews ist es, zu beleuchten, wie die Teilnehmenden „das Programm verstehen und erlebt haben, und diese Erfahrungen mit unseren Hypothesen darüber zu vergleichen, wie das Programm wirkt“ (Manzano, 2016: 349). Wir erstellten unterschiedliche Interviewleitfäden für Eltern und Betreuungspersonen, erweiterte Familie und Freundeskreis, Kinder und Jugendliche, Fachkräfte der Kinder- und Jugendhilfe und Partnerinstitutionen, je nachdem, zu welchen Aspekten des Programms sie sich am besten äußern konnten. Außerdem konsultierten wir eine Elterngruppe mit eigener Erfahrung mit der Kinder- und Jugendhilfe, um ihre Rückmeldungen zu den Interviewfragen und zur Beobachtungsvorlage einzuholen. Ein Aspekt des Safeguarding FGC, der uns interessierte, war das Verständnis des oder der zugrunde liegenden Mechanismen, die Familien dazu brachten, dem Angebot eines Safeguarding FGC als Alternative zu einer ersten Kinderschutzkonferenz zuzustimmen (der üblichen Form der Zusammenarbeit zwischen Familien und Fachkräften bei einem Kinderschutzanliegen). Tabelle 1 zeigt, wie wir eine „Wenn … dann“-Aussage aus unserer initialen Programmtheorie in Interviewfragen für unseren Leitfaden für Eltern und Betreuungspersonen übersetzten.

Die ersten beiden Fragen, die auf Grundlage der „Wenn … dann“-Aussage in Tabelle 1 entwickelt wurden, wurden bewusst offen gehalten, um zu verstehen, was Eltern und Betreuungspersonen dazu bewogen hatte, einem Safeguarding FGC zuzustimmen. Offene Fragen und Nachfragen, die erkundeten, wie verschiedene Teile der Intervention für die Teilnehmenden funktioniert hatten, stellten sicher, dass die Forschung ein Spektrum von Ideen erfasste, das über unsere Theoriebildung hinausging. Wir kombinierten diese offenen Fragen mit einer direkten Interviewtechnik der realistischen Evaluation, bei der den Interviewten Aspekte der initialen Programmtheorie vorgelegt werden (Manzano, 2016). Bei diesem Vorgehen erläutert die interviewende Person die CMO ganz oder teilweise und lädt die befragte Person ein, zuzustimmen, zu widersprechen oder etwas zu ergänzen (siehe Frage 3 in Tabelle 1) (Manzano, 2016). Der Vorteil dieser Art des Fragens besteht darin, dass die Teilnehmenden die Logik der CMOs direkt kommentieren, präzisieren, ergänzen oder widerlegen können. In der Praxis stellten wir fest, dass dieses direkte Vorgehen an Grenzen stieß, je nachdem, wie sicher sich die Teilnehmenden fühlten, wenn ihnen Ideen vorgelegt wurden, wenn sie der interviewenden Person widersprachen und alternative Erklärungen vorbrachten. Griffiths et al. weisen darauf hin, dass dieser Interviewansatz „bei politisch Verantwortlichen und manchen Fachkräften vermutlich wirksamer ist“ (Griffiths et al., 2022: 2). Angesichts dieser Grenzen und weil wir ein Spektrum von Antworten der Teilnehmenden erfassen wollten, waren die meisten in den Interviews gestellten Fragen offen (wie die Fragen 1 und 2 in Tabelle 1), beruhten aber dennoch direkt auf der Programmtheorie und zielten darauf, zu verstehen, wie das Programm in unterschiedlichen Settings für unterschiedliche Menschen wirkte. Die Fragen auf vielfältige Weise zu stellen, erwies sich als hilfreich und erzeugte Daten, die unser Verständnis davon vertieften, wie die Interviewten den Safeguarding FGC erlebt hatten. Anschließend verglichen und kontrastierten wir diese Erfahrungen mit anderen Daten und mit unseren Programmtheorien (Manzano, 2016).

Phase 3: Datenanalyse

Die realistische Datenanalyse ist iterativ: Die Daten wurden bereits während ihrer Erhebung in einem zyklischen Prozess des Prüfens und Verfeinerns analysiert (Wong et al., 2016). Ein zentraler Unterschied zwischen der realistischen Evaluation und anderen Evaluationsformen ist der Einsatz retroduktiver Theoriebildung. Retroduktion geht über induktives und deduktives Schließen hinaus und bedeutet, „von beobachteten Mustern oder Regelmäßigkeiten aus zurück-, unter oder hinter sie zu gehen, um zu entdecken, was sie hervorbringt“ (Lewis-Beck et al., 2004). Retroduktion ist „die Tätigkeit, verborgene kausale Mechanismen, die für das Zutagetreten des Empirischen verantwortlich sind, zu theoretisieren und zu prüfen“ (Jagosh, 2020: 121). In dem Maße, wie Daten erhoben und in die Analyse eingespeist wurden, entwickelten sich die Programmtheorien weiter, und das Verständnis des Forschungsteams für die Nuancen, wie das Programm für verschiedene Familien und in verschiedenen Kontexten wirkte, wurde schärfer.

Die Interviewdaten wurden aufgezeichnet und wörtlich transkribiert. Aus Zeitgründen erfolgte die Transkription extern. Beobachtungsnotizen wurden anhand der Beobachtungsvorlagen abgetippt. Auch die reflexiven Notizen der Forschenden wurden abgetippt und in die Analyse einbezogen. Alle Teilnehmenden, Orte und Organisationen in den Daten wurden pseudonymisiert, um die Anonymität zu wahren.

Schritt 1: Vertrautmachen

Die realistische Evaluation verlangt, in den Daten nach Kausalketten zu suchen, die zu beabsichtigten und unbeabsichtigten Ergebnissen führen. Kausale Einsichten sind in einem einzelnen Interviewzitat möglicherweise nicht vollständig erkennbar, weil nach realistischer Methodologie generative Mechanismen unterhalb des Empirischen existieren (d. h. ontologische Tiefe) und realistisch Forschende durch Retroduktion theoretisieren, worin sie bestehen könnten. Deshalb betrachteten wir die Daten zunächst ganzheitlich: Wir lasen jedes Interviewtranskript durch und reflektierten, welche Einsicht es in die Wirkungsweise des Programms bot (Jagosh, 2022a). Das half den Forschenden, ein Gespür für die wichtigsten kausalen Einsichten der Daten zu bekommen. Um diese Einsichten festzuhalten, verfassten die Forschenden mit Blick auf die Programmtheorie eine kurze Zusammenfassung jedes Transkripts und identifizierten die zentralen Themen, die sich aus den Daten ergaben. Zusammenfassung und Themen wurden jedem Datenstück vorangestellt, bevor es für eine detailliertere Kodierung vorbereitet wurde.

Schritt 2: Kodieren und Annotieren in NVivo

Die Daten wurden in die Software NVivo 12 von QSR International geladen. NVivo ist ein nützliches Werkzeug, um die Analyse eines großen und vielfältigen qualitativen Datensatzes zu organisieren. Dalkin et al. (2021) schreiben über den Einsatz von NVivo und anderer Software zur computergestützten qualitativen Datenanalyse in der realistischen Evaluation. Sie betonen, dass Forschende NVivo flexibel und passend zu den Besonderheiten ihres Teams und ihrer Studie einsetzen müssen. Der folgende Abschnitt beschreibt unser Vorgehen bei der Nutzung von NVivo.

Wir nutzten NVivo als Werkzeug zur Organisation und Kodierung der Daten. Wir verwendeten NVivo nicht als lückenlose Dokumentation aller Entscheidungen im Zusammenhang mit der Theorieentwicklung. Stattdessen verfolgten wir Änderungen an der Programmtheorie in Excel. In NVivo wurde ein Kodierrahmen auf Grundlage der neun CMOs der initialen Programmtheorie entwickelt, die als „Wenn … dann“-Aussagen formuliert waren. Der Kurztitel jeder CMO wurde in NVivo als Hauptcode angelegt. Jeder dieser neun CMOs (Hauptcodes) wurden vier Untercodes zugeordnet. Untercodes sind Subcodes, die die Daten zur Unterstützung der Analyse weiter kategorisieren. Für jeden Hauptcode lauteten die Untercodes (1) Stützt, (2) Verfeinert, (3) Stellt infrage und (4) Verbindet (siehe Tabelle 2 mit Beschreibungen der einzelnen Untercodes). Qualitative Daten aus Interviews, Beobachtungen und den reflexiven Notizen der Forschenden wurden mit diesem Rahmen kodiert.

Wir kodierten jedes ausgewählte Datensegment einem Hauptcode (einer der neun Programmtheorien) und einem der vier Untercodes zu – „stützt“, „verfeinert“, „stellt infrage“ oder „verbindet“. So konnten wir sehen, welche Daten sich auf welche unserer Programmtheorien bezogen und ob diese Daten unsere Hypothesen stützten, verfeinerten oder infrage stellten oder mit anderen Programmtheorien in Verbindung standen.

Die Interviewleitfäden und die Beobachtungsvorlage waren auf Grundlage der aktualisierten Programmtheorie entwickelt worden, und die Fragen und Nachfragen entsprachen bestimmten Programmtheorien; das gab Orientierung, welchen Programmtheorien die Daten zuzuordnen waren. Beim Kodieren suchten wir nach eigenem Urteil in der gesamten Programmtheorie nach kausalen Einsichten. Zu jedem kodierten Datensegment legten wir außerdem eine Annotation in NVivo an. Die Annotationsfunktion von NVivo ermöglicht es, eine Notiz an ein bestimmtes Datensegment anzuheften. Für jedes kodierte Datenstück erstellten wir eine Annotation, in der wir den Codetitel, den Untercode und ein bis zwei Sätze zur Begründung der Kodierung festhielten, zusammen mit den Initialen der forschenden Person und dem Datum. Das half uns, die Begründung, die Entscheidungsfindung und die weitere Rechtfertigung der Zuordnung bestimmter Datensegmente zu verschiedenen Codes und Untercodes nachzuverfolgen (siehe Tabelle 3 mit einem Beispiel aus unseren Daten).

Wir kodierten die Daten so bald wie möglich nach ihrer Erhebung und Transkription. Zu Beginn des Erhebungszeitraums kodierten wir einen erheblichen Teil der Daten unter den Untercodes „verfeinert“. Das lag daran, dass wir über unsere ersten Ahnungen hinausgingen und unser Verständnis davon, wie das Programm wirkte, im Gespräch mit den Menschen schärften, die es erlebten. Im weiteren Verlauf der Studie kodierten wir deutlich mehr Daten unter „stützt“, da unsere „Wenn … dann“-Aussagen klarer wurden und geprüft waren. Es sei darauf hingewiesen, dass der Kodierprozess ein analytisches Werkzeug war und wir die Daten nicht neu kodierten, wenn sich unser Denken über eine bestimmte CMO weiterentwickelte. Stattdessen berieten wir uns mit anderen über unsere Hypothese.

Schritt 3: Konsolidieren

Um die Daten besser zu verstehen, entwickelte das Forschungsteam eine Tabelle, in der die wichtigsten Einsichten festgehalten wurden. Die Tabelle enthielt den Namen jeder Datendatei auf der Y-Achse und die Hauptcodes auf der X-Achse. Die forschende Person, die die Daten erhoben hatte, trug dann für jedes Interviewtranskript, jede Beobachtung und jede reflexive Notiz eine kurze Zusammenfassung der wichtigsten Einsichten zu jedem Hauptcode ein. Dazu gehörten die Zahl der dem Hauptcode zugeordneten Datensegmente und einige Sätze, die zusammenfassten, wie die Daten die „Wenn … dann“-Aussage stützten, verfeinerten oder infrage stellten. Diese Tabelle ermöglichte es, Einsichten im ganzen Team zu teilen, und bildete die Grundlage für weitere Diskussionen in den Datenaustauschsitzungen.

Schritt 4: Beraten

Ein Großteil der Analyse erfolgte im Gespräch innerhalb des Forschungsteams sowie zwischen dem Forschungsteam und zentralen Stakeholdern – in Datenaustauschsitzungen, Theoriesitzungen und Sitzungen des Stakeholder-Fachgremiums.

Datenaustauschsitzungen

Datenaustauschsitzungen fanden wöchentlich zwischen den Mitgliedern des Studienteams statt, die hauptsächlich für die Datenerhebung zuständig waren. Ziel der Datenaustauschsitzungen war es, dass die an den Fallstudienstandorten tätigen Forschenden über Daten sprachen, deren Bedeutung sie diskutieren wollten, oder auf Daten hinwiesen, die ihrer Ansicht nach die bestehende Logik der „Wenn … dann“-Aussagen beeinflussen könnten. In jeder Sitzung betrachteten wir, mit Bezug auf die Tabelle der zentralen Einsichten, in der Regel die einer „Wenn … dann“-Aussage zugeordneten Daten aus verschiedenen Quellen und von verschiedenen Fallstudienstandorten. Wir besprachen Einzelheiten der erhobenen Daten und glichen unsere Interpretationen mit denen anderer Forschender ab. Alle möglichen Änderungsvorschläge für die Programmtheorie wurden festgehalten und dann in den Theoriesitzungen in das erweiterte Forschungsteam eingebracht.

Theoriesitzungen

Theoriesitzungen fanden etwa alle 4–6 Wochen statt. Wegen der Komplexität der Diskussionen wurden Termine bevorzugt, an denen das Team persönlich zusammenkommen konnte. Die Tagesordnung der Theoriesitzungen richtete sich danach, welche neuen Daten erhoben worden waren. Insgesamt fanden im Laufe des Projekts 15 Theoriesitzungen von jeweils mindestens 2 Stunden statt. Manchmal wurde nur eine „Wenn … dann“-Aussage diskutiert, in anderen Sitzungen wurde die Programmtheorie als Ganzes betrachtet. Übergeordnetes Ziel dieser Sitzungen war es, generative Mechanismen zu postulieren und anhand der Daten und in der Diskussion zu prüfen sowie zentrale Kontexte und Ergebnisse zu identifizieren.

In den meisten Theoriesitzungen wurden kodierte Daten zu ein oder zwei „Wenn … dann“-Aussagen vorgestellt und erörtert. Auf Grundlage der Einsichten aus den Daten und der Diskussionen in den Datenaustauschsitzungen wurden Änderungsvorschläge mit Auszügen aus den Daten präsentiert. Zu anderen Zeiten erzählte die forschende Person die „Geschichte“ der Daten, und das Forschungsteam diskutierte offen, was hier vor sich gehen könnte und mit welchen „Wenn … dann“-Aussagen dies zusammenhing. Die Theoriesitzungen dienten dem Forschungsteam als Raum, um gemeinsame Entscheidungen zur besseren Formulierung der Kausalketten in den „Wenn … dann“-Aussagen zu treffen und Änderungen zu vereinbaren.

Die Theoriesitzungen dienten auch dazu, sicherzustellen, dass die Theorie die wichtigsten Kontexte, Mechanismen und Ergebnisse erfasste, und zu entscheiden, welche CMOs priorisiert oder zurückgestellt werden sollten. In regelmäßigen Abständen boten die Theoriesitzungen zudem Gelegenheit zu einem „Plausibilitätscheck“, wie alle Programmtheorien zusammenpassten, vor allem gegen Ende der Studie. Das Team nutzte folgende Fragen als Leitfaden:

• 1. Ergibt die Kausalkette in der „Wenn … dann“-Aussage logisch Sinn?
• 2. Erfassen wir das Wichtigste, um zu erklären, wie der Safeguarding FGC wirkt oder nicht wirkt?
• 3. Fehlt uns etwas, oder haben wir beim Verfeinern der „Wenn … dann“-Aussagen etwas verloren, das wir wieder aufnehmen möchten?
• 4. Haben wir den relevantesten Kontext erfasst? (mit dem Hinweis, Kontexte zu berücksichtigen, die auf verschiedenen Ebenen des sozialökologischen Modells angesiedelt sein können – individuell, interpersonell, institutionell, gemeinschaftlich und politisch)
• 5. Was ist der Kern dieser „Wenn … dann“-Aussage, und mit welchen Schlüsselwörtern könnten wir sie zusammenfassen?
• 6. Treffen wir in den „Wenn … dann“-Aussagen Behauptungen, die unserer Einschätzung nach zu weit über unsere Evidenz hinausgehen?

Die Theoriesitzungen wurden als Audio aufgezeichnet, und nach jeder Sitzung hörte ein Mitglied des Forschungsteams die Aufnahme nach und änderte die Programmtheorien entsprechend der Diskussion, um ihre Logik, ihren Kausalpfad und ihre Formulierung zu verbessern. Die neue Fassung der Programmtheorie wurde dann im Team verteilt und abgestimmt. Die aktualisierte Programmtheorie diente anschließend als Grundlage für die nächste Runde von Kodierung und Analyse.

Stakeholder-Fachgremium

Um die Programmtheorie zusätzlich auf Plausibilität zu prüfen, weitere Einsichten zu gewinnen und sie zu testen, diskutierten die Forschenden die CMOs regelmäßig mit dem Stakeholder-Fachgremium der Studie (Expert Stakeholder Group). Dem Gremium gehörten Personen mit eigener Erfahrung mit der Kinder- und Jugendhilfe sowie Fachkräfte und Wissenschaftlerinnen und Wissenschaftler aus dem Feld der Kinder- und Jugendhilfe an. In wechselnder Zusammensetzung trat das Stakeholder-Fachgremium zwischen Juli 2022 und Juni 2024 sechsmal zusammen. Das Studienteam stellte dem Gremium die Programmtheorie oder Teile davon in Form von „Wenn … dann“-Aussagen vor oder brachte Themen ein, die mit der Programmtheorie zusammenhingen. Das Stakeholder-Fachgremium schlug daraufhin Nuancierungen, Verfeinerungen und neue Einsichten vor, die halfen, die CMOs und die Gesamtlogik der Programmtheorie zu klären – im Gespräch und durch die Beantwortung von Fragen zur Programmtheorie mit der interaktiven Präsentationssoftware Mentimeter. Wie Griffiths et al. (2022) passten wir unser Vorgehen beim Einholen von Rückmeldungen zur Programmtheorie an die jeweilige Personengruppe an, mit der wir sprachen. Alle vorgeschlagenen Änderungen und Ideen wurden anschließend im Studienteam diskutiert und in einer Excel-Tabelle festgehalten. Von den ursprünglich 18 CMOs sind die neun, die wir priorisiert und verfeinert haben, diejenigen, die die Mitglieder des Stakeholder-Fachgremiums uns als die wichtigsten genannt hatten.

Phase 4: Darstellung der Programmtheorie

Realistisch Forschende stellen ihre Programmtheorien auf unterschiedliche Weise dar. Viele dieser Ansätze umfassen schriftliche Beschreibungen oder Narrative zu jeder CMO, die erklären, wie sie gewirkt hat (Greenhalgh et al., 2009; Jagosh et al., 2015). Manchmal werden sie von visuellen Darstellungen einzelner CMOs oder der Programmtheorie als Ganzes begleitet (siehe z. B. Mukumbang et al., 2016b). Zeitweise nutzten wir visuelle Darstellungen unserer Programmtheorien in Form von Diagrammen, wenn wir sie Stakeholdern und in Theoriesitzungen präsentierten. Ein übergreifendes Diagramm der initialen Programmtheorie diente dazu, zu theoretisieren, wie die CMOs zusammenpassen, und Lücken in unserem Wissen zu erkennen (siehe Studienprotokoll Stabler, 2024a: 12). Später in der Studie wurden Visualisierungen einzelner „Wenn … dann“-Aussagen genutzt, um die Programmtheorien für die Diskussion zu vereinfachen (als Beispiel siehe Abbildung 1 – ein Diagramm eines frühen Entwurfs einer „Wenn … dann“-Aussage über das Zeigen von Vertrauen). Wir stellten fest, dass diese Visualisierungen nützliche Werkzeuge waren, um die Programmtheorien aufzubauen und zu verfeinern, insbesondere gemeinsam mit Stakeholdern. Während Diagramme gut geeignet waren, Diskussion und Theoriebildung anzuregen, entschieden wir, dass eine narrative Beschreibung nötig war, um Nuancen und Komplexität zu erfassen, wenn wir unsere Ergebnisse breiter teilten.

Am Ende der Studie entschieden wir uns, unsere Programmtheorie darzustellen, indem wir zu jeder „Wenn … dann“-Aussage erklärende Narrative mit Beispielen aus den Daten verfassten. Zur Anleitung des Schreibprozesses entwickelten wir folgende Fragen und Impulse:

Für jede „Wenn … dann“-Aussage folgende Fragen bedenken:

• Was meinen wir mit dieser CMO?
• Wie könnte das konkret aussehen?
• Was könnte dieser CMO im Weg stehen?
• Was könnte das Eintreten dieser CMO wahrscheinlicher machen?
• Wie ist diese CMO mit anderen CMOs verbunden (das Ergebnis der einen kann zum Kontext einer anderen werden)?

Impulse für das Verfassen der Narrative:

• Einige Beispiele dafür sind …
• Dies scheint wichtig zu sein: (a) in der gesamten Programmtheorie oder (b) unter diesen Umständen.
• In Gebiet A sehen wir X auf diese Weise geschehen, während es in Gebiet B so aussehen könnte …
• Wir haben das nicht beobachtet, aber es könnte sein, dass Y geschieht, wenn X gegeben ist.
• Dies ist in folgender Literatur belegt …

Das daraus entstandene Abschlussdokument war eine umfassende, ausführliche Fassung unserer Programmtheorie, die wir für die Präsentation vor verschiedenen Zielgruppen bearbeiten und anpassen konnten, zum Beispiel für die Rückmeldung an die beteiligten Kommunen, für einen Bericht an unsere Förderinstitution und für Einreichungen bei wissenschaftlichen Zeitschriften.

In diesem Beitrag haben wir anhand eines Praxisbeispiels gezeigt, wie wir eine realistische Evaluation des Safeguarding FGC durchgeführt haben. Im folgenden Abschnitt reflektieren wir die besonderen Herausforderungen und Chancen, denen wir bei realistischer Forschung im Feld der Kinder- und Jugendhilfe begegnet sind.

Zentrale Herausforderungen und Chancen der realistischen Evaluation im Feld der Kinder- und Jugendhilfe

Bei der Durchführung von Evaluationen in der Kinder- und Jugendhilfe gibt es mehrere zentrale Herausforderungen, die nicht alle spezifisch für die realistische Evaluation sind. Wir haben einige Herausforderungen herausgearbeitet, die uns in jeder der oben beschriebenen Phasen begegnet sind. Außerdem haben wir versucht zu zeigen, wie uns die Methodik der realistischen Evaluation half, einige dieser Herausforderungen zu bewältigen.

Die Qualität der vorhandenen Evidenz

Ausgangspunkt einer realistischen Evaluation ist eine initiale Programmtheorie, die sich auf veröffentlichte Literatur und die Konsultation von Stakeholdern stützt, um ein erstes Verständnis davon zu formulieren, wie ein Programm wirkt, das anschließend geprüft werden kann. Die evaluative Literatur in der Kinder- und Jugendhilfe ist im Vergleich zu Disziplinen wie Gesundheit und Bildung relativ wenig entwickelt (Proctor, 2017), zum Teil wegen Meinungsverschiedenheiten über den richtigen Evaluationsansatz in diesem Feld (Frost and Dolan, 2021). In der vorhandenen Literatur fehlt oft eine explizite Theoriebildung darüber, wie Interventionen wirken sollen (Stabler et al., 2022). Das schränkt die bereits vorhandenen Daten ein, auf die sich eine Evaluation in diesem Feld stützen kann. Der realistische Ansatz ermutigt jedoch dazu, theoretisch gehaltvolle Daten aus verschiedenen Quellen heranzuziehen, um eine initiale Programmtheorie zu entwickeln – auch über die Disziplin der Studie hinaus. Die Soziale Arbeit hat viele verwandte Disziplinen wie Psychologie und Beratung, auf die man zurückgreifen kann, um ein Verständnis sozialarbeiterischer Interventionen aufzubauen. Zudem können realistische Evaluationen auf anderen Arbeiten im selben Bereich oder zu ähnlichen Interventionen aufbauen, auch wenn diese nicht ausdrücklich als Arbeitsprogramm konzipiert wurden. Diese Studie stützte sich auf andere Studien des Teams zu Interventionen, die verhindern sollen, dass Kinder fremduntergebracht werden müssen, darunter ein Scoping Review (Stabler et al., 2022), ein Rapid Realist Review mit besonderem Fokus auf Interventionen, die der evaluierten ähneln (Stabler et al., 2019; Stabler, 2024b), und eine Pilotevaluation der Intervention in drei Kommunen (Bowring and Daly, 2021). Dies bot einen soliden Ausgangspunkt für das Verständnis, wie die Intervention wirken könnte. Dieses Verständnis lässt sich dann durch die Einbindung von Stakeholdern weiter vertiefen: Menschen mit Erfahrung mit Teilen der Programmtheorie können ihre Expertise einbringen, die zusammen mit Daten aus der Literatur und anderen Studien zu einer initialen Programmtheorie synthetisiert werden kann.

Rekrutierung von Teilnehmenden

Eine weitere anhaltende Herausforderung der Forschung in der Kinder- und Jugendhilfe ist die Rekrutierung von Teilnehmenden. Sie ist schwierig, weil Menschen, die sozialarbeiterische Interventionen erleben, sich wahrscheinlich in einer schwierigen Lebensphase befinden (Flaherty and Bromfield, 2021) und Fachkräfte oft hohe Arbeitsbelastungen und andere Hürden für eine Forschungsteilnahme bewältigen müssen (Pulman and Fenge, 2023; Yoon et al., 2022). Das kann dazu führen, dass die Teilnahme an Forschung als zusätzliche Belastung empfunden wird – zusätzlich zu der Erwartung an Familienangehörige und Fachkräfte, an vielen Sitzungen mit zahlreichen Fachleuten teilzunehmen. Zudem kann es für Forschende in dieser Phase schwierig sein, die Unabhängigkeit ihrer Rolle und die Vertraulichkeit der Teilnahme zu erklären, wenn Familien sich an einem Punkt befinden, an dem möglicherweise viele Informationen über ihr Leben auf eine Weise weitergegeben werden, die ihnen unangenehm ist (Yoon et al., 2022). Außerdem verfügen Kommunen nicht in gleicher Weise wie Gesundheitseinrichtungen über die Infrastruktur und die Ressourcen, um Forschung zu ermöglichen (Mezey et al., 2015). In der realistischen Evaluation ist man jedoch nicht auf „hohe“ Teilnehmendenzahlen angewiesen, da „die Analyseeinheit nicht die Person ist, sondern die Ereignisse und Prozesse um sie herum“ (Greenhalgh et al., 2017: 2). Teilnehmende werden danach ausgewählt, welches Wissen sie über verschiedene Teile der Programmtheorie haben könnten. So können Fachkräfte an vorderster Front wichtige Perspektiven darauf haben, für wen Interventionen wirken und für wen nicht, während Menschen, die die Intervention erhalten, wissen, wie sie für sie gewirkt hat. Reichhaltige qualitative Daten aus Fallstudien können daher einen Auswahlrahmen nutzen, bei dem sich die „Stichprobenziehung“ an Kontexten statt an vorab festgelegten Merkmalen von Familien orientiert (Greenhalgh et al., 2017).

Datenanalyse

Interventionen in der Kinder- und Jugendhilfe können durchaus eher locker definiert als klar manualisiert sein. Oft geht es bei Interventionen in diesem Feld nicht nur darum, „was“ getan wird, sondern wie es getan wird, wobei Beziehungen und Interaktionsweisen als Kernkomponente der Intervention dienen (Frost and Dolan, 2021). Zudem ist der Auftrag der Kinder- und Jugendhilfe breit gefasst, sodass Ergebnisse unklar, schwer messbar und zwischen verschiedenen Stakeholdern umstritten sein können (Forrester, 2017). In diesem Feld kann ein realistischer Ansatz kompliziert wirken, da es schwierig sein kann, die Architektur des Programms in Bezug auf die Mechanismen klar zu formulieren. Wie oben erwähnt, ist die Entwicklung einer initialen Programmtheorie unter Rückgriff auf die Expertise von Stakeholdern eine Möglichkeit, damit umzugehen. Eine weitere Chance bietet ein teambasiertes Vorgehen bei der Analyse, das es ermöglichte, die Daten im Gespräch zu betrachten und dabei auch auf die Expertise und das Wissen des Teams und sein Verständnis der Wirkungsweise des Programms zurückzugreifen. Das ist besonders hilfreich in einem Feld, in dem die Daten unterschiedliche Wissensformen mit jeweils eigenen Sprachen und Fachjargons zutage fördern sollen. Eine Analyse im Team kann helfen, das Verständnis zu klären, aber auch deutlich machen, welche Teile noch unsicher erscheinen. Diese können dann für weitere Prüfungen priorisiert werden – mithilfe des iterativen „Lehrende-Lernende“-Modells (teacher-learner) der Datengenerierung (Greenhalgh et al., 2017) in Interviews mit Teilnehmenden oder durch die Suche nach weiterer Literatur.

Relevante und zugängliche Evidenz entwickeln

Die Arbeit realistisch Evaluierender besteht darin, zusammenzutragen und zusammenzuführen, was verschiedene Menschen darüber zu wissen glauben, wie ein Programm wirkt. Auf diese Weise kann eine realistische Evaluation in der Kinder- und Jugendhilfe Evidenz hervorbringen, die Fachkräfte, politisch Verantwortliche und Familien anspricht. Reichhaltige qualitative Daten darüber, wie Programme wirken, können Vorstellungen über Kausalketten nuancieren und nützliche Beispiele aus der Praxis liefern. Eine gut formulierte Programmtheorie sollte diese Daten zusammenführen, um die Erfahrungen derer widerzuspiegeln, die mit dem Programm vertraut sind. In gewissem Sinne spiegelt sie den Teilnehmenden zurück, was sie bereits „wissen“. Es ist jedoch nicht möglich, den ganzen Detailreichtum der Daten wiederzugeben. Die Kunst besteht darin, so viel Detail zu bieten, dass Fachkräfte, politisch Verantwortliche, Familien, andere Forschende und alle, für die die Forschungsergebnisse relevant sind, hilfreiche Orientierung erhalten, ohne so viele Informationen aufzunehmen, dass es überfordert. Die „CMO“-Heuristik hilft, ontologisch tiefe generative Mechanismen jenseits des Empirischen zu theoretisieren und dabei den Fokus auf Kausalität zu halten; sie erlaubt es, je nach Zielgruppe mehr oder weniger Informationen aufzunehmen, und trägt so dazu bei, die Ergebnisse für die jeweilige Zielgruppe so relevant wie möglich zu halten.

Fazit

In diesem Beitrag haben wir gezeigt, wie wir in drei Kommunen in England eine realistische Evaluation im Rahmen der Studie Safeguarding Family Group Conference durchgeführt haben. In einem iterativen Prozess des Erhebens, Kodierens, Analysierens und Diskutierens der Daten prüfte und verfeinerte das Forschungsteam die initiale Programmtheorie unter maßgeblicher Mitwirkung zentraler Stakeholder. Das Team um Mukumbang hält fest, dass „die realistische Evaluation mit einer Theorie beginnt und endet“ (Mukumbang et al., 2016a: 6). In diesem Beitrag haben wir beschrieben, wie wir einen Prozess aus Stakeholder-Einbindung, Datenerhebung, Analyse und Schreiben durchlaufen und dabei unsere Programmtheorie entwickelt, geprüft und verfeinert haben. Die realistische Evaluation beruht auf dem grundlegenden philosophischen Argument, dass es keine „endgültige Wahrheit oder endgültiges Wissen“ gibt; das angestrebte Endergebnis einer realistischen Evaluation ist vielmehr ein „besseres Verständnis davon, ob, wie und warum Programme wirken“ (Greenhalgh et al., 2019: 1). Auf der Suche nach besseren Erklärungen könnten realistisch Evaluierende ihre Programmtheorien unbegrenzt weiter verfeinern (Manzano, 2016: 356). Tatsächlich ist Forschung, auch die Safeguarding-FGC-Studie, durch Finanzierung und Projektlaufzeiten begrenzt. Wir laden andere Forschende ein, dort anzuknüpfen, wo wir aufgehört haben, und die von uns entwickelte Theorie weiter zu prüfen und zu verfeinern. Schließlich sei angemerkt, dass dieser Beitrag eine Möglichkeit darstellt, eine realistische Evaluation durchzuführen. Wir sind uns bewusst, dass dies nicht der einzige Weg ist, und ermutigen alle, die eine realistische Evaluation beginnen, den Ansatz an ihr konkretes Projekt, ihr Team und ihren Zeitplan anzupassen. Die realistische Evaluation ist flexibel und profitiert von der Einbeziehung verschiedener Arten von Evidenz aus Literatur, Stakeholdern und Forschungsdaten, von adaptiven Rekrutierungsstrategien und von einem teambasierten Vorgehen bei der retroduktiven Theoriebildung und Analyse.