Introdução

Os serviços sociais para crianças no Reino Unido

O sistema de serviços sociais para crianças do Reino Unido é descrito como estando “em crise” (Mackley et al., 2018). Nas últimas duas décadas, as medidas de austeridade introduzidas pelo governo britânico afetaram fortemente os orçamentos das autoridades locais e seus gastos com serviços sociais para crianças. Embora o financiamento dos governos locais tenha caído 55% entre 2010 e 2020 (Ogden e Phillips, 2024), esses cortes não se distribuíram igualmente entre os serviços para crianças. Os gastos destinados a manter as famílias unidas caíram significativamente (Bennett et al., 2021), enquanto os gastos totais com serviços sociais para crianças mais que dobraram na última década (Webb, 2023), concentrando-se cada vez mais em intervenções obrigatórias previstas em lei, como investigações de proteção da criança, afastamento das crianças de seus pais e manutenção das crianças em acolhimento (MacAllister, 2022; Webb et al., 2022). Essa tendência foi alimentada pelos cortes nos serviços preventivos, que aumentam a “demanda” por intervenções obrigatórias (Bennett et al., 2021) e agravam ainda mais as dificuldades, entre elas o alto número de casos por profissional, o esgotamento das equipes e a alta rotatividade de pessoal (Family Rights Group, 2018).

Na Inglaterra, as autoridades locais têm a obrigação legal de intervir quando há preocupações com a segurança de uma criança, em especial quando profissionais consideram que “a criança está sofrendo, ou corre o risco de sofrer, um dano significativo” (Children Act, 1989; HM Government, 2023: 8). Uma conferência inicial de proteção da criança (Initial Child Protection Conference) é então convocada para avaliar essas preocupações. Nela, o serviço social e os órgãos parceiros (saúde, polícia, escolas) compartilham informações e assumem a condução da elaboração de um plano para garantir a segurança da criança. As evidências indicam que pais e crianças vivenciam os procedimentos da conferência inicial de proteção como excludentes, conflituosos e humilhantes (Gibson, 2015). No Reino Unido, porém, reconhece-se a necessidade de que a prática do serviço social abandone uma cultura vertical, centrada no “especialista”, em favor de uma cultura relacional, que trate as preocupações com a segurança das crianças por meio de um processo de coprodução com as famílias (Ferguson et al., 2022; Ingram e Smith, 2018). A conferência de grupo familiar (Family Group Conferencing, FGC) é uma das formas de envolver as famílias e suas redes de apoio social na tomada de decisão, em parceria com profissionais, sobre a melhor maneira de proteger suas crianças (Family Rights Group, 2021; Pennell et al., 2011).

As avaliações da FGC buscaram identificar e medir resultados como a satisfação de quem participa, os laços familiares, a melhora das relações entre famílias e profissionais, a segurança das crianças, a permanência das crianças fora do acolhimento e a economia de recursos (Holland et al., 2005; Marsh e Crow, 1997; Mason et al., 2017; Merkel-Holguin, 2004; Munro et al., 2017; Pennell e Burford, 2000; Taylor et al., 2023). Entre essas avaliações estão revisões sistemáticas e grandes ensaios clínicos randomizados (ver Mason et al., 2017; Taylor et al., 2023), centrados no resultado quantitativo do acolhimento da criança (quantas crianças foram ou não afastadas da família), no impacto sobre as finanças públicas e na economia projetada. Captar o detalhe dos processos conduzidos pela família com métodos tradicionais de avaliação é difícil, porque as intervenções raramente são bem delimitadas e sua implementação depende muitas vezes de fatores contextuais locais (Mezey et al., 2015). Somam-se a isso dificuldades de recrutamento e acesso limitado aos dados (Mezey et al., 2015; Moody et al., 2021), o que reduz a utilidade possível dos resultados. Sem uma base sólida de evidências sobre o que funciona, é difícil determinar onde alocar recursos limitados para obter o maior impacto. Além disso, os ensaios clínicos randomizados, sozinhos, não conseguem captar como e por que processos de decisão conduzidos pela família, como a FGC, geram resultados específicos em contextos diferentes.

Os contextos em que se realizam as práticas dos serviços sociais são sistemas abertos e dinâmicos, que evoluem e se adaptam junto com os ecossistemas mais amplos dos territórios e das relações entre profissionais e famílias. Por isso, as intervenções dos serviços sociais para crianças costumam ser adaptadas ao seu contexto, em vez de rigidamente definidas de antemão, como é mais comum na área da saúde. São necessárias abordagens avaliativas capazes de captar as condições dinâmicas que favorecem ou dificultam que uma intervenção alcance os resultados de interesse em contextos diferentes; a avaliação realista é uma dessas abordagens.

Usar a avaliação realista para compreender as intervenções dos serviços sociais para crianças

Diferentemente das formas tradicionais de avaliação, a avaliação realista está menos interessada em responder à pergunta uma intervenção ou um programa funciona? e mais em entender como e por que uma intervenção ou um programa funciona em contextos diferentes, com populações diferentes (Pawson e Tilley, 1997: 141). A tarefa da avaliação realista é desenvolver teorias de programa que formulem hipóteses sobre “como se espera que um programa funcione, dadas as influências contextuais e os mecanismos de ação subjacentes” (Jagosh, 2019: 363). As teorias de programa são as “unidades de análise da avaliação realista” (Dalkin et al., 2015: 3). Identificando, formulando, testando e refinando essas teorias, a avaliação realista aprimora suas hipóteses em um processo iterativo (Pawson e Tilley, 1997). Pawson e Tilley (1997) introduziram a heurística das configurações Contexto-Mecanismo-Resultado (Context-Mechanism-Outcome, CMO) como ferramenta analítica para operacionalizar as teorias de programa. O contexto diz respeito aos “elementos do ambiente de fundo de um programa que têm impacto sobre os resultados (por exemplo, demografia, legislação, normas culturais)” (Jagosh, 2019: 363). Os mecanismos são “os recursos oferecidos por meio de um programa e a maneira como as pessoas respondem a esses recursos (por exemplo, informação, aconselhamento, confiança, engajamento, motivação)” (Jagosh, 2019: 363). Desdobrar os mecanismos em recursos do mecanismo e respostas ao mecanismo é útil, porque ajuda a diferenciar o que é mecanismo do que é contexto, o que dá clareza à teoria de programa (Dalkin et al., 2015). Os resultados, na avaliação realista, são os “efeitos intencionais ou não intencionais que decorrem das interações entre contexto e mecanismo (por exemplo, mudança de perspectiva, uso de um serviço, tomada de decisão, resiliência, resultados de saúde, autoeficácia, vínculos sociais)” (Jagosh, 2019: 363).

Uma parte central da avaliação realista consiste em lidar com os pressupostos ontológicos e epistemológicos que sustentam o programa ou a intervenção avaliados (ver Jagosh, 2019, 2020; Pawson e Tilley, 1997). Quatro ideias fundamentais oferecem um ponto de partida útil: (1) a profundidade ontológica, (2) a causalidade generativa, (3) a abdução e (4) a retrodução. A profundidade ontológica é a noção de que “a realidade é estratificada em camadas” (Jagosh, 2019: 364). Para o realismo, o que é real não é necessariamente observável, e é preciso ir além das evidências empíricas para começar a compreender a realidade. Na sequência, a causalidade generativa, em contraste com a causalidade sucessionista, é “a ideia de que mecanismos ocultos subjacentes geram resultados” (Jagosh, 2019: 364): a pesquisa realista precisa, portanto, olhar além das evidências empíricas para teorizar as razões possíveis do que observa. Isso exige tanto a abdução quanto a retrodução (Emmel, 2021). A abdução é uma “teorização pragmática, com foco na criatividade como lógica de inferência” (Tavory e Timmermans, 2014). Em termos leigos, é uma “intuição, um palpite ou uma imaginação informada que leva a novas ideias para gerar teorias e testar mecanismos possíveis” (Jagosh, 2020: 122). A retrodução é o modo de inferência fundamental usado na avaliação realista: é o processo de reivindicar mecanismos causais (ver Emmel, 2021; Jagosh, 2019). Por meio da abdução e da retrodução, a pesquisa realista entra em “um diálogo entre evidências e ideias” (Emmel, 2021: 103) a respeito das CMO, de como o programa ou a intervenção funciona, para quem e em quais circunstâncias. Os princípios filosóficos aqui expostos são a base da pesquisa realista.

Diretrizes de relato buscam desmistificar a condução de avaliações realistas (Wong et al., 2016). Outros trabalhos as complementaram com guias práticos úteis. Por exemplo, a equipe de Gilmore (2019) publicou um artigo detalhado mostrando como conduziu duas avaliações realistas de intervenções de saúde comunitária em três locais de estudo de caso. Ao descrever em profundidade o que fez e como fez, trouxe uma transparência muito necessária ao processo analítico das avaliações realistas realizadas em contextos complexos de saúde. Embora haja alguma sobreposição, o contexto dos serviços sociais para crianças impõe à pesquisa desafios próprios. Por exemplo, nesses serviços, o acompanhamento social costuma ser atribuído à criança, mas o “alvo” de uma intervenção é em geral o pai, a mãe ou a pessoa responsável pelos cuidados. Compreender os resultados dessas intervenções exige, portanto, uma teorização explícita de como a intervenção pode gerar resultados para as próprias crianças, que nem sempre são diretamente alcançadas pela intervenção.

Neste artigo, apresentamos um exemplo detalhado de avaliação realista da conferência de grupo familiar de proteção (Safeguarding Family Group Conferencing, doravante Safeguarding FGC) na Inglaterra. Para estruturar o texto, retomamos os títulos usados pelas equipes de Gilmore (2019) e de Mukumbang (2016a) em suas avaliações realistas. Depois de uma breve descrição do estudo Safeguarding FGC, apresentamos a fase 1 da pesquisa: a construção da teoria de programa inicial. Nela, mostramos como consultamos as partes interessadas para construí-la. Na fase 2, explicamos como elaboramos roteiros de entrevista e modelos de observação a partir da teoria de programa inicial e como produzimos os dados. Na fase 3, mostramos como analisamos os dados e os usamos para refinar, refutar e testar nossa teoria de programa, dentro de cada caso e entre os casos. Na fase 4, descrevemos como representamos nossa teoria de programa ao final do estudo. Na última parte, destacamos as principais dificuldades e oportunidades que a avaliação realista oferece no contexto dos serviços sociais para crianças. Concluímos com reflexões sobre a utilidade da avaliação realista, uma abordagem que se beneficia da inclusão de diferentes tipos de evidência (literatura, partes interessadas, dados de pesquisa), de estratégias de recrutamento adaptativas e de um trabalho em equipe para a teorização retrodutiva e a análise.

A conferência de grupo familiar de proteção: um exemplo detalhado de avaliação realista

Apresentação do estudo Safeguarding FGC

A Safeguarding FGC é um processo de decisão conduzido pela família, que reúne famílias e profissionais quando existe uma preocupação de proteção da criança¹. O estudo Safeguarding FGC é uma parceria entre pesquisa e prática que reúne a Faculdade de Medicina da Universidade de Exeter, o Centro de Pesquisa e Desenvolvimento em Serviços Sociais para Crianças (CASCADE) da Universidade de Cardiff, o Royal Borough of Kensington and Chelsea, o Westminster City Council e o London Borough of Hammersmith and Fulham. A pesquisa buscou identificar quais famílias tinham mais probabilidade de se beneficiar da Safeguarding FGC, e de que maneira; identificar e compreender os facilitadores e as barreiras à implementação da Safeguarding FGC; e desenvolver um pacote de implementação detalhado para a disseminação nacional nas autoridades locais da Inglaterra. As perguntas de pesquisa foram as seguintes:

• 1. O que funciona, e de que maneira, para permitir a adoção e a incorporação da Safeguarding FGC ao percurso de proteção da criança como alternativa à conferência inicial de proteção da criança?
• 2. Quais resultados são considerados mais adequados pelas famílias, incluindo crianças e jovens, e por profissionais?
• 3. Para quais famílias, e em quais circunstâncias, as conferências de grupo familiar de proteção permitem uma experiência mais positiva do percurso de proteção da criança e promovem resultados adequados para as famílias e para profissionais?

O estudo Safeguarding FGC é financiado pelo National Institute for Health Research (ref. NIHR131922).

Este artigo trata da metodologia usada para avaliar a Safeguarding FGC (perguntas de pesquisa 2 e 3). Sobre a pergunta de pesquisa 1, uma publicação em avaliação relata os resultados qualitativos da avaliação da implementação (Day et al., 2024). O protocolo completo do estudo também está disponível (Stabler, 2024a). A aprovação ética da pesquisa foi concedida pelo comitê de ética em pesquisa da Faculdade de Medicina da Universidade de Exeter (número de referência 493165) e pelas autoridades locais participantes. As pessoas participantes receberam folhetos informativos sobre o que a participação na pesquisa implicaria, incluindo a possibilidade de publicação dos resultados. Elas deram consentimento por escrito ou, quando isso não foi possível, consentimento verbal gravado em áudio, de acordo com os parâmetros da nossa aprovação ética.

As fases a seguir não foram uma progressão linear de tarefas: ocorreram em ciclos iterativos de coleta de dados, discussões em equipe e construção e teste da teoria com as partes interessadas e as pessoas participantes. A equipe de Dalkin observa que esse processo de desenvolver e testar teorias de programa é “muitas vezes intrincado” (Dalkin et al., 2021: 124). Ao descrever nossa abordagem, buscamos dar transparência ao processo e ilustrar uma maneira de realizar, na prática, uma avaliação realista.

Fase 1: construir a teoria de programa inicial

A teoria de programa inicial serve para “formular hipóteses sobre como, por que e para quem a intervenção pode funcionar, com base em revisões de literatura e de documentos e em entrevistas com informantes-chave que conceberam ou implementam o programa” (Gilmore et al., 2019: 3; Mukumbang et al., 2016b; Pawson e Tilley, 1997). A teoria de programa inicial funciona como um “primeiro rascunho” de explicação de como o programa funciona. Usamos a expressão teoria de programa inicial para designar nossa primeira tentativa de explicar como a Safeguarding FGC funciona, com base no engajamento das partes interessadas, na literatura e em pesquisas anteriores. Usamos depois, intencionalmente, a expressão teoria de programa para designar a teoria que testamos e refinamos com os dados. O singular “teoria de programa” se refere à nossa ideia geral de como a Safeguarding FGC funciona, e o plural “teorias de programa”, às configurações CMO que compõem essa teoria mais ampla. Em todas as etapas da avaliação realista, expressamos nossas teorias de programa como enunciados “se… então” (ver também Brand et al., 2019). Os enunciados “se… então” são uma forma de formular hipóteses sobre “como os resultados do programa se manifestam por meio dos mecanismos do programa e dos contextos correspondentes” (Jagosh et al., 2022: 2). Esse formato ajudou a equipe de pesquisa a manter em mente, desde o início, a identificação dos mecanismos generativos. Os termos “enunciados se… então”, “CMO” e “teorias de programa” são usados como equivalentes.

O estudo Safeguarding FGC se baseia em uma revisão realista rápida (Stabler et al., 2019) e nos resultados de um estudo-piloto realizado em Londres em 2019 (Bowring e Daly, 2021). A teoria de programa sobre como as Safeguarding FGC funcionam e sobre quais famílias pareciam se beneficiar orientou a implantação da Safeguarding FGC no local do piloto de 2019 e deu origem ao presente estudo. A teoria de programa derivada da revisão e do piloto de 2019 formou a base da nossa teoria de programa inicial e incluía um conjunto de “mecanismos interpessoais intermediários” sobre como e por que a Safeguarding FGC gerava resultados em contextos específicos (Stabler et al., 2019). Essas explicações incluíam (1) a redução da vergonha e da culpabilização nas reuniões, para as famílias e para profissionais; (2) maior participação dos pais nas decisões sobre como manter a criança em segurança; (3) a sensação de empoderamento dos pais e de seu grupo de apoio ampliado; (4) a centralidade da voz da criança na tomada de decisão; e (5) menor preocupação de profissionais com o risco, por conhecerem um quadro mais completo da vida da família. Dado o pequeno porte do estudo-piloto de 2019 e o tempo decorrido desde sua realização, tomamos essa teoria de programa como ponto de partida para desenvolver uma teoria de programa própria do estudo, em vez de testá-la diretamente.

O engajamento das partes interessadas

Para atualizar a teoria de programa de 2019, realizamos 13 entrevistas com 14 profissionais dos serviços sociais e de órgãos parceiros com experiência na implantação e/ou na condução de Safeguarding FGC, observamos três reuniões em que profissionais do local do piloto discutiam a Safeguarding FGC e dialogamos com membros das equipes das autoridades locais parceiras. As perguntas das entrevistas com as partes interessadas foram priorizadas e acordadas pela equipe do estudo, parte da qual havia trabalhado na teoria de programa de 2019. Elas tratavam da implantação e da condução da Safeguarding FGC e diziam respeito às seguintes áreas: gestão do risco, engajamento de crianças e jovens, engajamento e apropriação pela família, famílias que poderiam se beneficiar da intervenção, componentes centrais da Safeguarding FGC e resultados.

Elaborar os enunciados “se… então”

A lista a seguir apresenta as etapas que seguimos para elaborar um conjunto de enunciados “se… então” que capturassem as ideias da equipe do estudo sobre como a Safeguarding FGC poderia funcionar, informadas por um engajamento inicial amplo das partes interessadas.

• Criação de 240 enunciados “se… então” com base nas anotações da equipe de pesquisa sobre o engajamento das partes interessadas e nos palpites informados e nas teorizações da equipe sobre possíveis caminhos causais.
• Organização e agrupamento dos enunciados “se… então” por tema no Excel.
• Consolidação dos 240 enunciados “se… então” em 18, por meio de discussões com a equipe do estudo e com partes interessadas-chave. Uma das dificuldades da avaliação realista é administrar a expansão da teoria de programa inicial à medida que novos palpites e ideias são discutidos, e depois reduzir o número de ideias levadas adiante na avaliação. Isso inevitavelmente significou abrir mão de muitos de nossos palpites iniciais.
• Despriorização de nove dos enunciados “se… então” consolidados, com base em critérios realistas de priorização (Jagosh, 2022b).
• Uso dos nove enunciados “se… então” restantes para elaborar os roteiros de entrevista e o modelo de observação. O modelo de observação incluía seções correspondentes às etapas de uma FGC (ver o modelo de observação na Tabela Suplementar S1). Em cada seção, foram incluídas perguntas-guia baseadas na teoria de programa inicial, para orientar as anotações de quem observava.

Nesse estágio, sentimos que havíamos formulado, tanto quanto possível, como achávamos que a Safeguarding FGC poderia funcionar, e que podíamos passar à coleta de dados.

Fase 2: coletar dados para testar e refinar as teorias de programa

Nesta seção, descrevemos como a teoria de programa inicial orientou os roteiros de entrevista e o modelo de observação. Em seguida, apresentamos e justificamos os métodos de coleta de dados usados e o tamanho da amostra.

Os dados qualitativos foram coletados ao longo de 9 meses em três locais de estudo de caso na Inglaterra. As três autoridades locais participantes da pesquisa optaram por testar a Safeguarding FGC em caráter piloto antes de decidir ampliá-la, ou não. As razões variam e se devem em parte ao escrutínio que os órgãos reguladores, como o Ofsted, exercem sobre os serviços para crianças, aos recursos limitados e ao desejo de ver primeiro evidências de sucesso (sobre a implementação, ver Day et al., 2024). Por isso, apenas um pequeno número de famílias em cada local teve uma Safeguarding FGC durante o período de recrutamento do estudo. Dessas, três famílias aceitaram participar da pesquisa. Emmel afirma que, ao coletar dados qualitativos em um estudo realista, “relatar que 1 ou 200 casos foram coletados não é tão importante quanto a maneira como as percepções sobre eventos e experiências são usadas para a interpretação, a explicação e as afirmações da pesquisa” (Emmel, 2013: 141). Manzano vai na mesma direção: “o importante não é ‘com quantas’ pessoas falamos, mas ‘com quem’, ‘por que’ e ‘como’” (Manzano, 2016: 349). O pequeno número de famílias recrutadas no estudo Safeguarding FGC esconde a riqueza e a profundidade dos dados qualitativos coletados. Para cada família participante, uma pessoa da equipe de pesquisa observou até três reuniões entre a família e profissionais (incluindo a Safeguarding FGC e as reuniões de revisão), fazendo anotações anonimizadas com um modelo de anotação. Todas as pessoas presentes à Safeguarding FGC foram depois convidadas pela equipe de pesquisa a participar de duas entrevistas, a primeira até 1 mês após a Safeguarding FGC e a segunda até 3 meses depois. Os dados qualitativos também incluíram anotações reflexivas da equipe de pesquisa sobre reuniões e conversas com profissionais. Para a primeira família que consentiu em participar, uma pessoa da equipe observou 3 reuniões de pelo menos uma hora e meia cada, fazendo anotações, e realizou 12 entrevistas com 8 pessoas, entre familiares e profissionais, em dois momentos, ao longo de 6 meses. Apesar das limitações, a equipe de pesquisa conseguiu coletar dados aprofundados, que lançam luz sobre as experiências e percepções das famílias e de profissionais a respeito do processo de Safeguarding FGC e de seu funcionamento.

Elaborar roteiros de entrevista e modelos de observação para testar e refinar a teoria de programa

A teoria de programa inicial foi usada para criar os roteiros de entrevista e um modelo de observação para a coleta de dados. A entrevista realista busca esclarecer como as pessoas participantes “entendem e vivenciaram o programa, e comparar essas experiências com nossas hipóteses sobre como o programa está funcionando” (Manzano, 2016: 349). Criamos roteiros de entrevista diferentes para pais e pessoas responsáveis pelos cuidados, família ampliada e amigos, crianças e jovens, profissionais dos serviços sociais e órgãos parceiros, de acordo com os aspectos do programa que cada grupo estava em melhor posição para comentar. Também consultamos um grupo de pais com experiência vivida dos serviços sociais para crianças, para obter sua contribuição sobre as perguntas da entrevista e o modelo de observação. Um aspecto da Safeguarding FGC nos interessava em especial: compreender o mecanismo, ou os mecanismos, subjacente que levava as famílias a aceitar a oferta de uma Safeguarding FGC como alternativa a uma conferência inicial de proteção da criança (a forma habitual de trabalho entre famílias e profissionais quando há uma preocupação de proteção). A Tabela 1 mostra como traduzimos um enunciado “se… então” da nossa teoria de programa inicial em perguntas para o roteiro de entrevista destinado a pais e pessoas responsáveis pelos cuidados.

As duas primeiras perguntas elaboradas a partir do enunciado “se… então” da Tabela 1 foram deixadas intencionalmente abertas, para tentar entender o que havia levado pais e pessoas responsáveis pelos cuidados a aceitar uma Safeguarding FGC. Perguntas abertas e sondagens que exploravam como as diferentes partes da intervenção haviam funcionado para quem participou garantiram que a pesquisa captasse um leque de ideias além do que havíamos teorizado. Combinamos essas perguntas abertas com uma técnica de entrevista direta usada na avaliação realista, em que aspectos da teoria de programa inicial são apresentados às pessoas entrevistadas (Manzano, 2016). Nessa abordagem, quem entrevista expõe toda ou parte da configuração CMO e convida a pessoa entrevistada a concordar, discordar ou complementar (ver a pergunta 3 da Tabela 1) (Manzano, 2016). A vantagem desse tipo de questionamento é que as pessoas participantes têm a oportunidade de comentar diretamente a lógica das CMO, esclarecê-las, complementá-las ou refutá-las. Na prática, verificamos que essa abordagem direta tinha limitações, conforme a segurança de cada pessoa diante de ideias que lhe eram apresentadas, para discordar de quem pesquisava e propor explicações alternativas. A equipe de Griffiths observa que essa forma de entrevistar “tende a ser mais eficaz com quem formula políticas e com parte das equipes da prática” (Griffiths et al., 2022: 2). Dadas essas limitações, e porque queríamos captar um leque de respostas, a maioria das perguntas feitas nas entrevistas era aberta (como as perguntas 1 e 2 da Tabela 1), mas ainda assim diretamente baseada na teoria de programa e voltada para compreender como o programa funcionava em contextos diferentes, para pessoas diferentes. Formular as perguntas de várias maneiras foi útil e gerou dados que aprofundaram nossa compreensão de como as pessoas entrevistadas vivenciaram a Safeguarding FGC. Depois, comparamos e contrastamos essas experiências com outros dados e com nossas teorias de programa (Manzano, 2016).

Fase 3: análise dos dados

A análise realista dos dados é iterativa: à medida que os dados eram coletados, eram analisados em um processo cíclico de teste e refinamento (Wong et al., 2016). Uma diferença fundamental entre a avaliação realista e outros tipos de avaliação é o uso da teorização retrodutiva. A retrodução vai além do raciocínio indutivo e dedutivo e consiste em “voltar a partir dos padrões ou regularidades observados, ou ir por baixo ou por trás deles, para descobrir o que os produz” (Lewis-Beck et al., 2004). A retrodução é “a atividade de teorizar e testar os mecanismos causais ocultos responsáveis pela manifestação do empírico” (Jagosh, 2020: 121). À medida que os dados eram coletados e incorporados à análise, as teorias de programa evoluíram, e a compreensão da equipe de pesquisa sobre as nuances de como o programa funcionava para diferentes famílias e em diferentes contextos foi ganhando nitidez.

As entrevistas foram gravadas e transcritas na íntegra. Por falta de tempo, a transcrição foi feita por um serviço externo. As anotações das observações foram digitadas com os modelos de observação. As anotações reflexivas da equipe de pesquisa também foram digitadas e incluídas na análise. Todas as pessoas, todos os lugares e todas as organizações presentes nos dados receberam pseudônimos para proteger o anonimato.

Etapa 1: familiarização

A avaliação realista exige buscar, nos dados, cadeias causais que levem a resultados intencionais e não intencionais. A percepção causal pode não ficar plenamente evidente em uma citação específica de entrevista porque, segundo a metodologia realista, os mecanismos generativos existem abaixo do empírico (a profundidade ontológica), e é por meio da retrodução que a pesquisa realista teoriza o que eles podem ser. Por isso, primeiro consideramos os dados de forma global, relendo cada transcrição de entrevista e refletindo sobre o que ela revelava a respeito do funcionamento do programa (Jagosh, 2022a). Isso ajudou a equipe de pesquisa a ter uma ideia das principais percepções causais dos dados. Para registrá-las, a equipe escreveu um breve resumo de cada transcrição, tendo em mente a teoria de programa, e identificou os principais temas que emergiam dos dados. O resumo e os temas foram colocados no início de cada material antes de prepará-lo para uma codificação mais detalhada.

Etapa 2: codificar e anotar no NVivo

Os dados foram carregados no programa NVivo 12, da QSR International. O NVivo é uma ferramenta útil para organizar a análise de um conjunto grande e diverso de dados qualitativos. A equipe de Dalkin (2021) escreveu sobre o uso do NVivo e de outros programas de apoio à análise de dados qualitativos na avaliação realista. Ela observa a necessidade de usar o NVivo com flexibilidade, de modo adequado às especificidades de cada equipe e de cada estudo. A seção a seguir descreve como usamos o NVivo.

Usamos o NVivo como ferramenta para organizar e codificar os dados. Não o usamos como registro exaustivo de todas as decisões relacionadas ao desenvolvimento da teoria: acompanhamos as mudanças na teoria de programa no Excel. Um esquema de codificação foi desenvolvido no NVivo a partir das nove CMO da teoria de programa inicial, expressas como enunciados “se… então”. O título curto de cada CMO foi inserido no NVivo como código-pai. A cada uma dessas nove CMO (códigos-pai) foram atribuídos quatro códigos-filho. Os códigos-filho são subcódigos que categorizam os dados com mais precisão para apoiar a análise. Para cada código-pai, os códigos-filho eram (1) Confirma, (2) Refina, (3) Questiona e (4) Conecta (ver a Tabela 2 para a descrição de cada código-filho). Os dados qualitativos das entrevistas, das observações e das anotações reflexivas da equipe de pesquisa foram codificados com esse esquema.

Codificamos cada segmento de dados selecionado em um código-pai (uma das nove teorias de programa) e em um dos quatro códigos-filho: “confirma”, “refina”, “questiona” ou “conecta”. Assim, podíamos ver quais dados se relacionavam a quais teorias de programa, e se esses dados confirmavam, refinavam ou questionavam nossas hipóteses, ou se conectavam a outras teorias de programa.

Os roteiros de entrevista e o modelo de observação haviam sido desenvolvidos com base na teoria de programa atualizada, e as perguntas e sondagens correspondiam a teorias de programa específicas, o que ajudava a saber em quais teorias de programa codificar os dados. Ao codificar, recorremos ao nosso julgamento para buscar percepções causais em toda a teoria de programa. Para cada segmento codificado, criamos também uma anotação no NVivo. A função de anotação do NVivo permite criar uma nota vinculada a um segmento específico de dados. Para cada material codificado, criamos uma anotação com o título do código, o código-filho e uma ou duas frases explicando o raciocínio por trás da codificação, junto com as iniciais de quem codificava e a data. Isso permitiu acompanhar o raciocínio, as decisões e as justificativas adicionais da codificação de segmentos específicos em diferentes códigos e códigos-filho (ver a Tabela 3 para um exemplo de nossos dados).

Codificamos os dados o mais cedo possível depois de coletados e transcritos. No início do período de coleta, codificamos uma parte significativa dos dados nos códigos-filho “refina”. Isso porque estávamos indo além de nossos palpites iniciais e aprimorando nossa compreensão de como o programa funcionava conversando com pessoas que o vivenciavam. À medida que o estudo avançava, codificamos muito mais dados como “confirma”, conforme nossos enunciados “se… então” ficavam mais claros e eram testados. Vale observar que o processo de codificação era uma ferramenta analítica, e não recodificamos os dados quando nosso pensamento sobre uma CMO específica evoluía. Em vez disso, discutíamos nossa hipótese com outros membros da equipe.

Etapa 3: consolidação

Para compreender melhor os dados, a equipe de pesquisa criou uma planilha para registrar as principais percepções. A planilha trazia o nome de cada arquivo de dados no eixo vertical e os códigos-pai no eixo horizontal. A pessoa que havia coletado os dados incluía então um breve resumo das principais percepções relacionadas a cada código-pai, para cada transcrição de entrevista, observação e anotação reflexiva: o número de segmentos codificados no código-pai e, em seguida, algumas frases resumindo como os dados confirmavam, refinavam ou questionavam o enunciado “se… então”. Essa planilha permitiu compartilhar as percepções na equipe e serviu de base para as discussões seguintes nas reuniões de compartilhamento de dados.

Etapa 4: discussão conjunta

Grande parte da análise foi feita por meio da conversa dentro da equipe de pesquisa, e entre a equipe de pesquisa e partes interessadas-chave, em reuniões de compartilhamento de dados, reuniões teóricas e reuniões do grupo de especialistas das partes interessadas.

Reuniões de compartilhamento de dados

As reuniões de compartilhamento de dados aconteciam semanalmente entre os membros da equipe do estudo que respondiam principalmente pela coleta. Seu objetivo era permitir que quem trabalhava nos locais de estudo de caso falasse dos dados cujo sentido queria discutir, ou apontasse dados que pareciam capazes de afetar a lógica dos enunciados “se… então” existentes. Em cada reunião, tomando como referência a planilha das principais percepções, costumávamos examinar os dados codificados em um enunciado “se… então”, provenientes de diferentes fontes e de diferentes locais de estudo de caso. Discutíamos os detalhes dos dados coletados e confrontávamos nossas interpretações com as de outras pessoas da equipe. Todas as mudanças sugeridas para a teoria de programa eram registradas e depois levadas à equipe de pesquisa ampliada nas reuniões teóricas.

Reuniões teóricas

As reuniões teóricas aconteciam aproximadamente a cada 4 a 6 semanas. Eram priorizadas as datas em que a equipe podia se reunir presencialmente, dada a complexidade das discussões. A pauta variava conforme os novos dados coletados. Ao todo, foram realizadas 15 reuniões teóricas, de pelo menos 2 horas cada, ao longo do projeto. Às vezes discutia-se apenas um enunciado “se… então”; em outras reuniões, a teoria de programa era considerada como um todo. O objetivo geral dessas reuniões era reivindicar mecanismos generativos e testá-los com os dados e por meio da discussão, além de identificar contextos e resultados-chave.

Na maioria das reuniões teóricas, dados codificados eram apresentados e examinados em relação a um ou dois enunciados “se… então”. Com base nas percepções extraídas dos dados e nas discussões das reuniões de compartilhamento, eram apresentadas propostas de mudança acompanhadas de trechos dos dados. Em outros momentos, a pessoa que havia coletado os dados contava a “história” desses dados, e a equipe de pesquisa discutia abertamente o que poderia estar acontecendo e a quais enunciados “se… então” isso se ligava. As reuniões teóricas funcionavam como um espaço para a equipe de pesquisa tomar decisões conjuntas, a fim de melhorar a formulação das cadeias causais dos enunciados “se… então” e chegar a acordo sobre as mudanças.

As reuniões teóricas também serviam para garantir que a teoria captasse os contextos, mecanismos e resultados mais importantes e para decidir quais CMO priorizar ou despriorizar. Periodicamente, as reuniões teóricas ofereciam também a oportunidade de “checar a coerência” de como todas as teorias de programa se encaixavam, em especial perto do fim do estudo. A equipe usava as seguintes perguntas como guia:

• 1. A cadeia causal do enunciado “se… então” faz sentido do ponto de vista lógico?
• 2. Estamos captando o que é mais importante para explicar como a Safeguarding FGC funciona, ou não funciona?
• 3. Está faltando alguma coisa, ou perdemos, ao refinar os enunciados “se… então”, algo que queremos reincorporar?
• 4. Captamos o contexto mais relevante? (com um lembrete para considerar contextos situados em diferentes níveis do modelo socioecológico: individual, interpessoal, institucional, comunitário e político)
• 5. O que está no centro deste enunciado “se… então”, e que palavras-chave poderíamos usar para resumi-lo?
• 6. Estamos fazendo nos enunciados “se… então” afirmações que nos parecem ir longe demais em relação às nossas evidências?

As reuniões teóricas eram gravadas em áudio e, depois de cada uma, um membro da equipe de pesquisa ouvia de novo a gravação e alterava as teorias de programa com base na discussão, para melhorar sua lógica, seu caminho causal e sua formulação. A nova versão da teoria de programa era então distribuída à equipe e aprovada. A teoria de programa atualizada servia de base para a rodada seguinte de codificação e análise.

Grupo de especialistas das partes interessadas

Para checar ainda mais a coerência da teoria de programa, enriquecê-la e testá-la, a equipe de pesquisa discutiu periodicamente as CMO com o grupo de especialistas das partes interessadas do estudo (Expert Stakeholder Group). O grupo incluía pessoas com experiência vivida dos serviços para crianças, além de profissionais da prática e pessoas da academia que atuam no campo dos serviços sociais para crianças. O grupo se reuniu seis vezes, em diferentes composições, entre julho de 2022 e junho de 2024. A equipe do estudo apresentava a teoria de programa, ou partes dela, na forma de enunciados “se… então”, ou compartilhava tópicos e temas relacionados à teoria de programa. O grupo sugeria então nuances, refinamentos e novas percepções que ajudavam a esclarecer as CMO e a lógica geral da teoria de programa, por meio da discussão e respondendo, com o programa de apresentação interativa Mentimeter, a perguntas baseadas na teoria de programa. Assim como a equipe de Griffiths (2022), adaptamos nossa forma de coletar retornos sobre a teoria de programa ao grupo específico de pessoas com quem falávamos. Todas as mudanças e ideias propostas eram depois discutidas pela equipe do estudo e registradas em uma planilha do Excel. Das 18 CMO originais, as nove que priorizamos e refinamos são as que os membros do grupo de especialistas nos indicaram como as mais importantes.

Fase 4: representar a teoria de programa

A pesquisa realista representa as teorias de programa de diferentes maneiras. Muitas delas envolvem descrições escritas ou narrativas para cada CMO, explicando como ela funcionou (Greenhalgh et al., 2009; Jagosh et al., 2015). Às vezes, elas são acompanhadas de representações visuais de CMO específicas ou da teoria de programa como um todo (ver, por exemplo, Mukumbang et al., 2016b). Em alguns momentos, usamos representações visuais de nossas teorias de programa, na forma de diagramas, em apresentações às partes interessadas e nas reuniões teóricas. Um diagrama geral da teoria de programa inicial foi usado para teorizar como as CMO se encaixavam e para identificar lacunas em nosso conhecimento (ver o protocolo do estudo, Stabler, 2024a: 12). Mais adiante no estudo, recursos visuais de enunciados “se… então” específicos foram usados para simplificar as teorias de programa para discussão (por exemplo, a Figura 1, uma primeira versão de diagrama de enunciado “se… então” sobre demonstrar confiança). Esses recursos visuais se mostraram ferramentas úteis para construir e refinar as teorias de programa, em especial com as partes interessadas. Embora os diagramas funcionassem bem para estimular a discussão e a teorização, concluímos que uma descrição narrativa era necessária para captar a nuance e a complexidade ao divulgar nossos resultados de forma mais ampla.

Ao final do estudo, optamos por representar nossa teoria de programa escrevendo narrativas explicativas, com exemplos dos dados, para cada enunciado “se… então”. Elaboramos as seguintes perguntas e sugestões para orientar a escrita:

Para cada enunciado “se… então”, considere as seguintes perguntas:

• O que queremos dizer com esta CMO?
• Como isso poderia se apresentar?
• O que poderia ser uma barreira a esta CMO?
• O que poderia tornar esta CMO mais provável?
• Como esta CMO se conecta a outras CMO (o resultado de uma pode se tornar o contexto de outra)?

Sugestões para ajudar a escrever as narrativas:

• Alguns exemplos disso são…
• Isso parece importante: (a) em toda a teoria de programa ou (b) nesta circunstância.
• Na área A, vemos X acontecer destas maneiras, ao passo que na área B isso poderia se apresentar como…
• Não observamos isso, mas pode ser que, se X estiver presente, Y aconteça.
• Isso é evidenciado nesta literatura…

O documento final resultante foi uma versão abrangente e extensa da nossa teoria de programa, que pudemos editar e adaptar ao apresentá-la a diferentes públicos: por exemplo, para dar retorno às autoridades locais participantes, para redigir um relatório ao órgão financiador e para submeter publicações acadêmicas.

Neste artigo, apresentamos um exemplo detalhado de como conduzimos uma avaliação realista da Safeguarding FGC. Na seção seguinte, refletimos sobre as dificuldades e oportunidades específicas que encontramos ao fazer pesquisa realista no contexto dos serviços sociais para crianças.

Principais dificuldades e oportunidades da avaliação realista no contexto dos serviços sociais para crianças

Realizar avaliações nos serviços sociais para crianças envolve várias dificuldades importantes, nem todas exclusivas da avaliação realista. Destacamos aqui algumas dificuldades que vivenciamos em cada uma das fases descritas acima. Também procuramos mostrar como a metodologia da avaliação realista nos permitiu superar parte delas.

A qualidade das evidências existentes

O ponto de partida de uma avaliação realista é uma teoria de programa inicial, que se apoia na literatura publicada e na consulta às partes interessadas para formular uma primeira compreensão de como um programa funciona, que depois pode ser testada. A literatura avaliativa sobre serviços sociais para crianças é relativamente pouco desenvolvida em comparação com disciplinas como saúde e educação (Proctor, 2017), em parte por causa de divergências sobre a abordagem correta de avaliação nesse contexto (Frost e Dolan, 2021). Na literatura existente, muitas vezes falta uma teorização explícita de como se supõe que as intervenções funcionem (Stabler et al., 2022). Isso limita os dados preexistentes disponíveis para uma avaliação nesse contexto. No entanto, a abordagem realista incentiva a buscar dados teoricamente ricos em diferentes fontes para desenvolver uma teoria de programa inicial, inclusive fora da disciplina do estudo. O serviço social tem muitas disciplinas afins, como a psicologia e o aconselhamento, às quais se pode recorrer para compreender as intervenções do serviço social. Além disso, as avaliações realistas podem se apoiar em outros trabalhos realizados na mesma área, ou sobre intervenções semelhantes, sem que tenham sido explicitamente concebidos como um programa de pesquisa. Este estudo se apoiou em outros estudos da equipe voltados a intervenções para reduzir a necessidade de acolhimento de crianças, entre eles uma revisão de escopo (Stabler et al., 2022), uma revisão realista rápida com foco específico em intervenções semelhantes à avaliada (Stabler et al., 2019; Stabler, 2024b) e uma avaliação-piloto da intervenção em três autoridades locais (Bowring e Daly, 2021). Isso ofereceu um ponto de partida sólido para compreender como a intervenção poderia funcionar. Essa compreensão pode então ser fortalecida pelo engajamento das partes interessadas: pessoas com experiência em partes da teoria de programa compartilham sua expertise, que pode ser sintetizada com os dados da literatura e de outros estudos para produzir uma teoria de programa inicial.

O recrutamento de participantes

Outra dificuldade persistente na pesquisa em serviços sociais para crianças é o recrutamento de participantes. Recrutar é difícil porque as pessoas que passam por intervenções do serviço social provavelmente atravessam um momento difícil da vida (Flaherty e Bromfield, 2021), e profissionais da prática muitas vezes lidam com cargas de trabalho elevadas e outras barreiras à participação em pesquisas (Pulman e Fenge, 2023; Yoon et al., 2022). Participar de uma pesquisa pode, assim, ser sentido como um fardo a mais, somado ao que já se espera de familiares e profissionais: participar de muitas reuniões com muitos serviços. Também pode ser difícil, nesse momento, para a equipe de pesquisa explicar a independência de seu papel e o caráter confidencial da participação, quando as famílias estão em um ponto em que muitas informações sobre sua vida podem estar sendo compartilhadas de um jeito que as incomoda (Yoon et al., 2022). Além disso, as autoridades locais não dispõem da infraestrutura e dos recursos para facilitar a pesquisa da mesma forma que as organizações de saúde (Mezey et al., 2015). Na avaliação realista, porém, não se depende de um número “alto” de participantes, já que “a unidade de análise não é a pessoa, mas os eventos e processos à sua volta” (Greenhalgh et al., 2017: 2). As pessoas participantes são selecionadas pelo conhecimento que podem ter sobre diferentes partes da teoria de programa. Por exemplo, profissionais da linha de frente podem ter perspectivas importantes sobre para quem as intervenções funcionam ou não, ao passo que as pessoas que recebem a intervenção sabem como ela funcionou para elas. Assim, dados qualitativos ricos de estudos de caso podem usar um quadro amostral em que a “amostragem” se baseia em contextos, e não em características das famílias definidas de antemão (Greenhalgh et al., 2017).

A análise dos dados

As intervenções dos serviços sociais para crianças podem muito bem ser definidas de forma flexível, em vez de claramente manualizadas. Muitas vezes, nesse contexto, as intervenções não dizem respeito apenas a “o que” é feito, mas a como é feito, apoiando-se nas relações e nas formas de interagir como componente central (Frost e Dolan, 2021). Além disso, o âmbito do trabalho dos serviços sociais para crianças é amplo, o que significa que os resultados podem ser pouco claros, difíceis de medir e contestados entre diferentes partes interessadas (Forrester, 2017). Nesse contexto, uma abordagem realista pode parecer complicada, porque pode ser difícil formular com clareza a arquitetura do programa em relação aos mecanismos. Desenvolver uma teoria de programa inicial apoiada na expertise das partes interessadas é uma forma de lidar com isso, como vimos. Outra oportunidade é a análise em equipe, que permitiu examinar os dados por meio da discussão, recorrendo também à expertise e ao conhecimento da equipe e à sua compreensão de como o programa estava funcionando. Isso é especialmente útil em um contexto em que os dados buscam revelar saberes diferentes, cada um com sua linguagem e seu jargão. A análise em equipe pode permitir esclarecer a compreensão, mas também evidenciar quais partes ainda parecem incertas. Elas podem então ser priorizadas para novos testes, com o modelo iterativo “professor-aprendiz” (Greenhalgh et al., 2017) de produção de dados nas entrevistas com participantes, ou buscando mais literatura.

Produzir evidências relevantes e acessíveis

O trabalho da avaliação realista é fazer emergir e reunir o que diferentes pessoas acham que sabem sobre como um programa funciona. Nesse sentido, uma avaliação realista no contexto dos serviços sociais para crianças pode gerar evidências que dialoguem com profissionais da prática, com quem formula políticas e com as famílias. Dados qualitativos ricos sobre como os programas funcionam podem trazer nuances às ideias sobre cadeias causais e oferecer exemplos úteis do mundo real. Uma teoria de programa bem formulada deve reunir esses dados para refletir as experiências de quem conhece o programa. Em certo sentido, ela devolve às pessoas participantes o que elas já “sabem”. Não é possível, porém, apresentar todo o nível de detalhe presente nos dados. A arte está em garantir o nível de detalhe capaz de oferecer informações úteis para orientar profissionais da prática, responsáveis por políticas públicas, famílias, outras equipes de pesquisa e qualquer pessoa para quem os resultados sejam relevantes, sem incluir tanta informação que se torne esmagadora. A heurística “CMO” ajuda a teorizar mecanismos generativos ontologicamente profundos, para além do empírico, mantendo ao mesmo tempo o foco na causalidade, o que permite incluir mais ou menos informação conforme o público e ajuda a manter os resultados tão relevantes quanto possível para ele.

Conclusão

Neste artigo, mostramos como conduzimos uma avaliação realista no âmbito do estudo Safeguarding Family Group Conference, em três autoridades locais da Inglaterra. Por meio de um processo iterativo de coleta, codificação, análise e discussão dos dados, a equipe de pesquisa testou e refinou a teoria de programa inicial, com contribuição significativa de partes interessadas-chave. A equipe de Mukumbang observa que “a avaliação realista começa e termina com uma teoria” (Mukumbang et al., 2016a: 6). Neste artigo, descrevemos nosso percurso (engajamento das partes interessadas, coleta de dados, análise e escrita) e a maneira como desenvolvemos, testamos e refinamos nossa teoria de programa. A avaliação realista se baseia no argumento filosófico subjacente de que não existe uma “verdade ou conhecimento final”: o resultado desejado de uma avaliação realista é, antes, uma “compreensão melhor de se, como e por que os programas funcionam” (Greenhalgh et al., 2019: 1). Na busca de explicações melhores, a avaliação realista poderia continuar refinando suas teorias de programa indefinidamente (Manzano, 2016: 356). Na realidade, a pesquisa, inclusive o estudo Safeguarding FGC, é limitada pelo financiamento e pelos prazos dos projetos. Convidamos outras equipes de pesquisa a retomar o trabalho de onde paramos e a continuar testando e refinando a teoria que desenvolvemos. Por fim, cabe observar que este artigo apresenta uma maneira de conduzir uma avaliação realista. Reconhecemos que não é a única e incentivamos quem for se lançar em uma avaliação realista a adaptar a abordagem a seu projeto, sua equipe e seu cronograma. A avaliação realista é flexível e se beneficia da inclusão de diferentes tipos de evidência (literatura, partes interessadas, dados de pesquisa), de estratégias de recrutamento adaptativas e de um trabalho em equipe para a teorização retrodutiva e a análise.