Journal of Child and Family Studies · Terapia familiar

A terapia multissistêmica para adolescentes ao longo da pandemia de COVID-19 na Noruega

Quando a Noruega entrou em lockdown, em março de 2020, a terapia multissistêmica, realizada na casa das famílias, precisou se reinventar: telefone, vídeo, encontros num parque ou de carro para carro. Com base nos registros de 2.021 jovens, de 2018 a 2021, a equipe de Katrine Skulberg mostra que os desfechos gerais se mantiveram, mas que a fidelidade ao modelo caiu, que ela pesou mais do que nunca nos desfechos e que alguns subgrupos, sobretudo no norte do país, se beneficiaram menos.

Autores Katrine Skulberg (Departamento de Educação Especial, Universidade de Oslo); Tony C. A. Tan (Centro de Medição Educacional e Centro de Pesquisa sobre Equidade na Educação, Universidade de Oslo); Dagfinn Mørkrid Thøgersen (Centro Norueguês para o Desenvolvimento Comportamental Infantil, NCCBD, e Instituto Norueguês de Saúde Pública); Knut Taraldsen (NCCBD); Gunnar Bjørnebekk (Departamento de Educação Especial, Universidade de Oslo, e NCCBD), Oslo, NoruegaPrimeira publicação Journal of Child and Family Studies, 8 de dezembro de 2025Tradução Complexe Systémique, tradução não oficial

Tradução não oficial em português. Este artigo é a tradução de A terapia multissistêmica para adolescentes ao longo da pandemia de COVID-19 na Noruega, de Katrine Skulberg, Tony C. A. Tan, Dagfinn Mørkrid Thøgersen, Knut Taraldsen e Gunnar Bjørnebekk, publicado na Journal of Child and Family Studies (Springer) (2026), doi: 10.1007/s10826-025-03222-9, sob licença CC BY 4.0. Tradução realizada pelo Complexe Systémique em setembro de 2026: o texto original foi traduzido para português e reformatado, o que constitui uma modificação da obra nos termos da licença. As tabelas são apresentadas em forma de listas; as figuras permanecem em inglês, com legendas traduzidas; o material suplementar on-line (tabelas S1 a S3) não foi reproduzido. Esta tradução não foi feita nem pelos autores nem pelo editor, que não respondem pelo seu conteúdo nem por eventuais erros. A versão original prevalece.

Assim, uma alta adesão ao procedimento da MST parece especialmente importante em tempos turbulentos.

Katrine Skulberg, Tony C. A. Tan, Dagfinn Mørkrid Thøgersen, Knut Taraldsen e Gunnar Bjørnebekk

Resumo

Diversos estudos demonstraram que a terapia multissistêmica (MST) é um tratamento eficaz para jovens com problemas graves de conduta. Este estudo busca investigar em que medida a MST norueguesa foi afetada pelos lockdowns da COVID-19 e examinar os fatores associados aos desfechos do tratamento antes e durante a pandemia, com um delineamento de grupos de comparação naturais. Foram incluídos 2.021 adolescentes (63,4% de meninos; Midade = 14,83, DPidade = 1,60), cujas famílias foram encaminhadas à MST por problemas de conduta graves e persistentes. Os desfechos do tratamento foram comparados entre três grupos temporais: A, totalmente antes da pandemia; B, parcialmente antes da pandemia; e C, durante a pandemia. O Youth Level of Service/Case Management Inventory (YLS/CMI) e cinco metas comportamentais do tratamento foram avaliados na admissão e na alta. Além disso, as cinco metas comportamentais foram avaliadas por meio de entrevistas com os pais 6, 12 e 18 meses após o tratamento. Uma queda na fidelidade ao tratamento ficou evidente após o início da COVID-19, e alguns subgrupos tiveram benefícios menores. A fidelidade ao tratamento esteve mais fortemente associada aos desfechos do tratamento após o início da pandemia. Modelos de curva de crescimento latente revelaram que os meninos que começaram a MST após o início da pandemia tiveram ritmos de melhora comportamental mais vantajosos. Embora a maior parte de quem participou da MST tenha mostrado progresso nos desfechos comportamentais, em vários casos houve regressão nos desfechos do tratamento com a chegada da pandemia. São necessários mais estudos para identificar fatores aos quais subgrupos de adolescentes são particularmente sensíveis, para que possam obter os benefícios da MST em situações de crise.

Palavras-chave: COVID-19, problemas de conduta na adolescência, terapia multissistêmica, fidelidade ao tratamento, preditores da eficácia do tratamento

Pontos-chave

  • Este estudo amplia o conhecimento sobre jovens em MST ao examinar os desfechos do tratamento durante a pandemia de COVID-19.
  • Uma queda significativa na fidelidade ao tratamento ficou evidente após o início da pandemia.
  • Houve mudança nos preditores associados à eficácia da MST.
  • A fidelidade ao tratamento foi um preditor mais forte de desfecho positivo do tratamento após o início da pandemia.

Como em muitos outros países, o governo norueguês anunciou em março de 2020 um lockdown nacional para limitar a propagação do vírus SARS-CoV-2, o que levou a severas restrições sociais e a vários lockdowns nacionais nos 17 meses seguintes. O lockdown nacional exigiu que a força de trabalho em geral, incluindo o pessoal dos serviços de proteção à infância (CWS) e terapeutas da terapia multissistêmica (MST; Henggeler et al., 2009), trabalhasse de casa e limitasse o contato social. Além disso, escolas, atividades de lazer e a maior parte do comércio foram fechados, o que restringiu ainda mais a vida social. Para adolescentes e famílias em MST, que já enfrentavam circunstâncias muito difíceis, essas restrições podem ter representado um sério risco para a qualidade e os desfechos do tratamento.

O lockdown criou desafios importantes para a manutenção e a implementação das atividades terapêuticas na Noruega (Taraldsen, 2020), sobretudo ao restringir a possibilidade de terapeutas da MST realizarem encontros presenciais com as famílias. Isso perturbou gravemente o formato principal da MST: sessões domiciliares, até várias vezes por semana, em horários convenientes para os membros da família (Henggeler et al., 2009). Para manter a oferta dos serviços, sessões por telefone e videoconferência foram rapidamente implantadas como substitutos essenciais, além de soluções criativas (por exemplo, encontros no terraço da família, num parque ou lado a lado em carros separados, com os vidros abaixados; Taraldsen, 2020), em linha com pesquisas anteriores sobre os CWS (por exemplo, Jentsch e Schnock, 2020; Krane et al., 2021). No entanto, a implantação das videoconferências trouxe algumas dificuldades: levou tempo para configurar uma solução segura e capacitar as equipes nas soluções digitais, e terapeutas muitas vezes precisaram ajudar as famílias com dificuldades tecnológicas (Taraldsen, 2020), uma limitação comum da videoconferência (por exemplo, Sibley et al., 2017). Por isso, surgiram variações regionais nos formatos de encontro, influenciadas tanto pela geografia peculiar da Noruega, cujo formato longo e estreito resulta em invernos prolongados no norte, quanto por regras de distanciamento social mais rígidas no sul do país, devido à maior circulação do vírus. Isso levantou dúvidas sobre se a MST conseguiria manter sua eficácia durante a pandemia de COVID-19, inclusive entre as regiões da Noruega. Além disso, justifica-se examinar possíveis desvios na fidelidade ao tratamento e sua relação com os desfechos comportamentais de jovens e com as mudanças no nível de risco de futuros problemas de conduta, já que uma alta adesão aos princípios e procedimentos da MST, provavelmente mais difícil de manter durante o lockdown, tem sido associada a maior sucesso do tratamento (por exemplo, Löfholm et al., 2014; Schoenwald et al., 2009).

Embora os formatos de terapia a distância tenham se expandido durante a pandemia, até onde sabemos a literatura continua escassa e relata resultados mistos sobre a eficácia de diferentes intervenções, tanto para problemas externalizantes quanto internalizantes (Hagen et al., 2025). Desfechos comparáveis entre videoconferência e atendimento presencial foram documentados em saúde mental (Beurs et al., 2022), arteterapia (Le Vu et al., 2022) e alguns tratamentos de transtornos alimentares (Yaffa et al., 2021), mas também se demonstrou menor eficácia para jovens com transtorno obsessivo-compulsivo (Storch et al., 2021) e para jovens com comportamentos de risco, como uso de substâncias, delinquência e atividade sexual (por exemplo, iniciação precoce, comportamento não consentido), e suas famílias (Haggerty et al., 2023). Uma pesquisa recente sobre a terapia familiar funcional (FFT; Lange et al., 2023) observou que a combinação de sessões por vídeo e presenciais esteve associada a menores taxas de abandono e a melhores desfechos do que o atendimento só presencial. No entanto, a equipe de pesquisa observou que as sessões por telefone podem ter maior probabilidade de cancelamento ou de faltas do que as sessões presenciais ou por vídeo (Lange et al., 2023). Embora a aliança terapêutica e o engajamento não sejam avaliados diretamente no presente estudo, pesquisas anteriores sobre a MST (Lange et al., 2022) e a FFT (Lange et al., 2023) mostraram que a passagem para a videoconferência não comprometeu a aliança terapêutica. Ainda assim, equipes de FFT relataram dificuldades para criar engajamento e aliança terapêutica quando a videoconferência era usada com as famílias (Lange et al., 2023), dois elementos considerados essenciais para desfechos favoráveis (Cunningham e Henggeler, 1999; Flückiger et al., 2020; Jethwa et al., 2021). Esses achados reforçam a necessidade de examinar se os desfechos do tratamento mudaram para jovens com problemas de conduta em MST após o início da pandemia de COVID-19.

A adolescência foi afetada de forma desproporcional pelas restrições ligadas à pandemia. Foram relatados aumentos de problemas de saúde mental, como ansiedade e depressão (Samji et al., 2022; Thorisdottir et al., 2021; von Soest et al., 2022), e de comportamentos externalizantes, sobretudo entre meninas e adolescentes de menos idade (von Soest et al., 2022). Isso também se aplicou a pessoas com vulnerabilidades preexistentes, como adolescentes com transtornos do neurodesenvolvimento (por exemplo, transtorno do déficit de atenção com hiperatividade [TDAH]), doenças mentais ou transtornos de comportamento (Bera et al., 2022; Samji et al., 2022). Embora a maior parte da juventude norueguesa tenha lidado bem com a pandemia, observou-se uma leve redução na qualidade de vida, e boa parte da juventude teve mais solidão e sintomas de ansiedade e depressão (Bakken, 2021). Embora estudos realizados em outros contextos tenham relatado queda nas taxas de criminalidade juvenil em infrações leves (Boman e Gallupe, 2020) e em agressões e crimes ligados a drogas (Revital e Haviv, 2022), jovens em contato com o sistema de justiça juvenil tiveram aumento do sofrimento psicológico e do comportamento antissocial (Reid et al., 2022). Uma queda nas taxas de criminalidade juvenil também ficou evidente no contexto norueguês (Riaz e Stolt-Nielsen, 2021). Esses achados sugerem que o perfil de adolescentes que começaram a MST após o início da pandemia de COVID-19 mudou, o que pode ter implicações para os desfechos do tratamento e merece investigação mais aprofundada.

A terapia multissistêmica

A terapia multissistêmica é um programa de tratamento intensivo, baseado na família e na comunidade, para adolescentes de 12 a 18 anos com problemas graves de conduta (Henggeler et al., 2009). A MST se apoia na teoria socioecológica (Bronfenbrenner, 1979) e trabalha os fatores de risco e de proteção nos sistemas sociais em que a vida de cada jovem se insere (por exemplo, casa, escola, pares e bairro) (Henggeler et al., 2009). As equipes de MST são compostas por uma pessoa responsável pela supervisão e três ou quatro terapeutas, disponíveis para as famílias 24 horas por dia, 7 dias por semana (Henggeler et al., 2013). Cada terapeuta atende de três a cinco famílias. O tratamento costuma durar de três a cinco meses. Na Noruega, a MST é implementada desde 1999 nos CWS, como alternativa de tratamento domiciliar à institucionalização (Henggeler et al., 2013), com 24 equipes atualmente em atividade no país. A Noruega atende principalmente jovens com menos de 18 anos que cometeram infrações ou apresentam comportamento antissocial no âmbito dos CWS, e não por meio do sistema de justiça juvenil (Aase et al., 2020; Olseth et al., 2024). Um amplo conjunto de estudos realizados em diferentes contextos documentou a MST como um tratamento eficaz para jovens com problemas graves de conduta. Uma metanálise de Van der Stouwe et al. (2014) incluiu 22 estudos (15 deles ensaios clínicos randomizados [ECR], n = 4066 jovens) e demonstrou efeitos pequenos, mas significativos, do tratamento em todas as medidas de desfecho, exceto a competência social: delinquência, acolhimento fora de casa (OOHP), que se refere a contextos como encarceramento, acolhimento familiar ou outros acolhimentos não penais, psicopatologia, uso de substâncias e fatores familiares e ligados aos pares. A metanálise indicou que a MST é mais eficaz para jovens de menos idade e que não pertencem a minorias, e comparável entre os gêneros. Em contraste, um estudo de coorte longitudinal de Keles et al. (2021; N = 1674) destacou a idade mais baixa e o gênero feminino, mas não o status migratório, como preditores de trajetórias de crescimento mais positivas. Essas diferenças podem ser explicadas por variações no delineamento dos estudos ou nas medidas de desfecho. Ainda assim, os dois estudos convergem ao destacar a idade mais baixa como preditor consistente de desfechos positivos na MST. Em contraste, outra metanálise, que revisou 23 ECR com n = 3987 jovens no total, constatou que os efeitos da MST variavam entre estudos, desfechos e momentos de medição (Littell et al., 2021). A equipe concluiu que a base de evidências era de qualidade desigual. A metanálise incluiu desfechos tanto do modelo original da MST para delinquência juvenil e adolescentes com comportamento antissocial quanto de adaptações do programa voltadas a várias condições e públicos. Embora esse escopo mais amplo oferecesse um panorama mais inclusivo da eficácia da MST, também introduziu uma complexidade que pode dificultar a interpretação da eficácia global da MST padrão.

A pesquisa no contexto escandinavo mostrou resultados mistos. Na Noruega, a MST foi significativamente mais eficaz do que os atendimentos habituais dos CWS (por exemplo, institucionalização, tratamento domiciliar ou acompanhamento e supervisão pelo serviço social na casa da família) para reduzir problemas de conduta e prevenir o acolhimento fora de casa, tanto no pós-tratamento (Ogden e Halliday-Boykins, 2004; n = 100; ECR) quanto dois anos após a admissão (Ogden e Hagen, 2006; n = 75; ECR). Um estudo posterior da mesma equipe, mas com delineamento pré-teste/pós-teste, apresentou a MST como robusta e suficientemente flexível para ser eficaz para ambos os sexos, embora tenham surgido algumas diferenças de gênero em alguns desfechos (Ogden e Hagen, 2009; n = 117). Em contraste, um ECR sueco mostrou que a MST tinha eficácia comparável à do tratamento convencional tanto sete meses (Sundell et al., 2008; n = 156) quanto dois anos após o encaminhamento (Löfholm et al., 2009; n = 156). É importante observar que esses estudos suecos relataram fidelidade ao tratamento mais baixa do que avaliações anteriores da MST, o que reduziu seu poder de detectar efeitos do tratamento (Sundell et al., 2008). Para atualizar uma literatura de décadas atrás, dois estudos mais recentes foram realizados na Noruega, com delineamento pré-teste/pós-teste e amostras maiores. Esses estudos relataram reduções significativas nos fatores de risco para futuros comportamentos antissociais e problemas de conduta (Hukkelberg et al., 2022, 2023). Hukkelberg et al. (2022; n = 2018) relataram que essa redução dos problemas de conduta persistia ao longo do tempo, ao passo que Hukkelberg et al. (2023; n = 2123) constataram que o nível de comportamento problemático havia aumentado ligeiramente desde o fim do tratamento.

Partindo da necessidade de compreender melhor como as restrições da pandemia podem influenciar os desfechos dos tratamentos domiciliares, este estudo busca dar conta do impacto dos lockdowns da COVID-19 sobre os serviços de MST na Noruega e investigar os fatores associados aos desfechos do tratamento antes e durante a pandemia. Espera-se que os achados ampliem o conhecimento sobre o funcionamento dos CWS, e da MST em particular, em condições de crise, o que é importante para garantir o melhor tratamento possível a jovens com problemas graves de conduta. Os achados também podem ter implicações práticas para a adaptabilidade dos serviços e a preparação para emergências futuras.

O presente estudo

Com base nos dados de monitoramento de rotina dos desfechos (ROM) coletados para garantia e melhoria da qualidade, este estudo buscou investigar os desfechos do tratamento da MST e os fatores que os predizem ao longo da pandemia de COVID-19. Dados ROM anonimizados foram extraídos de uma base de dados clínica referente a famílias que começaram o tratamento desde dois anos antes do início do lockdown da COVID-19 na Noruega até cerca de 17 meses depois.

Este estudo amplia, assim, pesquisas anteriores que avaliaram os desfechos da MST em condições de encontros presenciais. Para avaliar explicitamente o acontecimento representado pela eclosão da COVID-19, foram investigadas as seguintes questões de pesquisa (QP):

  • QP1: As características de jovens na admissão mudaram durante a COVID-19?
  • QP2: A fidelidade de terapeutas ao tratamento mudou?
  • QP3: As melhoras nos desfechos comportamentais e a redução dos riscos de reincidência obtidas com a MST mudaram durante a pandemia?
  • QP4: Que variáveis tinham poder preditivo para explicar os desfechos ao fim do tratamento durante a pandemia?
  • QP5: Que variáveis estiveram associadas às mudanças comportamentais de longo prazo de jovens durante a pandemia?

Como a pandemia de COVID-19 afetou o contexto do tratamento, esperava-se uma queda na fidelidade ao tratamento, à medida que a adesão ao procedimento da MST se tornava cada vez mais difícil. Isso, por sua vez, pode ter comprometido a eficácia da MST. Para responder às questões de pesquisa, este estudo partiu de cinco pressupostos:

  • que houve mudança no público-alvo da MST,
  • que a fidelidade de terapeutas ao tratamento diminuiu,
  • que as melhoras comportamentais observadas com a MST foram menores,
  • que as variáveis que predizem a melhora comportamental ao fim do tratamento mudaram, e
  • que as variáveis associadas às mudanças comportamentais de longo prazo após a eclosão da pandemia mudaram.

Método

Amostra

Dados clínicos anonimizados de 2.067 jovens com admissão na MST entre 13 de março de 2018 e 31 de agosto de 2021 foram disponibilizados pelo Centro Norueguês para o Desenvolvimento Comportamental Infantil (NCCBD). Esse conjunto de dados continha informações sobre jovens da Noruega e suas famílias, encaminhadas ao programa MST pelos CWS municipais por problemas de conduta graves e persistentes. A MST atende jovens de 12 a 17 anos com comportamento grave de violação de regras ou normas, com risco de acolhimento fora de casa. Além disso, crianças com menos de 12 anos também podem ser aceitas no programa, geralmente junto com um irmão ou uma irmã mais velha que começa a MST. A MST exclui jovens (a) que vivem sem adultos que exerçam o papel de principal figura de cuidado, (b) com condições graves de saúde mental (por exemplo, ideação suicida, psicose ou perigo iminente para si ou para outras pessoas), (c) que cometeram infrações sexuais (sem outro comportamento criminal ou antissocial), (d) com transtorno do espectro autista moderado a grave que afete a comunicação e a interação social, e (e) cujo comportamento que motivou o encaminhamento seja diretamente atribuível ao nível de capacidade intelectual. No total, 46 casos foram excluídos das análises subsequentes por ausência completa de dados na admissão, o que representa uma taxa de perda de 2,23%. O conjunto de dados final continha N = 2.021 jovens de 7 a 18 anos (M = 14,83, DP = 1,60), com uma sobrerrepresentação moderada de meninos (63,4%). A maioria de adolescentes não tinha origem migratória (80,2%), e os demais eram da primeira geração de imigração (10,8%) ou da segunda (9,0%) (origem migratória conforme a definição do Statistics Norway (2025): (a) Imigrantes: pessoas nascidas no exterior de pai e mãe nascidos no exterior e com quatro avós nascidos no exterior. (b) Pessoas nascidas na Noruega de pais imigrantes: pessoas nascidas na Noruega de pai e mãe nascidos no exterior e que, além disso, têm quatro avós nascidos no exterior.)

Procedimentos

O registro dos dados na base de dados clínica da MST cabia às pessoas responsáveis pelas equipes de MST. Os problemas de comportamento de cada jovem e o nível de risco de futuros problemas de conduta foram avaliados na admissão (T0) e na alta (T1) em todos os casos. Em T0, os dados clínicos, incluindo informações demográficas, foram coletados a partir do encaminhamento dos CWS e verificados e complementados na avaliação inicial da equipe de MST. Em T1, a situação de cada jovem foi avaliada com base em questionários respondidos pelas famílias e na interação da equipe de MST com a família. A equipe de MST continuou a monitorar a manutenção comportamental 6, 12 e 18 meses após o tratamento (T2 a T4) nos casos de tratamento concluído, por meio de entrevistas telefônicas com os pais. Todas as pessoas responsáveis pelas equipes seguiram diretrizes rigorosas em todos os momentos de medição, para garantir a consistência das medidas.

Aprovação ética e consentimento

O material de dados deste estudo foi coletado para fins de garantia de qualidade, no âmbito da missão atribuída ao NUBU pela Direção Norueguesa para Crianças, Juventude e Assuntos Familiares (Bufdir). Os dados foram desidentificados localmente pelas equipes de MST no momento do registro e automaticamente anonimizados por completo após o fim da coleta. Para os dados coletados antes de 20 de julho de 2018, o tratamento foi aprovado pela Autoridade Norueguesa de Proteção de Dados (DPA). Depois dessa data, o Regulamento Geral sobre a Proteção de Dados (RGPD) da União Europeia entrou em vigor, e o tratamento passou a se basear no consentimento voluntário e informado das famílias. Os Comitês Regionais Noruegueses de Ética em Pesquisa Médica e em Saúde (REK) consideraram que o projeto não se enquadrava na lei norueguesa de ética em pesquisa e pesquisa médica (ref. 2017/478/REK Sudeste). Este estudo faz parte de um projeto registrado na Agência Norueguesa de Serviços Compartilhados em Educação e Pesquisa (SIKT, ref. nº 747969).

Medidas

Medidas comportamentais

O tratamento da MST na Noruega tem cinco metas comportamentais gerais: a pessoa jovem (1) vive em casa (ou seja, sem detenção nem acolhimento fora de casa pelos CWS), (2) frequenta a escola ou trabalha (pelo menos 50% da carga), (3) respeita a lei (ou seja, não sofre nenhuma consequência formal por infrações ou contravenções), (4) não usa drogas (ou seja, nenhum uso de drogas que afete o funcionamento diário ou leve a outras consequências graves) e (5) se abstém de violência e de ameaças de violência. Cada meta comportamental recebeu uma codificação binária: 1 para meta alcançada e 0 para meta não alcançada. Para fins de análise, essas cinco metas comportamentais foram agregadas numa medida contínua de 0 a 5, em que um escore mais alto indica comportamento mais desejável, aplicável na admissão, na alta e em cada ponto de seguimento.

Medidas de risco

O risco de futuros problemas de conduta foi medido pelo Youth Level of Service/Case Management Inventory – Parte I (YLS/CMI; Hoge e Andrews, 2011). O YLS/CMI é composto por 42 itens dicotômicos (presente = 1/ ausente = 0) distribuídos em oito subescalas. A primeira subescala (infrações e medidas anteriores ou atuais) mede o risco estático, enquanto as outras sete (circunstâncias familiares/parentalidade, educação/emprego, relações com pares, abuso de substâncias, lazer/recreação, personalidade/comportamento e atitudes/orientação) refletem fatores de risco modificáveis ou dinâmicos (Andrews e Bonta, 2010). Alguns exemplos de itens são “supervisão inadequada”, “algumas amizades delinquentes” e “atitudes antissociais/pró-criminais”. Este estudo usou o escore total dessas oito subescalas como medida do risco de reincidência, com o nível de risco aumentando conforme o escore no YLS/CMI. A versão em língua local do YLS/CMI foi traduzida por uma equipe de pesquisa norueguesa e retrotraduzida para aprovação pela Multi Health Systems Inc. (Jakobsen e Kornør, 2017). Hukkelberg et al. (2022) relataram consistências internas de α = 0,55 na admissão e α = 0,71 na alta, e Hukkelberg et al. (2023), consistências de α = 0,56 e 0,71, respectivamente.

Covariáveis

A Noruega teve variações regionais durante a pandemia de COVID-19. As exigências de distanciamento social diferiam entre as regiões. Além disso, as estratégias de resposta à COVID-19 adequadas ao sul da Noruega não se traduziam facilmente na prática clínica do restante do país, por fatores como diferentes zonas climáticas e necessidades de capacitação. Por isso, dividimos a Noruega em três regiões: NORTH (norte), MID (centro) e o restante da Noruega, sendo esta última a região de referência.

Além da idade (em anos) e do sexo (0 para masculino; 1 para feminino), este estudo incluiu a origem migratória (conforme definida acima) no perfil demográfico. Foram introduzidas duas variáveis binárias para indicar, respectivamente, jovens da primeira geração de imigração (IMMI1 = 1; IMMI2 = 0) e jovens da segunda geração (IMMI1 = 0; IMMI2 = 1), tendo jovens de origem norueguesa (IMMI1 = 0; IMMI2 = 0) como grupo de referência.

Também se registrou se cada jovem vivia em acolhimento familiar, se tinha recebido ou estava recebendo cuidados de saúde mental ou se tinha saído de uma instituição para receber a MST (sim = 1; não = 0). Se a pessoa jovem já havia recebido tratamentos baseados em evidências para problemas de conduta (por exemplo, MST, FFT, Parent Management Training – Oregon [PMTO]) também foi codificado como sim (1) ou não (0).

A avaliação contínua favorece a detecção e a solução de problemas de fidelidade ao programa e de desfechos do tratamento (Henggeler et al., 2009). A conformidade de terapeutas ao procedimento era auditada mensalmente com a Therapist Adherence Measure – Revised (TAM-R; Henggeler et al., 2006), um questionário de 28 itens em escalas Likert de 5 pontos, de nada (1) a muito (5). O escore total da TAM-R era calculado dividindo-se o número de itens avaliados como muito pelo número total de itens respondidos, o que resulta num escore de 0 a 1. Considera-se que a prática terapêutica está em conformidade com um escore TAM-R de 0,61 ou mais (Henggeler et al., 2006).

Desfecho do tratamento

Foram calculados dois escores como medidas convergentes dos desfechos do tratamento. A melhora comportamental foi obtida subtraindo-se o indicador de problemas de comportamento antes do tratamento do indicador após o tratamento. Já o escore de redução do risco foi obtido subtraindo-se o nível de risco após o tratamento do nível antes do tratamento. A descrição detalhada de todas as variáveis usadas neste estudo está na Tabela S1, material suplementar on-line.

Formação dos grupos

Para criar grupos de comparação pertinentes, a amostra foi dividida em três grupos com base no lockdown nacional norueguês de 12 de março de 2020:

  • Grupo A: início da MST entre 13 de março de 2018 e 12 de março de 2019; a COVID-19 não teve impacto sobre os membros deste grupo nem na fase de tratamento nem na de manutenção.
  • Grupo B: início da MST entre 13 de março de 2019 e 12 de março de 2020; embora a COVID-19 não tenha afetado o tratamento deste grupo, interferiu no período de manutenção.
  • Grupo C: início da MST entre 13 de março de 2020 e 31 de agosto de 2021. Os membros deste grupo passaram por perturbações na oferta da MST tanto na fase de tratamento quanto na de manutenção.

Análises estatísticas

Realizamos ANOVA de um fator no R (versão 4.2.3) para responder à primeira e à segunda questões de pesquisa, sobre as diferenças nas características de admissão e na fidelidade de terapeutas ao tratamento entre os três grupos. Em seguida, estudamos as distribuições de frequência da melhora comportamental e da redução do risco como desfechos da MST, conforme proposto na Questão de Pesquisa 3. Para as duas últimas questões de pesquisa, usamos o estimador de máxima verossimilhança restrita (MLR) do Mplus 8.10, por sua robustez diante da não normalidade e da não independência das observações (Muthén e Muthén, 2017).

Análise de regressão

Examinamos a predição dos desfechos do tratamento da Questão de Pesquisa 4 usando como variável de desfecho as mudanças nas metas comportamentais (ΔBHV). Além disso, isolamos o poder preditivo marginal de cada covariável com o seguinte modelo de regressão:

ΔBHV = β0 + β1MID + β2NORTH + β3AGE + β4FEMALE + β5IMMI1 + β6IMMI2 + β7TAMR + β8PRIOR + β9INSTI + β10FOSTER + β11PSYC + ε (1)

O segundo modelo de regressão examinou a relação entre a redução do risco (ΔRSK) e covariáveis semelhantes às da Eq. (1):

ΔRSK = γ0 + γ1MID + γ2NORTH + γ3AGE + γ4FEMALE + γ5IMMI1 + γ6IMMI2 + γ7TAMR + γ8PRIOR + γ9INSTI + γ10FOSTER + γ11PSYC + ε (2)

Modelagem de curvas de crescimento

Para a Questão de Pesquisa 5, aplicamos modelos de curva de crescimento latente (LGM; Bollen e Curran, 2006) para estudar as variáveis associadas às mudanças comportamentais de longo prazo, uma abordagem amplamente usada para analisar mudanças ao longo do tempo (Geiser et al., 2013). Além das covariáveis comuns às Eqs. (1) e (2), as mudanças no nível de risco (ΔRSK) também foram acrescentadas aos LGM como variável explicativa. Todos os interceptos dos LGM receberam cargas fatoriais de 1, enquanto a inclinação teve como cargas fatoriais os momentos de medição T0 a T4. As cargas fatoriais das covariáveis foram estimadas livremente com o estimador de máxima verossimilhança restrita do Mplus.

Dados ausentes

Embora todos os casos tivessem informações completas na admissão, dados ausentes começaram a surgir na alta, já que nem todas as famílias concluíram o tratamento, seja por falta de aliança terapêutica, por acolhimento fora de casa ou por outras causas externas (por exemplo, doença, mudança da família para fora da área de atendimento da equipe). A taxa de dados ausentes chegou a 50,22% no seguimento de 18 meses, pois, por considerações éticas, os dados de seguimento só eram coletados nos casos de tratamento concluído. Além disso, os escores da TAM-R não estavam disponíveis em 22,96% dos casos (464) devido às restrições do Regulamento Geral sobre a Proteção de Dados (RGPD) da União Europeia. No total, 1.276 de 2.021 casos (63,14%) continham diferentes graus de dados ausentes. O procedimento de imputação múltipla (IM) integrado ao Mplus foi usado para criar dez conjuntos de dados imputados. A IM é considerada a melhor prática para lidar com dados ausentes, porque melhora o poder estatístico e a precisão em relação a outras técnicas (van Buuren, 2018). Os parâmetros dos modelos foram estimados separadamente em cada conjunto de dados imputado e depois combinados segundo as regras de Rubin (Rubin, 1987).

Resultados

Características de jovens na admissão ao tratamento

Tabela 1 — Estatísticas descritivas por grupo

Variáveis de desfecho

  • BHV0. Grupo A: N = 569, dados ausentes 0,00%, M = 2,72, DP = 1,04; Grupo B: N = 620, dados ausentes 0,00%, M = 2,45, DP = 1,10; Grupo C: N = 832, dados ausentes 0,00%, M = 2,27, DP = 1,10; ANOVA: F(2, 2018) = 29,14, p < 0,001***, η2 = 0,030.
  • BHV1. Grupo A: N = 567, dados ausentes 0,35%, M = 4,49, DP = 1,06; Grupo B: N = 616, dados ausentes 0,65%, M = 4,32, DP = 1,17; Grupo C: N = 825, dados ausentes 0,84%, M = 4,23, DP = 1,25.
  • BHV6. Grupo A: N = 393, dados ausentes 30,93%, M = 4,45, DP = 1,02; Grupo B: N = 400, dados ausentes 35,48%, M = 4,46, DP = 0,91; Grupo C: N = 501, dados ausentes 39,78%, M = 4,48, DP = 0,92.
  • BHV12. Grupo A: N = 362, dados ausentes 36,38%, M = 4,53, DP = 0,90; Grupo B: N = 355, dados ausentes 42,74%, M = 4,50, DP = 0,95; Grupo C: N = 467, dados ausentes 43,87%, M = 4,49, DP = 0,99.
  • BHV18. Grupo A: N = 309, dados ausentes 45,69%, M = 4,58, DP = 0,96; Grupo B: N = 316, dados ausentes 49,03%, M = 4,56, DP = 0,96; Grupo C: N = 381, dados ausentes 54,21%, M = 4,55, DP = 0,84.
  • RSK0. Grupo A: N = 569, dados ausentes 0,00%, M = 18,57, DP = 4,37; Grupo B: N = 620, dados ausentes 0,00%, M = 18,49, DP = 4,84; Grupo C: N = 832, dados ausentes 0,00%, M = 18,75, DP = 5,21; ANOVA: F(2, 2018) = 0,56, p = 0,573, η2 = 0,001.
  • RSK1. Grupo A: N = 567, dados ausentes 0,35%, M = 8,83, DP = 6,04; Grupo B: N = 607, dados ausentes 2,10%, M = 9,01, DP = 6,31; Grupo C: N = 822, dados ausentes 1,20%, M = 8,86, DP = 6,92.

Covariáveis

  • MID. Grupo A: N = 569, dados ausentes 0,00%, M = 0,20, DP = 0,40; Grupo B: N = 620, dados ausentes 0,00%, M = 0,16, DP = 0,37; Grupo C: N = 832, dados ausentes 0,00%, M = 0,14, DP = 0,35; ANOVA: F(2, 2018) = 4,04, p = 0,018*, η2 = 0,004.
  • NORTH. Grupo A: N = 569, dados ausentes 0,00%, M = 0,10, DP = 0,30; Grupo B: N = 620, dados ausentes 0,00%, M = 0,09, DP = 0,28; Grupo C: N = 832, dados ausentes 0,00%, M = 0,07, DP = 0,26; ANOVA: F(2, 2018) = 1,25, p = 0,288, η2 = 0,001.
  • AGE. Grupo A: N = 569, dados ausentes 0,00%, M = 12,85, DP = 0,97; Grupo B: N = 620, dados ausentes 0,00%, M = 14,23, DP = 0,88; Grupo C: N = 832, dados ausentes 0,00%, M = 15,42, DP = 1,52; ANOVA: F(2, 2018) = 774,46, p < 0,001***, η2 = 0,430.
  • FEMALE. Grupo A: N = 569, dados ausentes 0,00%, M = 0,33, DP = 0,47; Grupo B: N = 620, dados ausentes 0,00%, M = 0,41, DP = 0,49; Grupo C: N = 832, dados ausentes 0,00%, M = 0,36, DP = 0,48; ANOVA: F(2, 2018) = 4,14, p = 0,016*, η2 = 0,004.
  • IMMI1. Grupo A: N = 569, dados ausentes 0,00%, M = 0,07, DP = 0,26; Grupo B: N = 620, dados ausentes 0,00%, M = 0,11, DP = 0,31; Grupo C: N = 832, dados ausentes 0,00%, M = 0,13, DP = 0,34; ANOVA: F(2, 2018) = 6,78, p = 0,001**, η2 = 0,007.
  • IMMI2. Grupo A: N = 569, dados ausentes 0,00%, M = 0,10, DP = 0,31; Grupo B: N = 620, dados ausentes 0,00%, M = 0,09, DP = 0,28; Grupo C: N = 832, dados ausentes 0,00%, M = 0,08, DP = 0,28; ANOVA: F(2, 2018) = 0,90, p = 0,406, η2 = 0,000.
  • TAMR. Grupo A: N = 469, dados ausentes 17,57%, M = 0,78, DP = 0,22; Grupo B: N = 483, dados ausentes 22,10%, M = 0,77, DP = 0,22; Grupo C: N = 605, dados ausentes 27,28%, M = 0,75, DP = 0,24; ANOVA: F(2, 1554) = 3,05, p = 0,048*, η2 = 0,004.
  • PRIOR. Grupo A: N = 569, dados ausentes 0,00%, M = 0,19, DP = 0,40; Grupo B: N = 620, dados ausentes 0,00%, M = 0,18, DP = 0,39; Grupo C: N = 832, dados ausentes 0,00%, M = 0,21, DP = 0,41; ANOVA: F(2, 2018) = 0,75, p = 0,473, η2 = 0,001.
  • INSTI. Grupo A: N = 569, dados ausentes 0,00%, M = 0,10, DP = 0,30; Grupo B: N = 620, dados ausentes 0,00%, M = 0,14, DP = 0,35; Grupo C: N = 832, dados ausentes 0,00%, M = 0,20, DP = 0,40; ANOVA: F(2, 2018) = 13,45, p < 0,001***, η2 = 0,010.
  • FOSTER. Grupo A: N = 569, dados ausentes 0,00%, M = 0,06, DP = 0,24; Grupo B: N = 620, dados ausentes 0,00%, M = 0,08, DP = 0,28; Grupo C: N = 832, dados ausentes 0,00%, M = 0,10, DP = 0,30; ANOVA: F(2, 2018) = 2,86, p = 0,058, η2 = 0,003.
  • PSYC. Grupo A: N = 569, dados ausentes 0,00%, M = 0,64, DP = 0,48; Grupo B: N = 620, dados ausentes 0,00%, M = 0,65, DP = 0,48; Grupo C: N = 832, dados ausentes 0,00%, M = 0,63, DP = 0,48; ANOVA: F(2, 2018) = 0,32, p = 0,729, η2 = 0,000.

Medidas de desfecho da MST

  • ΔBHV. Grupo A: N = 567, dados ausentes 0,35%, M = 1,77, DP = 1,29; Grupo B: N = 616, dados ausentes 0,65%, M = 1,87, DP = 1,33; Grupo C: N = 825, dados ausentes 0,84%, M = 1,98, DP = 1,39.
  • ΔRSK. Grupo A: N = 567, dados ausentes 0,35%, M = 9,73, DP = 5,50; Grupo B: N = 607, dados ausentes 2,10%, M = 9,53, DP = 5,62; Grupo C: N = 822, dados ausentes 1,20%, M = 9,90, DP = 6,12.

Nota. Esta tabela resume as estatísticas descritivas de todas as variáveis usadas no estudo. Tamanho total da amostra: 569 + 620 + 832 = 2.021. Os dados ausentes são expressos em porcentagem em relação ao tamanho de cada grupo. As diferenças entre grupos na admissão T0 para variáveis selecionadas são comparadas por ANOVA de um fator, com tamanhos de efeito medidos por η2. As variáveis de desfecho referem-se às medidas comportamentais e de risco da MST. As variáveis comportamentais são medidas na admissão (BHV0), na alta (BHV1) e nos seguimentos de 6, 12 e 18 meses (BHV6, BHV12 e BHV18). O risco é medido na admissão (RSK0) e na alta (RSK1). As covariáveis trazem informações sobre a localização geográfica (as variáveis indicadoras MID e NORTH referem-se, respectivamente, ao centro e ao norte da Noruega) e sobre dados demográficos (idade, gênero e origem migratória). Fidelidade de terapeutas aos protocolos de tratamento (TAMR); tratamento recebido antes da MST (PRIOR); procedência de acolhimento familiar, de cuidados psicológicos ou de instituição (FOSTER, PSYCH e INSTI, respectivamente). As medidas de desfecho da MST são a melhora comportamental (ΔBHV = BHV1 – BHV0) e a redução do risco (ΔRSK = RSK0 – RSK1) entre a admissão e a alta. *p < 0,05. **p < 0,01. ***p < 0,001.

A Tabela 1 apresenta as estatísticas descritivas dos três subgrupos. As correlações entre cada par de variáveis estão na Tabela S2, material suplementar on-line. As diferenças entre os grupos nas variáveis na admissão T0 foram estudadas por ANOVA de um fator. A gravidade dos problemas de comportamento diferiu entre os três grupos (F2,2018 = 29,14, p < 0,001, η2 = 0,030), com maior carga de problemas na admissão durante a COVID (Grupo C). Além disso, o grupo com admissão durante a pandemia apresentou média de idade mais alta (F2,2018 = 774,46, p < 0,001, η2 = 0,430), maior proporção de jovens da primeira geração de imigração (F2,2018 = 6,78, p = 0,001, η2 = 0,007) e mais jovens provenientes de instituições de acolhimento (F2,2018 = 13,45, p < 0,001, η2 = 0,010). Embora a ANOVA tenha indicado diferenças significativas na porcentagem de meninas entre os três grupos (F2,2018 = 4,14, p = 0,016, η2 = 0,004), essa diferença pareceu esporádica e sem relação com a COVID, com as menores proporções antes e durante a COVID-19 (Grupo A e Grupo C, respectivamente). Quanto às variações geográficas, houve menos admissões de adolescentes em tratamento após a eclosão da COVID-19 no centro da Noruega em comparação com as outras partes do país (F2,2018 = 4,04, p = 0,018, η2 = 0,004).

A fidelidade de terapeutas ao tratamento

Observamos uma queda significativa na fidelidade ao tratamento no grupo com admissão durante a pandemia (F2,1554 = 3,05, p = 0,048, η2 = 0,004).

Desfechos do tratamento da MST após a eclosão da pandemia

Histogramas da distribuição da melhora comportamental (ΔBHV) e da redução do risco (ΔRSK) nos grupos A, B e C
Figura 1. Distribuição dos desfechos da MST. Nota. Estes histogramas resumem as distribuições de frequência da melhora comportamental (ΔBHV) e da redução do risco (ΔRSK), dois indicadores de desfecho da MST. As mesmas informações foram apresentadas em forma de tabela para facilitar a comparação de porcentagens (esquema original em inglês)

A mudança nos desfechos do tratamento da MST foi estudada por meio da distribuição da melhora comportamental e da redução do risco. A Figura 1 mostra que cerca de 83% e 90% de adolescentes nos três grupos tiveram, respectivamente, melhora no comportamento e redução no nível de risco. Apesar de um pequeno recuo na melhora do nível de risco para jovens que começaram o tratamento após a eclosão da COVID-19, esses achados sugerem que os desfechos observados na MST foram, em grande parte, semelhantes antes e durante a pandemia. A Tabela 1 também sugere uma tendência de aumento da quantidade de dados ausentes nas variáveis de desfecho do tratamento entre os três grupos. Por exemplo, antes da pandemia (Grupo A), 0,35% da amostra tinha valores ausentes nas medidas comportamentais na alta (BHV1). Essa porcentagem aumentou para 0,65 e 0,84 nos Grupos B e C, respectivamente. Quanto ao período de seguimento, as porcentagens de dados ausentes do Grupo A nos seguimentos comportamentais de 6, 12 e 18 meses foram de 30,93, 36,38 e 45,69%, respectivamente. Uma tendência semelhante foi observada nos Grupos B e C, mas parece que menos famílias participam das entrevistas telefônicas após o fim do tratamento desde a eclosão da COVID.

Preditores dos desfechos ao fim do tratamento

A multicolinearidade entre as variáveis preditoras dos Modelos 1 e 2 não pareceu ser um problema importante, dada a fraca correlação entre as covariáveis (ver Tabela S2). As correlações dos desfechos comportamentais permaneceram estáveis em níveis moderados a altos, o que indica que as diferenças entre pessoas nas variáveis de desfecho eram estáveis ao longo do tempo.

Tabela 2 — Análises de regressão por grupo

Painel A: melhora comportamental (ΔBHV)

  • (Intercepto), β0. Grupo A: 0,759 (EP 0,622; IC 95% [−0,460; 1,978]); Grupo B: 0,385 (EP 0,544; IC 95% [−0,681; 1,451]); Grupo C: 0,904** (EP 0,300; IC 95% [0,316; 1,492]).
  • MID, β1. Grupo A: 0,092* (EP 0,041; IC 95% [0,012; 0,172]); Grupo B: 0,069 (EP 0,042; IC 95% [−0,013; 0,151]); Grupo C: 0,046 (EP 0,034; IC 95% [−0,021; 0,113]).
  • NORTH, β2. Grupo A: 0,047 (EP 0,046; IC 95% [−0,043; 0,137]); Grupo B: −0,004 (EP 0,042; IC 95% [−0,086; 0,078]); Grupo C: −0,087* (EP 0,034; IC 95% [−0,154; −0,020]).
  • AGE, β3. Grupo A: 0,039 (EP 0,044; IC 95% [−0,047; 0,124]); Grupo B: 0,063* (EP 0,031; IC 95% [0,002; 0,124]); Grupo C: 0,003 (EP 0,026; IC 95% [−0,048; 0,054]).
  • FEMALE, β4. Grupo A: 0,010 (EP 0,044; IC 95% [−0,076; 0,096]); Grupo B: 0,074 (EP 0,042; IC 95% [−0,008; 0,156]); Grupo C: −0,081* (EP 0,034; IC 95% [−0,148; −0,014]).
  • IMMI1, β5. Grupo A: −0,087 (EP 0,051; IC 95% [−0,187; 0,013]); Grupo B: 0,017 (EP 0,042; IC 95% [−0,065; 0,099]); Grupo C: −0,022 (EP 0,037; IC 95% [−0,095; 0,051]).
  • IMMI2, β6. Grupo A: −0,005 (EP 0,043; IC 95% [−0,089; 0,079]); Grupo B: −0,027 (EP 0,044; IC 95% [−0,113; 0,059]); Grupo C: 0,030 (EP 0,035; IC 95% [−0,039; 0,099]).
  • TAMR, β7. Grupo A: 0,030 (EP 0,049; IC 95% [−0,066; 0,126]); Grupo B: 0,040 (EP 0,048; IC 95% [−0,054; 0,134]); Grupo C: 0,156*** (EP 0,045; IC 95% [0,068; 0,244]).
  • PRIOR, β8. Grupo A: −0,039 (EP 0,040; IC 95% [−0,117; 0,039]); Grupo B: −0,061 (EP 0,040; IC 95% [−0,139; 0,017]); Grupo C: −0,053 (EP 0,035; IC 95% [−0,122; 0,016]).
  • INSTI, β9. Grupo A: 0,047 (EP 0,053; IC 95% [−0,057; 0,151]); Grupo B: 0,032 (EP 0,042; IC 95% [−0,050; 0,114]); Grupo C: 0,105** (EP 0,038; IC 95% [0,031; 0,179]).
  • FOSTER, β10. Grupo A: −0,007 (EP 0,048; IC 95% [−0,101; 0,087]); Grupo B: −0,119* (EP 0,044; IC 95% [−0,205; −0,033]); Grupo C: −0,002 (EP 0,035; IC 95% [−0,071; 0,067]).
  • PSYC, β11. Grupo A: −0,030 (EP 0,043; IC 95% [−0,114; 0,054]); Grupo B: −0,036* (EP 0,045; IC 95% [−0,124; 0,052]); Grupo C: −0,029 (EP 0,035; IC 95% [−0,098; 0,040]).
  • Significância do modelo. Grupo A: R2 = 0,025, f2 = 0,026; Grupo B: R2 = 0,036, f2 = 0,037; Grupo C: R2 = 0,057, f2 = 0,060.

Painel B: redução do risco (ΔRSK)

  • (Intercepto), γ0. Grupo A: 2,007** (EP 0,597; IC 95% [0,837; 3,177]); Grupo B: 1,733** (EP 0,595; IC 95% [0,567; 2,899]); Grupo C: 1,918*** (EP 0,338; IC 95% [1,256; 2,580]).
  • MID, γ1. Grupo A: −0,098** (EP 0,036; IC 95% [−0,169; −0,027]); Grupo B: −0,091** (EP 0,035; IC 95% [−0,160; −0,022]); Grupo C: −0,081** (EP 0,030; IC 95% [−0,140; −0,022]).
  • NORTH, γ2. Grupo A: −0,042 (EP 0,038; IC 95% [−0,116; 0,032]); Grupo B: −0,091* (EP 0,038; IC 95% [−0,165; −0,017]); Grupo C: −0,082* (EP 0,033; IC 95% [−0,147; −0,017]).
  • AGE, γ3. Grupo A: −0,053 (EP 0,041; IC 95% [−0,133; 0,027]); Grupo B: −0,017* (EP 0,035; IC 95% [−0,086; 0,052]); Grupo C: −0,064* (EP 0,032; IC 95% [−0,127; −0,001]).
  • FEMALE, γ4. Grupo A: −0,039 (EP 0,044; IC 95% [−0,125; 0,047]); Grupo B: −0,010 (EP 0,041; IC 95% [−0,090; 0,070]); Grupo C: −0,058 (EP 0,035; IC 95% [−0,127; 0,011]).
  • IMMI1, γ5. Grupo A: 0,084 (EP 0,054; IC 95% [−0,022; 0,190]); Grupo B: 0,029 (EP 0,042; IC 95% [−0,053; 0,111]); Grupo C: −0,075* (EP 0,035; IC 95% [−0,144; −0,006]).
  • IMMI2, γ6. Grupo A: −0,033 (EP 0,044; IC 95% [−0,119; 0,053]); Grupo B: −0,040 (EP 0,045; IC 95% [−0,128; 0,048]); Grupo C: −0,038 (EP 0,033; IC 95% [−0,103; 0,027]).
  • TAMR, γ7. Grupo A: 0,191*** (EP 0,045; IC 95% [0,103; 0,279]); Grupo B: 0,126** (EP 0,048; IC 95% [0,032; 0,220]); Grupo C: 0,210*** (EP 0,039; IC 95% [0,134; 0,286]).
  • PRIOR, γ8. Grupo A: 0,002 (EP 0,040; IC 95% [−0,076; 0,080]); Grupo B: −0,011 (EP 0,039; IC 95% [−0,087; 0,065]); Grupo C: −0,053 (EP 0,034; IC 95% [−0,120; 0,014]).
  • INSTI, γ9. Grupo A: −0,021 (EP 0,054; IC 95% [−0,127; 0,085]); Grupo B: −0,072 (EP 0,039; IC 95% [−0,148; 0,004]); Grupo C: −0,062 (EP 0,038; IC 95% [−0,136; 0,012]).
  • FOSTER, γ10. Grupo A: −0,015 (EP 0,038; IC 95% [−0,089; 0,059]); Grupo B: −0,062 (EP 0,038; IC 95% [−0,136; 0,012]); Grupo C: −0,031 (EP 0,033; IC 95% [−0,096; 0,034]).
  • PSYC, γ11. Grupo A: −0,055 (EP 0,042; IC 95% [−0,137; 0,027]); Grupo B: −0,055 (EP 0,043; IC 95% [−0,139; 0,029]); Grupo C: −0,072* (EP 0,035; IC 95% [−0,141; −0,003]).
  • Significância do modelo. Grupo A: R2 = 0,056, f2 = 0,059; Grupo B: R2 = 0,045, f2 = 0,047; Grupo C: R2 = 0,078, f2 = 0,085.

Nota. Estas tabelas resumem os coeficientes padronizados dos modelos de regressão. Os parâmetros associados à melhora comportamental (ΔBHV, Eq. 1) são apresentados no Painel A, e os associados à redução do risco (ΔRSK, Eq. 2), no Painel B. Cada resultado é apresentado na ordem: estimativa pontual, asterisco de significância, erro-padrão e intervalo de confiança de 95%. Todas as estimativas foram combinadas a partir de dez conjuntos de dados de imputação múltipla, segundo as regras de Rubin. A significância dos modelos é medida pelo coeficiente de determinação R2 e pelo tamanho de efeito de Cohen f2. Os interceptos medem a melhora comportamental e a redução do risco quando todas as demais variáveis são zero, ou seja, para jovens do sul da Noruega, do sexo masculino, nascidos na Noruega, que recebem a MST pela primeira vez e que não passaram por acolhimento familiar, cuidados psicológicos ou institucionalização. *p < 0,05. **p < 0,01. ***p < 0,001.

A Tabela 2 resume os resultados padronizados das regressões que relacionam as medidas de desfecho da MST (melhora comportamental ΔBHV e redução do risco ΔRSK) aos preditores. Os regressores explicaram uma proporção maior da variação no grupo durante a COVID do que no grupo anterior (de R2 = 0,025 a R2 = 0,057 do Grupo A ao Grupo C na melhora comportamental; de R2 = 0,056 a R2 = 0,078 na redução do risco). As análises post hoc com ajuste de Tukey para comparações múltiplas estão na Tabela S3, material suplementar on-line.

Os desfechos da MST em termos de redução do risco e melhora comportamental diferiram entre as regiões. Jovens que começaram o tratamento no norte da Noruega após o início da pandemia tenderam a ter uma mudança menor tanto no desfecho comportamental (β2C = −0,087, p = 0,011) quanto no nível de risco (γ2C = −0,082, p = 0,012) em relação a jovens do sul da Noruega. No centro da Noruega, jovens tiveram melhora comportamental comparável durante a COVID (Grupo C), mas uma mudança comportamental mais favorável no grupo anterior à COVID (β1A = 0,092, p = 0,023) do que seus pares do sul da Noruega. A redução do risco no centro da Noruega antes (γ1A = −0,098, p = 0,006) e durante (γ1C = −0,081, p = 0,007) a pandemia, no entanto, foi menor do que no sul da Noruega.

Os desfechos da MST também diferiram segundo o perfil demográfico após o início da pandemia. As meninas pareceram ter menor melhora comportamental nesse grupo (β4C = −0,081, p = 0,017); fora isso, o gênero não pareceu predizer mudanças no desfecho nem no nível de risco. Jovens de mais idade (γ3C = −0,064, p = 0,043) e jovens da primeira geração de imigração (γ5C = −0,075, p = 0,031) que começaram a MST após o início da pandemia parecem ter tido desfechos menos favoráveis em termos de mudança no nível de risco. Com base nos dois modelos, a fidelidade ao tratamento após a eclosão da COVID-19 foi o preditor mais forte para explicar a melhora comportamental (β7C = 0,156, p < 0,001) e a redução do risco (γ7C = 0,210, p < 0,001), respectivamente. A fidelidade ao tratamento também predisse significativamente a medida de risco antes da pandemia, embora com coeficientes menores (γ7 = 0,191/0,126, p < 0,001/= 0,009 para os Grupos A e B, respectivamente). Por fim, adolescentes que já haviam recebido cuidados de saúde mental tiveram uma redução do risco mais favorável quando começaram o tratamento durante a pandemia (γ11C = −0,072, p = 0,038).

Variáveis associadas às mudanças comportamentais de longo prazo

Diagrama dos modelos de curva de crescimento latente: intercepto e inclinação da trajetória comportamental, ligados às covariáveis, com os coeficientes dos grupos A, B e C
Figura 2. Modelos de curva de crescimento latente das mudanças comportamentais de longo prazo na MST. Nota. Estes modelos avaliam as variáveis associadas às mudanças comportamentais de longo prazo na MST ao longo da pandemia de COVID-19. O intercepto (i) tem cargas fatoriais de 1 (omitidas em todas as variáveis de desfecho), enquanto as inclinações (s) têm como cargas fatoriais os momentos medidos em meses, de T0 a T4. Os intervalos entre a admissão (T0) e a alta (T1) variam de caso a caso. Todos os momentos seguintes têm seis meses de intervalo e correspondem aos seguimentos de 6, 12 e 18 meses. A seta tracejada indica ausência de covariação significativa entre interceptos e inclinações, o que sugere que as curvas de crescimento não convergem nem divergem. Os coeficientes não padronizados são apresentados na ordem Grupo A/Grupo B/Grupo C. As covariáveis sem setas não tiveram poder explicativo suficiente para as curvas de crescimento. n.s. = não significativo no nível α = .05. *p < .05. **p < .01. ***p < 0,001 (esquema original em inglês)

A Figura 2 resume os resultados dos modelos de curva de crescimento latente dos desfechos comportamentais dos Grupos A, B e C, respectivamente. O intercepto (i) nos LGM indica o ponto de partida da trajetória de crescimento comportamental. Jovens de mais idade pareceram ter um nível mais alto de problemas de comportamento na admissão, com tendência a iniciar a recuperação a partir de pontos mais baixos do que jovens de menos idade. Isso se aplicou tanto ao grupo anterior à pandemia (λ3iA = −0,097, p = 0,020) quanto ao grupo durante a pandemia (λ3iC = −0,095, p < 0,001). Além disso, foram observadas diferenças significativas entre os três grupos quanto à institucionalização e às mudanças no nível de risco. Especificamente, adolescentes provenientes de instituições de acolhimento pareceram começar o tratamento de um nível mais baixo, embora essa diferença tenha diminuído após a eclosão da COVID (λ9i = −0,789/−0,735/−0,387, p < 0,001/< 0,001/= 0,002 para os Grupos A, B e C, respectivamente). Por outro lado, jovens com perfis de maior redução do risco tiveram um ponto de partida mais alto na trajetória de crescimento (λ12i = 0,090/0,081/0,088, p < 0,001/0,001/0,001 para os Grupos A, B e C, respectivamente).

As inclinações (s) nos LGM representaram a velocidade de recuperação. Apenas duas das doze covariáveis estiveram associadas à velocidade de recuperação. Primeiro, os meninos tiveram vantagem na velocidade de recuperação após a COVID (λ4sC = −0,011, p = 0,018). Segundo, jovens com perfis favoráveis de redução do risco tiveram crescimento comportamental comparável no Grupo B, mas velocidades menores no grupo anterior à COVID (λ12sA = −0,002, p = 0,007) e durante (λ12sC = −0,003, p < 0,001) a pandemia. Por fim, padrões de crescimento não lineares foram considerados para os LGM, mas o termo quadrático foi omitido por resultados não significativos em todas as covariáveis.

Discussão

No presente estudo, foram examinadas, em adolescentes com problemas graves de conduta, as mudanças nas características de jovens, na fidelidade ao tratamento, nos desfechos do tratamento e nos preditores dos desfechos da MST ao longo da pandemia de COVID-19 na Noruega. Os resultados trazem indícios da robustez do tratamento da MST numa situação de crise que obstrui os modos habituais de oferta do tratamento, além de esclarecer fatores que alteram os desfechos do tratamento nesses contextos.

QP1: As características de jovens na admissão ao tratamento mudaram durante a COVID-19?

Quanto à primeira questão de pesquisa, nossos achados mostram que a composição do público admitido na MST mudou após o início da pandemia. A pandemia parece ter alterado as características do público da MST, com as mudanças mais marcadas observadas no nível de problemas de comportamento, na idade e na proporção de jovens em MST no centro da Noruega. Além disso, observamos variações no número de jovens provenientes de instituições de acolhimento e na prevalência de jovens da primeira geração de imigração. Adolescentes que começaram a MST apresentaram, em média, uma carga de problemas mais alta do que antes do início da pandemia. A média de idade era mais alta, e houve aumento na proporção de jovens da primeira geração de imigração e de jovens provenientes de instituições de acolhimento. Por fim, menos adolescentes receberam a MST no centro da Noruega do que antes da eclosão da pandemia.

Essas alterações, no entanto, ocorreram gradualmente, desde o primeiro grupo de referência, dois anos antes da pandemia, até depois de seu início. Por isso, é difícil determinar se essas diferenças nas características foram consequência direta ou indireta das restrições sociais para conter o vírus, da forma como os CWS e as equipes de MST lidaram com a crise, ou de uma mudança gradual no perfil do público da MST, por exemplo com base nas necessidades do público-alvo, ou ainda de outros acontecimentos simultâneos. A carga maior vivida por adolescentes por causa das restrições sociais ligadas à COVID-19 (por exemplo, Reid et al., 2022; Samji et al., 2022; von Soest et al., 2022) pode sustentar a hipótese de que essas mudanças foram, ao menos em parte, consequência da pandemia. São necessárias, portanto, mais pesquisas sobre a situação pós-COVID para esclarecer as causas dessas mudanças nas características na admissão.

Uma explicação possível para o aumento do nível de problemas de comportamento antes do tratamento é o aumento simultâneo da média de idade. Neste estudo, jovens de mais idade tendiam a ter uma carga maior de problemas na admissão, o que pode se dever a uma história mais longa de problemas graves de conduta, que aumenta o risco de processos graves de marginalização (por exemplo, maior convivência com pares antissociais e perda de experiências positivas de desenvolvimento em diferentes contextos) (Keles et al., 2021). Apesar desse aumento no nível de problemas de comportamento antes do tratamento no grupo pós-COVID, não foi relatada diferença significativa no nível de risco de futuros problemas de conduta antes e depois do início da pandemia. Esses achados sugerem que, embora tenha havido aumento da carga média de problemas de jovens após o início da pandemia, não houve mudança média no nível de risco.

QP2: A fidelidade de terapeutas ao tratamento mudou?

Quanto à segunda questão de pesquisa, os achados mostram que houve queda na fidelidade ao tratamento, embora um escore médio de 0,75 (DPTAMR = 0,24) ainda seja adequado em comparação com o ponto de corte de 0,61. O aumento dos desvios-padrão (ver Tabela 2) durante a COVID pode indicar maiores variações entre terapeutas e/ou entre famílias. Assim, a pandemia parece ter afetado a capacidade de terapeutas de aderir ao procedimento da MST, o que é importante para desfechos positivos do tratamento (por exemplo, Löfholm et al., 2014; Schoenwald et al., 2009).

QP3: As melhoras nos desfechos comportamentais e as reduções nos riscos de reincidência obtidas com a MST mudaram durante a pandemia?

Apesar da redução na fidelidade ao tratamento, os resultados deste estudo não mostraram evidências de que a COVID-19 tenha alterado significativamente a melhora comportamental e a redução do risco após a MST na Noruega. Essa observação é coerente com a pesquisa sobre os desfechos de outras intervenções durante a pandemia (por exemplo, Beurs et al., 2022; Lange et al., 2023; Le Vu et al., 2022; Hagen et al., 2025; Yaffa et al., 2021). As mudanças observadas nos desfechos da MST parecem, portanto, semelhantes antes e depois da eclosão da pandemia. Isso contraria o pressuposto de redução das melhoras comportamentais e das reduções de risco da MST após a eclosão da pandemia. A capacidade de terapeutas de fazer “o que for preciso” para ajudar as famílias a atingir as metas do tratamento (Henggeler et al., 2009), incluindo sua criatividade e perseverança para se adaptar aos desafios, pode ajudar a explicar esse achado.

O potencial da MST para produzir melhora comportamental e redução do risco para a maioria de jovens está em linha com achados anteriores (ver, por exemplo, Keles et al., 2021). No entanto, também foram relatadas algumas variações ligadas a trajetórias de melhora e de piora em diferentes desfechos comportamentais. São necessárias, portanto, mais pesquisas para compreender melhor o impacto imediato da MST em diferentes desfechos comportamentais (por exemplo, viver em casa, respeitar a lei) e nos níveis de risco de reincidência por subescala (por exemplo, família/parentalidade, relações com pares) durante e, possivelmente, depois da pandemia. Por fim, pesquisas futuras podem explorar o perfil de jovens que tiveram piora após o contato com a MST (cerca de 4,1% e 2,5% de adolescentes no desfecho comportamental e no nível de risco, respectivamente).

QP4: Que variáveis tinham poder preditivo para explicar os desfechos ao fim do tratamento durante a eclosão da pandemia?

Embora os desfechos da MST não tenham sido piores para adolescentes que começaram o tratamento durante a pandemia de COVID-19, parece ter havido mudança na capacidade de diversas variáveis de predizer os desfechos ao fim do tratamento. Isso pode estar ligado à queda na fidelidade ao tratamento após o início da pandemia. Ao mesmo tempo, a fidelidade ao tratamento parece ter maior peso nos desfechos para adolescentes que começaram o tratamento após o início da pandemia. Assim, uma alta adesão ao procedimento da MST parece especialmente importante em tempos turbulentos.

Também parece haver algumas diferenças geográficas: jovens em MST no norte da Noruega sofreram mais os efeitos da pandemia de COVID-19, com menor melhora comportamental e menor redução do risco. Uma explicação possível para esses desfechos menos favoráveis são os invernos mais longos, que podem ter dificultado a implementação de alternativas aos encontros presenciais durante o primeiro lockdown nacional. Além disso, uma distribuição desigual de vacinas a favor do sul da Noruega (Eriksen e Bendixen, 2021) levou a restrições mais rígidas “no fim da pandemia” no norte, o que pode ter afetado a forma como as sessões de MST eram realizadas. Limitações dos dados (por exemplo, sobre o formato dos encontros ou as descrições da situação feitas por terapeutas) impedem uma investigação mais detalhada das condições ligadas às variações regionais nos desfechos imediatos da MST.

Ao contrário de achados anteriores (Barth et al., 2007a; Keles et al., 2021; van der Stouwe et al., 2014), este estudo não encontra evidências de que uma idade mais alta esteja associada a desfechos menos favoráveis, exceto por uma redução menor do risco de reincidência em jovens que começaram a MST após o início da COVID. Uma explicação possível para essa redução menor do risco em jovens de mais idade é que pode ser mais difícil, sob as exigências de distanciamento social, intervir em fatores centrais para esse público, como os fatores ligados à escola e aos pares (van der Stouwe et al., 2014), que predizem mais a reincidência à medida que a idade avança (Van der Put et al., 2011). Além disso, pode ser mais fácil engajar adolescentes no tratamento e realizar mais trabalho individual em sessões presenciais, um fator de especial importância no tratamento de adolescentes de mais idade (Keles et al., 2021). As evidências de que o período da pandemia foi o mais difícil para jovens de mais idade (além das meninas; Bakken, 2021), o que pode ter agravado sua carga de problemas, oferecem outra linha importante de investigação para pesquisas futuras. No entanto, por falta de dados sobre comportamentos internalizantes, não é possível no presente estudo delinear melhor o impacto potencial dos problemas internalizantes nos desfechos da MST segundo a idade e o gênero.

Jovens da primeira geração de imigração passaram de uma ausência de diferença observável nos desfechos antes da pandemia em comparação com o restante da juventude (ao contrário de um achado anterior; van der Stouwe et al., 2014) para uma redução menor do risco após o início da pandemia. Maiores dificuldades para obter engajamento (e aliança) durante o período de distanciamento social podem explicar essa tendência, já que as barreiras linguísticas podem ter representado um obstáculo maior para parte desse público quando os encontros presenciais eram limitados. A comunicação não verbal é importante para uma interação significativa entre terapeuta e pessoa atendida (Pfender e Caplan, 2022), e a passagem para ferramentas mais bidimensionais, como sessões por telefone e vídeo, em que muito da linguagem corporal se perde (por exemplo, Lange et al., 2023), pode agravar as dificuldades de compreensão. Isso, por sua vez, pode tornar mais difícil para terapeutas criar engajamento e aliança. Além disso, a falta de equipamento técnico adequado e de habilidades também pode ter prejudicado a qualidade das sessões digitais para esse subgrupo. A insegurança financeira também pode ter influenciado a receptividade ao tratamento, como indica a sobrerrepresentação de pessoas imigrantes nas ocupações atingidas por demissões durante a pandemia (Olsen, 2021). Além disso, a pandemia na Noruega atingiu alguns grupos de imigrantes com mais força do que o restante da população em termos de infecções e hospitalizações (Indseth et al., 2020). Assim, também é possível que outros fatores tenham influenciado os desfechos da MST. Como este estudo não dispõe de dados (por exemplo, sobre o nível socioeconômico), estudos futuros podem explorar essa questão.

Também parece que adolescentes que começaram o tratamento após o início da pandemia de COVID-19 e que haviam recebido cuidados de saúde mental tiveram uma redução menos favorável do risco de reincidência. Barth et al. (2007b), com outra medida de desfecho, também relataram desfechos mais favoráveis entre jovens que não receberam cuidados de saúde mental. Esse achado pode indicar que parte desse público tinha vulnerabilidades adicionais, associadas a desfechos piores. Como esse grupo era comparável a jovens sem contato com os cuidados de saúde mental quanto ao nível de problemas de comportamento na admissão, são necessárias mais pesquisas para examinar a causa desse achado.

QP5: Que variáveis estiveram associadas às mudanças comportamentais de jovens durante a pandemia?

Não se observou diferença de gênero até o início da pandemia; depois dele, os meninos apresentaram uma recuperação comportamental mais favorável. A ausência de diferenças de gênero antes da pandemia na predição do desfecho comportamental está em linha com pesquisas anteriores (Hukkelberg et al., 2023; Ogden e Hagen, 2009; van der Stouwe et al., 2014). A COVID-19 pode ter alterado esse equilíbrio por meio do comportamento antissocial de jovens. Os meninos tendem a se envolver com mais frequência em crimes violentos e outros tipos de infrações penais (Moffitt et al., 2001; Ogden e Hagen, 2009), como furtos (Moffitt et al., 2001; Storvoll et al., 2003), enquanto as meninas se envolvem mais em infrações ligadas à condição de menoridade, como fugir de casa (Ogden e Hagen, 2009), e em abuso de drogas e álcool (Moffitt et al., 2001; Ogden e Hagen, 2009). Como a maior parte dessa delinquência juvenil ocorre em grupos de pares antissociais (para ambos os gêneros; Dishion e Patterson, 2006), é possível que as medidas de restrição social e o fechamento de muitos estabelecimentos tenham reduzido as oportunidades, sobretudo para os meninos, de cometer crimes e usar substâncias, ao mesmo tempo que diminuíram a exposição à influência de pares antissociais. Esse pressuposto é reforçado pela queda nas taxas de criminalidade juvenil, tanto no contexto norueguês (Riaz e Stolt-Nielsen, 2021) quanto em outros contextos cujos sistemas de justiça juvenil diferem muito do norueguês (Boman e Gallupe, 2020; Revital e Haviv, 2022). Isso, por sua vez, pode ter facilitado a intervenção com esse grupo, embora terapeutas tenham trabalhado menos com o contexto dos pares.

Além disso, esses argumentos também podem explicar por que os meninos, após o início da pandemia, tiveram desfechos de longo prazo mais vantajosos numa fase mais precoce, mas não antes. Segundo os LGM, os níveis iniciais de problemas de conduta variam entre as pessoas e, em linha com pesquisas anteriores (por exemplo, Moffitt e Caspi, 2001; Ogden e Hagen, 2009), as meninas tendem a ter níveis mais baixos de problemas de conduta do que os meninos ao iniciar o tratamento. Além disso, jovens de mais idade parecem iniciar a trajetória de crescimento comportamental com maior carga de problemas na admissão.

Em contraste com esses padrões mais gerais, parece ter havido uma diminuição da carga de problemas após o início da COVID-19 entre adolescentes provenientes de instituições de acolhimento. Essa mudança no ponto de partida da trajetória de crescimento comportamental em comparação com o período anterior à pandemia pode resultar do fato de esse grupo (que inicialmente tende a ter mais problemas de conduta; por exemplo, Barth et al., 2007b; Drange et al., 2022) ter tido menos oportunidades de se envolver em comportamento antissocial e cometer crimes por causa dos lockdowns. Essa interpretação, no entanto, comporta algumas incertezas, como o aumento significativo do número de jovens nesse grupo em relação ao período anterior à pandemia. Razões mais sistêmicas podem ter causado essa mudança. Apesar dessa diferença na admissão, jovens provenientes de instituições de acolhimento e jovens sem essa história tiveram a mesma taxa de crescimento, o que implica que os desfechos da MST foram semelhantes nos dois grupos antes e depois da eclosão da pandemia.

Além disso, houve velocidade de recuperação comparável para jovens com perfis de maior redução do risco que começaram o tratamento antes do início da pandemia, mas cujas avaliações de seguimento ocorreram durante a pandemia (Grupo B). Tampouco parece ter havido alterações significativas nos desfechos longitudinais do tratamento após o início, embora alguns subgrupos tenham tido mudanças na melhora comportamental e na redução do risco ao fim do tratamento. Isso pode apontar para uma melhora comportamental tardia para a maioria de jovens, o que está em linha com um dos princípios da MST: a MST é concebida para promover a generalização do tratamento, dando às figuras de cuidado os meios de manter e, possivelmente, melhorar os desfechos quando o tratamento termina.

Limitações e pesquisas futuras

O presente estudo tem várias limitações. A inclusão de toda a população de jovens da Noruega em MST representa uma contribuição importante para generalizar os resultados a todas as famílias e jovens que passaram pela MST no período em questão. Deve-se observar, porém, que tivemos uma proporção de dados ausentes maior do que o ideal e que alguns tratamentos foram interrompidos por falta de aliança com a família, por acolhimento fora de casa ou por outras causas externas (por exemplo, doença, mudança da família para fora da área de atendimento da equipe). Isso pode afetar a possibilidade de generalizar para todas as famílias e jovens que passam pela MST. Apesar dessa limitação, este estudo amplia a literatura anterior sobre a MST, que avaliou apenas amostras norueguesas de casos com tratamento concluído (por exemplo, Keles et al., 2021; Ogden e Halliday-Boykins, 2004), e o uso de dados ROM aumenta a validade externa do estudo, já que os dados refletem a prática clínica regular da MST (Hodgson et al., 2007).

Em segundo lugar, diferenças entre os grupos, como o tamanho do grupo e a duração do período de admissão, podem contribuir para algumas das mudanças observadas após o início da pandemia de COVID-19. Este estudo não investigou como o primeiro lockdown afetou apenas quem começou a MST nesse período, nem controlou a variação sazonal (por exemplo, menos encaminhamentos nos meses de verão) analisando cada grupo por trimestres ou terços, o que poderia ter aumentado sua validade interna. A formação dos grupos é, ainda assim, considerada pertinente, pois capta como a MST funciona ao longo do tempo durante uma crise nacional. Em terceiro lugar, como só foram usados nas análises o número de metas comportamentais alcançadas e o escore total de risco de reincidência, o presente estudo não capta quais metas comportamentais específicas foram alcançadas nos diferentes momentos, nem o perfil de risco por subescala. Como algumas pesquisas apontam diferenças no efeito do tratamento conforme o desfecho, por exemplo quanto ao gênero (por exemplo, Keles et al., 2021; Ogden e Hagen, 2009), pesquisas futuras podem investigar especificamente as mudanças nos desfechos da MST após o início da COVID-19, considerando separadamente os escores das subescalas do YLS/CMI e as cinco metas comportamentais.

Em quarto lugar, este estudo exploratório não inclui informações sobre os comportamentos internalizantes de adolescentes, o que poderia ajudar a explicar alguns de seus achados, já que houve aumento documentado de problemas internalizantes após o início da COVID-19 (Bakken, 2021; Samji et al., 2022). Em quinto lugar, devido às restrições do RGPD, os dados da TAM-R não foram coletados e registrados de forma sistemática. Isso pode ter afetado a validade e a representatividade dos escores da TAM-R. Em seguida, como o Mplus 8.9 não permite padronizar intervalos que não são fixos, a magnitude dos parâmetros não padronizados nos LGM não pôde ser interpretada. Estudos futuros, no entanto, devem usar coeficientes padronizados, para que a magnitude dos coeficientes também possa ser considerada. Por fim, não foram examinadas as possíveis interações entre as covariáveis nos modelos de regressão, como a interação entre gênero e idade ou entre idade e fidelidade ao tratamento.

Conclusão

Este estudo examinou como a MST norueguesa foi afetada pelos lockdowns da COVID-19 e investigou os fatores que influenciaram os desfechos do tratamento antes e depois do início da pandemia. Observa-se uma mudança nas características do público admitido na MST após o início da pandemia, ao lado de uma queda na fidelidade ao tratamento. Apesar da redução da fidelidade durante a crise, os achados indicam que a MST continua a promover melhoras comportamentais e a reduzir o risco entre adolescentes. Os resultados sugerem que a fidelidade ao tratamento é especialmente importante para desfechos positivos em condições adversas. Embora, de modo geral, a MST produza mudanças positivas no comportamento e nos níveis de risco de jovens após o início da pandemia, tanto logo após o tratamento quanto no longo prazo, vários subgrupos de jovens parecem ter uma redução temporária da melhora comportamental obtida com o tratamento em comparação com o período anterior à pandemia. São necessárias, portanto, pesquisas futuras sobre os fatores que podem contribuir para garantir que esses subgrupos também obtenham os mesmos benefícios da MST em futuras situações de crise semelhantes. Apesar de suas limitações, este estudo traz contribuições valiosas sobre o funcionamento dos CWS, e da MST em particular, durante uma crise nacional.

Complexe Systémique: a reter

O interesse deste estudo está em mostrar o que acontece com um modelo muito protocolizado quando seu enquadre material desmorona. A MST se apoia em sessões domiciliares, várias vezes por semana: o lockdown a obrigou a passar para o telefone, o vídeo ou encontros improvisados. Entre 2.021 jovens, os desfechos gerais se mantiveram, mas a fidelidade ao modelo caiu e se tornou, durante a crise, o melhor preditor dos progressos. Para a clínica sistêmica, a lição é dupla: em tempos turbulentos, a coerência do enquadre e da supervisão protege as famílias com mais segurança do que a improvisação dispersa; e as perdas se concentram nas situações que mais dependem da presença física: jovens da primeira geração de imigração, jovens de mais idade, regiões do norte com invernos longos. É de lamentar que o estudo não meça o formato real das sessões nem a aliança, e que a parte da pandemia e a da mudança do público continuem difíceis de separar. Para ler junto com o artigo sobre jovens de minorias étnicas na terapia multissistêmica e com o artigo sobre a teleterapia relacional na era da COVID-19.

Notas do original

Financiamento. Financiamento do acesso aberto garantido pela Universidade de Oslo (incluindo o Hospital Universitário de Oslo).

Conflitos de interesse. A equipe de pesquisa declara não ter interesses financeiros ou não financeiros relevantes. A terceira e a quarta pessoas que assinam o artigo faziam parte da equipe nacional de implementação da MST na Noruega, no Centro Norueguês para o Desenvolvimento Comportamental Infantil (NCCBD). No entanto, não participaram das análises dos dados nem da interpretação dos resultados.

Material suplementar. Há material suplementar (em inglês) disponível on-line.

Referências

Aase, H., Lønnum, K., Sørlie, M. A., Hagen, K. A., Gustavson, K., & Utgarden, I. H. (2020). Barn, unge og kriminalitet. Hvordan forhindre at barn og unge kommer inn i eller fortsetter med en kriminell løpebane? Oppsummering og vurdering av virksomme tiltak, behandling og organisering [Children, young people and crime. How to prevent children and young people from entering or continuing with a criminal career path? Summary and assessment of effective measures, treatment and organization] (Report 2020). The Institute of Public Health. https://www.fhi.no/publ/2020/barn-unge-og-kriminalitet/

Andrews, D. A., & Bonta, J. (2010). Rehabilitating criminal justice policy and practice. Psychology. Public Policy and Law, 16(1), 39–55. https://doi.org/10.1037/a0018362

Bakken, A. (2021). Ungdata 2021. Nasjonale resultater [Ungdata 2021. National results] (Nova Report 8/21). Norwegian Social Research (NOVA), OsloMet. https://oda.oslomet.no/oda-xmlui/handle/11250/2767874

Barth, R. P., Greeson, J. K. P., Guo, S., Green, R. L., Hurley, S., & Sisson, J. (2007a). Changes in family functioning and child behavior following intensive in-home therapy. Children and Youth Services Review, 29(8), 988–1009. https://doi.org/10.1016/j.childyouth.2007.04.001

Barth, R. P., Greeson, J. K. P., Guo, S., Green, R. L., Hurley, S., & Sisson, J. (2007b). Outcomes for youth receiving intensive In-Home therapy or residential care: A comparison using propensity scores. American Journal of Orthopsychiatry, 77(4), 497–505. https://doi.org/10.1037/0002-9432.77.4.497

Bera, L., Souchon, M., Ladsous, A., Colin, V., & Lopez-Castroman, J. (2022). Emotional and behavioral impact of the COVID-19 epidemic in adolescents. Current Psychiatry Reports, 24(1), 37–46. https://doi.org/10.1007/s11920-022-01313-8

Beurs, E., Blankers, M., Peen, J., Rademacher, C., Podgorski, A., & Dekker, J. (2022). Impact of COVID-19 social distancing measures on routine mental health care provision and treatment outcome for common mental disorders in the Netherlands. Clinical Psychology and Psychotherapy, 29(4), 1342–1354. https://doi.org/10.1002/cpp.2713

Bollen, K. A., & Curran, P. J. (2006). Latent curve models: A structural equation perspective. Wiley-Interscience.

Boman, J. H., & Gallupe, O. (2020). Has COVID-19 changed crime? crime rates in the united States during the pandemic. American Journal of Criminal Justice, 45(4), 537–545. https://doi.org/10.1007/s12103-020-09551-3

Bronfenbrenner, U. (1979). The ecology of human development. Experiments by nature and design. Harvard University Press.

Cunningham, P. B., & Henggeler, S. W. (1999). Engaging multiproblem families in treatment: Lessons learned throughout the development of multisystemic therapy. Family Process, 38(3), 265–281. https://doi.org/10.1111/j.1545-5300.1999.00265.x. https://doi-org.ezproxy.uio.no/

Dishion, T. J., & Patterson, G. R. (2006). The development and ecology of antisocial behavior in children and adolescents. In D. Cicchetti, & D. J. Cohen (Eds.), Developmental psychopathology: Risk, disorder, and adaptation (pp. 503–541). John Wiley & Sons, Inc.

Drange, N., Hernæs, Ø. M., Markussen, S., Oterholm, I., Raaum, O., & Slettebø, T. (2022). Barn, unge og familier i barnevernet - En longitudinell registerstudie. Delprosjekt 2: Hvordan går det med barna? [Children, young people and families in child protection - A longitudinal register study. Project part 2: How are the children doing?] (Report 2/2022). Frischsenteret. https://www.frisch.uio.no/publikasjoner/pdf/rapp22_02.pdf

Eriksen, I., & Bendixen, A. (2021). Ordførere mener Nord-Norge betaler en høy pris for skjevfordeling av vaksiner. [Mayors believe that Northern Norway is paying a high price for the skewed distribution of vaccines.]. Norwegian Broadcasting Corporation (NRK). https://www.nrk.no/tromsogfinnmark/ordforere-i-alta-og-tromso-ut-mot-geografisk-skjevfordeling-av-vaksiner-etter-flere-smitteutbrudd-1.15563210

Flückiger, C., Del Re, A. C., Wlodasch, D., Horvath, A. O., Solomonov, N., & Wampold, B. E. (2020). Assessing the alliance–outcome association adjusted for patient characteristics and treatment processes: A meta-analytic summary of direct comparisons. Journal of Counseling Psychology, 67(6), 706–711. https://doi.org/10.1037/cou0000424

Geiser, C., Keller, B. T., & Lockhart, G. (2013). First- versus Second-Order latent growth curve models: Some insights from latent State-Trait theory. Structural Equation Modeling: A Multidisciplinary Journal, 20(3), 479–503. https://doi.org/10.1080/10705511.2013.797832.

Government (n.d.). Timeline: News from Norwegian Ministries about the Coronavirus disease Covid-19. https://www.regjeringen.no/en/topics/koronavirus-covid-19/timeline-for-news-from-norwegian-ministries-about-the-coronavirus-disease-covid-19/id2692402/

Hagen, T. L., Tan, T. C., Thøgersen, D. M., & Bjørnebekk, G. (2025). Functional family therapy across the COVID-19 pandemic. Frontiers in Psychology, 16, 1531738.

Haggerty, K. P., Barkan, S. E., Caouette, J. D., Skinner, M. L., & Hanson, K. G. (2023). Two-Year risk behavior outcomes from Connecting, a prevention program for caregivers and youth in foster care. Prevention Science, 24(1), 15–26. https://doi.org/10.1007/s11121-022-01390-4

Henggeler, S. W., Borduin, C. M., Schoenwald, S. K., Huey, S. J., & Chapman, J. E. (2006). Multisystemic therapy adherence scale-revised (TAM-R). Unpublished instrument. Department of Psychiatry & Behavioral Sciences, Medical University of South Carolina.

Henggeler, S. W., Schoenwald, S. K., Borduin, C. M., Rowland, M. D., & Cunningham, P. B. (2009). Multisystemic therapy for antisocial behavior in children and adolescents (2nd ed.). Guilford.

Henggeler, S. W., Schoenwald, S. K., Borduin, C. M., Rowland, M. D., & Cunningham, P. B. (2013). Multisystemisk Terapi for barn og unge med alvorlige atferdsvansker [Multisystemic Therapy for Antisocial Behavior in Children and Adolescents] (A. Sjøbu, Trans.). Gyldendal akademisk. (Original work published 2009).

Hodgson, R., Bushe, C., & Hunter, R. (2007). Measurement of long-term outcomes in observational and randomised controlled trials. The British Journal of Psychiatry, 191(50), 78–84. https://doi.org/10.1192/bjp.191.50.s78

Hoge, R. D., & Andrews, D. A. (2011). Youth level of service/Case management inventory 2.0: User’s manual. Multi-Health Systems.

Hukkelberg, S., Ogden, T., & Thøgersen, D. M. (2022). Youth level of Service/ case management inventory assessments as predictors of behavioral change in multisystemic therapy and functional family therapy in Norway. Research on Social Work Practice, 32(7), 784–792. https://doi.org/10.1177/10497315221086641

Hukkelberg, S. S., Ogden, T., & Taraldsen, K. (2023). Changes in the YLS/CMI risk inventory scores as predictors of MST behavioral treatment goals. Journal of Children’s Services, 18. https://doi.org/10.1108/JCS-05-2022-0016

Indseth, T., Godøy, A., Kjøllesdal, M., Arnesen, T., Jacobsen, C., Grøsland, M., & Telle, K. Covid-19 etter fødeland: Personer testet, bekreftet smittet og relaterte innleggelser og dødsfall [Covid-19 by country of birth: Persons tested, confirmed infected and associated hospitalizations and deaths] (Report 2020). The Institute of Public Health. https://www.fhi.no/publ/2020/covid-19-etter-fodeland-personer-testet-bekreftet-smittet-og-relaterte-innl/

Jakobsen, R., & Kornør, H. (2017). Måleegenskaper Ved Den Norske versjonen av youth level of Service/Case management inventory (YLS/CMI) [Psychometric properties of the Norwegian version of youth level of Service/Case management inventory (YLS/CMI)]. PsykTestBarn, 1(6). https://doi.org/10.21337/0053

Jentsch, B., & Schnock, B. (2020). Child welfare in the midst of the coronavirus pandemic—Emerging evidence from Germany. Child Abuse & Neglect, 110(2). https://doi.org/10.1016/j.chiabu.2020.104716

Jethwa, J., Glorney, E., Adhyaru, J., & Lawson, A. (2021). A grounded theory of multisystemic therapist roles in achieving positive outcomes for young people and families. Journal of Family Therapy, 43(1), 124–142. https://doi.org/10.1111/1467-6427.12287

Keles, S., Taraldsen, K., & Olseth, A. R. (2021). Identification of multisystemic therapy (MST) subgroups with distinct trajectories on ultimate outcomes in Norway. Research on Child and Adolescent Psychopathology, 49(4), 429–442. https://doi.org/10.1007/s10802-020-00735-3. https://doi-org.ezproxy.uio

Krane, V., Ausland, L. H., Andvig, E., & Klevan, T. (2021). Business as usual in unusual times: An explorative study of Norwegian child welfare workers’ experiences during the COVID-19 pandemic. Journal of Comparative Social Work, 16(2), 62–87. https://doi.org/10.31265/jcsw.v16i2.393

Lange, A. M. C., Delsing, M. J. M. H., van Geffen, M., & Scholte, R. H. J. (2022). Alliance between therapist and Multi-stressed families during the COVID-19 pandemic: The effect of Family-Based videoconferencing. Child & Youth Care Forum, 51, 593–611. https://doi.org/10.1007/s10566-021-09644-y

Lange, A. M. C., Humayun, S., & Jefford, T. (2023). The feasibility of providing remote functional family therapy with adolescents during the COVID-19 pandemic: A Mixed-Method study. Child & Youth Care Forum, 52, 441–466. https://doi.org/10.1007/s10566-022-09692-y

Le Vu, M. N., Do, A. L., Boyer, L., Tran, Q. C., Kohler, S., Ahmed, S. I., Molnar, A., Vu, T. S., Vo, N. T. H., Nguyen, L. M. V., Vu, L. G., Dam, V. A. T., Duong, T., Do, D. L. N., Do, N. M., Mclntyre, R. S., Latkin, C., Ho, R. C. M., & Ho, C. S. H. (2022). A review of the Effectiveness, Feasibility, and acceptability of Art therapy for children and adolescents during the COVID-19 pandemic. International Journal of Environmental Research and Public Health, 19(18). https://doi.org/10.3390/ijerph191811612

Löfholm, C. A., Eichas, K., & Sundell, K. (2014). The Swedish implementation of multisystemic therapy for adolescents: Does treatment experience predict treatment adherence? Journal of Clinical Child & Adolescent Psychology, 43(4), 643–655. https://doi.org/10.1080/15374416.2014.883926

Löfholm, C. A., Olsson, T., Sundell, K., & Hansson, K. (2009). Multisystemic therapy with conduct disordered young people: Stability of treatment outcomes two years after intake. Evidence and Policy, 5(4), 373–397. https://doi.org/10.1332/174426409X478752

Littell, J. H., Pigott, T. D., Nilsen, K. H., Green, S. J., & Montgomery, O. L. K. (2021). Multisystemic Therapy® for social, emotional, and behavioural problems in youth age 10 to 17: An updated systematic review and meta-analysis. Campbell Systematic Reviews, 17(4), 1–192. https://doi.org/10.1002/cl2.1158. https://doi-org.ezproxy.uio

Moffitt, T. E., & Caspi, A. (2001). Childhood predictors differentiate life-course persistent and adolescence-limited antisocial pathways among males and females. Development and Psychopathology, 13(2), 355–375. https://doi.org/10.1017/S0954579401002097

Moffitt, T. E., Caspi, A., Rutter, M., & Silva, P. A. (2001). Sex differences in antisocial behaviour: Conduct Disorder, Delinquency, and violence in the Dunedin longitudinal study. Cambridge University Press. https://doi-org.ezproxy.uiohttps://doi.org/10.1017/CBO9780511490057

Muthén, L. K., & Muthén, B. O. (2017). Mplus user’s guide (8th ed.). Muthén & Muthén. https://www.statmodel.com/download/usersguide/MplusUserGuideVer_8.pdf

Ogden, T., & Hagen, K. A. (2006). Multisystemic treatment of serious behaviour problems in youth: Sustainability of effectiveness two years after intake. Child and Adolescent Mental Health, 11(3), 142–149. https://doi.org/10.1111/j.1475-3588.2006.00396.x. https://doi-org.ezproxy.uio.no/

Ogden, T., & Hagen, K. A. (2009). What works for whom? Gender differences in intake characteristics and treatment outcomes following multisystemic therapy. Journal of Adolescence, 32(6), 1425–1435. https://doi.org/10.1016/j.adolescence.2009.06.006. https://doi-org.ezproxy.uio.no/

Ogden, T., & Halliday-Boykins, C. A. (2004). Multisystemic treatment of antisocial adolescents in norway: Replication of clinical outcomes outside of the US. Child and Adolescent Mental Health, 9(2), 77–83. https://doi.org/10.1111/j.1475-3588.2004.00085.x. https://doi-org.ezproxy.uio.no/

Olsen, B. (2021). Innvandrere mest rammet av koronatiltakene [Immigrants most affected by the corona measures.]. Statistics Norway (SSB). https://www.ssb.no/arbeid-og-lonn/artikler-og-publikasjoner/innvandrere-mest-rammet-av-koronatiltakene

Olseth, A. R., Hagen, K. A., Keles, S., & Bjørnebekk, G. (2024). Functional family therapy for adolescent disruptive behavior in norway: Results from a randomized controlled trial. Journal of Family Psychology, 38(4), 548.

Pfender, E., & Caplan, S. (2022). Nonverbal immediacy cues and impression formation in video therapy. Counselling Psychology Quarterly. https://doi.org/10.1080/09515070.2022.2105816

Reid, J. A., Chenneville, T., Gardy, S. M., & Baglivio, M. T. (2022). An exploratory study of COVID-19’s impact on psychological distress and antisocial behavior among Justice-Involved youth. Crime & Delinquency, 68(8), 1271–1291. https://doi.org/10.1177/00111287211054729

Revital, S. S., & Haviv, N. (2022). Juvenile delinquency and COVID-19: The effect of social distancing restrictions on juvenile crime rates in Israel. Journal of Experimental Criminology. https://doi.org/10.1007/s11292-022-09509-x

Riaz, W., & Stolt-Nielsen, H. (2021). Da koronaen kom, stupte kriminaliteten blant ungdom [When the corona arrived, crime among young people plummeted]. Aftenposten. https://www.aftenposten.no/oslo/i/X8dpdb/da-koronaen-kom-stupte-kriminaliteten-blant-ungdommene

Rubin, D. B. (1987). Multiple imputation for nonresponse in surveys. Wiley.

Samji, H., Wu, J., Ladak, A., Vossen, C., Stewart, E., Dove, N., Long, D., & Snell, G. (2022). Review: Mental health impacts of the COVID-19 pandemic on children and youth – a systematic review. Child and Adolescent Mental Health, 27(2), 173–189. https://doi.org/10.1111/camh.12501

Schoenwald, S. K., Chapman, J. E., Sheidow, A. J., & Carter, R. E. (2009). Long-Term youth criminal outcomes in MST transport: The impact of therapist adherence and organizational climate and structure. Journal of Clinical Child & Adolescent Psychology, 38(1), 91–105. https://doi.org/10.1080/15374410802575388

Sibley, M. H., Comer, J. S., & Gonzalez, J. (2017). Delivering Parent-Teen therapy for ADHD through videoconferencing: A preliminary investigation. Journal of Psychopathology and Behavioral Assessment, 39(), 467–485. https://doi.org/10.1007/s10862-017-9598-6.

Statistics Norway (2025). Immigrants and Norwegian-born to immigrant parents. https://www.ssb.no/en/befolkning/innvandrere/statistikk/innvandrere-og-norskfodte-med-innvandrerforeldre

Storch, E. A., Sheu, J. C., Guzick, A. G., Schneider, S. C., Cepeda, S. L., Rombado, B. R., Gupta, R., Hoch, C. T., & Goodman, W. K. (2021). Impact of the COVID-19 pandemic on exposure and response prevention outcomes in adults and youth with obsessive-compulsive disorder. Psychiatry Research, 295. https://doi.org/10.1016/j.psychres.2020.113597

Storvoll, E. E., Wichstrøm, L., & Pape, H. (2003). Gender differences in the association between conduct problems and other problems among adolescents. Journal of Scandinavian Studies in Criminology and Crime Prevention, 3(2), 194–209. https://doi.org/10.1080/14043850310010794

Sundell, K., Hansson, K., Löfholm, C. A., Olsson, T., Gustle, L. H., & Kadesjö, C. (2008). The transportability of multisystemic therapy to sweden: Short-term results from a randomized trial of conduct-disordered youths. Journal of Family Psychology, 22(4), 550–560. https://doi.org/10.1037/a0012790. https://doi-org.ezproxy.uio

Taraldsen, K. (2020). Behandlingsmøter i korona-tiltakenes tid [Treatment meetings in the time of the corona measures.]. KONTEKSTonline, 6. https://m.nubu.no/utgave-6/behandlingsmoter-i-korona-tiltakenes-tid-article31972581.html?fbclid=IwAR1gogm8_ay5prHqCbEtDP58wvy_UegCgNCgoDH5V_D4oGUowQM_zcx0YKY

Thorisdottir, I. E., Asgeirsdottir, B. B., Kristjansson, A. L., Valdimarsdottir, H. B., Jonsdottir Tolgyes, E. M., Sigfusson, J., Allegrante, J. P., Sigfusdottir, I. D., & Halldorsdottir, T. (2021). Depressive symptoms, mental wellbeing, and substance use among adolescents before and during the COVID-19 pandemic in iceland: A longitudinal, population-based study. The Lancet Psychiatry, 8(8), 663–672. https://doi.org/10.1016/S2215-0366(21)00156-5. https://doi-org.ezproxy.uio

Van Buuren, S. (2018). Flexible Imputation of Missing Data, Second Edition. Chapman & Hall/CRC.

Van der Put, C. E., Deković, M., Stams, G. J. J. M., Van der Laan, P. H., Hoeve, M., & van Amelsfort, L. (2011). Changes in risk factors during adolescence: Implications for risk assessment. Criminal Justice and Behavior, 38(3), 248–262. https://doi.org/10.1177/0093854810391757. https://doi-org.ezproxy.uio

van der Stouwe, T., Asscher, J. J., Stams, G. J. J., Deković, M., & van der Laan, P. H. (2014). The effectiveness of multisystemic therapy (MST): A meta-analysis. Clinical Psychology Review, 34(6), 468–481. https://doi.org/10.1016/j.cpr.2014.06.006

Von Soest, T., Kozàk, M., Rodríguez-Cano, R., Fluit, D. H., Cortés-García, L., Ulset, V. S., Haghish, E. F., & Bakken, A. (2022). Adolescents’ psychosocial well-being one year after the outbreak of the COVID-19 pandemic in Norway. Nature Human Behaviour, 6, 217–228. https://doi.org/10.1038/s41562-021-01255-w

Yaffa, S., Adi, E. L., Itai, P., Marit, J. M., Doron, G., & Daniel, S. (2021). Treatment of eating disorders in adolescents during the COVID-19 pandemic: A case series. Journal of Eating Disorders, 9(17). https://doi.org/10.1186/s40337-021-0037

Tradução não oficial em português de A terapia multissistêmica para adolescentes ao longo da pandemia de COVID-19 na Noruega, de Katrine Skulberg, Tony C. A. Tan, Dagfinn Mørkrid Thøgersen, Knut Taraldsen e Gunnar Bjørnebekk, Journal of Child and Family Studies, vol. 35, no 1 (2026), doi: 10.1007/s10826-025-03222-9, sob licença CC BY 4.0. Tradução e paginação: Complexe Systémique, setembro de 2026 — a obra foi modificada nos termos da licença (tabelas apresentadas em listas, legendas das figuras traduzidas). Nem os autores nem o editor respondem por esta tradução; a versão original prevalece.

Tradução não oficial para o português de “Multisystemic Therapy for Adolescents Through the COVID-19 Pandemic in Norway”, publicado em Journal of Child and Family Studies (2026) sob licença CC BY 4.0. A tradução foi realizada pelo Complexe Systémique, não provém dos autores nem da editora, que não respondem por seu conteúdo; a versão original prevalece.

Ler o artigo original

Como citar este artigo

Skulberg, K., Tan, T. C. A., Thøgersen, D. M., Taraldsen, K., et Bjørnebekk, G. (2026). A terapia multissistêmica para adolescentes ao longo da pandemia de COVID-19 na Noruega (Complexe Systémique, trad.). Complexe Systémique. https://app.complexe-systemique.com/pt_BR/artigos/a-terapia-multissistemica-para-adolescentes-ao-longo-da-pandemia-de-covid-19-na-noruega (Obra original publicada em 2025 em Journal of Child and Family Studies, 35(1), 124-140 (2026); republicada em 2026 por Journal of Child and Family Studies, https://link.springer.com/article/10.1007/s10826-025-03222-9)

Carrinho

Seu carrinho está vazio.