Tradução assistida por IA

Esta versão foi traduzida do inglês pelo Complexe Systémique com a ajuda da inteligência artificial. Em caso de dúvida, prevalece a versão original.

International Journal for the Advancement of Counselling · Formação

A construção do conhecimento na formação em aconselhamento sistêmico na Alemanha: um estudo-piloto na perspectiva das competências

Saber explicar um conceito sistêmico é saber usá-lo na sessão? Em Tübingen, Marlene Henrich pediu a doze pessoas no mestrado em aconselhamento sistêmico que explicassem dez noções-chave, depois pontuou seus atendimentos filmados com clientes simulados e coletou sua autoavaliação. O conhecimento declarado não prevê a competência observada, e a autoavaliação só a reflete em parte.

Autores Marlene Henrich (Faculdade de Ciências Econômicas e Sociais, Universidade Eberhard Karls de Tübingen, Alemanha)Primeira publicação International Journal for the Advancement of Counselling, 28 de junho de 2021Tradução Complexe Systémique, tradução não oficial

Tradução não oficial em português. Este artigo é a tradução de A construção do conhecimento na formação em aconselhamento sistêmico na Alemanha: um estudo-piloto na perspectiva das competências, de Marlene Henrich, publicado na International Journal for the Advancement of Counselling (Springer) (2021), doi: 10.1007/s10447-021-09443-z, sob licença CC BY 4.0. Tradução realizada pelo Complexe Systémique em setembro de 2026: o texto original foi traduzido para português e reformatado, o que constitui uma modificação da obra nos termos da licença. As tabelas são apresentadas em forma de listas, e as figuras e tabelas, agrupadas no fim do artigo na fonte, foram recolocadas no ponto em que o texto as menciona. Esta tradução não foi feita nem pelos autores nem pelo editor, que não respondem pelo seu conteúdo nem por eventuais erros. A versão original prevalece.

A autoavaliação não é suficientemente abrangente para captar a qualidade e o alcance da competência em aconselhamento sistêmico.

Marlene Henrich

Resumo

Este estudo-piloto tem dois focos. Examina como se relacionam os conhecimentos e as competências de doze pessoas em formação de mestrado em aconselhamento sistêmico e em que medida a avaliação que fazem da própria competência corresponde a uma avaliação externa. Do ponto de vista metodológico, foram usados três instrumentos: primeiro, um instrumento para medir o conhecimento explícito; segundo, vídeos de atendimentos com clientes simulados, para medir a competência na prática; terceiro, uma medida de autoavaliação, para explorar a correspondência entre a competência avaliada externamente e a autoavaliação. Os resultados não indicam relação entre o conhecimento e a competência avaliada externamente. Além disso, a autoavaliação não mostrou nenhuma relação sistemática com a avaliação externa. O estudo conclui que o desenvolvimento das competências em aconselhamento sistêmico é um processo de longo prazo, feito de aquisição teórica, prática e reflexão. A autoavaliação pode estimular processos importantes de reflexão. Mas ela não basta para captar a qualidade e o alcance da competência.

Palavras-chave: construção do conhecimento, competência, pesquisa sobre expertise e competência, formação em aconselhamento sistêmico, desenvolvimento profissional

Introdução

O aconselhamento (counselling), definido como “uma relação profissional que capacita indivíduos, famílias e grupos diversos a alcançar objetivos de saúde mental, bem-estar, educação e carreira” (Kaplan et al., 2014, p. 366), é uma prática complexa que exige, para ser exercida com competência, conhecimento e habilidade em igual medida. A aquisição e a mensuração das competências de aconselhamento estão no centro da formação (Little et al., 2005; Rousmaniere et al., 2017; Tate et al., 2014). A definição de competência usada aqui segue uma concepção que remonta a Heinrich Roth (1971) e se insere de perto na tradição da teoria da educação. Roth entendia a competência individual como um conjunto de habilidades que não abrangem apenas disposições cognitivas para o desempenho, mas visam uma capacidade prática geral que inclui o domínio afetivo-motivacional (Roth, 1971). Crenças epistêmicas ou habilidades de autorregulação são exemplos desse componente (Lau & Roeser, 2002). Nesse contexto, “competência” designa disposições individuais para agir, que não são diretamente observáveis, mas precisam ser inferidas a partir de como as pessoas agem (desempenham) em situações específicas (Blömeke et al., 2015; Fouad et al., 2009).

O problema, porém, é que a formação em aconselhamento sistêmico pouco se orientou para as formas de conhecimento que resultam numa prática competente (Bauer & Weinhardt, 2020; Falender & Shafranske, 2004, 2012; Rousmaniere et al., 2017). Por falta dessa orientação para a competência, durante muito tempo não ficou claro como as competências poderiam sequer ser medidas (Foster & McAdams, 2009; Swank & Lambie, 2012, 2016; Tate et al., 2014). No entanto, poder determinar a competência de aconselhamento de quem está em formação de mestrado é essencial para que essas pessoas possam oferecer um aconselhamento ético e eficaz (ACA, 2014; APA, 2010). A capacidade de refletir sobre o próprio nível de desenvolvimento de competências é responsabilidade de quem atua no aconselhamento e deveria começar já nessa etapa inicial da aprendizagem profissional (ACA, 2014). Por isso, o uso de instrumentos de autoavaliação é particularmente importante numa formação orientada para competências.

Assim, para melhorar a formação em aconselhamento sistêmico e impulsionar o desenvolvimento profissional de cada pessoa por meio da aquisição de conhecimento e competência, é particularmente relevante responder às seguintes perguntas: qual é a relação entre o conhecimento adquirido sobre aconselhamento sistêmico e o desenvolvimento da competência em aconselhamento sistêmico? Qual é a relação entre a autoavaliação dessa competência e a avaliação externa?

O objetivo do presente estudo-piloto é, portanto, contribuir para melhorar a formação inicial e continuada em aconselhamento sistêmico orientada para competências. Esse objetivo ganhou ainda mais importância desde que a abordagem sistêmica foi reconhecida pela legislação alemã de seguridade social em 2018. O Comitê Federal Conjunto da Alemanha (G-BA) reconhece a terapia sistêmica como útil e eficaz. Ela é classificada como o quarto método de psicoterapia para adultos aprovado e custeado pelo seguro-saúde na Alemanha, ao lado da terapia comportamental, da terapia psicanalítica e da psicoterapia de orientação psicodinâmica (Tiefenpsychologie). Neste artigo, numa compreensão inclusiva, a terapia sistêmica é vista como uma forma particular de aconselhamento sistêmico, em consonância com a maioria dos estudos sobre fatores comuns (Grencavage & Norcross, 1990; Hubble et al., 1999; Wampold & Imel, 2015).

O estudo começa descrevendo a abordagem do aconselhamento sistêmico e as competências que profissionais de aconselhamento sistêmico deveriam ter. Apresenta-se um modelo dos processos de construção do conhecimento que mostra as características específicas do aconselhamento sistêmico e o funcionamento do processo de formação do conhecimento. Em seguida, discutem-se diferentes visões da relação entre conhecimento e competência e apresentam-se medidas de avaliação da competência. Explicam-se também a amostragem e a coleta de dados, bem como o caráter de estudo-piloto, e apresentam-se os métodos usados. Os resultados vêm depois, e o artigo se encerra com uma discussão dos resultados da pesquisa, das limitações do estudo e de futuras investigações.

Conhecimento e competência

A abordagem do aconselhamento sistêmico e suas competências

O aconselhamento sistêmico foi apontado como a abordagem teórica escolhida com mais frequência no aconselhamento ao sistema familiar (Roth & Fonagy, 2005). Isso não surpreende, pois a abordagem sistêmica se concentra em mudar interações e relações; ela não vê a realidade como objetiva e independente de quem a observa. Essa abordagem é difícil de definir com mais precisão, pois se divide, por sua vez, em muitas subescolas (Tickle & Rennoldson, 2016; Von Schlippe & Schweitzer, 2014). Todas elas, no entanto, concordam com uma certa visão de mundo e do ser humano. O debate sobre como definir o “sistêmico” faz parte da própria abordagem e é uma questão constantemente levantada, dada a multiplicidade de escolas (Levold & Wirsching, 2016; Von Schlippe & Schweitzer, 2014).

A literatura descreve diferentes áreas de competências de aconselhamento: não verbal, verbal e condições facilitadoras (Swank & Lambie, 2016). A comunicação não verbal inclui, por exemplo, linguagem corporal, voz, expressões faciais e gestos. A linguagem verbal abrange, por exemplo, a medida em que quem aconselha faz perguntas úteis ou estimula processos de reflexão. As condições facilitadoras são as condições básicas propostas por Rogers (1957): consideração positiva incondicional, autenticidade e empatia (Swank & Lambie, 2016; Tepper & Haase, 1978). Além dessas competências gerais de aconselhamento, o aconselhamento sistêmico tem exigências específicas de competência. Von Schlippe e Schweitzer (2014) apontaram as seguintes competências centrais do aconselhamento e da terapia sistêmicos: (1) foco na comunicação, (2) settings com várias pessoas e múltiplas mudanças de setting (terapia individual, de casal, familiar, de grupo ou de rede), (3) definição do contexto e da missão, (4) respeito pela autonomia do sistema, (5) fazer as pessoas se sentirem valorizadas, (6) otimismo quanto à mudança e aceitação positiva da não mudança, (7) desconstrução de crenças limitantes e de teorias da doença, com ênfase no que poderia ser possível em vez do que é realmente possível, (8) foco na cooperação. É sobretudo nos settings com várias pessoas que agir pode ser um desafio para quem está em formação em aconselhamento e terapia sistêmicos. Para estabelecer uma relação terapêutica construtiva num setting com várias pessoas, é importante que quem aconselha estabeleça ativamente uma relação respeitosa e valorizadora com todos os membros do sistema. Nesse processo, é preciso garantir que as pessoas inicialmente ausentes da sessão também sejam integradas desde cedo. Isso exige seguir procedimentos particulares e aplicar campos específicos de competência, que se expressam numa postura sistêmica de imparcialidade e neutralidade (Lang et al., 1990). O setting afeta a intimidade da relação terapêutica. Na terapia individual, a pessoa atendida tem durante a sessão a atenção integral de quem aconselha. O setting com várias pessoas, por outro lado, permite na maioria dos casos muito menos intimidade na relação terapêutica. Quem aconselha precisa dar a mesma atenção às duas pessoas atendidas e desafiar ambas, igualmente, a fazer mudanças pessoais durante a terapia (Heatherington et al., 2005). Como a construção da relação é um dos fatores mais importantes do aconselhamento e da terapia (Lambert et al., 2013), é importante que profissionais de aconselhamento e terapeutas adquiram cedo esse campo de competência e, em particular, que quem está em formação em aconselhamento sistêmico ganhe experiência na construção de relações em settings com várias pessoas.

A aquisição de competência e o processo de construção do conhecimento

Para levantar informações, na perspectiva da competência, sobre os processos de construção do conhecimento de profissionais de aconselhamento sistêmico, é possível consultar dois campos: a pesquisa sobre expertise e a pesquisa sobre competência. Essa dupla perspectiva só recentemente passou a ser usada na pesquisa sobre aconselhamento. Strasser e Gruber (2008, 2013) estabeleceram os processos de construção do conhecimento que permitem ao corpo docente desenvolver competência de aconselhamento; Strasser (2006) identificou os de profissionais de aconselhamento que atuam na educação, Bredl (2008) descreveu os da consultoria de gestão, e Henrich e Weinhardt (2018) identificaram estruturas de conhecimento de profissionais de aconselhamento e terapia sistêmicos em formação continuada. Tanto a pesquisa sobre expertise quanto a pesquisa sobre competência empregam, assim, um conceito de competência no qual o conhecimento abrange não só o conhecimento declarativo, como o conhecimento de fatos e termos, mas também a experiência acumulada na prática. Esses diferentes tipos de conhecimento nos processos de profissionalização remetem a um construto de competência centrado em diferentes formas de conhecimento, tirado de conceitos da pedagogia profissional, tal como descrito por Neuweg (2004). Uma de suas propostas é cruzar aprendizagem explícita e implícita com conhecimento explícito e implícito. O conhecimento declarativo e consciente é aqui incluído no “conhecimento explícito”, enquanto o “conhecimento implícito” é entendido como as habilidades práticas demonstradas por uma pessoa que age espontaneamente, mas não consegue verbalizar o conhecimento por trás dessa ação (Neuweg, 2004, 2015). O conhecimento implícito não é um conhecimento necessário além da ação; ele está na própria ação. É difícil de explicar e impossível de ensinar. Só se adquire fazendo. A arquitetura do conhecimento implícito se baseia na experiência e num amplo repertório de padrões de casos que permitem reconhecer situações semelhantes. Hayes e Broadbent (1988) distinguiram um modo seletivo de aprendizagem (“modo S”) e um modo não seletivo (“modo U”), que correspondem aos termos “aprendizagem explícita” e “aprendizagem implícita”. No modo não seletivo, a consciência assume a forma de uma atenção não focalizada, dedicada à realização da tarefa e não à aprendizagem em si (Weinhardt, 2018a). Trata-se de um acúmulo passivo de informações, indisponível para o relato verbal. Nessa perspectiva, a aprendizagem em modo S ocorre sobretudo em contextos de baixa saliência: situações complexas em que não é possível lidar com algumas questões distintas e salientes, e em que quem aprende precisa enfrentar um fluxo confuso de exigências, por vezes contraditórias. Por isso, a aprendizagem em modo S é vista como um conhecimento lento, porém duradouro, produzido como efeito colateral da prática de atividades complexas (Weinhardt, 2018a). Weinhardt (2018a) ilustrou a diversidade dos processos de aprendizagem descritos por Neuweg (2004) desenvolvendo uma heurística e aplicando-a ao desenvolvimento profissional em aconselhamento (Weinhardt, 2018a, 2019b, 2020) (ver a Figura 1). Cruzando os tipos de conhecimento com os modos de aquisição do conhecimento, diferentes combinações se tornam tangíveis. A primeira combinação, aprendizagem implícita/conhecimento implícito (AI/CI), descreve um processo de aprendizagem em que o conhecimento implícito está muito estreitamente ligado à enculturação, à socialização e ao habitus. O conceito de habitus de Bourdieu, aprendido pela socialização, também enfatiza o processo de sua incorporação (Bourdieu, 2003). A aprendizagem ocorre de modo pré-consciente e pré-reflexivo; o conhecimento é incorporado e permite ao corpo agir. A segunda combinação, aprendizagem explícita/conhecimento implícito (AE/CI), é um processo de aprendizagem que leva a um conhecimento implícito e está intimamente ligado aos conceitos de procedimentalização e encapsulamento. O encapsulamento é um processo de reestruturação do conhecimento no qual o conhecimento básico é integrado a estruturas de nível superior (Boshuizen & Schmidt, 1992; Strasser, 2006). A experiência leva a uma mudança qualitativa do conhecimento e ao desenvolvimento de uma forma de conhecimento procedimental, como saber executar na prática séries específicas de ações. O conhecimento declarativo não se perde nesse processo, mas pode ser acionado diante de problemas complexos. O conhecimento encapsulado tem a vantagem de estar disponível com rapidez e flexibilidade. Desenvolve-se então uma estrutura narrativa, chamada de “scripts” (Schank & Abelson, 1977). Scripts são sequências de ação na forma de estruturas de conhecimento baseadas na experiência. A terceira combinação, aprendizagem implícita/conhecimento explícito (AI/CE), pode ser desencadeada pela reflexão sobre o processo de aprendizagem implícita. Dewey (1910) definiu a reflexão como “a consideração ativa, persistente e cuidadosa de qualquer crença ou suposta forma de conhecimento à luz dos fundamentos que a sustentam e das conclusões a que ela tende” (Dewey, 1910, p. 6). Trata-se de parte essencial do desenvolvimento da competência (Schön, 1983). A quarta combinação, a aprendizagem explícita que leva a um conhecimento explícito (AE/CE), é por sua vez o caso normal esperado de aprendizagem. O conhecimento resultante tem papel particularmente importante nos processos educativos formais das instituições de ensino clássicas, que exigem que o conhecimento seja avaliado (Weinhardt, 2018a, 2019b, 2020).

Esquema que cruza aprendizagem implícita ou explícita com conhecimento implícito ou explícito, formando quatro tipos de aprendizagem
Figura 1. Quatro formas de aprendizagem implícita e explícita (com base em Weinhardt, 2018a) (esquema original em inglês)

Como se relacionam conhecimento e competência?

A questão de como conhecimento e competência se relacionam é controversa na literatura. Nickolaus et al. (2016), por exemplo, distinguiram três visões. Primeiro, há teorias que supõem que as pessoas têm controle racional sobre suas ações, como as teorias da regulação da ação (Zacher & Frese, 2018). Segundo, há teorias que contestam qualquer regulação racional da ação (Neuweg, 2004, 2005; Polanyi, 1985). Terceiro, há teorias que supõem a existência de dois sistemas cognitivos ou modos de processamento, que importam para a regulação da ação conforme a situação (Kahnemann, 2011).

Ryle (1969) faz outra distinção. Ele usou os termos mutuamente excludentes “saber como” (knowing how) e “saber que” (knowing that). Ryle explicou que o conhecimento nem sempre implica capacidade, e que a capacidade nem sempre pressupõe conhecimento. Por exemplo, saber recitar as regras do aconselhamento não garante que se vá aconselhar bem, enquanto é possível aconselhar bem sem saber dizer que teorias se seguem. Ryle se opunha a qualquer teoria segundo a qual nossas ações inteligentes seriam sempre precedidas de um planejamento consciente. Ele não nega que às vezes se pense primeiro para garantir a ação certa, mas observa que muitas vezes as pessoas realizam ações inteligentes sem planejá-las conscientemente antes. Nem toda ação bem-sucedida, porém, é precedida de recursos de conhecimento que orientam a ação. É característico das formas implícitas de conhecimento que as pessoas tenham dificuldade em explicar como realizam esses processos práticos; só conhecem as regras em sua aplicação (Ryle, 1969). Assim, a relação entre conhecimento e ação pode ser descrita como um conjunto de processos complexos nos quais o conhecimento é, de um lado, necessário à ação e, de outro, também resultado da ação, como mostra a Figura 1. Também se pode presumir que conhecimento e competência diferem nas diferentes fases de aquisição da expertise. Pode-se supor, por exemplo, que as bases de conhecimento de iniciantes ainda não estão conectadas entre si, o que torna difícil racionalizar o próprio conhecimento a posteriori ou desenvolver um conhecimento de rotina pela experiência (Dreyfus & Dreyfus, 1986). Pode-se supor que uma conexão entre as bases de conhecimento só se desenvolve no estágio de expertise, quando se alcança o domínio de uma profissão, ao fim de um processo elaborado e longo.

Medir a competência

O aconselhamento é uma integração complexa de conhecimentos, valores e comportamentos, que se avalia melhor por meio de vários métodos baseados no desempenho (Schiersmann et al., 2013; Swank & Lambie, 2016; Tate et al., 2014). Com base em Iller e Wick (2009), Schiersmann et al. (2013) mostraram a utilidade de certos instrumentos de levantamento segundo a medida em que avaliam a competência e as informações que captam (ver a Figura 2). Levantamentos ou testes escritos e orais investigam sobretudo o conhecimento explícito, enquanto as observações têm mais probabilidade de visar a competência, definida como a combinação de conhecimento e capacidade prática num contexto determinado (Schiersmann et al., 2013). A competência se mede melhor pela observação e pela reflexão (Iller & Wick, 2009; Schiersmann et al., 2013). Para mapear a competência como um todo e evitar conclusões precipitadas, é preciso combinar métodos de avaliação da competência (Swank & Lambie, 2016). Por exemplo, uma pessoa que realiza uma ação com competência pode não ter transformado nenhum conhecimento numa situação de observação e agir com competência apenas por acaso. Da mesma forma, é concebível que quem aconselha tenha muito conhecimento, sem que isso permita tirar conclusões automáticas sobre sua competência de aconselhamento. O conhecimento explícito, portanto, se mede facilmente por um teste, enquanto o conhecimento implícito só pode ser medido por observação e questionamento.

Esquema que situa os instrumentos de avaliação, dos testes escritos à observação, conforme captem o conhecimento explícito ou a competência
Figura 2. Avaliação de competências (Schiersmann et al., 2013; com base em Iller & Wick, 2009) (esquema original em inglês)

Para medir a capacidade de reflexão das pessoas estudadas, instrumentos de autorrelato são apropriados (Schiersmann et al., 2013). Na linha de Andrade (2019), a autoavaliação é vista como uma forma de autorreflexão, na qual a pessoa em formação acompanha o próprio desenvolvimento. O objetivo desse retorno é fazer ajustes, aprofundar a aprendizagem e melhorar o desempenho (Andrade, 2019). Além disso, acompanhar e refletir sobre as próprias competências de aconselhamento, no sentido da autoavaliação, é essencial no início da formação, pois permite formar um certo quadro de aprendizagem e de avaliação do próprio desempenho de aconselhamento (Urbani et al., 2002). A formação ao longo da carreira poderia se apoiar nessa base (Bernard & Goodyear, 2014). A autoavaliação, que pode ser definida como “uma abordagem estruturada da mudança comportamental autodirigida” (Dennin & Ellis, 2003, p. 69), é parte essencial do “Ciclo de Excelência” (Rousmaniere, 2019; Rousmaniere et al., 2017). O Ciclo de Excelência é um processo circular que determina o nível inicial de competência e a prática bem-sucedida de certas habilidades ao longo de um período prolongado, com retorno contínuo. Sabe-se pela pesquisa sobre expertise que a capacidade de autoavaliação é mais desenvolvida em quem progrediu continuamente no Ciclo de Excelência do que em iniciantes no começo da carreira (Falchikov & Boud, 1989).

A seguir, apresenta-se o desenho da pesquisa, que combina diferentes métodos para medir tanto o conhecimento quanto a competência (ver a Figura 2).

Método

Amostragem e coleta de dados no BeraLab

O estudo descrito neste artigo seguiu as diretrizes da APA (APA, 2020). Doze pessoas em formação em aconselhamento sistêmico participaram voluntariamente, sem critérios de participação, no semestre de inverno de 2015. O estudo fazia parte do BeraLab, um ambiente de simulação altamente realista para profissionais de aconselhamento sistêmico, com clientes treinados (Weinhardt, 2019a). Pessoas sem formação profissional em atuação, previamente treinadas, faziam o papel de clientes, o que permitia a quem estava em formação praticar casos prototípicos do aconselhamento a jovens, com a ajuda da equipe do Theatre in Education (Bauer & Weinhardt, 2015). O treinamento das pessoas que faziam os clientes compreendeu 20 unidades de ensino. Os diferentes cenários de caso eram ensaiados de forma padronizada, de modo que podiam ser representados de maneira repetida e consistente (Hoppe, 1995; Pololi, 1995). O BeraLab não inclui só o ambiente de simulação, mas também uma pesquisa de acompanhamento: gravação em vídeo das sessões de aconselhamento, tarefas posteriores de evocação verbal (prompting) ou procedimentos de autoavaliação.

As pessoas que participam do BeraLab cursam um mestrado em aconselhamento sistêmico pensado para quem já trabalha. Todas atuam em tempo parcial como futuras profissionais de aconselhamento sistêmico. A média de idade era de 28,9 anos, e todas eram da Alemanha. Participaram do estudo três homens e nove mulheres. Têm diferentes graduações, por exemplo em educação especial, psicologia ou serviço social. A experiência profissional varia de muito pouca a alguns anos de experiência em aconselhamento. Não se buscou a aprovação de um comitê de ética, pois nenhum grupo vulnerável foi pesquisado.

O pequeno tamanho da amostra faz deste estudo um estudo-piloto. Estudos-piloto com amostras pequenas (de dez a vinte pessoas, aproximadamente) não são raros na pesquisa sobre aconselhamento (por exemplo, Austin & Honer, 2008; Üstündağ-Budak et al., 2019; Weine et al., 1998). Estudos com amostras pequenas são relevantes no processo de descoberta científica, de modo que nem todos devem ser descartados (Oakes, 2017). Além disso, estudos-piloto podem servir para pré-testar novos instrumentos de pesquisa com um grupo muito específico (Baker, 1994). Neste estudo, a pesquisa sobre conhecimento e a pesquisa sobre competência são combinadas e aplicadas a pessoas em formação de mestrado em aconselhamento sistêmico. A combinação escolhida aqui, de tarefas de evocação verbal, autoavaliação e avaliação externa por meio da pontuação de vídeos, é relativamente inovadora e será explicada em mais detalhe nas seções a seguir.

Medidas

Do ponto de vista metodológico, foram usados três instrumentos de medida. Primeiro, aplicou-se um instrumento de conhecimento (tarefa de evocação verbal) para medir o conhecimento explícito. Segundo, realizou-se uma medida de autoavaliação para verificar em que medida a autoavaliação consegue retratar a competência. Terceiro, sessões de aconselhamento gravadas em vídeo com clientes simulados serviram para medir a competência das pessoas em formação.

  1. O conhecimento explícito foi determinado por uma abordagem clássica de tarefa de evocação verbal, do tipo frequentemente usado no aconselhamento por Strasser (2006) e por Strasser e Gruber (2008, 2013, 2015) para investigar estruturas de conhecimento. Apresentaram-se a quem estava em formação dez termos-chave do aconselhamento e do aconselhamento sistêmico: 5 termos ligados a princípios teóricos básicos, a saber, definição da demanda, neutralidade, orientação para o processo, autonomia e construção da realidade; 3 termos ligados ao setting: coerção/involuntariedade, conflito de casal e conflito familiar; e 2 termos ligados às técnicas: ressignificação e perguntas circulares. Pedia-se às pessoas que pensassem em voz alta (Ericsson & Simon, 1980, 1984, 1993) e explicassem os termos, padronizados e estreitamente ligados ao domínio. Esse método é frequentemente usado na pesquisa sobre expertise, sobretudo nos estudos mencionados acima, para registrar processos de construção do conhecimento (Henrich & Weinhardt, 2018; Strasser, 2006; Strasser & Gruber, 2015).
  2. A autoavaliação era feita após cada termo apresentado. Pedia-se às pessoas participantes que indicassem, numa escala de 1 a 10, quanto já tinham trabalhado o conceito até então, sendo 1 muito pouco e 10 muitíssimo. Embora haja muitos métodos de autoavaliação no ensino superior, o método escolhido depende do que se quer avaliar, por exemplo conhecimentos, habilidades, processos ou produtos (Andrade, 2019; Braun et al., 2012). Neste estudo, preferiu-se uma pergunta oral sobre a profundidade da experiência com o conceito apresentado, para dar a quem estava em formação a maior margem possível de avaliação. A intenção era evitar que as pessoas se apoiassem em conhecimentos acadêmicos e teóricos sobre a aquisição de habilidades e incentivá-las a levar em conta experiências do cotidiano profissional. Trata-se, por assim dizer, de uma pergunta orientada para o desempenho, que privilegia a competência em relação ao conhecimento.
  3. As sessões gravadas com clientes simulados foram avaliadas pela TBKS (Tübinger Beratungskompetenz Skala, escala de competência de aconselhamento de Tübingen; Weinhardt, 2014), versão adaptada e traduzida da Counselling Skills Scale (Eriksen & McAuliffe, 2003). A TBKS registra, por meio de 19 itens, seis características das habilidades de aconselhamento psicossocial: (1) demonstrar interesse e fazer as pessoas se sentirem valorizadas (por exemplo, linguagem corporal, encorajamento, identificação de forças), (2) explorar o problema (por exemplo, fazer perguntas e dar exemplos específicos, parafrasear, resumir), (3) aprofundar a sessão (por exemplo, refletir sentimentos, significados e valores, usar a imediaticidade, notar temas e padrões, apontar discrepâncias e perguntar sobre elas), (4) iniciar a mudança (por exemplo, definir objetivos, aplicar estratégias de intervenção, considerar alternativas e consequências, planejar os próximos passos), (5) desenvolver uma relação (por exemplo, postura básica de aceitação e naturalidade) e (6) estruturar a sessão (por exemplo, abertura, exploração, compreensão aprofundada, início das mudanças e encerramento). A TBKS não se destina a avaliar aspectos diretamente observáveis da estrutura visível de superfície, isto é, a frequência com que um evento ocorre (amostragem por eventos) (Gronostay & Manzel, 2018; Petko et al., 2003), mas se baseia numa avaliação abrangente da competência, que leva em conta, por exemplo, o momento certo para uma intervenção de aconselhamento.

Procedimento de análise dos dados

As medidas recorrem a diferentes sistemas metodológicos, no sentido dos métodos mistos (Johnson & Onwuegbuzie, 2007). O material qualitativo veio dos protocolos de pensamento em voz alta, avaliados pela análise qualitativa de conteúdo segundo Mayring (2015). Os arquivos de áudio foram transcritos e analisados no MaxQDA, com três categorias tiradas da pesquisa sobre expertise, com base em Strasser e Gruber (2015) e Henrich e Weinhardt (2018). As três categorias são as seguintes. Primeiro, mediu-se a riqueza da base de conhecimento explícito e declarativo das pessoas estudadas. Segundo, a abundância de sua experiência. Terceiro, os processos de generalização em sua base de conhecimento. O conhecimento declarativo era registrado quando a pessoa se referia a conceitos teóricos, autores e termos técnicos. O conhecimento experiencial era registrado quando ela relatava experiências isoladas com o termo. Por fim, a experiência generalizada era registrada quando a pessoa se referia a experiências sintetizadas e ficava claro que muitas experiências desse tipo já tinham sido vividas. A análise de conteúdo compreendeu, portanto, primeiro uma etapa qualitativa, na qual se interpretava o conteúdo do protocolo de pensamento em voz alta. Numa segunda etapa, os trechos eram atribuídos a categorias derivadas da teoria (conhecimento explícito, conhecimento episódico, conhecimento generalizado). Além disso, os dados quantitativos foram obtidos pela contagem do número de vezes que cada categoria aparecia por pessoa, o que permitiu reforçar os resultados dos dados qualitativos.

O formato de resposta da escala de autoavaliação, de 1 a 10, também gerou dados quantitativos, aos quais a análise estatística podia se ligar diretamente. Ward et al. (2002) resumiram que a metodologia mais comum para avaliar a autoavaliação são as análises de correlação, nas quais um escore de autoavaliação é correlacionado, por exemplo, com uma avaliação especializada.

Os vídeos foram outra fonte de dados quantitativos. Foram avaliados pontuando os 19 itens mencionados acima numa escala de –2 a +2, num processo altamente sensível e orientado para a competência. O valor global era obtido somando os valores das seis dimensões e cobria uma amplitude de competência de –12 a +12. A consistência interna da escala global no nível das facetas deve ser considerada alta (α = 0,923) (Weinhardt & Kelava, 2016).

A avaliação dos vídeos foi feita por profissionais de aconselhamento com treinamento, com resultados bons a muito bons em termos de alta confiabilidade entre codificações (correlação intraclasse: 3,1; kappa de Cohen: 0,73 a 0,89) (Bauer & Weinhardt, 2013). No presente estudo, para um total de 125 vídeos avaliados por duas pessoas, o coeficiente de correlação intraclasse ficou entre 0,68 e 0,83, com valores bons e muito bons (Wirtz & Caspar, 2002). Esses resultados são comparáveis aos de Bauer e Weinhardt (2013) ou de Weinhardt e Kelava (2016).

Análise dos dados

Para responder à primeira pergunta de pesquisa, usou-se o teste de correlação de Pearson, que avaliou uma possível associação linear entre conhecimento e competência. Os requisitos para usar o teste de correlação de Pearson estavam atendidos. Os dados se situam numa escala intervalar (–2 a 2) e tinham distribuição normal (valor-p para a escala (total): 0,0***; conhecimento declarativo (total): 0,0***; experiência (total): 0,0***; generalização (total): 0,0***; TKBS (total): 0,0002***), como mostrou o teste de Kolmogorov-Smirnov (Chakravarti et al., 1967).

A segunda pergunta de pesquisa, sobre a relação entre autoavaliação e avaliação externa, foi respondida calculando a média dos valores autorrelatados para cada termo e relacionando os diferentes conceitos de conhecimento sistêmico às dimensões da prática de aconselhamento (TBKS), novamente por meio do teste de correlação de Pearson.

Resultados

A seguir, apresentam-se estatísticas descritivas baseadas nas medidas de a) a base de conhecimento, b) a competência e c) as informações autorrelatadas, apresentadas na seção de resultados e avaliadas de forma mais abrangente na discussão.

Como resultado geral, é preciso dizer que os achados fornecem apenas indicações e percepções iniciais, devido ao pequeno tamanho da amostra. Isso leva a um baixo poder estatístico, de modo que o valor informativo dos resultados deve ser questionado (Suresh & Chandrashekara, 2012). Mas os resultados estatísticos descritivos e inferenciais podem ser interpretados com cautela e num contexto de pesquisa mais amplo (Oakes, 2017).

a) Base de conhecimento

A avaliação da tarefa de evocação verbal usada para investigar os processos de construção do conhecimento (Tabela 1) mostra que foi sobretudo o conhecimento explícito que serviu para descrever os conceitos sistêmicos (M = 9,1, DP = 3,7). O conhecimento episódico se baseia na experiência de quem aconselha e foi usado com menos frequência que a base de conhecimento declarativo (M = 6,0; DP = 4,2). As generalizações remetem a uma experiência sintetizada, à descrição de características típicas de “casos desse tipo”, que em geral só são mencionadas quando a pessoa consegue estabelecer, a propósito de um caso, uma ligação entre conhecimento e capacidade (Strasser & Gruber, 2015). As generalizações são mencionadas com menos frequência que o conhecimento declarativo e o conhecimento baseado na experiência (M = 2,5, DP = 2,2). Os níveis das três bases de conhecimento correspondem ao modelo de aquisição de habilidades de Dreyfus (Dreyfus & Dreyfus, 1986), que descreve as etapas de aquisição do conhecimento que antecedem a expertise. Com base em citações selecionadas, as três categorias são representadas a seguir por dados verbais:

Conhecimento explícito, termo 5: conflito de casal (setting):

“Hum. Lembro espontaneamente de Paul Watzlawick, que cunhou o termo ‘pontuação’ para quando surgem conflitos nos casais. As pessoas muitas vezes fazem acusações unilaterais de culpa, não de forma circular, mas linear; causal. Tipo: porque você é assim, eu tenho que me comportar assim. E Watzlawick diz então que, se você coloca um ponto num certo momento desse conflito e o interrompe, hã, dá para refletir sobre isso e meio que inverter, e aí praticamente não há causa nem efeito, mas cada comportamento é causa e efeito ao mesmo tempo, e sim, isso significa que os dois parceiros passam a ser responsáveis por suas contribuições à relação.”

A primeira citação remete ao conhecimento explícito. O estudante consegue explicar as bases de um conflito de casal tal como descrito nos manuais. Watzlawick et al. (1969) e suas ideias são mencionados, por exemplo, assim como conceitos teóricos centrais como a pontuação ou as teorias da atribuição. Conceitos sistêmicos de tomar partido ou de triangulação também são abordados. O estudante, porém, nada diz de experiências pessoais e não reflete sobre conflitos de casal que tenha vivido. Nessa categoria, foram codificados os enunciados que se referem explicitamente a conceitos teóricos ou explicam termos.

Conhecimento episódico, termo 5: conflito de casal (setting):

“Eu nunca tive conflitos de casal; ah, na verdade, não é bem assim. Recentemente, tive um dos parceiros no atendimento, mas sem o outro. Foi muito instigante de acompanhar, mas claro que fica a impressão de que só dá para ajudar pontualmente, porque falta o outro lado, hum. Mas eu só conheço isso pontualmente na prática, hum, e, por exemplo, casos de divórcio ou disputas de guarda nunca foram o foco do meu trabalho. Só tive isso algumas vezes no meu trabalho até agora. Hum, mas com certeza instigante.”

A segunda citação mostra que o estudante não parece ter uma ampla base de conhecimento explícito sobre conflitos de casal, pois precisa pensar se já teve experiências assim e não leva em conta que, mesmo em atendimentos individuais, o sistema é sempre considerado, esteja ele fisicamente presente ou não. Nessa categoria, só foram codificados os enunciados que tratam unicamente de uma experiência profissional específica ou de um caso específico.

Conhecimento generalizado, termo 5: conflito de casal (setting):

“Um conflito de casal é assunto para aconselhamento de casal. Mas eu acho, pelo que conheço da minha prática profissional, que na maioria das vezes é um assunto que vem junto com outro; ou não, não é bem assim que se diz; que na maioria das vezes ele está presente mesmo quando, na verdade, se está falando de algo completamente diferente. Os pais vêm, por exemplo, pedir orientação sobre o filho, e aí, hum, em algum momento já não se trata mais do menino que não faz a lição de casa, mas, hum, vira um assunto no nível do casal, e eu me vejo diante da questão de tomar isso como o tema em que me concentro ou de como lidar com isso. Acho difícil, porque muitas vezes é muito pessoal e porque também é preciso ter o consentimento, perguntar se o casal quer falar sobre isso. Mas é difícil quando temas de casal aparecem em contextos que não são de aconselhamento de casal.”

No terceiro exemplo, fica claro que a pessoa já tem muita experiência com conflitos de casal. Ela relata um padrão que reconheceu: muitos casais procuram o aconselhamento por um motivo que não é explicitamente um conflito de casal. O conflito só aparece aos poucos, ao longo do processo. A pessoa em formação já formou uma opinião sobre como lidar com isso, mas ainda acha difícil quando surgem conflitos em sessões que deveriam tratar de outro assunto. Essa reflexão incipiente sobre a formação de padrões, e o reconhecimento deles, indicam uma base de conhecimento generalizado em desenvolvimento. Quando os casos eram descritos com base numa experiência profissional sintetizada, e não em casos específicos (por exemplo, “os pais vêm pedir orientação sobre o filho”), codificou-se conhecimento generalizado.

b) Competência

Quando a competência é medida pela TBKS, o valor médio para “demonstrar interesse e reconhecimento” (TBKS 1) é M = 0,37 (DP = 0,93), o que significa, segundo a descrição das definições dos aspectos individuais da competência (Bauer & Weinhardt, 2015), que havia alguns sinais de uma competência em evolução, mas que a oportunidade de usá-la era perdida com muita frequência. Calculou-se uma média de M = 0,73 (DP = 0,97) na escala “explorar o problema” (TBKS 2). Há indícios de que os campos de competência estão evoluindo e se tornando úteis e oportunos, mas não de forma consistente. A escala “aprofundar a sessão” (TBKS 3) teve média de M = 0,48 (DP = 0,68), enquanto “iniciar a mudança” (TBKS 4) chegou a M = 0,88 (DP = 0,91). “Desenvolver uma relação” (TBKS 5) ficou em M = 0,96 (DP = 0,92) e “estruturar a sessão” (TBKS 6) em M = 0,46 (DP = 1,45).

O valor global da TBKS é M = 3,86 (DP = 5,2), o que retrata o desenvolvimento das habilidades de aconselhamento nos estágios iniciais da expertise, em todas as áreas. O valor ligeiramente acima de zero significa que a competência está se desenvolvendo na direção certa, mas que ainda há espaço para melhorar.

c) Autoavaliação

Os autorrelatos sobre dez termos-chave do aconselhamento sistêmico, usados nos campos dos fundamentos, do setting e da técnica, variam conforme o nível de expertise em cada conceito. O termo 1 (definição da demanda), o termo 3 (neutralidade), o termo 6 (autonomia), o termo 7 (ressignificação), o termo 8 (construção da realidade), o termo 9 (conflito familiar) e o termo 10 (perguntas circulares) ficam, em média, na faixa intermediária de familiaridade (M = 5,2–6,1, DP = 2,2–2,8). As pessoas estudadas conhecem menos os conceitos do termo 5 (conflito de casal), do termo 4 (orientação para o processo) e do termo 2 (coerção, involuntariedade) (M = 3,1–4,8, DP = 2,3–2,7). Em média, as pessoas em formação conhecem pouco mais da metade dos conceitos (M = 51,23, DP = 14,60).

Tabela 1 — Estatísticas descritivas

Para cada variável: M, DP, variância, mínimo, máximo e amplitude.

  • Conhecimento declarativo. M 9,07; DP 3,73; var. 13,91; mín. 1,00; máx. 14,00; amplitude 13,00.
  • Experiência. M 6,00; DP 4,16; var. 17,33; mín. 0,00; máx. 13,00; amplitude 13,00.
  • Generalização. M 2,50; DP 2,17; var. 4,72; mín. 1,00; máx. 8,00; amplitude 7,00.
  • Termo 1: definição da demanda (fundamentos). M 5,53; DP 2,43; var. 5,93; mín. 0,00; máx. 9,00; amplitude 9,00.
  • Termo 2: coerção, involuntariedade (setting). M 4,84; DP 2,70; var. 7,30; mín. 0,00; máx. 9,00; amplitude 9,00.
  • Termo 3: neutralidade (fundamentos). M 5,23; DP 2,20; var. 4,85; mín. 2,00; máx. 9,00; amplitude 7,00.
  • Termo 4: orientação para o processo (fundamentos). M 4,07; DP 2,32; var. 5,41; mín. 0,00; máx. 9,00; amplitude 9,00.
  • Termo 5: conflito de casal (setting). M 3,15; DP 2,37; var. 5,64; mín. 0,00; máx. 8,00; amplitude 8,00.
  • Termo 6: autonomia (fundamentos). M 5,76; DP 2,42; var. 5,85; mín. 1,00; máx. 9,00; amplitude 8,00.
  • Termo 7: ressignificação (técnica). M 6,15; DP 2,51; var. 6,30; mín. 0,00; máx. 9,00; amplitude 9,00.
  • Termo 8: construção da realidade (fundamentos). M 5,92; DP 2,84; var. 8,07; mín. 0,00; máx. 9,00; amplitude 9,00.
  • Termo 9: conflito familiar (setting). M 5,23; DP 2,04; var. 4,19; mín. 000; máx. 8,00; amplitude 8,00.
  • Termo 10: perguntas circulares (técnica). M 5,30; DP 2,62; var. 6,89; mín. 000; máx. 9,00; amplitude 9,00.
  • Autoavaliação total. M 51,23; DP 14,607; var. 213,35; mín. 15,00; máx. 72,00; amplitude 57,00.
  • TBKS 1: demonstrar interesse e reconhecimento. M 0,36; DP 0,93; var. 0,88; mín. –1,25; máx. 2,00; amplitude 3,25.
  • TBKS 2: explorar o problema. M 0,73; DP 0,96; var. 0,93; mín. –1,25; máx. 1,75; amplitude 3,00.
  • TBKS 3: aprofundar a sessão. M 0,47; DP 0,67; var. 0,45; mín. –1,00; máx. 1,60; amplitude 2,60.
  • TBKS 4: iniciar as mudanças. M 0,88; DP 0,91; var. 0,84; mín. –1,00; máx. 2,50; amplitude 3,50.
  • TBKS 5: desenvolver uma relação. M 0,96; DP 0,92; var. 0,85; mín. 0,00; máx. 2,00; amplitude 2,00.
  • TBKS 6: estruturar a sessão. M 0,46; DP 1,45; var. 2,10; mín. –2,00; máx. 3,00; amplitude 5,00.
  • TBKS total. M 3,85; DP 5,15; var. 26,51; mín. –5,50; máx. 12,85; amplitude 18,35.
  • Tempo de processamento (em segundos). M 1 341,91; DP 259,64; var. 67 414,08; mín. 628,00; máx. 1 635,00; amplitude 1 007,00.
  • Idade. M 28,92; DP 5,31; var. 28,24; mín. 22,00; máx. 42,00; amplitude 20,00.

Total: N = 12. Estatísticas descritivas de cada variável do conjunto de dados: média (M), desvio padrão (DP), variância (var.), mínimo (mín.), máximo (máx.) e amplitude. As três primeiras variáveis correspondem aos diferentes tipos de conhecimento. Os termos 1 a 10 e a autoavaliação total correspondem a um instrumento de autorrelato para determinar a experiência das pessoas em formação. TBKS 1–6 e TBKS total indicam os diferentes níveis de competência de cada pessoa. O tempo de processamento dos vídeos gravados e a idade de cada pessoa são as duas últimas variáveis informativas. Os valores “000” foram reproduzidos tal como no original.

A relação entre conhecimento e competência

Para responder à primeira pergunta de pesquisa, sobre a existência de uma relação entre o conhecimento e a competência de uma pessoa, os dados permitem as seguintes afirmações (ver a Tabela 2). O conhecimento declarativo não mostra nenhum sinal, ou só sinais leves, de correlação com os valores da TBKS.

No caso do conhecimento experiencial, há uma relação fraca entre o conhecimento de quem aprende e suas ações, mas essa correlação não é significativa.

Tabela 2 — Conhecimento e competência

Correlação de cada dimensão de competência (TBKS) com o conhecimento declarativo, a experiência e a generalização; intervalo de confiança de 95% entre colchetes [mín.; máx.].

  • TBKS 1: demonstrar interesse e reconhecimento. Declarativo 0,17 [–0,44; 0,68]; experiência 0,40 [–0,21; 0,79]; generalização 0,42 [–0,203; 0,801].
  • TBKS 2: explorar o problema. Declarativo –0,10 [–0,64; 0,49]; experiência 0,54 [–0,21; 0,79]; generalização 0,22 [–0,4; 0,70].
  • TBKS 3: aprofundar a sessão. Declarativo –0,08 [–0,63; 0,51]; experiência 0,55 [–0,02; 0,85]; generalização 0,22 [–0,4; 0,70].
  • TBKS 4: iniciar a mudança. Declarativo 0,05 [–0,53; 0,61]; experiência 0,51 [–0,08; 0,83]; generalização 0,17 [–0,44; 0,67].
  • TBKS 5: desenvolver uma relação. Declarativo 0,42 [–0,19; 0,80]; experiência 0,06 [–0,52; 0,61]; generalização 0,24 [–0,38; 0,71].
  • TBKS 6: estruturar a sessão. Declarativo –0,02 [–0,59; 0,55]; experiência 0,29 [–0,33; 0,74]; generalização 0,08 [–0,51; 0,06].
  • TBKS total. Declarativo 0,09 [–0,50; 0,63]; experiência 0,42 [–0,19; 0,80]; generalização 0,27 [–0,35; 0,73].

Correlação e intervalo de confiança entre conhecimento (declarativo, experiência e generalização) e competência (TBKS 1–6 e TBKS total). Valores reproduzidos tal como no original.

A relação entre avaliação interna e externa

A Tabela 3 traz informações sobre a segunda pergunta de pesquisa, isto é, se é possível demonstrar correlações entre a competência autorrelatada e a competência efetiva (avaliação externa pela TBKS). As escalas autorrelatadas não mostram uma correlação clara com a avaliação externa. Em algumas áreas, é possível demonstrar um nível consistentemente alto de descrição da competência de aconselhamento, ao passo que isso não pode ser postulado para outros conceitos.

Ao longo da escala, observa-se uma correlação significativa entre o valor total (TBKS total), a TBKS 1 (demonstrar interesse e reconhecimento), a TBKS 2 (explorar o problema) e a TBKS 3 (aprofundar a sessão). Há correlação significativa no termo 1 (definição da demanda) (r = 0,73*; r = 0,75**; r = 0,76**; r = 0,62*; r = 0,63*; r = 0,67*; r = 0,79**) e no termo 10 (perguntas circulares) (r = 0,68*; r = 0,71**; r = 0,7*; r = 0,75**; r = 0,63*; r = 0,75*). O caso do termo 4 (orientação para o processo) é específico: ele mostra correlação significativa com a TBKS 2 (explorar o problema) (r = 0,65*) e a TBKS 3 (aprofundar a sessão) (r = 0,71*). Encontra-se uma correlação negativa significativa nas medidas autorrelatadas do termo 6 (autonomia) com a TBKS 5 (desenvolver uma relação) (r = –0,58*). O termo 8 (construção da realidade) mostra correlação significativa com a TBKS 3 (aprofundar a sessão) (r = 0,58*) e uma relação altamente significativa com a TBKS 5 (construção da relação) (r = 0,73**). O termo 6 (autonomia) tem correlação negativa ao longo de toda a escala. O poder de representação do termo 2 (coerção, involuntariedade), do termo 5 (conflito de casal), do termo 9 (conflito familiar) e do termo 7 (ressignificação) é nulo na representação da diferença entre valores autorrelatados e avaliação externa. O termo 3 (neutralidade) não tem poder de representação.

Os tamanhos de efeito dos resultados significativos, baseados nos coeficientes de correlação, devem ser considerados grandes, pois os resultados significativos estão todos acima de r = 0,50 e definem, portanto, relações fortes (Cohen, 1988). Isso significa que a autoavaliação corresponde de perto à avaliação externa. Nos resultados não significativos, observam-se efeitos heterogêneos, que vão de relações fracas (r = 0,01) a fortes (r = 0,05).

Tabela 3 — Valores autorrelatados e avaliação externa

Para cada termo autoavaliado: correlação com TBKS 1 (interesse e reconhecimento), TBKS 2 (explorar o problema), TBKS 3 (aprofundar a sessão), TBKS 4 (iniciar a mudança), TBKS 5 (desenvolver uma relação), TBKS 6 (estruturar a sessão) e TBKS total; intervalo de confiança de 95% entre colchetes.

  • Termo 1: definição da demanda (fundamentos). TBKS 1: 0,72** [0,26; 0,91]; TBKS 2: 0,74** [0,30; 0,92]; TBKS 3: 0,76** [0,33; 0,92]; TBKS 4: 0,62* [0,07; 0,88]; TBKS 5: 0,63* [0,09; 0,88]; TBKS 6: 0,67* [0,16; 0,89]; total: 0,79** [0,40; 0,93].
  • Termo 2: coerção, involuntariedade (setting). TBKS 1: –0,36 [0,77; 0,26]; TBKS 2: –0,16 [–0,67; 0,45]; TBKS 3: –0,17 [0,67; 0,44]; TBKS 4: –0,39 [–0,79; 0,23]; TBKS 5: –0,02 [–0,58; 0,55]; TBKS 6: –0,35 [–0,59; 0,54]; total: –0,28 [–0,73; 0,34].
  • Termo 3: neutralidade (fundamentos). TBKS 1: 0,41 [–0,21; 0,79]; TBKS 2: 0,44 [–0,17; 0,81]; TBKS 3: 0,51 [–0,08; 0,84]; TBKS 4: 0,31 [–0,31; 0,75]; TBKS 5: 0,15 [–0,46; 0,66]; TBKS 6: 0,28 [–0,34; 0,73]; total: 0,39 [–0,22; 0,79].
  • Termo 4: orientação para o processo (fundamentos). TBKS 1: 0,55 [–0,02; 0,85]; TBKS 2: 0,64* [0,11; 0,89]; TBKS 3: 0,70* [0,22; 0,91]; TBKS 4: 0,49 [–0,11; 0,83]; TBKS 5: 0,21 [–0,40; 0,70]; TBKS 6: 0,43 [–0,19; 0,805]; total: 0,55 [0,55; 0,85].
  • Termo 5: conflito de casal (setting). TBKS 1: 0,21 [–0,40; 0,70]; TBKS 2: 0,17 [–0,44; 0,68]; TBKS 3: 0,17 [–0,44; 0,67]; TBKS 4: 0,24 [–0,38; 0,71]; TBKS 5: 0,13 [–0,47; 0,65]; TBKS 6: 0,14 [–0,47; 0,66]; total: 0,18 [–0,43; 0,68].
  • Termo 6: autonomia (fundamentos). TBKS 1: –0,35 [–0,77; 0,27]; TBKS 2: –0,10 [–0,64; 0,5]; TBKS 3: –0,24 [–0,71; 0,38]; TBKS 4: –0,23 [–0,71; 0,39]; TBKS 5: –0,58 [–0,86; –0,01]; TBKS 6: –0,26 [–0,72; 0,36]; total: –0,31 [–0,75; 0,31].
  • Termo 7: ressignificação (técnica). TBKS 1: 0,25 [–0,37; 0,72]; TBKS 2: 0,11 [–0,48; 0,64]; TBKS 3: 0,05 [–0,53; 0,609]; TBKS 4: 0,00 [–0,57; 0,57]; TBKS 5: 0,24 [–0,38; 0,71]; TBKS 6: 0,43 [–0,18; 0,80]; total: 0,22 [–0,39; 0,70].
  • Termo 8: construção da realidade (fundamentos). TBKS 1: 0,47 [–0,13; 0,82]; TBKS 2: 0,48 [–0,12; 0,82]; TBKS 3: 0,58* [0,00; 0,86]; TBKS 4: 0,27 [–0,35; 0,73]; TBKS 5: 0,73** [0,27; 0,91]; TBKS 6: 0,09 [–0,50; 0,63]; total: 0,47 [–0,13; 0,82].
  • Termo 9: conflito familiar (setting). TBKS 1: –0,242 [–0,71; 0,38]; TBKS 2: –0,09 [–0,63; 0,51]; TBKS 3: –0,07 [–0,61; 0,52]; TBKS 4: –0,18 [–0,68; 0,43]; TBKS 5: –0,25 [–0,72; 0,37]; TBKS 6: 0 [–0,57; 0,57]; total: –0,16 [–0,16; 0,45].
  • Termo 10: perguntas circulares (técnica). TBKS 1: 0,67* [0,16; 0,90]; TBKS 2: 0,71** [0,23; 0,91]; TBKS 3: 0,69* [0,20; 0,90]; TBKS 4: 0,50 [–0,09; 0,83]; TBKS 5: 0,74** [0,30; 0,92]; TBKS 6: 0,62* [0,08; 0,88]; total: 0,74** [0,30; 0,92].
  • Total da escala. TBKS 1: 0,58* [0,01; 0,86]; TBKS 2: 0,70* [0,21; 0,90]; TBKS 3: 0,70* [0,22; 0,91]; TBKS 4: 0,41 [0,30; 0,92]; TBKS 5: 0,51 [–0,08; 0,84]; TBKS 6: 0,49 [–0,11; 0,83]; total: 0,63* [0,09; 0,88].

Correlação e intervalo de confiança entre os valores autorrelatados (termos 1 a 10 e total da escala) e a avaliação externa (TBKS 1–6 e TBKS total). * Correlação significativa no nível de 0,05 (bilateral); ** correlação significativa no nível de 0,01 (bilateral). Valores reproduzidos tal como no original.

Discussão

Os resultados do estudo dão algumas pistas sobre como se relacionam o conhecimento e a competência de pessoas em formação em aconselhamento sistêmico, bem como sobre a relação entre sua autoavaliação e a avaliação feita por outras pessoas.

A pergunta sobre como, no estágio chamado de “iniciante avançado”, a base de conhecimento se relaciona com a competência em aconselhamento sistêmico não encontra nenhuma evidência. Esse achado contraria as expectativas, ao menos quanto à relação entre conhecimento baseado na experiência e competência. Estudos sobre a formação docente relatam relações entre conhecimento e competência na prática (Baumert et al., 2009; Hoth et al., 2016; Kunter et al., 2016).

A ausência de qualquer relação entre conhecimento declarativo e competência indica que, ao começar a adquirir competência de aconselhamento, as pessoas recorrem a dois sistemas de conhecimento independentes e sem ligação entre si: o declarativo e o procedimental. Esse achado concorda com os resultados de Dreyfus e Dreyfus (1986) para o estágio de iniciante, quando se começa a aprender e agir num modo explícito (também chamado de modo seletivo ou modo S) (Hayes & Broadbent, 1988; Neuweg, 2004). O foco está na aprendizagem de características e regras, e esse conhecimento é transferido para as situações práticas sem consideração pelo contexto. Em outras palavras, iniciantes sabem explicar o que sabem, mas não conseguem ligar esse conhecimento à sua aplicação prática. Nessa fase inicial da biografia profissional, talvez se aprenda num modo explícito ou seletivo (Hayes & Broadbent, 1988). Um fato que apoia essa hipótese é que outros estudos também constataram que profissionais de aconselhamento sistêmico em fases iniciais recorrem sobretudo ao conhecimento declarativo (Henrich & Weinhardt, 2018; Strasser & Gruber, 2015). Pode-se supor que quem está em aprendizagem avançada e quem já tem expertise recorre mais à experiência ou ao conhecimento generalizado, de modo que uma relação tem mais chance de se estabelecer, porque o encapsulamento do conhecimento já ocorreu. Segundo o modelo de Dreyfus, a “aprendizagem em modo U” surge ao longo do desenvolvimento profissional da expertise, durante o qual o conhecimento se acumula e é objeto de reflexão por muitos anos. Uma relação entre conhecimento e competência se torna mais provável. Uma hipótese é que a capacidade de desenvolver uma relação de aconselhamento possa ser atribuída à aprendizagem em modo U, que é, por assim dizer, mais natural e não pode ser influenciada por intervenções seletivas (Weinhardt, 2018a). Neste estudo, a capacidade das pessoas em formação de desenvolver uma relação de aconselhamento já é alta, o que indica habilidades prévias. Isso está em linha com os achados do estudo sobre o desenvolvimento longitudinal da competência de aconselhamento (Weinhardt, 2018b). A capacidade de estabelecer relações é um processo de longo prazo, que se presume desenvolver-se em grande parte ao longo da biografia geral da pessoa e só pode ser modificado ligeiramente por oportunidades de aprendizagem bem adaptadas. A competência técnica e metodológica, portanto, melhora com mais facilidade por meio de treinamento direcionado. Já nos estágios iniciais da aquisição da competência em aconselhamento sistêmico, a estrutura dessa competência está em linha com o modelo dos fatores comuns, que supõe que a relação de aconselhamento é um fator-chave de mudança (Weinhardt & Kelava, 2016; Weinhardt, 2018b).

A relação fraca entre conhecimento experiencial e competência confirma a suposição anterior de que a experiência prática adquirida por quem está em aprendizagem avançada muda a qualidade do conhecimento: ele se amalgama cada vez mais (Boshuizen & Schmidt, 1992; Strasser, 2006). A experiência enriquece o conhecimento declarativo e o integra a estruturas de nível superior. À medida que a competência aumenta, passa-se a um modo implícito de aprendizagem (também chamado de não seletivo ou modo U). Isso permite um bom desempenho, mas reduz a capacidade de verbalizar o que foi aprendido (Hayes & Broadbent, 1988; Neuweg, 2004). Essa circunstância também se reflete nos achados relativos à experiência. É possível prever a competência fundamental de quem pratica o aconselhamento sistêmico, mas suas ações se correlacionam de forma relativamente fraca com seu conhecimento. Isso pode ser lido de duas maneiras. Primeiro, pode-se dizer que as pessoas estudadas carecem de um verdadeiro conhecimento teórico; seu conhecimento está encapsulado apenas de forma rudimentar. Outra explicação seria que alguém tem conhecimento encapsulado, mas não consegue nomeá-lo. Seria um exemplo claro de explicar uma decisão com base no que se sabe depois do fato, em vez de descrever os processos de pensamento ocorridos no momento (“racionalização ex post”) (Neuweg, 2015). Na verdade, conseguir dizer retrospectivamente o que se fez, o que se pensou e que conhecimento se usou ao aconselhar é uma habilidade posterior, que não existe nos estágios iniciais. Em muitos casos, isso explica a diferença entre agir e falar sobre a ação. Uma competência suficiente de reflexão ainda não foi adquirida; nesse estágio, ainda precisa ser aprendida.

A explicação para o resultado relativo à capacidade de generalização das pessoas em formação parece evidente: profissionais de aconselhamento sistêmico iniciantes, ou que começam a adquirir competência, ainda não podem recorrer a uma experiência consolidada na forma de estruturas abrangentes relativas a cada caso. Sequências de ações, estruturas formadas pelo conhecimento experiencial, só podem se desenvolver se a pessoa trabalhar na prática com muitos casos reais, e as estruturas narrativas se formam como resultado da prática, da reflexão e da experiência (Boshuizen & Schmidt, 1992; Strasser, 2006).

Esses achados levam à conclusão prática de que quem aprende precisa de muito tempo para desenvolver conhecimento sistêmico antes de poder adquirir expertise na prática. O desenvolvimento de uma base de conhecimento substancial está fortemente ligado à aquisição teórica, à prática e à reflexão contínuas. A chamada “prática deliberada” (Ericsson, 2018) pode ser intensificada pela aprendizagem baseada em casos (Kolodner, 1997). Dependendo da abordagem do desenvolvimento da expertise, supõe-se que, quanto mais intensamente a experiência é analisada, mais se aprende. É especialmente recomendável levar em conta as implicações dos resultados aqui mencionados na formação em aconselhamento sistêmico, dada a grande quantidade de conhecimento e competência exigida. Quem se forma em aconselhamento sistêmico deveria ter a oportunidade de praticar o aconselhamento numa variedade de casos diferentes. Isso deveria ocorrer sempre num contexto protegido, sob supervisão, por exemplo com base em vídeo. Essa é a única forma de criar experiências mais estreitamente ligadas a um nível de competência.

Quanto à segunda pergunta, sobre em que medida a avaliação que as pessoas em formação fazem de si mesmas consegue retratar sua competência, os resultados mostram que os valores autorrelatados só retratam bem parte dessa competência. Esse achado está em linha com resultados anteriores no ensino superior (Blanch-Hartigan, 2011; Dochy et al., 1999; Falchikov & Boud, 1989). Os valores autoavaliados provavelmente só correspondem à avaliação externa quando quem aprende trabalhou bastante o próprio conhecimento de um conceito e pôde aprofundar sua compreensão. Isso mostra que as pessoas em formação em aconselhamento se avaliam melhor quando já trataram um conceito tanto na teoria quanto na prática.

Uma explicação para a correlação significativa, ao longo de toda a escala, entre as três facetas da competência de aconselhamento (TKBS 1: demonstrar interesse e reconhecimento, TBKS 2: explorar o problema e TBKS 3: aprofundar a sessão) é que esses conceitos parecem mais fáceis de avaliar do que, por exemplo, a TBKS 5 (desenvolver uma relação). Uma interpretação possível dos achados no termo 1 (definição da demanda) e no termo 10 (perguntas circulares) seria que esses conceitos são os mais fáceis de aprender, por serem inequívocos. Outros conceitos, ao contrário, variam conforme o contexto, podem ser afetados por componentes morais e éticos, ou os termos dizem respeito a temas específicos de aconselhamento sobre os quais ainda não se adquiriu nem se testou nenhuma expertise. Nesse caso, nenhuma evidência aparece. Com base no valor global da TBKS, outras dimensões parciais podem ser antecipadas nessa perspectiva.

O termo 4 (orientação para o processo) está ligado à TBKS 2 (explorar o problema) e à TBKS 3 (aprofundar a sessão). São essas as variáveis que mostram se esses conceitos básicos podem ser postos em prática. Essa relação poderia mostrar que quem se avalia como experiente na abordagem orientada para o processo é mais capaz de explorar o problema e aprofundar a sessão. Em vez disso, quem aconselha estimula as capacidades de resolução de problemas fazendo perguntas úteis.

A relação negativa do termo 6 (autonomia) com a TBKS 5 (desenvolver uma relação) pode estar ligada a “dar conselhos demais”. Isso poderia ser formulado como uma tarefa de aprendizagem nos estágios iniciais da aquisição de expertise. Por falta de técnicas de questionamento, quem começa no aconselhamento tende a dar conselhos baseados no próprio conhecimento e nas próprias experiências. Numa perspectiva sistêmica, dar conselhos é um erro terapêutico (Boscolo et al., 1987). Dar instruções desconsidera o respeito pela autonomia e pela dinâmica própria do sistema com que se trabalha (Silver, 1991). O desrespeito a essas premissas sistêmicas pode levar a uma relação difícil, porque a pessoa atendida se sente pressionada pelo ponto de vista dominante, e supostamente correto, de quem aconselha.

Esse achado pode estar relacionado aos resultados do termo 8 (construção da realidade), que mostram uma relação com a TBKS 3 (aprofundar a sessão) e uma relação forte com a TBKS 5 (construção da relação). Do ponto de vista de quem está começando, o termo 6 (autonomia) poderia ser entendido como o oposto do termo 8 (construção da realidade). Quem aprendeu que aconselhar não é “dar conselhos”, mas tratar do que importa para a pessoa atendida, compreendeu a tese básica da teoria sistêmico-construtivista. Quem aconselha compreendendo que os seres humanos constroem seu conhecimento com base em experiências cognitivas e emocionais moldadas pela biografia preserva, assim, a autonomia dessas pessoas. Consequentemente, uma relação de ajuda tem mais chance de se desenvolver e a sessão pode ganhar profundidade.

O termo 3 (neutralidade) está fortemente ligado ao termo 6 (autonomia) e ao termo 8 (construção da realidade). Mas, em vez de mostrar uma relação positiva ou negativa, o termo 3 não tem poder de representação. Isso parece curioso, já que o conceito é introduzido nos estágios iniciais da aquisição de expertise. Uma explicação poderia ser que o conceito é muito difícil de aprender, por causa de suas diferentes leituras. O grupo de trabalho de Milão, por exemplo, inspirou-se no conceito de multiparcialidade (Palazzoli et al., 1981), enquanto Cecchin (1988) via a neutralidade sob o ângulo da curiosidade terapêutica. Outra explicação poderia ser que quem aprende adquire um conhecimento puramente explicativo, que não pode ser transformado.

Além disso, não há relações para o termo 2 (coerção, involuntariedade), o termo 5 (conflito de casal), o termo 9 (conflito familiar) e o termo 7 (ressignificação), o que não surpreende, já que a amostra inclui pessoas num estágio inicial do desenvolvimento profissional, ainda pouco expostas a esses conceitos.

A aplicação prática desse achado é que a autoavaliação não é suficientemente abrangente para captar a qualidade e o alcance da competência em aconselhamento sistêmico. Ainda assim, ela é um instrumento muito importante na formação em aconselhamento sistêmico, porque processos de reflexão podem ser estimulados pela autoavaliação. Uma implicação prática dos achados é que a competência de construção da relação, por exemplo, exige mais tempo que o desenvolvimento de outras habilidades. Como se sabe pela pesquisa sobre fatores comuns que a construção da relação é uma competência-chave do sucesso do aconselhamento, é preciso dar-lhe atenção especial (Wampold & Imel, 2015). Os achados mostraram que uma atitude de aceitação diante da construção da realidade da pessoa atendida leva ao estabelecimento de uma relação positiva. Aprender essa postura construtivista básica é, portanto, a chave para uma construção bem-sucedida da relação e deveria estar no centro da formação sistêmica. Os achados também mostram que conceitos não contraditórios e internamente coerentes, como o esclarecimento da demanda, são mais fáceis de aprender do que outros conceitos sistêmicos. A ressignificação, por exemplo, parece mais difícil de aprender, porque se poderia vê-la como uma ferramenta de construção da relação. Da mesma forma, o conceito de manter a neutralidade parece abstrato demais para ser aprendido com facilidade. Por isso, esses conceitos deveriam receber mais atenção na formação e ter seu grau de abstração reduzido. A importância de transpor os conceitos teóricos para a prática aparece no termo “orientação para o processo”. Essa forma particular de aprendizagem, pôr o conhecimento explícito em prática, só pode ser adquirida pela prática e por oportunidades de reflexão. Também pode ser útil trabalhar o contrário dos conceitos sistêmicos: qual é, por exemplo, o oposto de preservar a autonomia? Além disso, fica claro que o aconselhamento em conflitos familiares, conflitos de casal ou situações de coerção, por exemplo, constitui contextos especiais cuja especificidade de domínio precisa ser aprendida em particular. Isso mostra claramente que o aconselhamento é altamente específico de cada domínio e que o desenvolvimento de competências nos próprios campos de aconselhamento precisa ser aprendido de forma específica (Strasser, 2006).

Em particular, a disposição para refletir durante a formação (“reflexão na ação”, Schön, 1983) e depois dela (“reflexão sobre a ação”, Schön, 1983) é decisiva para o desenvolvimento das competências. A chamada “prática reflexiva” (Schön, 1983) exige entrar num diálogo reflexivo com a situação na reflexão na ação. Exige também tomar distância da situação e tornar o próprio conhecimento disponível na reflexão sobre a ação, para relacionar conhecimentos teóricos e práticos. Os instrumentos de autoavaliação podem apoiar a reflexão na ação e sobre a ação.

Limitações e pesquisas futuras

Esses achados têm várias limitações, que pesquisas futuras podem levar em conta no desenho do estudo. Uma limitação do presente estudo é a ausência de um grupo de comparação. Em pesquisas futuras, repetir o estudo com um grupo de nível mais alto de expertise permitiria afirmar algo sobre as mudanças nas bases de conhecimento e nas autoavaliações ou avaliações externas. Além disso, seria de interesse acadêmico comparar os resultados da mesma amostra em diferentes fases (por exemplo, ao fim da formação). Estudos de longo prazo seriam desejáveis para a pesquisa futura.

Outra limitação do estudo é que se deve questionar em que medida os resultados sobre conhecimento e competência, bem como a autoavaliação e a avaliação externa, podem realmente ser comparados entre si. Isso porque os termos apresentados não estavam diretamente ligados às situações de ação. Em princípio, a mensuração altamente inferencial da competência deveria levar isso em conta, mas isso pode ter contribuído para um viés nos resultados. Em pesquisas futuras, os instrumentos de medida deveriam ser mais bem coordenados.

Como observam De Stefano et al. (2007), a limitação mais séria dos estudos-piloto é o pequeno tamanho da amostra. Por isso, este artigo tem uma limitação quanto à sua base estatística. Em futuros projetos de pesquisa, a amostra deveria ter pelo menos 21 pessoas, como mostrou a análise retrospectiva de poder (Buchner et al., 2012). No entanto, não foi possível obter uma amostra maior, devido às condições gerais e apesar de todos os esforços feitos neste estudo.

Ainda assim, uma relativa novidade deste estudo-piloto foi triangular metodologicamente a pesquisa sobre conhecimento e a pesquisa sobre competência. A combinação escolhida aqui, de tarefas de evocação verbal, autoavaliação e avaliação externa dos vídeos, oferece indicações de como conhecimento e competência se relacionam, bem como de como a autoavaliação se relaciona com a avaliação externa. Essas percepções fornecem informações valiosas para melhorar a formação em aconselhamento sistêmico e deveriam ser usadas em futuras investigações.

Complexe Systémique: a reter

O resultado incomoda de forma útil: entre doze pessoas no mestrado em aconselhamento sistêmico, saber explicar a neutralidade ou a pontuação não diz quase nada sobre a forma de conduzir uma sessão, e a autoavaliação só coincide em parte com o olhar externo. Para a formação sistêmica, é um lembrete de modéstia. Noções inequívocas, como o esclarecimento da demanda ou as perguntas circulares, são autoavaliadas e aprendidas melhor que a neutralidade ou a ressignificação, que cada escola lê a seu modo. A construção da relação parece vir sobretudo da biografia de cada pessoa e muda devagar; ainda assim, merece o maior cuidado, já que a pesquisa sobre fatores comuns faz dela a principal alavanca de mudança. O corolário clínico é claro: multiplicar casos simulados filmados, sob supervisão, e usar a autoavaliação como ferramenta de reflexão, não como medida. As limitações são fortes: doze pessoas, nenhum grupo de comparação, termos sem ligação direta com as sessões encenadas e alguns erros de digitação nas tabelas. Para ler junto com a avaliação de uma formação básica em prática sistêmica e com o estudo sobre o feedback em vídeo na supervisão.

Notas do original

Financiamento. Publicação em acesso aberto viabilizada e organizada pelo Projekt DEAL.

Conflitos de interesse. A pessoa que assina o artigo declara não ter conflitos de interesse.

Referências

ACA American Counseling Association. (2014). Code of ethics. ACA. https://www.counseling.org/Resources/aca-code-of-ethics.pdf

Andrade, H. (2019). A critical review of research on student self-assessment. Frontiers in Education, 4(87), 1–13. https://doi.org/10.3389/feduc.2019.00087

APA American Psychological Association. (2020). Concise guide to APA style: the official APA style guide for students. APA.

APA American Psychological Association. (2010). Ethical principles of psychologist and code of conduct. APA. https://www.apa.org/ethics/code

Austin, J. C., & Honer, W. G. (2008). Psychiatric genetic counselling for parents of individuals affected with psychotic disorders: a pilot study. Early Intervention in Psychiatry, 2(2), 80–89. https://doi.org/10.1111/j.1751-7893.2008.00062.x

Baker, T. L. (1994). Doing Social Research (2nd Ed.). McGraw-Hill Inc.

Baumert, J., Blum, W., Brunner, M., Dubberke, T., Jordan, A., Klusmann, U., Krauss, S., Kunter, M., Löwen, K., Neubrand, M., & Tsai, Y. (2009). Professionswissen von Lehrkräften, kognitiv aktivierender Mathematikunterricht und die Entwicklung von mathematischer Kompetenz (COACTIV). Dokumentation der Erhebungsinstrumente [Teachers' professional knowledge, cognitively activating mathematics instruction, and the development of mathematical competence (COACTIV). Documentation of Survey Instruments]. Max-Planck-Institut für Bildungsforschung.

Bauer, P., & Weinhardt, M. (2013). Die Entwicklung von Beratungskompetenz in der Hochschule [The development of advisory competence at university]. In S. Faas, P. Bauer, & R. Treptow (Eds.), Kompetenz, Performanz, soziale Teilhabe. Sozialpädagogische Perspektiven auf ein bildungstheoretisches Konstrukt [Competence, performance, social participation. Social Pedagogical Perspectives on a Theoretical Construct of Education] (pp. 85–102). Springer VS.

Bauer, P., & Weinhardt, M. (2015). Methodenkompetenzerwerb im Studium: Das Beispiel Be- ratungslernen in Simulationsumgebungen [Methodological competence acquisition in studies: The example of learning counselling in simulation environments]. In E. Bolay, A. Iser, & M. Weinhardt (Eds.), Methodisch Handeln – Beiträge zu Maya Heiners Impulsen zur Professionalisierung der Sozialen Arbeit [Methodical Practice—Contributions on Maya Heiner’s Suggestions for the Professionalization of Social Work] (pp. 91–103). Springer Fachmedien.

Bauer, P., & Weinhardt, M. (2020). Zur Einführung: Kompetenzorientierung systemisch [Introduction: competence orientation systemic]. In P. Bauer, & M. Weinhardt (Eds.), Systemische Kompetenzen entwickeln. Grundlagen, Lernprozesse und Didaktik [Developing Systemic Competences. Basics, Learning Processes and Didactics] (pp. 7–16). Vandenhoeck & Ruprecht.

Bernard, J. M., & Goodyear, R. K. (2014). Fundamentals of clinical supervision. Pearson.

Blanch-Hartigan, D. (2011). Medical students ́self-assessment of performance: results from three meta-analyses. Patient Education and Counseling, 84(1), 3–9. https://doi.org/10.1016/j.pec.2010.06.037

Blömeke, S., Gustafsson, J. -E., & Shavelson, R. J. (2015). Beyond dichotomies: competence viewed as a continuum. Zeitschrift Für Psychologie, 223(1), 3–13. https://doi.org/10.1027/2151-2604/a000194

Boscolo, L., Cecchin, G., Hoffman, L., & Penn, P. (1987). Milan Systemic Family Therapy. Basic Books.

Bourdieu, P. (2003). Sozialer Sinn. Kritik der theoretischen Vernunft [The Logic of Practice. Critique of Theoretical Reason]. Suhrkamp.

Boshuizen, H., & Schmidt, H. (1992). On the role of biomedical knowledge in clinical reasoning by experts, intermediates and novices. Cognitive Science, 16(2), 153–184. https://doi.org/10.1207/s15516709cog1602_1

Braun, E., Woodley, A., Richardson, J. T. E., & Leidner, B. (2012). Self-rated competences questionnaires from a design perspective. Educational Research Review, 7(1), 1–18. https://doi.org/10.1016/j.edurev.2011.11.005

Bredl, K. (2008). Kompetenz von Beratern. Analyse des Kompetenzerwerbs bei Unternehmensberatern im Kontext der Expertiseforschung [Competence of counsellors. Analysis of the Acquisition of Competence by Management Counsellors in the Context of Research into Expertise]. VDM.

Buchner, A., Erdfelder, E., & Faul, F. (2012). G*Power. http://www.gpower.hhu.de

Cecchin, G. (1988). Mailand: Zum gegenwärtigen Stand von Hypothetisieren, Zirkularität und Neutralität: eine Einladung zur Neugier [Milan: On the current state of hypothesizing, circularity and neutrality: an invitation to curiosity]. Familiendynamik, 6(2), 191–203.

Chakravarti, I. M., Laha, R. G., & Roy, J. (1967). Handbook of Methods of Applied Statistics. Wiley.

Cohen, J. (1988). Statistical power analysis for the behavioral sciences. Erlbaum.

De Stefano, J., D’Iuso, N., Blake, E., Fitzpatrick, M., Drapeau, M., & Chamodraka, M. (2007). Trainees’ experiences of impasses in counselling and the impact of group supervision on their resolution: A pilot study. Counselling and Psychotherapy Research, 7(1), 42–47. https://doi.org/10.1080/14733140601140378

Dennin, M. K., & Ellis, M. V. (2003). Effects of a method of self-supervision for counselor trainees. Journal of Counseling Psychology, 50(1), 69–83. https://doi.org/10.1037/0022-0167.50.1.69

Dewey, J. (1910). How we think. Heath & Co.

Dochy, F., Segers, M., & Sluijsmans, D. (1999). The use of self-, peer- and co-assessment in higher education: A review. Studies in Higher Education, 24(3), 331–350. https://doi.org/10.1080/03075079912331379935

Dreyfus, S. E., & Dreyfus, H. L. (1986). A Five-Stage Model of the Mental Activities Involved in Directed Skill Acquisition. University of California.

Ericsson, K. A., & Simon, H. A. (1980). Verbal Reports as Data. Psychological Review, 87(3), 215–251. https://doi.org/10.1037/0033-295X.87.3.215

Ericsson, K. A., & Simon, H. A. (1984). Protocol analysis: Verbal reports as data. Massachusetts Institute of Technology.

Ericsson, K. A., & Simon, H. A. (1993). Protocol analysis. Verbal Reports as Data. University Press.

Ericsson, K. A. (2018). The differential influence of experience, practice and deliberate practice on the development of superior individual performance of experts. In K. A. Ericsson, R. R. Hoffman, A. Kozbelt, & A. M. Williams (Eds.), The Cambridge Handbook of Expertise and Expert Performance (pp. 745–769). Cambridge University Press.

Eriksen, K., & McAuliffe, G. (2003). A measure of counselor competency. Counselor Education and Supervision, 43(2), 120–133. https://doi.org/10.1002/j.1556-6978.2003.tb01836.x

Falchikov, N., & Boud, D. (1989). Student self-assessment in higher education: A meta-analysis. Review of Educational Research, 59(4), 395–430. https://doi.org/10.2307/1170205

Falender, C. A., & Shafranske, E. P. (2004). Clinical supervision: A competency-based approach. American Psychological Association.

Falender, C. A., & Shafranske, E. P. (2012). The Importance of Competency-based Clinical Supervision and Training in the Twenty-first Century: Why Bother? Journal of Contemporary Psychotherapy, 42(3), 129–137. https://doi.org/10.1007/s10879-011-9198-9

Foster, V. A., & McAdams, C. R. (2009). A framework for creating a climate of transparency for professional performance assessment: Fostering student investment in gatekeeping. Counselor Education and Supervision, 48(4), 271–284. https://doi.org/10.1002/j.1556-6978.2009.tb00080.x

Fouad, N. A., Grus, C. L., Hatcher, R. L., Kaslow, N. J., Hutchings, P. S., Madson, M. B., Collins, F. L., Jr., & Crossman, R. E. (2009). Competency benchmarks: A model for understanding and measuring competence in professional psychology across training levels. Training and Education in Professional Psychology, 3(4), 5–26. https://doi.org/10.1037/a0015832

Grencavage, L. M., & Norcross, J. C. (1990). Where are the commonalities among the therapeutic common factors? Professional Psychology: Research and Practice, 21(5), 372–378. https://doi.org/10.1037/0735-7028.21.5.372

Gronostay, D., & Manzel, S. (2018). Videografie [Videography]. In C. Wagemann, A. Goerres, & M. Siewert (Eds.), Handbuch Methoden der Politikwissenschaft [Handbook of Methods in Political Science] (pp. 1–20). Springer.

Hayes, N. A., & Broadbent, D. E. (1988). Two modes of learning for interactive tasks. Cognition, 28(3), 249–276. https://doi.org/10.1016/0010-0277(88)90015-7

Heatherington, L., Friedlander, M. L., & Greenberg, L. (2005). Change Process Research in Couple and Family Therapy: Methodological Challenges and Opportunities. Journal of Family Psychology, 19(1), 18–27. https://doi.org/10.1037/0893-3200.19.1.18

Henrich, M., & Weinhardt, M. (2018). Wissensbildung in der Systemischen Beratung und Therapie. Ein empirischer Beitrag aus Sicht der Expertiseforschung [Knowledge-building in systemic counselling and therapy. An empirical contribution from the perspective of research into expertise]. Kontext, (49)2, 107–123. https://doi.org/10.13109/kont.2018.49.2.107

Hoppe, R. B. (1995). Standardised (simulated) patients and the medical interview. In M. J. Lipkin, S. M. Putnam, & A. Lazare (Eds.), The Medical Interview (pp. 397–404). Springer.

Hoth, J., Döhrmann, M., Kaiser, G., Busse, A., König, J., & Blömeke, S. (2016). Diagnostic competence of primary school mathematics teachers during classroom situations. ZDM: the International Journal on Mathematics Education, 48(1–2), 41–53. https://doi.org/10.1007/s11858-016-0759-y

Hubble, M., Duncan, B., & Miller, S. (1999). The heart and soul of change: What works in therapy. APA.

Iller, C. & Wick, A. (2009). Prüfungen als Evaluation der Kompetenzentwicklung im Studium [Examinations as an evaluation of competence development among students]. Das Hochschulwesen, 57(6), 195–201. http://www.hochschulwesen.info/inhalte/hsw-6-2009.pdf#page=19

Johnson, R. B., & Onwuegbuzie, A. J. (2007). Mixed methods research: A research paradigm whose time has come. Educational Researcher, 33(7), 14–26. https://doi.org/10.3102/0013189X033007014

Kahnemann, D. (2011). Schnelles Denken, langsames Denken [Thinking, Fast and Slow]. Siedler.

Kaplan, D. M., V. M. Taryydas, & Gladding, S. T. (2014). 20/20: A Vision for the Future of Counselling: The New Consensus Definition of Counselling. Journal of Counselling & Development, 92(3), 366–372. https://www.counseling.org/docs/default-source/20-20/2020-jcd-article.pdf?sfvrsn=c9897d2c_2

Kolodner, J. L. (1997). Educational implications of analogy: A view from case-based reasoning. American Psychologist, 52(1), 57–66. https://doi.org/10.1037/0003-066X.52.1.57

Kunter, M., Kunina-Habenicht, O., Baumert, J., Dicke, T., Holzberger, D., Lohse-Bossenz, H., Leutner, D., Schulze-Stocker, F., & Terhart, E. (2016). Bildungswissenschaftliches Wissen und professionelle Kompetenz in der Lehramtsausbildung. Ergebnisse des Projekts BilWiss [Knowledge of educational science and professional competence in teacher training. Results of the BilWiss project]. In C. Gräsel, & K. Trempler (Eds.), Entwicklung von Professionalität Pädagogischen Personals [Development of Professionalism Among Pedagogical Staff] (pp. 37–54). Springer Fachmedien.

Lambert, M. J., Bergin, A. E., & Garfield, S. L. (2013). Bergin and Garfield´s Handbook of Psychotherapy and Behavior Change (6th ed.). Wiley.

Lang, W. P., Little, M., & Cronen, V. (1990). The systemic professional: domains of action and the question of neutrality. Human Systems: the Journal of Systemic Consultation and Management, 1(1), 39–56.

Lau, S., & Roeser, R. W. (2002). Affective and conative factors as aptitude resources in high school affective and conative factors as aptitude resources in high school science achievement. Educational Assessment, 8(2), 139–162. https://doi.org/10.1207/S15326977EA0802_03

Levold, T., & Wirsching, M. (2016). Systemische Therapie und Beratung – das große Lehrbuch [Big Book of Systemic Therapy and Counselling]. Auer.

Little, C., Packman, J., Smaby, M. H., & Maddux, C. D. (2005). The skilled counselor training model: skills acquisition, self-assessment, and cognitive complexity. Counselor Education & Supervision, 44(3), 189–200. https://doi.org/10.1002/j.1556-6978.2005.tb01746.x

Mayring, P. (2015). Qualitative Inhaltsanalyse. Grundlagen und Techniken [Qualitative content analysis. Basics and Techniques]. Beltz.

Neuweg, G. H. (2004). Könnerschaft und implizites Wissen. Zur lehr-lerntheoretischen Bedeutung der Erkenntnistheorie und Wissenstheorie Michael Polanyis [Skill and Implicit Knowledge. What Michael Polanyi’s Epistemological Theory and Theory of Knowledge Mean for the Theory of Teaching and Learning]. Waxmann.

Neuweg, G. H. (2005). Der Tacit Knowing View. Konturen eines Forschungsprogramms [The tacit knowing view. Contours of a research program]. Zeitschrift für Berufs- und Wirtschaftspädagogik (ZBW), 101(4), 557–573.

Neuweg, G. H. (2015). Das Schweigen der Könner. Gesammelte Schriften zum impliziten Wissen [The silence of the experts. Collected Writings on Implicit Knowledge]. Lit.

Nickolaus, R., Abele, S., & Schmidt, T. (2016). Die Relevanz expliziten und impliziten Wissens für berufsfachliche Leistungen – Forschungsergebnisse in gewerblich-technischen Domänen und ihre Bedeutung für berufliche Qualifizierungsprozesse [The relevance of explicit and implicit knowledge for professional achievements—research results in commercial-technical domains and their significance for vocational qualification processes]. In Bundesministerium für Bildung und Forschung (BMBF) (Eds.), Bildungsforschung 2020. Zwischen wissenschaftlicher Exzellenz und gesellschaftlicher Verantwortung [Education Research 2020: Between Scientific Excellence and Social Responsibility] (pp. 333–346). Bertelsmann.

Oakes, L. M. (2017). Sample size, statistical power, and false conclusions in infant looking-time research. Infancy: the official journal of the International Society on Infant Studies, 22(4), 436–469. https://doi.org/10.1111/infa.12186

Palazzoli, M. S., Boscolo, L., Cecchin, G., & Prata, G. (1981). Mailand: Hypothetisieren – Zirkularität - Neutralität: Drei Richtlinien für den Leiter der Sitzung [Milan: Hypothesize - Circularity - Neutrality: three guidelines for the leader of the meeting]. Familiendynamik, 6(2), 123–139.

Petko, D., Waldis, M., Pauli, C., & Reusser, K. (2003). Methodologische Überlegungen zur videogestützten Forschung in der Mathematikdidaktik [Methodological reflections on video-based research in the theory of mathematics teaching]. ZDM: the International Journal on Mathematics Education, 35(6), 265–280. https://doi.org/10.1007/BF02656691

Polanyi, M. (1985). Implizites Wissen [Implicit knowledge]. Suhrkamp.

Pololi, L. H. (1995). Standardised patients: As we evaluate, so shall we reap. The Lancet, 345(8955), 966–968. https://doi.org/10.1016/S0140-6736(95)90706-8

Rogers, C. R. (1957). The necessary and sufficient conditions of therapeutic personality change. Journal of Consulting Psychology, 21(2), 95–103. https://doi.org/10.1037/h0045357

Roth, H. (1971). Pädagogische Anthropologie [Pedagogical Anthropology]. Schroedel.

Roth, A., & Fonagy, P. (2005). What works for whom: A critical review of psychotherapy research. Guilford.

Rousmaniere, T. (2019). Deliberate practise for supervision of psychiatry. In S. DeGolia, & K. Corcoran (Eds.), Supervision in Psychiatry Across Venues and Providers (pp. 287–303). APA.

Rousmaniere, T., Goodyear, R. K., Miller, S. D., & Wampold, B. E. (2017). Cycle of Excellence: Using Deliberate Practice to Improve Supervision and Training. Wiley.

Ryle, G. (1969). Der Begriff des Geistes [The Concept of Mind]. Reclam.

Schank, R., & Abelson, R. (1977). Scripts, plans, goals and understanding: An inquiry into human knowledge structures. Erlbaum.

Schiersmann, C., Weber, P., & Peterson, C. -M. (2013). Kompetenzprofil und Kompetenzerfassung für Beratende – am Beispiel des Feldes Bildung, Beruf und Beschäftigung. Beiträge zur Beratung in der Arbeitswelt [Competence profiles and competence recording for counsellors, based on the example of their education, occupational training and employment. Contributions to Counselling in the Working World]. University of Kassel.

Schön, D. (1983). The reflective practitioner. How professionals think in action. Basic Books.

Silver, E. (1991). Should I give advice? A systemic view. Journal of Family Therapy, 13(3), 295–309. https://doi.org/10.1046/j.1991.00429.x

Strasser, J. (2006). Erfahrung und Wissen in der Beratung. Theoretische und Empirische Analysen Zum Entstehen Professionellen Wissens in Der Erziehungsberatung [Experience and Knowledge in Counselling. Theoretical and Empirical Analyses of Knowledge-Building in Educational Counselling]. Cuvillier.

Strasser, J., & Gruber, H. (2015). Learning processes in the professional development of mental health counselors: knowledge restructuring and illness script formation. Advances in Health Sciences Education, 20(2), 515–530. https://doi.org/10.1007/s10459-014-9545-1

Strasser, J., & Gruber, H. (2013). Beratung in der Schule – Ein vernachlässigter Teil im Bild des ‘Lehrers als Experte’ [Counselling at school—A neglected aspect of the image of the ‘teacher as an expert’]. Empirische Pädagogik, 27(1), 87–108. https://epub.uni-regensburg.de/27281/1/Gruber_%26_Strasser%2C_2013%2C_Beratung_in_der_Schule.pdf

Strasser, J., & Gruber, H. (2008). Kompetenz von Beratungslehrern im Vergleich [Comparing the skills of teachers involved in counselling. In M. Gläser-Zikuda, & J. Seifried (Eds.), Lehrerexpertise – Analyse und Bedeutung unterrichtlichen Handelns [Teacher Expertise – Analysis and Meaning of Teaching Practice] (pp. 239–260). Waxmann.

Suresh, K., & Chandrashekara, S. (2012). Sample size estimation and power analysis for clinical research studies. Journal of Human Reproductive Sciences, 5(1), 7–14. https://doi.org/10.4103/0974-1208.97779

Swank, J. M., & Lambie, G. W. (2012). The assessment of CACREP core curricular areas and student learning outcomes using the Counseling Skills Scale. Counseling Outcome Research and Evaluation, 3(2), 116–117. https://doi.org/10.1177/2150137812452560

Swank, J. M., & Lambie, G. W. (2016). Measuring Counseling Competencies. In P. Bauer & M. Weinhardt (Eds.), Professionlalisierungs- und Kompetenzentwicklungsprozesse in Der Sozialpädagogischen Beratung [Professionalisation and Competence Development Processes in Social Pedagogical Counselling] (pp. 43–60). Schneider.

Tate, K. A., Bloom, M. L., Tassara, M. H., & Caperton, W. (2014). Counselor competence, performance assessment, and program evaluation: Using psychometric instruments. Measurement and Evaluation in Counseling and Development, 47(4), 291–306. https://doi.org/10.1177/0748175614538063

Tepper, D. T., & Haase, R. F. (1978). Verbal and nonverbal communication of facilitative conditions. Journal of Counseling Psychology, 25(1), 35–44. https://doi.org/10.1037/0022-0167.25.1.35

Tickle, A., & Rennoldson, M. (2016). Systemic family therapy. In D. Dawson, & N. Moghaddam (Eds.), Formulation in action. Applying psychological theory to clinical practice (pp. 123–141). De Gruyter Open. https://doi.org/10.1515/9783110471014-010

Üstündağ-Budak, A. M., Özeke-Kocabaş, E., & Ivanoff, A. (2019). Dialectical behaviour therapy skills training to improve Turkish college students’ psychological well-being: A pilot feasibility study. International Journal for the Advancement of Counselling, 41(4), 580–597.

Urbani, S., Smith, M. R., Maddux, C. D., Smaby, M. H., Torres-Rivera, E., & Crews, J. (2002). Skills-based training and counseling self-efficacy. Counselor Education and Supervision, 42(2), 93–106. https://doi.org/10.1002/j.1556-6978.2002.tb01802.x

Von Schlippe, A., & Schweitzer, J. (2014). Lehrbuch der Systemischen Therapie und Beratung [Textbook of Systemic Therapy and Counselling]. Vandenhoeck and Ruprecht.

Wampold, B. E., & Imel, Z. E. (2015). The Great Psychotherapy Debate. Routledge.

Ward, M., Gruppen, L., & Regehr, G. (2002). Measuring self-assessment: current state of the art. Advances in Health Sciences Education, 7(1), 63–80. https://doi.org/10.1023/a:1014585522084

Watzlawick, P., Beavin, J. H., & Jackson, D. E. (1969). Menschliche Kommunikation. Formen, Störungen, Paradoxien [Pragmatics of Human Communication A Study of Interactional Patterns, Pathologies, and Paradoxes]. Huber.

Weine, S. M., Kulenovic, A. D., Pavkovic, I., & Gibbons, R. (1998). Testimony psychotherapy in Bosnian refugees: A pilot study. American Journal of Psychiatry, 155(12), 1720–1726. https://doi.org/10.1176/ajp.155.12.1720

Weinhardt, M. (2014). Kompetenzentwicklung in der psychosozialen Beratung am Beispiel von Studierenden der Erziehungswissenschaft [Competence development in psychosocial counselling using the example of students of educational science]. In P. Bauer, & M. Weinhardt (Eds.), Perspektiven sozialpädagogischer Beratung. Empirische Befunde und aktuelle Entwicklungen [Perspectives of Socio-Educational Counselling. Empirical Findings and Current Developments] (pp. 214–231). Beltz.

Weinhardt, M., & Kelava, A. (2016). Die performanzorientierte Erfassung psychosozialer Be- ratungskompetenz in Forschung und Lehre im Rahmen einer Simulationsumgebung [The performance-oriented assessment of psychosocial counselling competence in research and teaching in a simulation environment]. Neue Praxis, 4, 363–377. https://doi.org/10.15496/publikation-14792

Weinhardt, M. (2018a). Modi der Wissensbildung und Professionalisierung: Studienberatung im Kontext weiterbildender Masterstudiengänge [Modes of knowledge formation and professionalization: study counselling in the context of further education master’s programs]. In K. Nierobisch, & I. Schüßler (Eds.), Hochschulberatung: Im Spannungsfeld Gesellschaftlicher und Bildungspolitischer Entwicklungen [Counselling at University: The Balancing Act Between Developments in Society and Education Policy] (pp. 93–108). Schneider.

Weinhardt, M. (2018b). Professionalität – Kompetenz – Expertise? Anspruch und Wirklichkeit von Deutungsfolien sozialpädagogischer Handlungsfähigkeit am Ende des Studiums [Professionalism – Competence – Expertise? Expectations and reality of foils used to interpret social pedagogical agency when students complete their studies]. In H. Schulze, D. Höblich, & M. Mayer (Eds.), Macht – Diversität – Ethik in Der Beratung. Wie Beratung Gesellschaft macht [Power – Diversity – Ethics in Counselling. How Counselling Makes Society] (pp. 94–108). Barbara Budrich.

Weinhardt, M. (2019a). Beratungskompetenzerwerb im Studium: Lern- und Bildungsprozesse im Horizont subjektorientierter Professionalisierung [Acquisition of counselling competence when studying: Learning and educational processes from the point of view of subject-oriented professionalization]. In D. Dörner, D., C. Iller, C. Maier-Gutheil, C. Schiersmann, & I. Schüßler (Eds.), Tagungsband Sektionstagung Erwachsenenbildung 2017 [2017 Adult Education Conference]. Budrich.

Weinhardt, M. (2019b). Die Professionalisierung sozialpädagogischer Fachkräfte. Das Beispiel psychosoziale Beratung [The professionalisation of socio-educational specialists. The example of psychosocial counselling]. Unveröffentlichte Habilitationsschrift. Universität Tübingen.

Weinhardt, M. (2020). Systemische Professionalisierung als Lern- und Bildungsprozess: Fachliche Entwicklungsaufgaben lösen, Professionalisierungskulturen gestalten [Systemic professionalisation as a process of learning and education: solving professional development tasks, shaping professionalisation cultures]. In P. Bauer, & M. Weinhardt (Eds.), Systemische Kompetenzen Entwickeln. Grundlagen, Lernprozesse und Didaktik [Developing Systemic Competences. Basics, Learning Processes and Didactics] (pp. 121–133). Vandenhoeck & Ruprecht.

Wirtz, W., & Caspar, F. (2002). Beurteilerübereinstimmung und Beurteilerreliabilität [Appraiser Agreement and Appraiser Reliability]. Hogrefe.

Zacher, H., & Frese, M. (2018). Action Regulation Theory: Foundations, Current Knowledge, and Future Directions. In N. Anderson, D. S. Ones, C. Viswesvaran, & H. K. Sinangil (Eds.), The SAGE Handbook of Industrial, Work, & Organizational Psychology (pp.1–64). Sage Reference.

Tradução não oficial em português de A construção do conhecimento na formação em aconselhamento sistêmico na Alemanha: um estudo-piloto na perspectiva das competências, de Marlene Henrich, International Journal for the Advancement of Counselling, vol. 43, no 4 (2021), doi: 10.1007/s10447-021-09443-z, sob licença CC BY 4.0. Tradução e paginação: Complexe Systémique, setembro de 2026 — a obra foi modificada nos termos da licença (tabelas apresentadas em listas). Nem os autores nem o editor respondem por esta tradução; a versão original prevalece.

Tradução não oficial para o português de “Knowledge Formation in Systemic Counselling Trainees from Germany: A Pilot Study from a Competence-Based Perspective”, publicado em International Journal for the Advancement of Counselling (2021) sob licença CC BY 4.0. A tradução foi realizada pelo Complexe Systémique, não provém dos autores nem da editora, que não respondem por seu conteúdo; a versão original prevalece.

Ler o artigo original

Como citar este artigo

Henrich, M. (2021). A construção do conhecimento na formação em aconselhamento sistêmico na Alemanha: um estudo-piloto na perspectiva das competências (Complexe Systémique, trad.). Complexe Systémique. https://app.complexe-systemique.com/pt_BR/artigos/a-construcao-do-conhecimento-na-formacao-em-aconselhamento-sistemico-na-alemanha-um-estudo (Obra original publicada em 2021 em International Journal for the Advancement of Counselling, 43(4), 446-471 (2021); republicada em 2021 por International Journal for the Advancement of Counselling, https://link.springer.com/article/10.1007/s10447-021-09443-z)

Carrinho

Seu carrinho está vazio.