Reflexão sobre o decurso da actividade 5, ‘A análise quantitativa e qualitativa de dados’, inserida na temática 4

Esta actividade estava dividida em três fases:
1- o estudo individual sobre as técnicas de análise quantitativa de dados, aplicando esses conhecimentos a um problema concreto apresentado pelas docentes. Como recursos de aprendizagem foram disponibilizados Guides for good statistical practice (disponível para consulta a partir do espaço ‘Gogos, conchas e pérolas’) e outros documentos da autoria das docentes da unidade curricular.
2- O estudo individual sobre as técnicas e análise qualitativa de dados, aplicando esses conhecimentos a um problema concreto apresentado pelas docentes. Como recursos de aprendizagem foram disponibilizados Qualitative content analysis (disponível para consulta a partir do espaço ‘Gogos, conchas e pérolas’) e outros documentos da autoria das docentes da unidade curricular.
3- Discussão em fórum geral sobre as técnicas analisadas.
Fase 1:
Esta foi, sem dúvida, a actividade que mais dificuldades me levantou. Nunca estudei estatística. O meu primeiro contacto (para além daquele diário com dados estatísticos apresentados nos noticiários e jornais ou da elaboração de grelhas para avaliação dos meus alunos com indicação da moda, média e mediana), foram a leitura e a consequente sistematização dos respectivos capítulos de Educational Research (ver post antigo e o espaço ‘Gogos, conchas e pérolas’).
Deste modo, a primeira reacção à leitura dos recursos disponibilizados e do problema colocado foi: ‘Não consigo fazer isto – não percebo nada de estatística!’. (In)felizmente houve mais colegas que tiveram a mesma reacção, pelo que as docentes (e alguns colegas com conhecimentos de estatística) forneceram mais alguma documentação que veio a facilitar um pouco mais a resolução da actividade.
Foi a partir desses documentos que tentei superar o meu choque inicial e me atrevi a esboçar uma proposta de resolução.
Não tenho qualquer noção se o que fiz está minimamente correcto, no entanto, parece-me importante incluir as minhas conclusões aqui neste webfólio – independentemente da sua qualidade, são o marco do meu primeiro embate com a estatística:
Problema:
Coloque-se na “pele” da investigadora que realizou a investigação Setúbal, as TIC e o ensino de inglês: atitudes dos professores. Analise os dados publicados e os itens do questionário aplicado. Suponha que depois de recolhidas as respostas ao questionário, tal como é descrito na dissertação, resolvia explorar os dados para além de uma análise descritiva.
- ‘para além de uma análise descritiva’ obriga à utilização de técnicas de estatística inferencial.

1) Pretendia saber se havia alguma relação entre as finalidades da utilização do computador (concretamente perguntas 16 a 21) e a frequência diária ou quase diária de utilização do computador (pergunta 28).
Qual o teste estatístico que faria?
- estamos, portanto, à procura de uma relação (→ estatística inferencial);
- uma vez que não há o cumprimento da totalidade das exigências para um teste paramétrico (a escala é nominal) → teste não paramétrico;
- tratando-se de uma escala nominal, temos duas possibilidades de testes não paramétricos: Teste de Chi quadrado ou Coeficiente de Contingência;
- como pretendemos verificar a hipótese de associação entre variáveis (ligação entre a finalidade e a frequência de utilização das TIC) → Coeficiente de Contingência;

Comentário: esta é a conclusão a que chego através da leitura dos materiais disponibilizados – no entanto, não tenho a noção de que modo os dados são ‘manuseados’, isto é, se podemos, simplesmente, pegar nas totalidades apresentadas: nas questões sobre a finalidade, podiam ser assinaladas várias respostas; na questão sobre a frequência, somente uma – esses dados podem ser directamente relacionados?

2) 99 professores indicaram que nunca utilizaram computador com os alunos. Poder-se-á dizer que os professores que nunca utilizaram o computador tendem a ser os que indicam que se sentem constrangidos a usar as TIC frente aos alunos (pergunta 101), ou os que indicam que o uso das TIC na sala de aula exige novas competências por parte dos professores (pergunta 105), ou os que indicam que os conteúdos da Internet não se adequam à disciplina (pergunta 107) ou ainda os que indicam que as TIC não melhoram a aprendizagem de Inglês (pergunta 112)?
Que testes estatísticos faria para verificar as hipóteses colocadas?
Que nível de significância pensaria adequado para estes testes?
- Estamos, novamente, à procura de uma relação (→ estatística inferencial);
- Olhando para o problema, penso que terão de ser feitos 4 testes do mesmo tipo, relacionando respectivamente os ’99 professores que nunca utilizaram o computador’ i) com a pergunta 101; ii) com a pergunta 105; iii) com a pergunta 107; iv) com a pergunta 112;
- também aqui não estão cumpridas todas as exigências para um teste paramétrico (a escala é ordinal) → teste não paramétrico;
- tratando-se de uma escala ordinal, temos duas possibilidades de testes não paramétricos: Teste-U de Mann-Whitney ou Correlação de Spearman;
- como pretendemos verificar se dois valores se encontram relacionados (4 combinações diferentes) → Correlação de Spearman;
- segundo as leituras efectuadas, para rejeitar uma hipótese nula (H0), o nível de significância α terá de ser igual ou inferior a 0,05; se isso se verificar, então podemos aceitar a hipótese alternativa (H1), aquela que estamos a testar, como verdadeira.

Comentário: também nesta questão a conclusão a que chego resulta do meu entendimento da leitura dos materiais disponibilizados – também neste caso não entendo como os valores são ‘manuseados’, que fórmula lhes é aplicada, ou como a ligação é estabelecida.

3) Analise os dados encontrados e que estão expostos na dissertação. Gostaria ainda de colocar outras hipóteses de relações entre esses dados? Explicite uma dessas relações e indique qual o teste estatístico que consideraria adequado para verificar essa relação.
Penso que seria interessante analisar a relação que pode haver entre os professores que assinalaram somente a questão 51 (formação generalista nas TIC), os que assinalaram somente a 52 (formação específica para a disciplina nas TIC) e os que analisaram a 51 e a 52 com as respostas que são dadas às questões 71 (utilização das TIC com os alunos) e 73 (frequência de utilização das TIC com os alunos). A ideia da análise seria verificar se existe alguma diferença entre os grupos de professores com formação generalista, específica ou ambas quanto à utilização das TIC com os alunos e a frequência dessa utilização.

- estamos, portanto, à procura de uma relação (→ estatística inferencial);
- também aqui não estão cumpridas todas as exigências para um teste paramétrico (a escala é ordinal) → teste não paramétrico;
- tratando-se de uma escala ordinal, temos duas possibilidades de testes não paramétricos: Teste-U de Mann-Whitney ou Correlação de Spearman;
- como pretendemos fazer uma comparação entre duas amostras (será que podemos considerar os subgrupos da amostra como amostras?) para verificar se há diferenças estatisticamente significativas → Teste-U de Mann-Whitney.

Comentário: também nesta questão a técnica proposta resulta do meu entendimento da leitura dos materiais disponibilizados – também neste caso não entendo como os valores são ‘manuseados’, que fórmula lhes é aplicada, ou como a ligação é estabelecida.

Fase 2:
Também aqui me deparei com algumas dificuldades, embora menores, uma vez que nunca me tinha preocupado com a análise de dados, quer quantitativa, quer qualitativa. Também aqui, para além do recurso específico já mencionado, foram fundamentais os documentos da autoria das docentes que me ajudarem a perceber um pouco melhor como podem analisar os dados quantitativos. Completei estas leituras com informações retiradas de Bogdan e Biklen[1] e de Afonso[2].
Deste modo, a minha resolução do problema ficou expressa no documento que entreguei em fórum e que transcrevo aqui. Novamente, trata-se de uma primeira tentativa de abordagem à análise de dados. Embora mais segura do que no problema anterior, há algumas dúvidas que se mantêm e que terão de ser esclarecidas aquando da elaboração do meu projecto de dissertação:
Análise Qualitativa de Dados
Problema 2: Retome a dissertação “Processo de Liderança e Desenvolvimento Curricular no 1º Ciclo do Ensino Básico: Estudo de Caso” e privilegie o estudo empírico realizado nesta investigação, nomeadamente, a análise de dados (pp.110-183).
Face ao corpus recolhido pela investigadora e à metodologia de análise adoptada na dissertação em análise, produza uma reflexão em torno das seguintes questões:

1) Se desenvolvesse uma investigação centrada no objecto de estudo desta dissertação, escolheria a entrevista como método de recolha de informação?
A investigação é norteada pela seguinte questão (pp.87-88):
De que modo os diferentes actores (professores, alunos, pais e coordenadora de escola) percepcionam a liderança escolar, ao nível da coordenação de escola, no processo de desenvolvimento do currículo no 1º ciclo do Ensino Básico (e os seus efeitos na cultura e no clima da escola, no comportamento e aproveitamento dos alunos e no relacionamento com as famílias e com a comunidade)?
Em função desta questão são enumerados os seguintes objectivos (p.88):
 Caracterizar o contexto escolar numa Escola do 1º ciclo do Ensino Básico nas suas diferentes dimensões (geográfica, organizativa, pedagógica…);
 Compreender o modo como os diferentes actores vêem esta escola;
 Identificar as características e estratégias de liderança e de gestão numa escola do 1º ciclo do Ensino Básico.
 Analisar o papel e a influência da(s) liderança(s) no processo de desenvolvimento do currículo a partir das percepções dos professores, alunos, pais e coordenadora de escola;
 Interpretar os efeitos e influências das lideranças na cultura e no clima da escola, no comportamento e aproveitamento dos alunos, e também nas famílias e comunidades locais.
A entrevista semi-estruturada (com guião) parece ser um instrumento adequado para a recolha de dados sobre este objecto de estudo, também pelo facto de se tratar de um estudo de caso que incide sobre uma única escola do 1º ciclo, com um número limitado de pessoas a entrevistar. Nestes moldes, a entrevista semi-estruturada:
- permite abranger todos os objectivos a que a investigadora se propôs;
- permite um entendimento mais aprofundado do objecto de estudo, uma vez que os entrevistados dão as suas opiniões, partilham as suas reflexões de forma mais livre (o que é mais difícil acontecer se tivesse de escrever); a entrevista possibilita a obtenção de uma grande riqueza de dados, fundamentais para este tipo de estudos.
A própria investigadora afirma que: ´Tendo em conta os objectivos do estudo, a utilização de um guião de entrevista (ver anexo 2) foi extremamente importante para (re)orientar e (re)encaminhar a entrevista, sempre que o entrevistado se desviava das suas questões fundamentais e para “colocar as perguntas às quais o entrevistado não chega por si próprio, no momento mais apropriado e de forma tão natural quanto possível” (Quivy et al, 1992:194).’ (p. 104).
Este comentário mostra claramente a adequação deste instrumento de recolha de dados ao objecto de estudo, para além de mostrar que a investigadora estava sensibilizada para a importância do seu próprio papel no decorrer da entrevista.
De salientar, ainda, o facto de ser fundamental a investigadora não se limitar a este instrumento de recolha de dados: Numa primeira fase procedeu à recolha e análise de documentos que permitiram caracterizar as diferentes dimensões da escola e, por conseguinte, preparar e adequar melhor o seu guião da entrevista e as suas (re)orientações e (re)encaminhamentos durante o decorrer da mesma.

Questão/Cometário: até que ponto a resposta à questão investigativa não ficou incompleta sem a inclusão do pessoal não docente? O pessoal não docente tem um papel fundamental na cultura de escola e a sua actuação depende directamente da liderança exercida pelo coordenador da escola (o facto de uma Auxiliar da Acção Educativa ter sido entrevista como Encarregada de Educação parece-me insuficiente).

2) Os procedimentos adoptados para a análise das entrevistas adequam-se aos objectivos da investigação?
Os procedimentos de análise das entrevistas adoptados parecem adequados aos objectivos que a investigadora definiu especificamente para as entrevistas (p.90 – 2º fase do quadro apresentado). Assim, a investigadora recorreu à análise de conteúdo, tentando sistematizar, organizar e sintetizar o vasto leque de informação recolhida. Sem esta sistematização dos conteúdos, seria impossível atingir os objectivos propostos, isto é, não conseguiria ‘a produção de um texto analítico sobre os dados’ (p.110).

3) Quais são as principais etapas de análise de conteúdo seguidas pela autora?
A própria investigadora, na página 113, resume desta forma os passos que seguiu na análise do conteúdo:
1º Leitura integral de cada entrevista;
2º Identificação de temas e categorias, fazendo uma análise temática, sublinhando segmentos de texto, que permitiram a selecção de unidades de significação;
3º Utilização de grelhas com os temas e categorias para a análise do corpus das entrevistas;
4º Interpretação dos dados fazendo inferências.
Importa ainda acrescentar para cada ponto:
1º - a leitura integral traduziu-se numa primeira leitura flutuante e identificação de temas pertinentes;
2º - os temas e categorias identificados estão apresentados nas páginas 113-117; a investigadora refere que seguiu uma abordagem aberta, embora tivesse, de antemão, delineado um número reduzido de categorias que lhe permitiu elaborar o guião da entrevista; as categorias são de tipo semântico e respeitam os princípios de exclusão mútua, homogeneidade, exaustividade, pertinência, produtividade e objectividade; o produto final (mas sempre sujeito a alterações) é uma grelha que serve de crivo de classificação que permite a simplificação e clarificação do material (no passo seguinte).
3º - análise foi feita em duas fases: a análise vertical (cada entrevista analisada isoladamente) e a análise horizontal (análise comparativa da entrevista); o facto de se tratar de uma entrevista semi-estruturada facilitou a análise, uma vez que o tipo de dados recolhidos é semelhante.
4º a simplificação e clarificação de dados, conseguidas através da organização e sintetização em grelhas com temas e categorias, permitiram, para além da descrição do objecto de estudo, interpretar/inferir determinados aspectos.

4) A análise de conteúdo revela-se um método adequado para o tratamento da informação recolhida?
Penso que o método se revelou adequado, uma vez que a investigadora conseguiu organizar, seleccionar e sintetizar a enorme quantidade de dados recolhidos de uma forma que lhe permitiu a produção do texto analítico sobre o objecto de estudo. Como a própria investigadora refere, o método funcionou como um crivo.

5) De acordo com as leituras que realizou, poderiam ter sido seguidas outras metodologias de análise das entrevistas?
Considero que a investigadora poderia, sobretudo, ter recorrido a um dos já numerosos programas informáticos especialmente concebidos para o tratamento de dados qualitativos. O recurso a um programa deste tipo não invalida a análise de conteúdo realizada pela investigadora. Poderia, no entanto, facilitar todo o processo.

6) Compare a sistematização da análise de conteúdo realizada pela autora com os outputs parciais publicados no espaço de documentos sobre análise qualitativa (“Análise Qualitativa. Tratamento” e Análise Qualitativa. Quadros). Que comentários lhe sugerem as diferenças que identifica?
A investigadora sistematiza os dados de uma forma descritiva e sequencial, apresenta citações que corroborem as suas afirmações – todo a sistematização parece ser feita com base na grelha de temas e categorias que foi elaborada, tendo em conta os objectivos formulados.
Os outputs parciais publicados resultam do tratamento de dados feita com recurso a programas informáticos para o tratamento de dados qualitativos, no entanto, não me é possível especificar que tipo de tratamento é feito, isto é, que aspectos são tratados e de que forma.

Fase 3 - participação no fórum geral:
Neste fórum procurei contribuir com intervenções que, para além de mostrarem que tinha identificado as ideias centrais nos documentos fornecidos e na bibliografia indicada, servissem para introduzir novas perspectivas que nos ajudassem a aprofundar as diversas linhas de discussão. Deste modo, baseei-me, em duas fontes: em Afonso (ver nota de rodapé 2 e post específico) e em Nunan[3] (ver post específico). Penso que, desta forma, consegui enriquecer o debate e ajudar, com informações ainda não mencionadas, na construção conjunta de conhecimento.

Em síntese, foi uma actividade que, acima de tudo, serviu de alerta para a minha necessidade de, antes de elaborar o meu projecto de dissertação, aprofundar os meus conhecimentos sobre o tratamento de dados, quer qualitativos, quer quantitativos, para depois estes me permitirem optar pelas formas de tratamento de dados mais adequadas aos meus objectivos. Quanto melhor eu entender cada uma das opções, menos terei de condicionar o desenvolvimento do meu projecto.

[1] BOGDAN, R. e BIKLEN, S. (1994). Investigação Qualitativa em Educação. Porto: Porto Editora.
[2] AFONSO, N. (2005). Investigação Naturalista em Educação. Porto: Edições ASA.
[3] NUNAN, D. (1992). Research Methods in Language Learning. Cambridge: Cambridge University Press.