Só conhecemos algo quando o avaliamos.
Data: 19/02/2015 (Aula de SIPV + Cerca de 5h na instituição)
Objectivos: Recolha de recursos materiais nos espaços exteriores da instituição; Construção do instrumento de avaliação mista (interna e externa) do projecto (actividade); Rever o questionário de auto-avaliação; Construção de um esboço do questionário de satisfação; Construção do guião da entrevista de avaliação final.
Intervenientes: Ana, Mariana e Xana
Ainda ontem cheguei de férias (uma semana na minha segunda cidade – vivi lá 7 anos, Bruxelas) e sinto que já preciso de outras férias… preciso de férias das férias.
Hoje o dia foi dedicado a Seminário V. Tive duas horas de aula de manhã onde a professora nos deu feedback das avaliações do 1ºSemestre e explicou como iria ser a avaliação deste 2ºSemestre. Confesso que fiquei assustada com o método de avaliação do portefólio este semestre, os 25% são apenas para os diários de campo. Já não temos de fazer diários de aula nem fichas de leitura e isso exige uma dedicação maior e reflexão no único elemento de avaliação do portefólio – os diários de campo.
Depois da aula, o meu grupo de trabalho dirigiu-se para a nossa instituição. Já não íamos lá há 3 semanas, mas como referi já tínhamos estipulado o que iriamos fazer portanto não nos sentimos perdidas ou deslocadas. Começamos por dar uma volta à instituição e recolher alguns materiais para a actividade (que irá decorrer três Sextas-Feiras do mês de Abril). Tínhamos estabelecido fazer o questionário de avaliação mista, ou seja o questionário que será entregue aos professores que acompanharem os participantes da nossa actividade (avaliação externa) e também à Técnica (Fernanda) que nos vai acompanhar na actividade que iremos realizar (avaliação interna). Acabámos por modificar o questionário de auto-avaliação que tínhamos feito no 1ºSemestre, mudámos simplesmente a pergunta aberta – em vez de “O que poderia ser melhorado na actividade?/O que poderia ser melhorado no teu desempenho enquanto dinamizadora?”, alteramos para “Indica 2 pontos fortes e dois pontos a melhorar na actividade/ Indica 2 pontos fortes e dois pontos a melhorar no teu desempenho enquanto dinamizadora da actividade”. A professora referiu esse aspecto na aula de hoje e aproveitamos para seguir o seu conselho. Também pensámos como fazer a avaliação dos participantes, temos de ter em conta que vão ser crianças ou adultos com necessidades especiais, por isso esta avaliação vai ser feita através de uma actividade dinâmica. Para tal, iremos construir uma cartolina grande onde os participantes irão colar uma imagem de uma animal sorridente caso gostem e estejam satisfeitos com a actividade ou uma imagem de um animal aborrecido/infeliz caso não gostem e não estejam satisfeitos com a actividade. A professora sugeriu que fizéssemos a avaliação por etapas, por exemplo fazer uma cartolina para as 3 etapas da actividade – a 1ª um jogo, a 2ª a visita pela instituição e a 3ª para o desenho que irão realizar. Depois de termos pensado sobre essa hipótese chegámos à conclusão que isso iria complicar um pouco visto que o público-alvo são crianças - elas ou gostam (de tudo) ou não gostam (de nada) – optámos pela primeira alternativa, uma única cartolina onde os participantes optam pelo gostaram da actividade ou não gostaram.
Resumidamente, hoje o dia foi dedicado à avaliação. Começou na aula de SIP V e continuou pelo trabalho que realizámos na instituição. No fundo, estamos sempre a avaliar e a ser avaliados. Como aprendi na unidade curricular Avaliação I (no 1ºAno da licenciatura): avaliar é errar, e errar novamente. No entanto a avaliação é fundamental para a nossa capacidade de sobreviver e, por isso, estamos constantemente a avaliar, e consequentemente a errar.
No projecto que o meu grupo está a realizar na instituição integra-se numa avaliação por objectivos, visto que não pretendemos encontrar respostas objectivas e generalizar resultados (avaliação experimental/pela investigação), nem pretendemos obter informação para facilitar uma tomada de decisão (avaliação orientada para a decisão), parece-nos que a avaliação por objectivos será a mais adequada para a avaliação do nosso projecto de intervenção pois permite medir a forma e a intensidade com que os objectivos foram atingidos. Segundo Tyler, na avaliação por objectivos “a finalidade principal é a de determinar até que ponto os objectivos previstos num dado programa são ou não alcançados. Assim, a definição de objectivos mensuráveis e a construção de instrumentos que permitam a recolha de dados de forma objectiva assumem particular importância. No fundo, o que se pretende é medir objectivamente as eventuais diferenças existentes entre os objectivos previamente definidos e o "rendimento" observável.” (Fernandes, 1992, p.6).
Stufflebeam&Shinkfield (2007) referem que a avaliação é importante e necessária pois faz funcionar a sociedade, mantendo e melhorando os seus serviços e protegendo os cidadãos. Utilizamo-la no dia-a-dia quer queiramos quer não. Um exemplo disso é o facto de todas as profissões estarem obrigadas a servir bem os seus clientes, para tal, todas as profissões dependem da avaliação (até a própria avaliação!).
Sinto que tanto a unidade curricular Avaliação I como Metodologia do Projecto (no 2ºAno) e SIP IV alertaram-me para a importância de avaliar e como a avaliação está presente no nosso quotidiano. A 4ª fase de um projecto (avaliação) é uma componente fundamental do projecto pois permite “conhecer os resultados e os efeitos da intervenção e corrigir as trajectórias caso estas sejam indesejáveis” (Guerra, 2002:175).
Também começamos a realizar o guião da entrevista que será o último instrumento de avaliação do projecto. Após termos começado a realizar o guião suscitou-nos algumas dúvidas: A entrevista será feita à técnica que nos acompanhou? Ou ao nosso tutor? Visto que são as únicas duas pessoas que estão a par do nosso projecto. Temos de saber quem será o nosso entrevistado pois o guião será diferente. A técnica vai nos acompanhar na nossa actividade portanto podemos fazer perguntas mais direccionadas para o desenvolvimento da actividade e para o nosso desempenho, ou até que ponto a actividade foi benéfica para a instituição, no entanto a técnica já vai responder aos questionários após cada actividade. Caso seja o nosso tutor o entrevistado podemos realizar perguntas mais direccionadas para o nosso desempenho e o nosso progresso na própria instituição, e até que ponto a nossa “estadia” durante aqueles meses na instituição foi benéfica para a mesma.
Este diário de campo foi, sem dúvida, dedicada à temática de avaliação, por isso decidi realizar uma introdução à mesma com alguns autores de referência deste tema.
“Avaliar é (...) confrontar “dados de facto” (“o real”, “o existente”) com o desejado, o esperado, o ideal, que é composto por normas, objectivos ou critérios, e permite atribuir um valor, uma utilidade ou uma significação aos dados concretos que constituem o referido” (Lesne, 1984 citado por Rodrigues 1999:25).
A avaliação inclui quer um juízo da realidade, respeitante ao referido (objecto de avaliação), quer um juízo de valor (resultado), efectuado a partir do confronto entre o referente (o modelo de excelência) e o referido (Péchenart,1997, citado por Rodrigues, 1999:26). O modelo de referência do avaliador segundo Brain, compõe-se de vários elementos em interacção: o produto norma que é a realização perfeita da tarefa (ex. resultados dos testes); o produto desejado que é o tipo de produção em que se apoia o avaliador a partir das informações que dispõe sobre os alunos e a escala de medida que se traduz por orientações escolhidas pelo avaliador.
A Avaliação pode ser dividida em várias eras/períodos históricos, e apesar de os nomes de cada era mude de autor para autor, os períodos em geral coincidem. Segundo Guba & Lincoln (1989), existem quatro gerações de Avaliação que correspondem à evolução dos significados que se foram atribuindo à mesma (ao longo do tempo esses significados ficaram mais complexos e sofisticados): a primeira geração corresponde à “avaliação como medida” onde avaliação e medida eram sinónimos e prevalecia a ideia de que avaliação era uma questão essencialmente técnica (inspirada nos testes de inteligência de Alfred Binet); a segunda geração corresponde à “avaliação como descrição”, onde avaliação deixou de ser sinónimo de medida, e se começou a formular objectivos comportamentais, verificando-se os mesmos são ou não alcançados pelos alunos (desmistificado por Ralph Tyler); a terceira geração corresponde à “avaliação como juízo de valor”, onde foi sentida a necessidade de permitir aos avaliadores a formulação de juízos de valor acerca dos objectos de avaliação, foram assim alargados os horizontes da avaliação, surgindo a distinção entre o conceito de avaliação sumativa (associada a certificação e selecção) e avaliação formativa (mais associada ao desenvolvimento e melhoria das aprendizagens); a quarta geração corresponde à “avaliação como negociação e construção”, onde grande parte da avaliação é de referência construtivista, baseando-se num conjunto de princípios, ideias e concepções (os professores devem partilhar o poder de avaliar com os alunos e outros intervenientes e devem utilizar estratégias, técnicas e instrumentos de avaliação variados).
O senso comum tende a classificar a educação como uma ciência, mas isso é um erro. “Educação não é uma ciência tão desenvolvida como as ciências naturais; mas não se duvida que se pode estudar cientificamente.” (Lukas & Santiago, 2004:19), ou seja, o que há são campos científicos que estudam a educação (acto de ensinar e aprender). A investigação em educação, segundo Nirenberg, Brawerman e Ruiz (citado por Lukas& Santiago, 2004:24) engloba três paradigmas: Ontológicos (realidade social); Epistemológicos (papel do investigador) e Metodológicos (método). Esta investigação pretende compreender fenómenos educativos através da análise e observação, e tornar esse conhecimento objectivo com base em factos subjectivos. Rodrigues (1999) refere que a Avaliação diferencia-se da Investigação pelos seus critérios de avaliação (derivados dos respectivos objectivos): na Investigação avalia-se o valor da verdade (das explicações dos fenómenos) enquanto na Avaliação se avalia os valores do cliente ou valores de utilidade. São semelhantes na medida em que seguem os mesmos processos (por exemplo a análise de documentos, grelhas de observações, etc.). Deste modo, a avaliação é “um referente normativo e axiológico” (Figari, 1991, citado por Rodrigues 1999:31) e Investigação é um “referente teórico explicativo” (Figari, 1991, citado por Rodrigues 1999:31). A Avaliação apresenta-se assim como uma actividade mais abrangente que as práticas de investigação, recolha de informação, medida e controlo.
A avaliação inclui o controlo, no entanto “ultrapassa o processo de controlo na medida em que a referencialização requer uma reflexão sobre os referentes e a justificação da escolha ou elaboração do referencial” (Figari, 1991d, citado por Rodrigues, 1999:28). Desta forma, enquanto que o processo de controlo funciona num sistema fechado, a avaliação funciona num sistema aberto e em evolução.
A medida corresponde à “atribuição de números a coisas segundo regras determinadas”, o que requer a definição clara das modalidades que a variável pode assumir e o conhecimento de modo a fazer corresponder um número a cada modalidade observada (De Ketele e Roegiers, 1991 citado por Rodrigues, 1999:29).
Referências Bibliográficas:
Fernandes, D. (1992). Práticas e perspectivas de avaliação: Dois anos de experiência no Instituto de Inovação Educacional. Documento policopiado não publicado. Lisboa: Instituto de Inovação Educacional.
GUERRA, I. C. (2002). A avaliação de um projecto de intervenção. In Fundamentos e processos de uma sociologia da acção: o planeamento em Ciências Sociais. 2.ª ed. Cascais: Principa. (p.175-207)
Lukas, J.F & Santiago, K. (2004). Natureza de la investigación y evaluación en educación. In J. F. Lukas & Santiago, Evaluacíon educativa 8pp.15-52). Madrid: Alianza Editoria.
Stufflebeam, D.L & Shinkfield, A.J (2007). Overview of the Evaluation field. In D.L. Stufflebeam & A.J. Shinkfield, Evaluation Theory, Models, & Apllications. (p.3-56). San Francisco: John Wiley and Sons.
Rodrigues, P. (1999). A avaliação Curricular. In A. Estrela & A. Nóvoa (Eds), Avaliações em Edcuação: Novas Perspectivas (pp.25-32). Porto: Porto Editora.