Esta apresentação tem como objetivo apresentar algumas sugestões ou indicações para a construção da autoavaliação dos programas de pós-graduação. Iremos trazer aqui algumas referências sugeridas pelas a CAPES e também referências dos especialistas em avaliação.
O processo da avaliação
Primeiro temos que compreender que a avaliação não tem sentido em si mesma. Ela não é um ato isolado de outras ações de organização da pós-graduação. Inicialmente nós temos o nosso planejamento que está presente no projeto pedagógico ou, como a Capes está cobrando, no projeto estratégico. Em um segundo momento nós temos a ação institucional ou o trabalho pedagógico e, mediando o planejamento e a ação, temos o processo de avaliação.
A Avaliação tem diversos usos. A partir dela decorrem outras ações, por exemplo, quando nós fazemos uma avaliação diagnóstica, na sequência, nós temos um planejamento, ou quando avaliamos para monitorar a implantação de uma política, nós temos como consequência a revisão da nossa ação, ou quando nós temos o processos de avaliação com uso regulatório, ela deriva em premiação ou punição; quando nós temos uma avaliação com papel formativo, ela tem como consequência a revisão da nossa prática pedagógica, já a avaliação como prestação de contas tem como resultado a transparência do programa de pós-graduação.
Veja Avaliação da Capes e a CPA
Avaliação é recorrente nas instituições escolares. Nela nós temos muitas avaliações formais e, também temos diversas avaliações que são informais. Partem sempre de uma referência, de algum planejamento institucional de uma ação de avaliação, de apresentação de resultados e da criação de instrumentos de avaliação. O que diferencia a avaliação formal da avaliação informal é, primeiro, a documentação desse processo, segundo, que é realizado com regularidade.
Para explicar como funciona o processo de avaliação eu gosto de trazer um esquema apresentado por Jorge Balzan no seu capítulo do livro Avaliação da Educação: referências para uma primeira conversa. Ele aponta que avaliação tem quatro grandes pólos: o primeiro é o polo na qual é definido o construto, as referências que podem ser tanto conteúdo, habilidades e valores. Outro é o do planejamento dos instrumentos, no qual definimos quais instrumentos serão utilizados, terceiro é a definição do modelo de medição ou de valoração. O último é o espaço do resultado. Todos esses polos são definidos pela concepção que temos de avaliação, de educação e principalmente de qual uso nós faremos da avaliação.
Veja outros vídeos e textos sobre práticas de avaliação
A avaliação na pós-graduação
Na pós-graduação nós temos diversos tipos de avaliações formais e de avaliações realizadas com informalidade. Como Avaliação formal temos, por exemplo, avaliações regulatórias que podem ser identificadas no credenciamento dos professores quando avaliamos as publicações dos docentes, nas defesa de tese e nas disciplinas. Prestação de contas e monitoramento nós fazemos avaliações principalmente às agências de fomento, por exemplo, quando apresentamos os resultados de uma pesquisa nos relatórios parciais ou quando nós pedimos aos nossos alunos bolsistas o relatório das atividades realizadas utilizando os processos de avaliação.
Para hierarquizar nos processos seletivos, realizamos muitas avaliações informais nos colegiados dos programas, realizamos avaliação diagnóstica quando pensamos planejar ações futuras. Grande parte das nossas avaliações diagnósticas não são documentadas e nem regulares, nós realizamos no momento que sentimos que é necessário. Também fazemos muito avaliação formativa, por exemplo, quando avaliamos o desenvolvimento de uma disciplina, quando fazemos uma avaliação pessoal de como estou orientando. Também fazemos avaliação formativa dos nossos alunos nos processos de orientação.
Veja a websérie Conversas sobre avaliação e o curso de extensão gratuito Avaliação institucional da educação
Cada uma dessas avaliações são realizadas a partir de alguns instrumentos. Por exemplo, avaliação de prestação de conta ou de monitoramento de implantação de uma política é realizada a partir de indicadores, do tipo: evasão, fluxo dos Estudantes, publicação, convênios, projetos de pesquisa etc. Os indicadores são utilizados nesse tipo de avaliação para responder a pergunta: estamos conseguindo realizar o que planejamos? O que desejamos?
Na avaliação regulatória, avaliamos se o desempenho coincide com o desempenho esperado, por exemplo, a quantidade e a relevância das publicações.
Na avaliação com o uso de hierarquizar, que ocorre nos processos seletivos, nós comparamos normalmente o desempenho dos estudantes no projeto, no currículo e nas provas.
Avaliação e o planejamento estratégico
Na sequência vamos apresentar a nossa interpretação do que a Capes compreende como processo de autoavaliação bem como o quê alguns teóricos da avaliação propõem. Iremos buscar entender o que temos que fazer agora e para o próximo quadriênio.
Para este momento a Capes está pedindo que os programas descrevam o seu processo de autoavaliação diagnóstica e mostre como ela subsidiou a elaboração do planejamento estratégico. A Capes quer também, saber como a comunidade acadêmica participou desta avaliação e do planejamento estratégico. Para o próximo quadriênio a Capes quer que cada programa tenha uma Comissão Própria de Avaliação (CPA) atuante, que garanta a qualidade do programa, que busque a prestação de contas e o monitoramento da implantação do planejamento estratégico do programa; usando principalmente indicadores definidos pelo próprio Programa. Em outro vídeo mais conceitual apresento como a Capes compreende a autoavaliação.
Veja Veja textos sobre A qualidade da educação superior: o Sinaes em Foco
Compreendemos a partir da visão dos teóricos da avaliação que neste momento, para a elaboração do projeto de autoavaliação e do planejamento estratégico, cada programa deve identificar as referências para a elaboração do seu planejamento estratégico e de avaliação. Temos referências institucionais que podem ser identificados no projeto de desenvolvimento institucional da universidade (PDI), o regimento da pós-graduação e outros documentos de políticas institucionais para pós-graduação. Outras referências importantes são: o projeto pedagógico do curso que está formalizado no Sucupira, o Regimento do programa e outros documentos com suas políticas. Nesses documentos devemos buscar principalmente os objetivos do programa e o perfil do egresso. A partir desses documentos é interessante que o programa defina a sua missão, em outras palavras, para que o programa existe. Também sugerimos, definir a visão do programa, em outras palavras, como o programa quer ser visto pela comunidade externa.
Na parte relativa ao planejamento dos instrumentos, nesse curto momento sugerimos que se resgate todas as avaliações informais que mesmo sendo informais tiveram algum tipo de documentação. Que reúna os professores, os alunos e os técnicos administrativos para fazerem o que os teóricos da administração chamam de análise das forças, oportunidades, fraquezas e ameaças, que em português tem a sigla FOFA e em inglês SWOT. Análise do Fofa é uma avaliação diagnóstica do programa, que irá identificar as suas limitações e as suas possibilidades permitindo o seu planejamento estratégico.
Veja Veja Avaliação e aprendizagem remota
A Análise Fofa consiste em elaborar um quadro no qual teremos uma célula para as forças do programa, uma segunda, as oportunidades de desenvolvimento; em uma terceira célula as fraquezas do programa, e a última as ameaças externas.
A Capes está afirmando que no próximo quadriênio nós teremos uma avaliação multidimensional: levará em conta, primeiro o impacto e a relevância para a sociedade, segundo a dimensão ensino e aprendizagem, terceiro sua internacionalização, quarto produção do conhecimento e, finalmente, a inovação e transferência de conhecimento. Como para o próximo quadriênio é bem provável que os programas sejam avaliados nestas cinco dimensões, é interessante que para cada uma delas seja realizada uma análise Fofa.
A Comissão Própria de Avaliação (CPA)
Já pensando para o próximo quadriênio é importante que o programa constitua a sua Comissão Própria de Avaliação (CPA). No relatório Sucupira do atual quadriênio, deverá constar a informação da constituição da CPA. O ideal seria termos uma CPA institucional da pós-graduação, que os programas tivessem comissões setoriais de avaliação.
Para que a CPA funcione e seja reconhecida como um órgão de apoio ao desenvolvimento do programa, pela comunidade acadêmica interna, é necessário que ela não tenha papel regulatório. Por exemplo, avaliar a produção docente visando credenciamento ou descredenciamento. Se ela tiver uma função regulatória, fatalmente os professores, alunos e técnicos administrativos terão o seu olhar fixado para essa função e não irão considerar o seu papel formativo e de monitoramento de implantação do planejamento do programa.
A primeira ação para Constituição de uma CPA é a elaboração do seu regimento, no qual deve constar os objetivos, as atribuições, a composição da CPA e o mandato.
Na composição da CPA devem fazer parte alunos, docentes e técnicos administrativos. O número de discentes e docentes deve ser próximo, o número de TA(s) irá depender de quantos o programa conta. Teóricos da avaliação compreendem que a CPA deve ser separada do órgão Executor, assim é interessante que o coordenador do programa não participe da CPA.
Veja textos sobre Universidade e nova gestão pública
Na instalação da CPA é interessante que se apresente ou elabore um projeto mínimo de autoavaliação, no qual deverá estar presente as funções de prestação de contas, de monitoramento de formação e de Diagnóstico. Deve estar presente os indicadores que foram propostos no planejamento estratégico, as atividades que serão realizadas pela comissão e a periodicidade da apresentação dos resultados.
Para dialogar com a CAPES, o projeto de autoavaliação da CPA deve conter cinco grandes dimensões que estarão presentes na avaliação multidimensional: 1) Impacto e relevância para a sociedade, 2) internacionalização, 3) inovação e transferência de conhecimento, 4) ensino e aprendizagem, 5) produção do conhecimento
É importante lembrar que a atuação da CPA sempre terá como referência os documentos institucionais, em outras palavras, os seus valores e objetivos.
Concluindo
Para concluir, vamos sistematizar apresentando a “receita do bolo da avaliação institucional”. Como ingredientes temos:
as referências institucionais,
as referências do programa,
as avaliações informais realizadas.
Misture as referências e dela tire a missão e a visão do programa.
Reúna a comunidade acadêmica para realizar a análise FOFA
Misture as referências com a análise Fofa. Como resultado teremos o plano estratégico.
Agora vamos apresentar a receita da CPA:
Elabore um Regimento, objetivos, atribuições, composição e mandato.
Tome do plano estratégico, os indicadores para avaliação de monitoramento e de prestação de contas.
Preveja as ações e como os resultados serão apresentados. Temos pronto o plano da CPA.
Veja a palestra e debate no PPGCTS/UFSCar