Abaixo a transcrição livre do vídeo.
A avaliação da Capes tem duas grandes características. A primeira é que ela é reguladora e a segunda que é ranqueadora.
Ela é reguladora pelo fato de que o resultado da sua avaliação tem consequências no credenciamento dos programas, da autorização para que funcionem, também é regulada pelo fato de que a sua avaliação determina ou induz fortemente que os programas se adaptem ao que os critérios de avaliação consideram um bom programa.
Ela ranqueia quando distribui os programas em uma escala de 3 a 7, não podendo todos os programas serem nota 7 ou todos os programas serem nota 3. Respeitando o que nomeio de princípio da curva normal, os cursos são distribuídos dentro desta escala e acabam por isso mesmo sendo ranqueados. É muito comum os cursos quererem posicionarem bem no ranking produzido pela CAPES.
Outra característica importante da avaliação da Capes, apesar dela utilizar uma gama grande de indicadores de avaliação o que acaba efetivamente definindo a nota do programa e, consequentemente, o posicionamento no ranking, é a produção intelectual dos seus docentes.
Veja textos sobre Universidade e nova gestão pública
A CAPES pretende fazer uma mudança no sistema de avaliação, para isso ela está indo buscar como inspiração o modelo europeu. O sistema europeu de ensino superior tem como uma das suas atuais características estar vinculado ao desenvolvimento econômico da Europa. Nos anos 2000 a partir da agenda de Lisboa a união europeia decidiu que a economia no continente seguirá os princípios da economia do conhecimento, ou seja, produção europeia deverá seguir rigorosos padrões de Tecnologia. A universidade nessa concepção tem como objetivo produzir o conhecimento necessário para o desenvolvimento do continente.
Os rankings internacionais também tem forte influência na Constituição do modelo europeu. A partir do ranking de Xangai, as universidades europeias perceberam que, para poderem concorrer com as Universidades dos outros continentes principalmente dos Estados Unidos, ela precisa se posicionar muito bem nesses rankings. Muitas das universidades européias se organizam e estruturam para estarem visando um bom posicionamento nos rankings.
Veja a websérie Conversas sobre avaliação e o curso de extensão gratuito Avaliação institucional da educação
No processo de Bolonha percebeu-se que as Universidades europeias constituíam-se em um mosaico de diversos modelos institucionais. Não seria possível para estabelecer um sistema europeu de ensino superior buscando transformar todas as Universidades em um único modelo, assim para credenciar uma universidade não é necessário seguir um padrão único. Contudo, a universidade tem que ter um plano de desenvolvimento, um projeto pedagógico, planejamento estratégico e aponte para onde que ela deseja caminhar, em outras palavras, informe ao consumidor de educação superior o que ela irá oferecer. Também as Universidades têm que ter mecanismos de avaliação que monitorem o desenvolvimento do seu projeto institucional e ao mesmo tempo garantam a qualidade do ensino.
Veja outros vídeos e textos sobre práticas de avaliação
Inspirado nesse modelo a Capes busca criar uma avaliação que ela está chamando de multidimensional. Compreende que o atual modelo que atribui uma única nota não mostra e não revela as características positivas e negativas de todos os programas.
No novo modelo que está se desenhando, propõe-se que os programas de pós-graduação sejam avaliados em cinco dimensões. Para cada uma delas o programa irá obter uma nota. A ideia é que não se faça uma média dessas cinco notas. Um programa poderá ser muito forte em um aspecto e menos forte em outro. Na proposta tem duas dimensões relacionadas a processos: o ensino-aprendizagem, a internacionalização ou inserção internacional; três dimensões relacionados a impacto: Impacto e relevância para a sociedade; inovação e transferência de conhecimento; e, produção do conhecimento.
Veja textos sobre Avaliação e Regulação da Educação Superior brasileira: história e políticas
Antes de tratarmos do papel da CPA mediante a avaliação da CAPES, vamos resgatar uma ideia de avaliação. Uma das formas de Considerar a avaliação é compreender os seus usos e identificar o usuário principal dessa avaliação. Pode ter o papel de regulação e/ou de controle e o principal usuário dela é a instituição, como exemplo o processo de ensino-aprendizagem quando o professor emite uma nota ao aluno, ele Informa a secretaria da escola ou instituição de que o aluno tem condições ou não de continuar os seus estudos, então isso regula a vida dele.
Uma das funções da avaliação é de hierarquizar que tem como principal usuário os sistemas de seleção, por exemplo, o Enem quando avalia os estudantes, tem como objetivo principal classificar os alunos para indicar aqueles que ingressarão no ensino superior.
O uso formativo, o principal usuário é o estudante ou aquele que está sendo avaliado. No uso formativo aquele que é avaliado recebe informação de como está no processo; por exemplo, o estudante no ensino-aprendizagem recebe a informação de como ele está no seu processo de formação, ele tem conhecimento das suas potencialidades e de suas fragilidades e com isso consegue um processo formativo ou educativo mais eficiente.
Explore o blog
A avaliação diagnóstica tem como uso principal indicar, por exemplo, ao professor o nível de uma determinada turma, com esse resultado o professor pode planejar as suas aulas.
A avaliação também pode adotar a ideia de que é possível uma melhoria contínua. Dentro dessa visão, mesmo que aquilo que nós avaliamos esteja bom, ou adequado, pode-se melhorar. Uma educação boa pode ser ótima. O principal usuário dessa avaliação é o executor.
A avaliação também pode ser usada como um instrumento para tomada de decisão. O gestor que é o principal usuário desta avaliação nos processos decisórios, avalia qual situação é melhor. Tomemos como exemplo o nosso dia a dia, quando vamos comprar uma camisa e escolhemos entre duas ou mais opções, nós estamos fazendo uma avaliação para tomada de decisão.
O gestor também pode ser usuário da avaliação como monitoramento. Quando se está implantando um projeto, a avaliação pode servir como uma ferramenta para monitorar, para verificar se o projeto está sendo implantado como desejado.
Existem muitos outros usos para avaliação e muitos outros usuários para ela. Aqui apenas trouxemos algumas.
Como que ocorre a avaliação? Tomaremos algumas orientações da psicometria. Primeiro temos que ter uma compreensão, uma visão da Educação, dependendo de como compreendemos a educação a avaliação será de uma forma ou outra. Quando avaliamos nós temos que utilizar algumas referências que podem ser, por exemplo, conteúdos, habilidades, valores, com essa referência nós iremos avaliar alguma situação. Definida a referência nós vamos definir qual é o modelo de medição ou de valoração que nós utilizaremos no processo avaliativo. Na sequência planejamos os instrumentos que serão utilizados nessa avaliação. Algo que determina também como ocorre a avaliação é o uso que será feito dela, que nós chamamos aqui de espaço do resultado, por exemplo, se for utilizar avaliação para hierarquizar esse resultado, que seja emitido em um único número e todo o processo avaliativo deverá ser realizado no sentido de discriminar os indivíduos que estão sendo avaliados; por outro lado, se for o de ter um diagnóstico, é necessário que seja elaborado um relatório extenso sobre o que foi avaliado, fazendo indicações e previsões.
O que avaliar? Ou o que a Capes avalia?
Tradicionalmente a Capes avalia as condições de oferta, que área de administração nomeia de insumos, avalia processos e resultados que normalmente são chamados de produtos. Condição de oferta, nós temos os alunos, professores, técnicos administrativos, recursos financeiros; nos processos a orientação a pesquisa, as disciplinas oferecidas, a extensão e a internacionalização. Resultados nós temos a produção científica, os trabalhos técnicos e podemos inserir também os egressos.
Neste momento, a Capes está realizando uma mudança, está inserindo fortemente a ideia de impacto. No próximo quadriênio, a ênfase será em verificar quais são os impactos do programa na sociedade, na economia, na comunidade científica, na educação básica entre outros possíveis impactos.
Neste novo modelo os programas de pós-graduação terão que definir as suas referências para o desenvolvimento do seu trabalho. Essas referências serão utilizadas no processo de avaliação.
Além do tradicional projeto pedagógico, com os objetivos, o perfil do estudante e matriz curricular, a Capes solicita um planejamento estratégico: metas a serem atingidas, as ações para que ocorram essas metas e os indicadores que permitam avaliar a execução do planejamento pedagógico e estratégico.
Com estas referências, a CPA irá realizar a avaliação, que provavelmente pode ser caracterizada como uma avaliação de diagnóstico, de monitoramento, de tomada de decisão e de melhoria. A CPA deverá planejar os instrumentos de avaliação e aplicá-los. Além de dialogar com a Capes. No espaço do resultado nós teremos relatórios que terão, principalmente, como usuários os programas de pós-graduação, a CAPES e a sociedade.
Nos documentos e nas palestras da CAPES, é recorrente a informação de que esse quadriênio é de transição, passando de uma avaliação Dimensional para uma avaliação Multidimensional. Nesta avaliação se tem uma nova ficha que tomará apenas três grandes dimensões: o programa, a formação e um impacto. Na dimensão formação estará inserido a questão da publicação. A nota do programa terá como barreira na dimensão formação (a nota final não poderá ser maior da obtida nesta dimensão), por exemplo se um programa obter nota 5 em programa e Impacto e, apenas a nota 4 em formação, a sua nota não poderá ser maior que 4.
Nesse momento de transição os programas deverão fazer um relato sobre alguns impactos: na sociedade, na formação dos egressos. Deverá também, já pensando para a próxima avaliação, elaborar o seu planejamento estratégico, neste momento a Capes irá avaliar principalmente se o programa elaborou um planejamento estratégico. No próximo quadriênio esse planejamento será a referência da avaliação do programa por isso é necessário pensá-lo com muito cuidado. Uma outra mudança que ocorre neste quadriênio que termina em 2020, aqui serão considerado apenas quatro itens de publicações, segundo a agência a ideia é que os professores não produzam necessariamente muito, mas com qualidade; não basta em um programa alguns professores publicarem muito e outros não. Todos tem que publicar.
O Qualis referência publicado em 2019, incorpora a ideia de impacto. Nos Qualis anteriores os quesitos para a avaliação de um periódico eram aspectos ligados a editoração, agora é considerado, principalmente, o número de citações que os artigos das revistas recebem, em outras palavras, mede-se o fator de impacto das revistas, estão usando como referência o fator de impacto JCR e do Google Acadêmico.
Na academia reconhece-se avaliação da CAPES comoum dos fatores que permitem à pós-graduação brasileira ter a qualidade que tem, por outro lado, ela é fortemente criticada por quantitativista, levar ao produtivismo acadêmico, intensificar o trabalho acadêmico e de não permitir que sejam criados modelos alternativos de pós-graduação.
Para onde estas mudanças irão levar? Ainda não temos como saber exatamente, é possível que a avaliação permita que os programas tenham uma liberdade maior para tomar decisões do seu futuro, por outro lado, haverá uma grande ênfase à ciência aplicada, principalmente a que esteja vinculada ao setor produtivo, é possível que a ciência básica fique em segundo plano.
Como citar esta página?
ROTHEN, Jose Carlos. Avaliação da Capes e a CPA. 2020. Disponível em: https://rothen.pro.br/site/2020/08/05/avaliacao-da-capes-e-a-cpa/. Acesso em: dia.mês. ano.
Este obra está licenciado com uma Licença Creative Commons Atribuição-CompartilhaIgual 4.0 Internacional.