A Autoavaliação multidimensional e o atual modelo de financiamento da pós-graduação neste momento é uma temática difícil. Principalmente porque não sabemos se haverá uma avaliação da pós-graduação, se a Capes irá continuar com as avaliações. Hoje no dia 5 de outubro de 2021 nós temos a avaliação da pós-graduação parada. Por um lado, a judicialização da avaliação e ao mesmo tempo nós temos sinais não muito agradáveis de como a Capes irá realizar o processo de avaliação. Inicialmente nós temos a dissolução do CTC e a sua recomposição, a justificativa foi de que o Comitê estava irregular, com um número maior de membros do que previa a legislação. Apesar da maioria dos membros terem sido reconduzido, no atual governo qualquer movimentação gera receio. Em relação a judicialização o principal argumento é de que a definição de critérios da avaliação da pós-graduação ocorre no final do quadriênio, ou seja a posteriori. O que sempre foi criticado pela academia.
A razão da academia nunca ter entrado na justiça contra os processos de avaliação é que a avaliação da Capes sempre foi reconhecida como um fator de melhoria da pós-graduação brasileira. A avaliação da pós-graduação é uma política de estado que começou a ser implantada no final dos anos de 1970, uma política de estado que foi conduzida e muitas vezes elaborada pela própria comunidade científica. Muitos chegam a dizer que a Capes somos nós, que ela tem legitimidade para avaliar a pós-graduação, apesar dos grandes equívocos que esta avaliação acarreta. Por exemplo, conduz ao produtivismo exacerbado.
A reforma do Estado conduzida no governo Fernando Henrique foi um dos marcos que determinou o ritmo da avaliação da educação superior e consequentemente da pós-graduação. Com a reforma do Estado há uma separação entre a execução das atividades e o papel que o estado cumpre. O Estado se coloca como um NÃO agente das políticas públicas, apenas como um formulador das políticas mais gerais e um fiscalizador das ações realizadas pelos agentes públicos, que podem ser privados ou não.
O sistema público de ensino passa a ser controlado pelos processos de avaliação sendo que a ênfase principal desse processo é o desempenho das instituições ou, a sua performance a realizar as suas ações. Com avaliação da performance uma das preocupações é efetivamente criar um ranqueamento das instituições ou, no caso, dos programas de pós-graduação.
A ideia dessas mudanças, com a reforma do estado, foi passar de uma avaliação burocrática dos processos para uma avaliação dos resultados. Na avaliação burocrática a supervisão dos programas de pós-graduação ou supervisão das instituições de educação superior é mais próxima, havia um grupo de técnicos que efetivamente acompanhavam as instituições. Com a preocupação de implantar processos menos burocráticos implantou-se uma política de acompanhamento ou de supervisão à distância dos programas de pós-graduação ou das instituições. Tomando como exemplo os cursos de Graduação realiza-se a avaliação ou a supervisão a partir de exames, é o caso do antigo provão e o atual Enade. Na pós-graduação a partir de relatos produzidos pelos programas que estão sendo avaliados.
Reforço que a supervisão à distância ocorre a partir de informes dos próprios supervisionados. Um dos exemplos mais emblemáticos é o currículo Lattes, no qual o pesquisador insere todas as informações sobre as suas publicações, atividades realizadas, projetos de pesquisa etc. Essas informações podem ser checadas, podem ser auditadas, A informação incorreta do currículo Lattes pode gerar aquele que está informando um processo criminal. Existe a possibilidade da checagem, não que efetivamente ela sempre ocorra. Na avaliação da pós-graduação o supervisionado ou avaliado tem que preencher um relatório na chamada plataforma Sucupira, na qual insere todas as informações relacionadas ao programa: objetivos, ações realizadas, infraestrutura e a produção bibliográfica dos docentes, entre outros informes. Esse controle à distância é possível com o avanço da informatização e das redes de comunicação. A plataforma Sucupira é um sistema informatizado em que a instituição preenche os seus dados, seus relatos e encaminha à Capes.
Os processos de controle à distância criam uma nova burocracia, ou um novo tipo de burocrata, que tem o papel de preencher relatórios coletando dados e informações para subsidiar o agente externo que está acompanhando a distância. No caso da pós-graduação o coordenador do programa se torna um secretário da da avaliação, parte significativa da sua função é coletar dados para colocar na plataforma Sucupira. Muitas vezes tem que deixar a sua carreira acadêmica e mesmo o papel de coordenador pedagógico do programa de pós-graduação para preencher a plataforma Sucupira.
A avaliação da pós-graduação tem como uma das suas grandes preocupações a de ranquear os programas. Uma das justificativas para a criação desse modelo concorrencial é que os recursos da Capes são limitados e por isso ela precisaria definir critérios objetivos para oferecer recursos a algumas instituições que teriam mérito e não oferecer recursos há outras que carecem de mérito. Então, o modelo concorrencial seria necessário para a distribuição dos recursos. Com os critérios de avaliação, a Capes além de apontar possível qualidade de um programa tem como objetivo ranqueá-los.
Nos últimos anos tem um discurso que proveniente da Capes que efetivamente o financiamento não estaria vinculado aos resultados dos programas de pós-graduação e por isso seria necessário fazer um rearranjo dos critérios de distribuição recursos para que efetivamente a avaliação tenha consequências no financiamento, que o financiamento utilize como base o ranqueamento das instituições. Esta compreensão de uma não efetiva vinculação da avaliação com financiamento subsidiou as políticas de cortes de recursos na pós-graduação. Os recorrentes cortes de bolsas dos programas se justificavam como necessários para vincular o financiamento com avaliação. Na prática foi muito mais do que simplesmente fazer um rearranjo dos programas, mas sim uma justificativa para novos cortes.
Nessa linha, de uma avaliação que precisasse efetivamente realizar um ranqueamento, nós podemos identificar na avaliação no último quadriênio, 2 tipos de avaliações: a criterial e a concorrencial. A avaliação criterial está mais vinculada à avaliação das condições de oferta do programa e, a avaliação concorrencial relacionada a quantidade de produção científica qualificada dos programas de pós-graduação.
A avaliação concorrencial utiliza como base o princípio da curva normal, digo princípio, pois não há conhecimento de nenhuma fórmula usada para a distribuição exata dos programas em uma curva normal. Dentro desse princípio: uma pequena parte dos programas serão programas de excelência, uma parte um pouco maior serão os programas nota 5. que são considerados bons programas, de referência nacional; a grande maioria situa-se na faixa da nota 4 e uma parte menor na nota 3. Esta é uma das razões que o critério não é informado previamente ao processo de avaliação. Para o critério concorrencial ser informado anteriormente ou teria que criar um critério no qual se correria o risco de todos os programas atenderem ou divulgarem uma fórmula que utilize os princípios da curva normal. Claro que nos processos criteriais a razão de não se divulgar antecipadamente é que se vai construindo e renovando ou revisando os critérios qualitativos que os programas têm de cumprir.
Passemos para a avaliação multidimensional. A avaliação multidimensional utiliza como inspiração o modelo europeu de avaliação de instituições e de programas de pós-graduação. Na construção do espaço europeu de educação superior percebeu-se que existem uma diversidade grande de modelos institucionais e que todos esses esses modelos são adequados. Assim, o processo de avaliação teria que seguir critérios flexíveis. Outro aspecto importante é que o modelo europeu de educação superior enquanto política tem a compreensão de que a educação superior deve estar vinculada intimamente à economia e a uma economia do conhecimento, a fim de promover o conhecimento necessário para o avanço econômico da Europa. Também é relevante para a política de educação superior europeia os rankings internacionais. principalmente o ranking de Shangai, este levou os agentes políticos da Europa a se preocuparem com o ranqueamento.
Dentro deste contexto, o processo de avaliação das instituições leva em consideração o projeto da instituição, de como que a instituição vê a sua inserção no mundo. A partir desse projeto o sistema de avaliação exige que as instituições criem mecanismos internos de acompanhamento do projeto. Assim, a avaliação efetivamente ocorre como uma identificação da coerência interna do projeto institucional com o próprio acompanhamento ou a auto avaliação da instituição, o qual permitiria garantir os padrões definidos de qualidade.
A avaliação multidimensional desenhada pela CAPES, recebendo esta influência de uma avaliação flexível, compreende que se possa ter uma avaliação em cinco grandes dimensões. As instituições poderiam se direcionar mais para um lado ou mais para outro. Três dessas dimensões estão relacionadas com o impacto do programa, a saber, “impacto relevância para a sociedade”, o “impacto na inovação e transferência do conhecimento”, “na produção do conhecimento”; duas dimensões relacionadas a processos, um, “ensino e aprendizagem” e o outro “internacionalização e a inserção social”.
O quadriênio que termina é apresentado como um quadriênio de transição, no qual busca-se avaliar os impactos acadêmicos sócio-econômico e internacionalização . Além de preparar o próximo quadriênio, solicitando que as instituições realizem o seu planejamento estratégico e estruturem o seu processo de autoavaliação. O planejamento estratégico para a maioria dos programas de pós-graduação parece um bicho de sete cabeças ou um bicho não conhecido por nós. Os problemas de pós- graduação e as instituições de educação superior estão acostumadas a elaborar seu projeto pedagógico, de pensar quais são seus objetivos, o perfil do estudante e a matriz curricular. O planejamento estratégico está muito mais relacionado à visão concorrencial, ou é uma ação empresarial. na qual se busca estabelecer metas e ações para atingi-las, bem como, indicadores para medir a realização ou não das metas..
Seria interessante um estudo sobre como as instituições elaboraram esses planejamentos estratégicos como que eles construíram. Um outro tema interessante seria a relação entre planejamento estratégico e projeto pedagógico.
Para pensarmos a avaliação eu proponho que nós demos uma parada conceitual, para pensarmos o que é avaliação.Gosto de definir a avaliação usando dois grandes critérios. O primeiro é o uso dessa avaliação e, o segundo, o usuário principal dela. Por exemplo, nós temos avaliação de regulação e controle que na avaliação da aprendizagem o principal usuário é a instituição, na avaliação dos processos de institucionais o principal usuário é o Sistema Nacional de Controle, no caso da pós-graduação, a Capes. Tem uso de hierarquizar, que normalmente são usados nos sistemas de seleção. O uso formativo, que tem como principal usuário é o estudante, ou a pessoa, ou a instituição que está sendo avaliada. Tem o uso diagnóstico, que tem como principal agente o professor ou o órgão de elaboração de políticas públicas. De melhoria que o principal usuário é oExecutor, de monitoramento que é o gestor, o de tomada de decisão que também é o gestor ou a comunidade e, tem muitos outros usos e usuários.
Para a execução da avaliação busco na psicometria o seguinte modelo para pensarmos a avaliação. Em um no polo nós temos as referências que podem ser construtos no caso da Psicologia. pode ser referências de conteúdos, habilidades e valores. Em um segundo polo temos o planejamento dos instrumentos que nós vamos utilizar para avaliar, terceiro o modelo de medição ou de valoração. e por último nós temos, o que podemos chamar de espaço do resultado.
Pensemos na autoavaliação neste modelo multidimensional.
Na figura nós podemos relacionar os usos com os processos de avaliação no novo modelo apresentando.
Como referência nós temos o projeto pedagógico (objetivo perfil do estudante, matriz curricular e perfil do estudante) e o famigerado planejamento estratégico com suas metas, ações e indicadores. Com esses dados a CPA irá planejar os seus instrumentos para dialogar com a CAPES, principalmente para definir as métricas de avaliação, e por último um espaço dos resultados de avaliação que provavelmente serão os relatórios. Então as funções da avaliação nós podemos colocar com melhoria, tomada de decisão, monitoramento e diagnóstico. Os usuários seriam o próprio programa, a Capes e a sociedade.
Quais são as consequências desse novo processo. O primeiro é que nós teremos um aumento da burocracia dos processos de avaliação ou de prestação de contas. Além do Coordenador que passa boa parte do seu tempo preenchendo a plataforma Sucupira, nós teremos a CPA que deverá cuidar do processo de avaliação e de autocontrole institucional. Outra possível consequência é que os programas de pós-graduação atuem muito mais em aumentar sua performance do que efetivamente na formação de novos pesquisadores e investigação científica significativa.
Algo que me deixa muito curioso é de saber como que numa avaliação multi referenciada ou multidimensional se dará o ranqueamento. Claro que sei que existem muitos estudos sobre impacto, mas todos são problemáticos e não necessariamente passam por uma quantificação que permite realizar um ranqueamento. Não que eu aspire o ranqueamento, mas tenho curiosidade como será feito.
Espero que a minha fala tenha contribuído para a discussão e obrigado pela atenção