SIDEBAR
»
S
I
D
E
B
A
R
«
SISTEMATIZAÇÃO, MONITORAMENTO E AVALIAÇÃO: SERÁ QUE É TUDO A MESMA COISA???
abril 30th, 2013 by Magdalves

Apesar de algumas poucas publicações nos séculos XVII e XVIII, a avaliação tal como conhecemos hoje é relativamente recente na história da humanidade. Stufflebeam (2001) salienta que grande parte da expansão e desenvolvimento da teoria e prática da avaliação só se deu na segunda metade do século XX, com a necessidade de fortalecer o sistema de defesa americano e com as leis de equidade iniciadas na década de 1960. Weiss (1998) complementa o raciocínio afirmando que no final da década de 1970 a avaliação já estava consolidada nas agências federais americanas e grande parte delas possuía unidades administrativas exclusivas para avaliação.” (Antero, 2008:06)

 

A preocupação com a avaliação de projetos, programas  políticas públicas no Brasil aparecem nas décadas de 80 e 90 quando se fortalece o debate sobre a crise do estado. No contexto da democracia almejada, busca-se um Estado mais transparente, eficiente, eficaz e efetivo nos seus aspectos administrativos.

Este artigo se propõe a refletir sobre Sistematização, Monitoramento e Avaliação, seus papéis, ferramentas e o aprendizado que se pode ter com eles.

 

SISTEMATIZAÇÃO: O PENETRAR NO ÂMAGO DA AÇÃO

A sistematização é uma reflexão da experiência, mas nem toda reflexão da experiência é uma sistematização. Alguns autores consideram sistematização a  reconstrução ordenada da experiência; outros a entendem como um  processo produtor de conhecimento; outros ainda como o conceitualizar a prática para dar coerência a seus elementos; sendo sempre referida ao processo participativo, principalmente nas experiências de educação popular.

Segundo Cristina Meirelles (Monte, 2006:01),

“A sistematização tem origem na América Latina, no final da década de 70 e início dos anos 80. A origem dessa proposta coincidiu com o movimento de democratização, de resistência às ditaduras instaladas. Era época do  movimento de libertação da Nicarágua, dos mineiros da Bolívia… e a sistematização aparece como uma contraposição às pressões, por parte dos financiadores internacionais, por avaliações – que vinham de cima para baixo, na vertente positivista, o que não combinava com as propostas dos movimentos sociais daquela época. A sistematização surge como  uma forma de resistir a isso, procurando partir de outras premissas, mais calcadas na educação popular.  Buscava-se  resistir à avaliação tradicional, com a ideia básica de refletir a  prática, de maneira a contribuir com a  própria prática, mais que ajudar aos financiadores.”

 

Oscar Jara (2006:24) aponta que a sistematização busca penetrar no interior da dinâmica das experiências, e acrescenta que

“A sistematização é aquela interpretação crítica de uma ou várias experiências que, a partir de seu ordenamento e reconstrução, descobre ou explicita a lógica do processo vivido, os fatores que intervieram no dito processo, como se relacionaram entre si e porque o fizeram desse modo. [A sistematização ]produz um novo conhecimento, objetivando o vivido tomar distância), ordena conhecimentos a partir de diversas óticas e interpretações.” (grifo nosso)

 

Neste entendimento, o sistematizar não é simplesmente a narrativa de uma experiência, nem a descrição do processo ou a classificação da experiência segundo categorias, e nem o ordenar e tabular de dados. A sistematização implica em interpretação e análise. Pode-se sintetizar, dizendo que a sistematização se coloca entre a descrição e a teorização da experiência.

Pensando na sistematização como a atribuição de significado às práticas vivenciadas, lembrei-me de um homem  que vivia em situação de rua na cidade de São Paulo, na década de 90.  Ele estava “instalado” num viaduto há cerca de 20 anos e, segundo a população do bairro, não incomodava ninguém, mas em determinado momento de “higienização e embelezamento da cidade”  ele foi expulso daquele local.

A assistente social que coordenava a remoção, quem sabe incomodada pela injustiça que estava sendo obrigada a cometer, dialogava com ele querendo fazer uma troca: colocá-lo em abrigo era uma de suas propostas. Ele respondeu que não queria nada disso e que iria viajar para Minas. Achando que tinha encontrado um ponto de apoio para, fornecendo um benefício, se sentir menos injusta, esta profissional ofereceu a passagem para Minas.

Joá, era este o nome do personagem, respondeu:

“moça, a senhora não entende nada de viajar para Minas. Eu pretendo sair daqui, com minha carroça e meu cachorro e ir andando. Onde estiver bom, a gente para e fica um pouco. Onde estiver ruim, a gente apressa o passo. Devo levar uns vinte dias para chegar em Minas. Se eu aceitar a passagem que a senhora está oferecendo, amanhã mesmo estou em Minas. Vou fazer o que lá?”

Sem dúvida, este homem atribuía significado a sua caminhada. E isso pode ser identificado em praticamente toda a gente que é afetada por nossos trabalhos. Fazendo um paralelo com a caminhada do “trecheiro[1]”, depois que as ações acontecem, as pegadas vão sendo apagadas e, se não atribuirmos significado a este andar, pouca lembrança teremos da caminhada. Possivelmente, vamos apenas nos lembrar do cansaço e das dificuldades que encontramos no trajeto.

O sistematizar é uma postura metodológica que nos leva a atribuir significado a nossas vivências, ela pode alimentar o processo de constituição de cada um de nós como sujeito de nossa história, já que nos apropriamos da experiência, dando-lhe sentido.

Segundo Oscar Jara (1996:30),

“Ao sistematizar, não só se atenta aos acontecimentos,seu comportamento e evolução, como também às interpretações que os sujeitos têm sobre eles. Cria-se, assim,um espaço para que essas interpretações sejam discutidas,compartilhadas e confrontadas”

 

Em relação à Sistematização referida a Pesquisas ou a Programas Sociais o que se propõe é um exercício relacionado a experiências práticas concretas a partir das quais se vai juntando os pedaços como se fossem cacos de materiais como vidro ou azulejos. A análise e síntese objetiva a juntada destes cacos na montagem de vitrais ou mosaicos. Para esta construção há que se recuperar os cacos, refletindo seu sentido e o lugar que devem ocupar no todo, ocupando-se sempre todos os cacos.

As experiências sistematizadas estão referidas a processos sociais que são dinâmicos e estão sempre em permanente mudança e movimento. Na análise feita, é necessário compreender a complexidade dos processos que ali se inter-relacionam, muitas vezes a partir de posições contraditórias, apresentadas a partir de um conjunto de fatores objetivos e subjetivos.

O objetivo destas sistematizações é compreender o processo, extraindo ensinamentos que podem ser devolvidos a todos os interessados. Os componentes da sistematização são o contexto, as situações particulares, as ações desenvolvidas, as percepções, interpretações e intenções de todos os sujeitos envolvidos no processo, além dos resultados, relações e reações dos participantes.

Buscar uma compreensão profunda das vivências tem como finalidades a melhoria da prática, o compartilhamento das “lições aprendidas” com práticas semelhantes e a construção do acesso á reflexão teórica visando a construção de teorias partindo dos conhecimentos surgidos desta prática.

O MONITORAMENTO E O COMPROMISSO  COM O PROCESSO

Monitorar é observar alguém ou alguma coisa, acompanhando seu desenvolvimento, vigiando atentamente e aconselhando. Diferentemente do avaliar, cujo peso maior é dar valor a alguém ou alguma coisa – monitorar está mais referido a processos, analisando-os a partir de uma determinada concepção definida na origem da ação em observação.

A diferença básica entre avaliar e monitorar está na continuidade da ação de monitoramento. Antero (2008:08) cita:

“Utilizando-se uma metáfora simples, poder-se-ia comparar a avaliação a uma foto e o monitoramento a uma filmagem. Isto é, enquanto a primeira retrata uma situação passada (e, portanto, não necessariamente mais verdadeira no presente), a segunda busca detectar as dificuldades que ocorrem durante a programação para corrigi-las oportunamente.”

A observação do cotidiano do Projeto ou Programa baseia-se nos dados de implementação, cotejando-os com o planejamento, e sempre ocorre durante o processo de execução já que se propõe a identificar desvios e outras dificuldades e a proposição de ações corretivas, podendo inclusive indicar a conveniência de uma revisão no planejamento.

Ainda que o monitoramento empregue metodologias, sua maior ênfase está na valorização da experiência das pessoas envolvidas no processo.

Ainda, segundo Antero (2008:08);

“Alguns autores como Pfeiffer (2005) chegam a sugerir que o monitoramento é uma atribuição típica do gerente do projeto ou programa, e a avaliação deveria ser realizada por profissionais externos, para manter a imparcialidade e evitar o risco do “embelezamento” dos resultados.”

Quando referido a projetos, programas e políticas sociais, Monitoramento,

“É uma ferramenta utilizada para intervir no curso de um programa, corrigindo sua concepção. É o exame contínuo dos processos, produtos, resultados e os impactos das ações realizadas. O monitoramento permite identificar tempestivamente as vantagens e os pontos frágeis na execução de um programa e efetuar os ajustes necessários à maximização dos seus resultados e impactos.” (ENAP, glossário)

Segundo o Ministério de Desenvolvimento Social e Combate à Fome – MDS o monitoramento é o acompanhamento cotidiano feito por gestores e gerentes responsáveis por projetos, programas e políticas. As categorias a partir das quais esta observação é feita são os objetivos e metas definidas para aquela ação específica.

Este monitoramento torna-se um instrumento de gestão do programa, permitindo ações corretivas voltadas para a melhoria de sua operacionalização. Dentre as ferramentas utilizadas pelo monitoramento, as mais significativas são os indicadores, os quais devem ser produzidos regularmente permitindo o diálogo entre fontes de dados externas e a leitura feita pelos responsáveis pelos programas, pelos técnicos e por todas as pessoas afetadas por aquela ação.

A infraestrutura necessária a um bom monitoramento deve ser construída ainda quando estes projetos, programas e políticas estão sendo concebidas. Relatórios administrativos periódicos, indicadores em tempo real são insumos para os momentos de checagens locais que se configuram em momentos de escuta da população beneficiária. Estas ações permitem verificar como a implementação está sendo realizada, se está atingindo seus objetivos, além de permitir a identificação de problemas que devam ser equacionados.

Desde 2006, o MDS vem implementando uma Política de Monitoramento e Avaliação dos seus programas e projetos[2]. A capilaridade destes programas e projetos tem levado esta discussão a cada um dos municípios brasileiros.

Neste documento legal, o MDS considera como

“ações de monitoramento aquelas que se destinam ao acompanhamento da implementação e execução dos programas e ações, visando à obtenção de informações para subsidiar gerenciamento e a tomada de decisões cotidianas, bem como a identificação precoce de eventuais problemas”. (artigo 2º.)

 

Monitorar Projetos e Programas sociais implica,  portanto, em definição de conjuntos de indicadores a serem coletados por cada Programa ou Projeto, assim como o acompanhamento sistemático das suas execuções física e financeira. Isso aponta a necessidade da construção de Sistemas de Informação a partir de dados coletados no dia-a-dia das ações.

Importante atentar para o componente territorial das ações de monitoramento na medida em que este deve estar referido à realidade factual do território onde acontece a intervenção monitorada.

O capacitasuas aponta que o

“planejamento, monitoramento e avaliação não são apenas procedimentos técnicos, mas mecanismos fundamentais para a direção da política de enfrentamento das desigualdades sociais e em busca de igualdade e equidade”.

O monitoramento de Projetos e Programas, portanto, é uma ação mais ampla do que o simples registro administrativo da dinâmica processual na medida em que ele implica a análise do caminho percorrido feita a partir de indicadores e da coleta de opiniões dos envolvidos pela ação.

Uma das dificuldades que muitos projetos e programas enfrentam é a cultura solidificada entre muitos operações de ações sociais que se limitam a realizar as ações, sem uma preocupação nem com a aceitação do que está sendo ofertado, nem  com os resultados obtidos.

No Monitoramento, é muito importante que cada técnico, cada monitor responsável pelas ações tenham uma atenção com a coleta de dados e participem da análise dos dados coletados e da elaboração das ferramentas a serem utilizadas nos processos de escuta da população.

Monitoramento e avaliação são partes de um mesmo processo e devem ser complementares na construção dos sistemas de informação voltados para o alcance dos resultados e ampliação das lições aprendidas no decorrer das ações.


AVALIAÇÃO: A INCORPORAÇÃO DO MÉRITO NA ANÁLISE

O dicionário Aurélio nos diz que avaliar é determinar a valia ou valor de alguma coisa. Dar valor a algo ou alguma coisa significa olhá-la a partir de um referencial que permita compará-la com aquilo que é esperado naquela circunstância.

Todo ser humano tem, incorporado no seu modo de ser um conjunto de parâmetros a partir dos quais ele emite juízos, ele julga considerando aquilo adequado ou não adequado. Juízos não são fatos: a temperatura do ar está a 13 graus é um fato; hoje faz frio é um juízo, porque depende de meus referenciais:  alguém que vive no Alasca, acostumado com temperaturas ainda mais baixas, terá um parâmetro diferente de alguém que vive na Amazônia, por exemplo.

Para definir qualquer procedimento de avaliação é preciso haver uma discussão prévia que permita uma objetividade na aplicação do método já que se almeja chegar a resultados válidos, confiáveis e comparáveis com situações similares.

Antero (já citado acima) aponta uma definição de avaliação formal de políticas públicas, programas e projetos desenvolvida pela professora Rua (2003:1), que considera

“avaliação formal é (1) um julgamento (porque envolve valores) (2) sistemático (porque se baseia em critérios e procedimentos previamente reconhecidos) (3) dos processos ou dos produtos de (4) uma política programa ou projeto, tendo como referência (5) critérios explícitos, a fim de contribuir para (6) o seu aperfeiçoamento, a melhoria do processo decisório, o aprendizado institucional e/ou o aumento da accountability.”

Esta reflexão sobre avaliação está remetida ao universo de projetos, programas e políticas sociais e portanto os aspectos técnicos de coleta e análise das informações que tem como cenário as macrodefinições destas políticas.

Os parâmetros que vão estabelecer as características destes processos e a tipologia de resultados esperados tem como ótica cinco critérios: eficácia, eficiência, efetividade, equidade e sustentabilidade.

A eficácia é garantida quando os resultados atingidos foram aqueles que estavam propostos. O grau de eficácia aponta até que ponto, no prazo definido foram atingidos objetivos e metas, independente do custo-benefício. Se o objetivo é que toda criança esteja na escola, quanto menor o índice de crianças fora da escola, maior a eficácia das medidas tomadas.

Já a eficiência está referida à capacidade de produzir resultados com um menor valor de recurso. Obtém-se o grau de eficiência ao comparar realizações, resultados e recursos utilizados para alcança-los. Um trabalho pode ser considerado ótimo se “dá conta do recado” a custos módicos.

A partir da Emenda Constitucional 19, a Constituição Federal de 1988, em seu artigo 37[3], aponta a eficiência como um dos princípios que deve ser obedecido pelas administrações diretas e indiretas de qualquer dos três poderes.

Antero, cita ainda que

“O renomado Hely Lopes de Meirelles diz que o Princípio da Eficiência exige que a atividade administrativa seja exercida com presteza, perfeição e rendimento funcional. É o mais moderno princípio da função administrativa, que já não se contenta em ser desempenhada apenas com legalidade, exigindo resultados positivos para o serviço público e satisfatório atendimento das necessidades da comunidade e seus membros (Meirelles, 2002, p. 94)”.

A efetividade é garantida quando a ação realizada transforma a situação existente nos moldes do que está proposto nos objetivos da ação. Assim, ela expressa a relação entre objetivo e resultados alcançados, ainda que estes resultados possam ser considerados como indiretos em relação à ação avaliada.

 

 

No que se refere à avaliação de políticas públicas, a Equidade sempre se refere à satisfação de necessidades da população. Nem sempre, equidade é sinônimo de igualdade, na medida em que em situações sociais específicas se faz necessário tratar diferentemente os diferentes, sejam eles indivíduos ou situações. No preâmbulo da CF 88, há um apontamento de que a igualdade é um valor supremo, ao lado da justiça, o bem-estar e o desenvolvimento. Em seu artigo quinto, a CF 88 afirma que

“todos são iguais perante a lei, sem distinção de qualquer natureza, garantindo-se aos brasileiros e estrangeiros residentes no País a inviolabilidade dos direitos à vida, à liberdade, à igualdade, à segurança e à propriedade…”

A igualdade, na verdade, é uma utopia, um objetivo a ser “perseguido” ainda que se saiba difícil de alcançar… Nesta medida, sendo a procura da equidade o princípio orientador da política social, seu principal objetivo é a redução das desigualdades, já que equidade é a adaptação da situação concreta a partir de princípios como a justiça e a igualdade.

Falar em igualdade, ainda que a partir de indivíduos abstratos, pressupõe um compromisso com o enfrentamento das desigualdades sociais existentes. Há que se pensar, neste processo, nas etapas nas quais esta igualdade/desigualdade é construída.

Na infância e adolescência, por exemplo,  há o início do acúmulo de capital humano: as habilidades natas são potencializadas por recursos públicos ou privados. Quando a estrutura educacional é frágil, estes recursos mostram-se insuficientes e a pessoa só conta com suas habilidades pessoais.

Na idade adulta, nos processos nos quais cada pessoa é “classificada”,o critério é a produtividade, tendo como agravante as situações de segmentação e discriminação.

Estas diferenças na preparação, ainda que sejam social e eticamente justificadas, provocam a desigualdade de resultados.  A proposta de “igualdade de oportunidades” visa a mudança de regras para intervir nestas situações. Neste sentido, são propostas ações que deem suporte diferente para pessoas com condições iniciais diferentes para que se consiga uma aproximação com a igualdade almejada.

Com esta finalidade, as políticas sociais devem ter como princípio orientador e inalienável a procura da equidade. Equidade na relação homem/mulher, equidade nas questões de raça e cor, equidade quando consideramos as condições iniciais de pessoas que vem de ambientes diferentes em termos educacionais, habitacionais, etc..

O último critério é o da sustentabilidade. O ponto de partida é o entendimento de que este é um conceito sistêmico e volta-se para a proteção do planeta enquanto um direito de todos. Isso implica um cuidado com os aspectos econômicos, sociais, culturais e ambientais. É preciso perceber e avaliar os impactos de cada uma das ações, construindo estratégias e formas de monitorá-los e equacioná-los.

No Fórum Social Mundial de 2012, Leonardo Boff defendeu que a noção de sustentabilidade deve ser compreendida como um substantivo e não como um adjetivo, quando afirmou

“A sustentabilidade é comumente entendida apenas como um adjetivo, colocada como etiqueta em um produto. Isso não é sustentabilidade. A verdadeira sustentabilidade é um substantivo. Ela implica em um novo olhar, um novo paradigma. A falsa sustentabilidade não vê a devastação da natureza e a contradição com a injustiça social, além de legitimar o modelo que está aí para não alterar nada”.

Todos estes critérios devem permear as avaliações que são feitas cuja finalidade não é dizer que uma determinada ação é exitosa ou não, mas a apropriação da avaliação deve ser um ponto de apoio para um novo aprendizado na busca de melhoria da ação que está sendo desenvolvida.

No mesmo documento, citado acima, Antero diz que, segundo Rua (2003)

“a avaliação representa uma potente ferramenta de gestão na medida em que pode ser utilizada no planejamento e formulação de uma intervenção, no acompanhamento de sua implementação e consequentes ajustes a serem adotados, e até nas decisões sobre sua manutenção, aperfeiçoamento, mudança de rumo ou interrupção.”

CONSIDERAÇÕES FINAIS

Na maioria das vezes, os processos de avaliação partem de parâmetros a partir dos quais pode-se medir se a situação analisada está dentro do esperado ou se devem ser feitos esforços para adequá-la. Estes parâmetros são conhecidos como indicadores e um grande esforço nas políticas sociais é a construção de indicadores em tempo real, já que é necessária a análise deste parâmetro a tempo para orientar a tomada de decisões.

Uma reflexão sobre a construção de indicadores, sobre índices complexos como o IDH – Índice de Desenvolvimento Humano,  os Índices para apurar o alcance dos Objetivos do Milênio e outros, extrapola o objetivo deste artigo.

Um último ponto a ser abordado é relativo ao aprendizado contido nestes processos de Sistematização, Monitoramento e Avaliação das ações.

O que se pretende nestes processos de Sistematização é um conhecimento mais aprofundado da experiência que se pretende melhorar. Este sistematizar permite uma aproximação com as “lições aprendidas” que podem, então, ser teorizadas e compartilhadas. Por sua vez, a troca de experiências entre projetos de mesma natureza enriquecem as análises futuras.

Neste sistematizar, pode-se identificar elementos constantes e ocasionais e atentar para as ações que tiveram ou não continuidade. Entender o porque algumas coisas foram interrompidas permite identificar novas pistas e até novas linhas de estudo, e ainda perceber a existência de vazios.

No que se refere à lógica das relações, sistematizar permite identificar contradições, coerências e incoerências. É esse processo que permite objetivar o vivido,  extraindo  ensinamentos a serem compartilhados, garantindo o diálogo entre saberes.

Quando a nossa reflexão é sobre o aprendizado e o foco é o monitoramento, a primeira coisa que é preciso separar é o que o processo em si da ação desencadeada nos ensina, e qual o ensinamento que nos vem do processo de monitoramento.  Para fazer esta análise, temos que partir do tipo de monitoramento que estamos tratando. Há monitoramentos pontuais como dos eventos realizados, por exemplos; e os monitoramentos comparativos com experiências similares.

O monitoramento permite que conheçamos as conquistas da ação realizada, e é importante analisá-las objetivamente já que temos que decidir as condições de replicabilidade, tendo o cuidado de verificar a conveniência em fazê-lo e com que público e em que lugares.

Por outro lado, precisamos aproveitar o monitoramento para identificar os possíveis erros que podem ter sido cometidos, identificando aqueles que são contornáveis daqueles que pedem alterações substantivas. Importante saber se estes erros ocorreram no planejamento ou na execução da ação para então propor alterações que deem conta daquilo que foi detectado.

Muitos dos dados do monitoramento podem ser aproveitados na avaliação de mérito da ação, e nela é importante perceber sua adequação àquela população, sua consistência e o impacto que significa na vida das pessoas.

REFERÊNCIAS BIBLIOGRÁFICAS

ANTERO, Samuel A. MONITORAMENTO E AVALIAÇÃO DO PROGRAMA DE ERRADICAÇÃO DO TRABALHO ESCRAVO– Rev. Adm. Pública vol.42 no.5 Rio de Janeiro Sept./Oct. 2008

HOLLIDAY, Oscar Jara. PARA SISTEMATIZAR EXPERIÊNCIAS. João Pessoa: Editora Universitária,UFPB, 1996. p. 30.

SILVA, Rogério Renato e outros – REFLEXÕES SOBRE AVALIAÇÃO E SISTEMATIZAÇÃO NO CONTEXTO DO DESENVOLVIMENTO SOCIAL: UMA CONVERSA COM CRISTINA MEIRELLES E ROGÉRIO RENATO SILVA. Mediação Rita Monte.SP, Fonte, 2006. Capturado na internet em 26-1-2013.

Vaitsman, Jeni e outros – O SISTEMA DE AVALIAÇÃO E MONITORAMENTO DAS POLÍTICAS E PROGRAMAS SOCIAIS: A EXPERIÊNCIA DO  MINISTÉRIO DO DESENVOLVIMENTO SOCIAL E COMBATE À FOME DO BRASIL, MDS/UNESCO, 2006. Capturado na internet em 2008.

 



[1] nome que se dá aos andarilhos.

[2] A Portaria 329/ 2006 MDS – Institui e regulamenta a Política de Monitoramento e Avaliação do Ministério de Desenvolvimento Social e Combate à Fome.

 

[3] Artigo 37 da Emenda constitucional 19: “A administração pública direta e indireta de qualquer dos Poderes da União, dos Estados, do Distrito Federal  e dos Municípios obedecerá aos princípios de legalidade, impessoalidade, moralidade, publicidade e eficiência,(…)”


Leave a Reply

http://mmaconsultoria.com/?page_id=816You must be logged in to post a comment.

»  Substance: WordPress   »  Style: Ahren Ahimsa