“... a imaginação, embora seguindo outros caminhos que não os do conhecimento científico, pode coexistir com esse último, e até coadjuvá-lo, chegando mesmo a representar para o cientista um momento necessário na formulação de suas hipóteses.” (Italo Calvino)

            Este estudo constitui parte de nossa pesquisa de doutorado em Lingüística pela UNICAMP. Tomamos como ponto de partida dados gerados pelo Núcleo de Avaliação e Pesquisa Educacional da UFPE (NAPE-UFPE), onde se desenvolve um projeto intermunicipal de avaliação de redes públicas de ensino. Analisaremos, especificamente, através do paradigma indiciário, alguns resultados de um teste aplicado para avaliar o rendimento escolar de alunos da 5^a série do ensino fundamental na área de língua portuguesa. A referida avaliação foi realizada no ano de 1997, no município de Recife (PE). Faremos uma leitura qualitativa de dados quantitativos, problematizando alguns desempenhos dos alunos. Isso porque, em determinadas ocasiões, as respostas encontradas eram incorretas ou inesperadas, mas, segundo nosso juízo, resultavam de modos muito peculiares de perceber o que fora perguntado ou de formular soluções para certas tarefas propostas. A questão principal que vai nos ocupar aqui, portanto, é o fato de que números e estatísticas, se por um lado traduzem tendências e permitem posicionar alunos e instituições de ensino numa escala, por outro lado pouco ou nada dizem da relação que os alunos estabelecem, no interior da escola, com a linguagem enquanto objeto de conhecimento. Eis a razão pela qual vamos analisá-los qualitativamente, no que eles têm de singular, buscando explicá-los como produtos de práticas discursivas.

2. BASES TEÓRICO-METODOLÓGICAS

A pesquisa qualitativa foi e vem sendo largamente praticada por um certo ramo da sociologia, preocupada não tanto em quantificar fatos e fenômenos, mas em explicar os meandros das relações sociais, considerando que a ação humana depende estreitamente dos significados que lhe são atribuídos pelos atores sociais. O objeto das ciências sociais não se revela apenas nos números, nem tampouco se iguala a sua própria aparência, daí a necessidade de que os dados qualitativos sejam abordados a partir de referenciais de coleta e interpretação de outra natureza. Numa abordagem qualitativa, o pesquisador coloca interrogações que vão sendo discutidas durante o próprio curso da investigação. Ele formula e reformula hipóteses, tentando compreender as mediações e correlações entre os múltiplos objetos de reflexão e análise. Assim, as hipóteses deixam de ter um papel comprobatório, para servir de balizas no confronto com a realidade estudada.

Duarte (1998) informa que a seleção de dados pertinentes é uma característica básica da pesquisa qualitativa e que seu valor não reside neles mesmos, mas nos fecundos resultados a que podem levar. Por outro lado, o rigor de uma pesquisa dessa natureza não se mede apenas por comprovações estatísticas, mas justamente pela amplitude e pertinência das explicações e teorias, ainda que estas não sejam definitivas e generalizáveis. Para Luna (2000), numa pesquisa de cunho qualitativo, a escolha da técnica de análise tem a ver com a formulação do problema a ser investigado; assim, a teoria deve tanto sugerir perguntas, como indicar possibilidades de interpretação, servindo de referencial para os resultados que vão sendo observados. Minayo (1994, 2000) diz que a pesquisa qualitativa responde a questões particulares, enfoca um nível de realidade que não pode ser quantificado e trabalha com um universo de múltiplos significados, motivos, aspirações, crenças, valores e atitudes.      

Considerando a não-transparência e a não-evidência da realidade, a pesquisa qualitativa deve penetrar o interior de suas bordas, o que demanda do pesquisador abertura e flexibilidade para novas formulações, bem como a mobilização de conhecimentos distintos integrados. De outra parte, no âmbito da pesquisa qualitativa, não se vê na subjetividade obstáculo à construção de conhecimentos científicos; antes, nesse tipo de abordagem, considera-se a subjetividade parte integrante da singularidade do fenômeno social (Minayo, 2000).

Uma pesquisadora que vem dedicando muitas de suas reflexões à investigação qualitativa em educação é André. Em “A pesquisa no cotidiano escolar” (2000), a autora salienta que, numa abordagem qualitativa, a teoria vai sendo construída e reconstruída no próprio processo de pesquisa, o mesmo se dando com as opções metodológicas. A análise ocorre paralelamente à observação, na medida em que o pesquisador decide sobre quais aspectos devem ser explorados e quais devem ser abandonados. Num trabalho sobre a análise de dados qualitativos (1983), André diz que estes nos permitem apreender o caráter complexo e multidimensional dos fenômenos educacionais, além de prestarem-se a captar os diferentes significados das experiências vividas e auxiliarem na compreensão das relações entre os indivíduos, seus contextos e ações. Uma marca importante dos dados qualitativos é também o fato de se constituírem em construtos válidos para a investigação de fenômenos de difícil quantificação. Nesse estudo, André ainda se refere a um constante transitar do pesquisador entre a realidade investigada e a teoria, num processo contínuo de inferências sobre o que os dados significam ou podem vir a significar.[1]

Em parceria com Lüdke, André escreveu uma obra de referência sobre a pesquisa qualitativa (1986). As autoras começam o trabalho mostrando a insuficiência da abordagem analítica experimental, pois, no caso de muitos fenômenos educacionais, é difícil isolar as variáveis envolvidas e apontar com segurança quais são as responsáveis por um determinado efeito. Com a pesquisa experimental, corre-se o risco de submeter a complexa realidade a um esquema simplificador de análise, sacrificando o conhecimento do fenômeno em favor da aplicação rigorosa de um esquema analítico. Na verdade, o fenômeno educacional situa-se num contexto sócio-histórico mais amplo, sofrendo, por isso, uma série de determinações. Assim, ao pesquisador interessa menos encontrar evidências que comprovem hipóteses pré-definidas e mais formar e consolidar abstrações a partir da inspeção dos dados. Isso significa que o pesquisador, interrogando os dados, constrói novos conhecimentos sobre o fato pesquisado, os quais irão se somar à teoria já acumulada e conhecida.

O fato de não haver hipóteses prévias de trabalho não significa que não haja um quadro teórico de referência que oriente a coleta e a análise dos dados. O procedimento do pesquisador na abordagem qualitativa é um pouco diferente: atento à multiplicidade de dimensões de uma determinada situação ou problema, e após a análise dos dados, ele lança possibilidades de explicação da realidade, tentando encontrar princípios subjacentes ao fenômeno estudado e situar as suas descobertas num contexto mais amplo. A diversidade de pontos de vista que pode decorrer desse procedimento não é vista como limitação. Considera-se que a exigência de consenso é típica dos esquemas clássicos de pesquisa e, nesse sentido, uma possível categorização dos dados não esgota a análise – é preciso, depois dela, fazer um esforço de abstração, ultrapassar os dados em si mesmos, tentar estabelecer conexões e relações que tornem possível a proposição de novas explicações e interpretações do fato estudado.

             Cruz Neto (1994) afirma que uma pesquisa de cunho qualitativo não se restringe à utilização de instrumentos apurados de coleta de informações para dar conta de seus objetivos. Para além dos dados acumulados, o processo de pesquisa deve levar à reformulação dos caminhos investigativos e, nessa dinâmica, podemo-nos tornar agentes de mediação entre a análise e a produção de informações. Gomes (1994) considera que a análise e a interpretação das informações coletadas estão contidas num mesmo movimento, o de olhar atentamente para os dados da pesquisa. Para ele, é importante articular as conclusões que vão surgindo dos dados concretos com conhecimentos mais amplos e abstratos. Diz ainda o autor que o produto final da análise deve ser sempre encarado de forma provisória e aproximativa.

            A provisoriedade dos resultados de uma pesquisa também aparece nas considerações de Alves (2000), para quem o cientista é um “caçador do invisível”. Alves afirma que os mesmos fatos podem adquirir sentidos totalmente diferentes, dependendo do contexto explicativo em que são colocados. O que o cientista deve objetivar não é um rol de fatos e resultados, mas sua integração num esquema teórico explicativo. Esse percurso também está destacado em Certeau (1999). Segundo ele, as práticas de pesquisa, volta e meia, exacerbam e desencaminham nossas lógicas, mas o que parece importante é o trabalho de ultrapassagem operado pela insinuação do ordinário em campos científicos constituídos; o caminho a percorrer seria, pois, o de reconduzir as práticas e linguagens científicas para a vida cotidiana, ainda que esse retorno implique o paradoxo de representar um exílio em relação às disciplinas científicas, cujo rigor se mede pela estrita definição de seus limites.

            Cavalcanti e Moita Lopes (1991) apontam como características da pesquisa qualitativa: a) ser uma pesquisa eminentemente exploratória; b) não exigir hipóteses prévias nem categorias rígidas de análise; c) permitir ao pesquisador tomar decisões ao longo do estudo; d) possibilitar uma teorização calcada nos dados; e) preocupar-se com o particular. Mason (1997) destaca, na pesquisa qualitativa, o seu poder interpretativo, o emprego de métodos flexíveis e sensíveis ao contexto, e o tratamento dos fenômenos, ao mesmo tempo, em sua complexidade e detalhe. Já Monteiro (1991) chama atenção para os limites das pesquisas restritas a uma simples descrição de situações ou avaliação de rendimento escolar, e considera como aspectos importantes da pesquisa qualitativa a interpretação de dados predominantemente descritivos, a supremacia do processo sobre o produto e a atenção especial conferida aos significados dos processos sociais. Segundo Marques (1997), as opções metodológicas no âmbito da investigação qualitativa não constituem um princípio em si, mas são fortemente afetadas pelo tipo de problema que o pesquisador se dispõe a enfrentar. Desse modo, a questão fundamental não é o emprego deste ou daquele método ou a consideração deste ou daquele dado, mas, sim, quais problemas se colocam como desafio ao pesquisador. A decisão sobre um método ou técnica depende, portanto, das questões primeiras da pesquisa, da natureza mesma do problema investigado.

            Uma discussão necessária no quadro da pesquisa qualitativa é aquela relativa ao valor do dado quantitativo nesse tipo de empreendimento científico, especialmente quando se trata – como é o nosso caso – de investigação sobre avaliação educacional. Indursky (1990), em pesquisa sobre a ocorrência de estruturas passivas no documento que ficou conhecido como Relatório Pinotti,[2] afirma que, nos estudos do discurso, não são apenas os dados predominantes que devem ser analisados. Ela acha que, ao contrário, dados numericamente pouco expressivos não devem ser desqualificados, uma vez que podem produzir efeitos de sentido significativos no funcionamento do discurso em análise. O que parece relevante é que as análises quantitativas ou qualitativas não se justificam por si mesmas. Elas adquirem dimensão e sentido diferentes em função do quadro em que se inserem ou do paradigma que as prioriza, ou não, em relação a outros elementos da pesquisa (Sánchez Gamboa, 2000). De fato, há problemas e temas para cujo tratamento os métodos quantitativos são úteis e até mesmo indispensáveis (Luna, 2000), embora, em pesquisa qualitativa, não haja, em princípio, grande preocupação com amostragens e quantificações. Triviños (1987), ao se reportar aos dados estatísticos, afirma que é possível aproveitar as informações que estes traduzem, no sentido de realizar interpretações mais amplas e abrangentes dos fatos em discussão. Talvez porque, como bem salientam Laville e Dionne (1999), o que é significativo no plano estatístico não o é necessariamente nos planos psicológico e social.

            Certeau (1999) tece considerações acerca da estatística enquanto técnica de pesquisa. Diz o autor que a força dos cálculos estatísticos repousa em sua capacidade de dividir a realidade, mas é precisamente essa fragmentação analítica que pode nos fazer perder de vista aquilo que os dados supostamente representam. A estatística se vale dos procedimentos de classificação, cálculo e tabulação de unidades, fazendo-o em função de categorias e taxionomias que lhe são próprias. Assim, a enquete estatística só nos permite encontrar o homogêneo. No caso de Certeau, que estudou particularmente as astúcias e táticas do consumidor, a estatística não daria conta do fraseado devido à bricolagem, da inventividade artesanal, da discursividade que combina os elementos do cotidiano. A análise estritamente quantitativa deixaria fora de seu campo a “proliferação das histórias” e as “operações heterogêneas” que compõem os patchworks da vida diária; esse tipo de análise não capta o “movimento sub-reptício e astucioso” do “fazer com”, porque contabiliza o que é usado, mas não as maneiras de utilizar os objetos de consumo.

Santos (2001) critica a idéia subjacente aos modelos matemáticos de análise de que conhecer equivale a quantificar. Para o autor, dentro do paradigma clássico, o rigor científico de uma análise era aferido pelo rigor das medições mesmas. Esse modo de proceder terminou por desqualificar aspectos intrínsecos do objeto de estudo que, eventualmente, poderiam ter um importante valor analítico. Em lugar disso, imperam as quantidades em que o objeto se possa traduzir, de modo que o que não era quantificável passou a ser encarado como cientificamente irrelevante.

Modernamente, depois de um período em que as abordagens quantitativa e qualitativa eram vistas de forma dicotômica, muitos epistemólogos e pesquisadores vêm propondo que as duas se articulem em benefício das análises daí resultantes. Gonsalves (2001) caracteriza a abordagem quantitativa como aquela em que o pesquisador procura explicar as causas do fenômeno estudado, por meio de medidas objetivas, estatísticas e testes de hipóteses. Já a abordagem qualitativa teria como marca a compreensão e interpretação dos fenômenos, considerando os significados que os sujeitos atribuem às suas práticas. A autora sugere que o dualismo seja superado e que cada uma dessas abordagens seja empregada em níveis diferentes de profundidade, conforme a natureza dos dados em jogo. O mesmo propõe Thiollent (1984), que julga serem as preocupações muito diversificadas no campo da metodologia da pesquisa social, a ponto de não se reduzirem a uma oposição entre quantidade e qualidade. Thiollent acha que uma articulação entre ambas seria a postura científica mais satisfatória, mas salienta que, dependendo do assunto ou da abrangência da observação, certas pesquisas seguem sendo principalmente qualitativas ou quantitativas. Thiollent também acredita que qualquer fato social ou educacional apresenta aspectos que podemos descrever e estudar em termos ora quantitativos ora qualitativos.

Marques (1997) alude a Florestan Fernandes, lembrando que, nas ciências humanas, que lidam com fenômenos cuja interpretação exata nem sempre depende da quantificação, tem sido adequado defender o ponto de vista de que ambas as modalidades de explicação – a quantitativa e a qualitativa – são necessárias e devem igualmente ser desenvolvidas dentro de seus limites. Pondera ainda o autor que, se, por um lado, a abordagem quantitativa é parcial e seus dados podem ser pobres de significação, por outro lado, os dados quantitativos podem fornecer informações importantes para a análise e a interpretação de uma certa realidade, pois permitem sugerir hipóteses qualitativas acerca de fatos quantitativamente indicados. No tocante à avaliação educacional propriamente dita, Marques crê que as pesquisas quantitativas “colhem um instantâneo” da realidade, focam apenas o final da linha (os resultados); contudo, enquanto dados globais e numa perspectiva dialética, em que quantidade e qualidade se interpenetram, os resultados podem perfeitamente nos conduzir para o interior das escolas, no sentido de buscar novas possibilidades de interpretação e explicação para eles.

Marcuschi (2001) propõe abandonar a dicotomia quantidade x qualidade, em favor da noção de continuum interativo. O autor considera que a construção de categorias dicotômicas, típica da primeira metade do século XX, foi prejudicial às ciências que se voltavam para a análise de eventos e situações de natureza processual, como é o caso de certos ramos da lingüística. Esse fator, ao lado de outros, conduziu a uma guinada, no final do mesmo século, da quantidade para a qualidade, da forma para a função, da unidade analítica para o indivíduo, do experimento controlado para a observação de dados autênticos, da significação imanente para a contextualização. Uma noção importante, segundo Marcuschi, é a de que os fatos da língua são uma construção social e não um dado objetivo, independente e extrínseco ao indivíduo. Os dados, antes vistos como naturais e livres da subjetividade do analista, hoje são encarados como resultantes do ponto de vista e do interesse investigativo, sem que isso seja prejudicial para a investigação. Marcuschi aposta na postura indagativa como fundadora do conhecimento e afirma que o que torna uma metodologia qualitativa ou quantitativa não é exatamente o método de trabalho seguido, e sim a natureza do resultado buscado. Quantidade e qualidade não se opõem, mas se complementam, a depender do que está em jogo na pesquisa. Assim, em certas condições de trabalho, como no caso da interação verbal, acaba sendo quase que inevitável a preferência pela metodologia qualitativa. Outra questão levantada pelo autor é que não é importante a quantidade de dados coletados, uma vez que uma observação singular ou um dado privilegiado pode ser suficiente para produzir um grande número de observações teóricas produtivas sobre o fenômeno analisado.

            Possíveis articulações entre os paradigmas quantitativo e qualitativo de pesquisa também foram apontadas por Santos Filho (2001): se, de um lado, os dados quantitativos permitem discriminações mais refinadas e sumários econômicos que facilitam a análise e diminuem a tendência à falibilidade, de outro, qualquer esquema conceitual, teoria ou hipótese pressupõe crenças qualitativas substantivas, que têm importante papel na fase de inferências ou conclusões científicas da pesquisa. Para Sánchez Gamboa (2001 a e b), é preciso inserir a reflexão sobre os métodos e suas relações com as técnicas no contexto das epistemologias que os fundam. O autor afirma que a escolha de uma técnica de coleta, registro e tratamento dos dados está ligada a pressupostos com relação às concepções de método e de ciência, de sujeito e de objeto, e às visões de mundo implícitas em todo processo cognitivo.

            O enfoque qualitativo se vale de instrumentos e técnicas que permitam a descrição densa de um fato, a recuperação do sentido, com base nas manifestações do fenômeno e na recuperação dos contextos de interpretação. Nesse caso, os dados quantitativos funcionariam como indicadores que precisam ser interpretados à luz de elementos qualitativos e intersubjetivos. De todo modo, conforme Vianna (2000), em qualquer estudo qualitativo (etnográfico, naturalista, fenomenológico, hermenêutico ou holístico), há lugar para a enumeração e o reconhecimento de diferenças de quantidade. De outra parte, quando se realiza um estudo estatístico, tipo survey, são requeridas descrições e interpretações do fenômeno em estudo. Não se pode colocar a questão em termos de uma oposição estrita entre quantitativo e qualitativo. Vianna explica o modo de operação da avaliação quantitativa e destaca a eliminação, nesse tipo de abordagem, do dado situacional, em benefício da busca de grandes relações explicativas, derivadas de dados quantitativos que possam levar à generalização. No entanto, não se pode deixar de considerar que uma situação particular pode ser mais importante do ponto de vista científico e educacional do que dados gerais que conduzam à construção de princípios e teorias. No caso, a abordagem qualitativa se interessa pela singularidade do caso ou pela variedade de percepções; isso não significa que não haja preocupação com a generalização, apenas essa não é uma questão  central  para  o  pesquisador.  

            Saul (2000) estabelece, a partir de outros estudos, algumas diferenças entre as práticas de avaliação quantitativa e qualitativa. Vale salientar aqui que a base do crescimento e consolidação da avaliação qualitativa foi o reconhecimento de que os testes padronizados de rendimento, largamente utilizados nas fases iniciais dos processos avaliativos, não forneciam toda a informação necessária para compreender o que os professores ensinam e os alunos aprendem. No âmbito da discussão sobre as marcas da avaliação qualitativa, a autora remete-nos a Lawton, estudioso que defende a necessidade de a avaliação referir-se não somente ao grau em que o aluno aprende um conjunto de habilidades ou um tipo de conhecimento; segundo Lawton, a avaliação deve responder a questões de justificativa (Por que os alunos aprendem x?), bem como a questões que buscam detectar efeitos de aprendizagem não pretendidos (O que mais os alunos aprenderam? O que deixaram de aprender?).

Tais questões são particularmente importantes em nossa pesquisa, sobretudo porque focalizamos as respostas surpreendentes, as escritas excedentes, os intervalos de sentido, os quais não serão meramente cotejados com uma matriz fechada de objetivos de aprendizagem previamente definidos. Serão, sim, problematizados, interrogados, confrontados, na busca de explicações plausíveis para o funcionamento do discurso no interior da escola.

Seriam ainda marcas da avaliação qualitativa, para Saul: a) a substituição, na análise de significados e processos, das generalizações estatísticas por interpretações do particular e, eventualmente, dos acontecimentos que não se repetem; b) a necessidade de uma metodologia sensível às diferenças, aos imprevistos, à mudança, às manifestações observáveis e aos significados latentes; c) a manutenção da crença no poder explicativo dos dados quantitativos, dos resultados e produtos da avaliação, os quais podem vir a ser preciosos e importantes, mesmo nas investigações que enfatizam a descrição e a interpretação, o singular e o contexto.

Feitas essas considerações, partamos para uma rápida discussão sobre o paradigma indiciário, aporte metodológico de nossa investigação.

O paradigma indiciário pode ser considerado um tipo específico de pesquisa qualitativa. A seguir, ele será explicitado e serão mostradas as razões pelas quais ele foi adotado como metodologia de análise dos nossos dados. Lüdke e André (1986), discutindo o estudo de caso como estratégia de investigação qualitativa, dizem que um aspecto supostamente trivial pode ser essencial para uma melhor compreensão do tema da pesquisa. Quando se trata de um estudo de caso, o pesquisador preocupa-se em compreender uma instância ou manifestação singular do fenômeno; o objeto de estudo é tratado como único, uma representação singular da realidade, reconhecida como multidimensional e historicamente situada. Quanto ao fato de o estudo de caso ser ou não típico – empiricamente representativo de uma população determinada –, esta é uma questão inadequada, já que cada caso é tratado como tendo um valor intrínseco em si mesmo.

A singularidade e a eventual importância de certos dados também foram objeto de discussão de André (1983). É possível, conforme a autora, que alguns dados de pesquisa contenham aspectos, observações, comentários e características únicas, mas extremamente relevantes para uma apreensão mais abrangente do fenômeno estudado. É possível, ainda, encontrar nos dados mensagens não-intencionais, implícitas e contraditórias que, embora únicas, revelam dimensões importantes da situação. Diante dessas possibilidades, André põe em destaque a importância, ao lado do quadro teórico de referência, da subjetividade e da intuição do pesquisador.[3]

O paradigma indiciário foi proposto pelo historiador italiano Carlo Ginzburg. Ele partiu da idéia de que a história tradicional ocultou, deixou de lado ou simplesmente ignorou uma série de detalhes que, ainda que considerados casuais ou de pequena importância, eram relevantes para a explicação dos fatos históricos. No texto Sinais – raízes de um paradigma indiciário, da coletânea Mitos, emblemas e sinais – morfologia e história, Ginzburg (1999) ressalta a pertinência de se trabalhar em história com um novo método interpretativo centrado nos resíduos, nos dados marginais que possam, eventualmente, ser considerados reveladores. O historiador poderia, nessa perspectiva, operar com pistas, sintomas e indícios, e não apenas com fatos explícitos. Essas pistas permitiriam até captar aspectos da realidade, inatingíveis através das formas clássicas de investigação.

O modelo indiciário se apóia na idéia de que, sendo a realidade opaca, não-transparente, alguns de seus sinais permitiriam “decifrá-la”, pois indícios mínimos podem ser reveladores de fenômenos mais gerais. Tal princípio foi sendo adotado em vários campos do conhecimento, modelando significativamente as ciências humanas. Estas, no entanto, não se livraram do dilema entre um estatuto científico frágil para chegar a resultados relevantes e um estatuto científico forte para chegar a resultados de pouca relevância, até se concluir que o rigor científico do paradigma galileano era indesejável para as disciplinas que elegiam como seu objeto a experiência cotidiana ou situações em que a unicidade e o caráter insubstituível dos dados eram de extrema importância para a pesquisa. Assim, Ginzburg usa a expressão “rigor flexível” para caracterizar o paradigma indiciário, no interior do qual não se trabalha com regras explícitas, formalizadas ou preexistentes, mas com o faro, o golpe de vista, a intuição.

Pimentel (1998) utilizou o paradigma indiciário em uma investigação sobre a produção de textos na escola. A autora partiu da hipótese de que elementos constitutivos da experiência anterior dos alunos com a linguagem são reconstruídos nos textos que eles escrevem; procurou, então, verificar nesses textos indícios de leituras anteriores, realizadas dentro e fora da escola. Para tanto, valorizou detalhes, elementos aparentemente residuais que poderiam revelar aspectos importantes da trajetória dos alunos até chegar à versão final do texto, trajetória essa marcada pelas leituras que eles haviam feito. Nessa pesquisa, foi reconhecida a relevância de dados singulares, episódicos e residuais, pois, através deles, poder-se-ia chegar ao que não era aparente. O indício constitui-se como um dado à luz de hipóteses iniciais e o pesquisador se põe num movimento entre a hipótese e os dados, com vistas à construção de explicações para os fenômenos observados. Considerando, então, que o aluno deixa pistas na escrita, Pimentel procurou, a partir de sua hipótese, interpretar essas pistas, identificando nelas marcas da relação do sujeito com a linguagem em geral e com a leitura em particular.

Utilizando-se também do paradigma indiciário, Duarte (1998) fez um estudo sobre a produção textual de vestibulandos. No caso, tratava-se de candidatos que deveriam produzir uma redação a partir da leitura de pequenos trechos relativos ao assunto a ser desenvolvido, sendo que tais trechos expressavam diferentes pontos de vista sobre a questão. A hipótese de Duarte era a de que as redações trariam marcas de intertextualidade reveladoras dos diferentes procedimentos de leitura empregados pelos vestibulandos. Também aqui temos um trabalho em que o olhar do pesquisador voltou-se para o dado singular, para o detalhe eventualmente significativo, interpretado por meio de procedimento abdutivo de investigação: parte-se de uma base teórica em direção aos dados, os quais podem, por sua vez, levar a modificações na teoria e assim por diante. Duarte esclarece que a abdução decorre da observação atenta dos dados, o que deve ser seguido de uma seleção das melhores hipóteses dentre as várias que se tomam como possíveis explicações para o que foi observado. A investigação de Duarte deixa claro que o dado singular pode ser extremamente revelador de um objeto tão complexo como é a linguagem. Articulando o paradigma indiciário com uma concepção discursiva de linguagem, Duarte pôde encontrar explicações consistentes para os diferentes tipos de leitura realizados pelos vestibulandos, expressos em suas produções textuais.

A respeito da singularidade de certas ocorrências encontradas quando se investiga a relação sujeito-linguagem dentro da escola, diz Duarte:

Às vezes, um dado singular não tem aparentemente uma explicação para sua ocorrência; é idiossincrático, diferente e, muitas vezes, estranho. O trabalho do analista será o de justificar sua ocorrência, buscando compreender os fenômenos que estão por trás dele. Para isso, é importante que a explicitação dos processos inerentes a esses fenômenos, ou seja, que a maneira como determinado dado possa ter aparecido seja objeto de reflexão para o analista, cujo objetivo é justamente tentar desvendar aquilo que é surpreendente em um dado singular. (p. 62).

Abaurre, Fiad e Mayrink-Sabinson empreenderam uma pesquisa integrada com base no paradigma indiciário, cujos resultados apareceram compilados em Cenas de aquisição da escrita – o sujeito e o trabalho com o texto (1997a). As autoras esclarecem o que tomam por “dado singular”: trata-se daquele dado que, efetivamente, é revelador do que se busca conhecer. Além disso, elas discutem a validade da adoção do modelo indiciário para a análise de fatos concernentes à relação sujeito-linguagem, em comparação com o paradigma galileano, centrado na quantificação e na repetibilidade de resultados obtidos em situações experimentais. A atenção das pesquisadoras recaiu sobre textos produzidos em diferentes níveis de escolarização. Em todas as situações pesquisadas, visava-se a esclarecer o processo geral através do qual se vai continuamente constituindo e modificando a complexa relação entre o sujeito e a linguagem, especialmente no interior da escola. As autoras argumentam que, pelo fato de darem maior visibilidade a alguns aspectos desse processo, os dados idiossincráticos e singulares podem contribuir para uma discussão mais profunda da natureza da relação sujeito-linguagem no âmbito da própria teoria da linguagem.

Nos estudos específicos sobre a aquisição da escrita por crianças, Abaurre, Fiad e Mayrink-Sabinson (1997b) assumem que os erros cometidos pelos aprendizes são, na verdade, preciosos indícios de um processo em curso de aprendizagem da representação escrita da linguagem. Nesse aspecto, as autoras dizem ter procurado saber que fato singular, que aspecto de contexto, forma ou significação lingüística (ou possível combinação desses fatores) pode ter adquirido relevância para o sujeito, colocando-se como objeto de preocupação para ele na busca de soluções para seus problemas epistemológicos, ainda que essas soluções muitas vezes possam ser caracterizadas como episódicas e circunstanciais. No trabalho (Re)escrita e estilo, pertencente à coletânea em discussão, Fiad (1997) diz que, dentro do paradigma indiciário, dados singulares e particulares que, em outra perspectiva teórica, seriam considerados marginais podem vir a tornar-se reveladores e significativos. Assim, o paradigma indiciário recupera a possibilidade de examinar pormenores e marcas individuais presentes nas atividades de linguagem; permite lidar com diferenças mais do que com semelhanças, com anormalidades mais do que com normalidades.

Como já havíamos mostrado, Ginzburg (1999) reivindica, para o paradigma indiciário, outros critérios de rigor e cientificidade, compatíveis com situações de pesquisa em que a unicidade dos dados é decisiva. Pensamos que esse é o caso do nosso estudo, porque, além de cada ocorrência de linguagem ser única em si mesma, tal fato parece ter mais força ainda quando se trata da resposta divergente em relação às possibilidades previstas pelos elaboradores dos instrumentos de avaliação de redes de ensino. Em nossa análise, pretendemos apreciar essas manifestações singulares, essas escritas inesperadas e desviantes, por acharmos que elas materializam algo das relações entre os alunos, a língua, a escola e o processo de avaliação. Sem avançar na direção dessa abertura epistemológica, não teríamos como dar conta das muitas “bricolagens” dos alunos, identificadas em nosso trabalho de coleta de dados e informações.

Passemos agora à análise de alguns dados quantitativos e estatísticos, abstraídos do teste descrito. Salientamos novamente que faremos uma leitura qualitativa dos números, tomados aqui como indícios do processo ensino-aprendizagem, indicadores de tendências, fonte de indagações teóricas, pistas para a explicação e a interpretação dos muitos significados engendrados na prática educativa/avaliativa.

3. ANÁLISE DE ALGUNS CASOS

No intuito de testar um maior número de conteúdos e habilidades, foram elaborados e aplicados três cadernos de questões, com estrutura similar. Cada um contém um texto principal e mais um ou dois de caráter complementar. Esse texto complementar, em geral, trata da mesma temática do texto principal, diferindo quanto ao gênero ou ao enfoque dado ao assunto. Cada caderno de teste tem vinte questões de respostas fechadas (do tipo múltipla-escolha, ou de completar lacunas) e uma questão de resposta aberta, que é a de produção de texto. Uma parte da equipe técnica do NAPE elabora, para cada caderno, e a partir de um mesmo texto principal, sessenta e três questões, que são pré-testadas. Após a aplicação do pré-teste, a equipe de elaboração se reúne com a equipe de crítica; nesse momento, as questões são analisadas quanto à relevância do conteúdo, habilidade ou competência exigidos, e recebem, depois disso, um tratamento estatístico em termos de poder de discriminação e grau de dificuldade. Após essa etapa, as 63 questões iniciais são eliminadas, mantidas ou reformuladas e, dentre elas, são escolhidas as 21 que comporão afinal o caderno de itens definitivo, conforme uma matriz de objetivos definidos para a avaliação da série em questão. A questão de produção de texto é apresentada no final do teste e guarda alguma relação com a temática dos demais textos da prova.

O caderno 1 trazia como texto principal a crônica O cajueiro, de Rubem Braga. O autor, já maduro, fala de um cajueiro que marcou sua infância e da tristeza que sentiu ao saber, através da carta de uma irmã, que ele havia tombado numa tarde de ventania. Para a resolução dos quesitos de número 16 a 20, os alunos deveriam tomar como base um texto complementar, intitulado O meu pomar, de autoria de Cecília Meireles, no qual a autora fala do seu desejo de ter um pomar, farto e sempre aberto para alimentar e abrigar quem quer que seja. A questão 12 do caderno 1 era a seguinte:

O índice de acerto da questão 12 pode ser considerado baixo (13,52%). O objetivo era interpretar variação contextual de sentido e o aluno deveria marcar com um X a palavra que não representava tipo de vegetal (resposta certa: caramanchão (letra E), em oposição a espada-de-são-jorge, beijo, tala e saboneteira). Talvez esse índice possa ser atribuído ao fato de que as palavras oferecidas tenham representado dificuldade para os alunos, ou por serem efetivamente desconhecidas como nomes de plantas, ou pelo fato de que a sinonímia é tradicionalmente trabalhada fora de contexto, apenas com a exploração da relação um para um entre palavras semanticamente equivalentes. De outra parte, o quesito 20 do mesmo caderno apresentou um índice de acerto ainda mais baixo: 6,15% (o menor percentual de todo o teste). Além da mesma explicação apresentada acima, o que parece ter contribuído para a queda do percentual foi que os alunos tinham que reler todo o texto e retirar dele uma frase em que a palavra pé aparecesse com sentido diferente do que tem na expressão pé de pinha (resposta certa: “... apoiar o pé e subir pelo cajueiro...”). Verificamos, também, que ocorreu aqui um índice alto de respostas em branco (25,2%), sugerindo que os alunos não tiveram tanta disposição de voltar ao texto, ainda mais que se tratava da última questão do teste, quando eles já deviam estar física e mentalmente cansados. Resultado muito diferente aparece na resposta à questão 12 do caderno 2, que pedia que o aluno relacionasse duas colunas, indicando os diferentes sentidos do verbo levar em diferentes frases:

Os resultados acima levariam a crer que os alunos apresentaram baixo desempenho no quesito sinonímia/variação contextual de sentido. Entretanto, na questão 12 do caderno 2, os percentuais de acerto chegaram a 42,25% (acerto total) e 41,06% (acerto parcial), índices que parecem apontar para a hipótese de que o sentido das palavras é melhor percebido pelos aprendizes em frases e proposições completas. É possível, também, que esse resultado se deva ao grau de familiaridade dos alunos com a palavra testada. Ademais, é de se levar em conta o fato de que a formulação da pergunta tem, certamente, um efeito sobre o desempenho.

O caderno 2 trazia, como texto principal, um trecho do romance Música ao longe, de Érico Veríssimo, intitulado Travessura de Clarissa. Nesse trecho, Clarissa, já crescida, numa tarde de tédio, buscando o que fazer, recorda-se do dia em que fez uma travessura – violando regras da casa, entrou no sótão e comeu dos doces e pães que deveriam dar para uma semana e que era proibido pegar sem autorização; descoberta no dia seguinte pela mãe, Dona Clemência, Clarissa levou meia dúzia de palmadas. Nesse caderno, os alunos deveriam responder a uma questão sobre os personagens do texto principal. As passagens que deveriam ser tomadas como base para a resolução do quesito são as seguintes:

Abaixo, transcrevemos a questão apresentada aos alunos no teste:

A taxa de acerto nesse quesito foi de apenas 5,53%. Já nos cadernos 1 e 3, figuravam questões com o mesmo objetivo e os índices de acerto foram bastante superiores, em comparação com o caderno 2. No primeiro caso, a taxa foi de 34,32%; já no caso do caderno 3, em que esse objetivo foi avaliado em duas questões diferentes, os índices foram de 42,19% e 16,65%. Como explicar, então, o baixo desempenho dos alunos no caderno 2? Nossa hipótese é que os alunos tiveram uma certa dificuldade de identificar/caracterizar os personagens do texto de Veríssimo, primeiramente porque, de acordo com a elaboração da questão, eles eram quatro, agrupados em categorias; em segundo lugar, e sobretudo, porque, excetuando-se a mãe da personagem principal (D. Clemência), que tem um papel importante na narrativa, os outros eram personagens insignificantes, gente que passava na rua e que não participa diretamente da trama (um homem de sobretudo, um rapaz de pés descalços e a mulher do coletor); uma possível prova disso é o alto índice de acerto parcial (45,18%), devido ao fato de muitos alunos terem apenas citado D. Clemência; observe-se, inclusive, que os outros três personagens não têm nome. Vale salientar, ainda, que alguns alunos chegaram, quando da elaboração da resposta, a citar o cachorro que atravessava a rua, fazendo-o às vezes fora das pautas oferecidas no teste.

O texto principal do caderno 3 era a fábula “A formiga boa”, de Monteiro Lobato. Um detalhe importante sobre essa fábula é que, nela, o autor desmonta, de certa forma, a versão mais conhecida da história. Ao final da narrativa, quando a cigarra procura a formiga atrás de comida e abrigo, em vez de ouvir um sermão em defesa do trabalho e contra a preguiça, ela é recebida com carinho no formigueiro: as formigas estavam agradecidas por terem passado o verão trabalhando ao som de uma agradável voz. No desfecho da trama, a cigarra sara da tosse que a acometera e volta a ser uma alegre cantora de dias ensolarados. No caderno 1, os alunos tinham que ter respondido a uma pergunta sobre concordância nominal (questão 15), transcrita abaixo:

Nessa questão, esperava-se que o aluno estabelecesse uma relação de concordância nominal, relacionando as duas colunas. Assim, na primeira, vinham três sujeitos, que deveriam ser juntados a quatro predicados dispostos na segunda coluna, observando-se o sentido e as flexões de gênero e número dos termos em questão. A taxa de acerto foi baixa (8,91%), a segunda menor de todo o teste. Vários fatores podem explicar esse desempenho, entre eles: a) a concordância (nominal e verbal) não é um conteúdo sistemática e intensamente trabalhado ao nível da 5^a série; b) no caso, além das flexões de gênero e número, o aluno deveria estar atento ao sentido das frases; c) a própria formulação da questão é mais complexa, pois se solicitava do aluno que estabelecesse relações  entre colunas, as quais não estavam dispostas numa relação um para um. Mas o que queremos destacar aqui é que o percentual de acerto do quesito sobre concordância nominal caiu para menos de metade no caderno 3 (4,22%). E aqui temos um fenômeno bastante curioso: o enunciado do quesito 17 pedia que o estudante reescrevesse a frase apresentada, substituindo a palavra sublinhada pela que estava entre parênteses, fazendo as modificações necessárias. A frase era a seguinte:

O que nos pareceu interessante foi a forma como os alunos responderam a essa questão. Em vez de substituir mendiga por pedintes, aplicando o plural em as, tristes e sujas, como era esperado, os alunos, guiados pelo sentido do texto gerador da prova, escreveram pedinte, no singular, no lugar de mendiga, considerando que fosse essa a modificação a ser feita, conforme indicava o enunciado. A mendiga em questão era a cigarra que, no inverno, fora pedir abrigo e comida na porta de um formigueiro. Na compreensão dos alunos, provavelmente não faria sentido a troca de mendiga, no singular, por pedintes, no plural, já que a cigarra da fábula lida era uma só. Acrescente-se a tudo isso mais um aspecto: o plural a ser aplicado no objeto direto da frase só faria sentido se também incidisse sobre o verbo querer. O enunciado completo e adequado, uma vez que a formiga tivesse examinado as supostas pedintes de alto a baixo, deveria ser o seguinte:  – Que querem? – perguntou, examinando as tristes pedintes sujas de lama... Indício dessa nossa hipótese é o alto percentual de erro (68,87%), obtido na medida em que não foram consideradas as respostas nas quais não aparecesse a substituição e a flexão pedidas (acerto parcial = 0).[4]

O fenômeno aqui descrito é um emblema do funcionamento do processo discursivo em geral e na escola, em particular. Os sujeitos propõem e constroem sentidos, trabalhando com e sobre a linguagem. Conforme Duarte (1998), cada aluno é um sujeito de linguagem e se constitui em um contexto social, sob a influência de certas condições de produção. Na situação sob exame, as respostas são pistas sobre a forma como os alunos se relacionam com a língua no interior da escola: como, usualmente, precisam se remeter ao texto para responder a questões de compreensão/interpretação, eles também resgataram o sentido do texto ao responder à questão 17 do caderno 3, associando mendiga, pedinte e cigarra; não lhes pareceu natural a frase “– Que quer? – perguntou, examinando as tristes pedintes sujas de lama...”, uma vez que a mendiga/pedinte era, na verdade, a cigarra, referida, ao longo de todo o texto de Lobato, sempre no singular. O mesmo não acontece com o item formiga, que ora aparece no plural, numa referência aos membros do formigueiro, ora aparece no singular, quando remete à formiga individualizada que recebe a cigarra na porta do formigueiro. Além do mais, o plural do sintagma nominal sem o correspondente no sintagma verbal violaria a relação gramatical e semântica esperada pelo falante (o aluno, no caso). Temos aqui as “práticas de significação”, as “operações produtoras” a que alude Certeau (1995).

As diferentes possibilidades de leitura dos números aqui apresentados têm relação com aquilo que disse Certeau (1999) acerca dos consumidores, suas astúcias e táticas:

... produtores desconhecidos, poetas de seus negócios, inventores de trilhas nas selvas da racionalidade funcionalista, os consumidores (...) traçam ‘trajetórias indeterminadas’, aparentemente desprovidas de sentido porque não são coerentes com o espaço construído, escrito e pré-fabricado onde se movimentam. São frases imprevisíveis num lugar ordenado pelas técnicas organizadoras de sistemas. (p. 97).

Certeau acha que essas trilhas, embora tenham como material os vocabulários de cada língua recebida (por exemplo, o da TV ou do supermercado, ou da estrutura urbanística), continuam heterogêneas aos sistemas onde se infiltram e onde esboçam astúcias de interesses e desejos diferentes: “elas circulam, vão e vêm, saem da linha e derivam num relevo imposto, ondulações espumantes de um mar que se insinua entre os rochedos e os dédalos de uma ordem estabelecida.” (p. 97). No capítulo “Indeterminadas”, Certeau sustenta que a simbolização é indissociável do fracasso. A falha da razão seria, para ele, o “ponto cego que a faz ter acesso a uma outra dimensão, a de um pensamento, que se articula com o diferente como sua inapreensível necessidade” (p. 311). Assim, se as práticas cotidianas são dispersas, fundadas na sua relação com o ocasional, eliminar o imprevisto como acidente ilegítimo e perturbador da racionalidade é “interdizer a possibilidade de uma prática viva e mítica”. Atribuir meramente os rótulos de certo e errado àquilo que os alunos escrevem, quantificar suas respostas pelo cotejo com uma chave de correção pré-definida significa realizar uma avaliação incompatível com a concepção de língua enquanto discurso, negar a indeterminação e a falibilidade do simbólico, substituir as “incongruências do outro” pela “transparente organicidade de uma inteligibilidade científica”.

Os resultados que obtivemos até agora vêm indicando que textos e formulações que, em princípio, poderiam parecer uma resposta descabida ao que fora solicitado nos enunciados das questões se explicam pelo modo de inserção do sujeito-aluno na dinâmica do discurso escolar. Isso sugere que o processo de avaliação da aprendizagem, muito mais do que simples verificação quantitativa de rendimento, configura-se como um processo discursivo de alta complexidade, a exigir dos educadores a mobilização de novos mecanismos de escuta/interpretação.

ABAURRE, M. B. M. FIAD, R. S. e MAYRINK-SABINSON, M. L. T. Cenas de aquisição da escrita: o sujeito e o trabalho com o texto. Campinas: Associação de Leitura do Brasil/ Mercado de Letras, 1997a.

______. Em busca de pistas. Em: ABAURRE, M. B. M.; FIAD, R. S. e MAYRINK-SABINSON, M. L. T. Cenas de aquisição da escrita: o sujeito e o trabalho com o texto. Campinas: Associação de Leitura do Brasil/Mercado de Letras, 1997b, pp. 13-36.

ALVES, R. Filosofia da ciência – introdução ao jogo e suas regras. São Paulo: Loyola, 2000.

ANDRÉ, M. E. D. A. A abordagem etnográfica: uma nova perspectiva na avaliação educacional. Em: Tecnologia educacional, n^o 24, set.-out., 1978, pp. 09-12.

______. A pesquisa no cotidiano escolar. Em: FAZENDA, I. (org.). Metodologia da pesquisa educacional. 6.ed., São Paulo: Cortez, 2000, pp. 35-45.

______. Texto, contexto e significados: algumas questões na análise de dados qualitativos. Em: Cadernos de pesquisa, n^o 45, mai., 1983, pp. 66-71.

CAVALCANTI, M. C. e MOITA LOPES. L. P. Implementação de pesquisa na sala de aula de línguas no contexto brasileiro. Em: Trabalhos em lingüística aplicada, n^o 17, jan.-jun., 1991, pp. 133-144.

CERTEAU, M. A cultura no plural. Campinas: Papirus, 1995.

______. A invenção do cotidiano. 4.ed., Petrópolis: Vozes, 1999, vol. 1 – Artes de fazer.

CRUZ NETO, O. O trabalho de campo como descoberta e criação. Em: MINAYO, M. C. S. (org.). Pesquisa social – teoria, método e criatividade. 18.ed., Petrópolis: Vozes, 1994, pp. 51-66.

DUARTE, C. Uma análise de procedimentos de leitura baseada no paradigma indiciário. Dissertação de Mestrado em Lingüística. Universidade Estadual de Campinas/Instituto de Estudos da Linguagem, 1998.

FIAD, R. S. (Re)escrita e estilo. Em: ABAURRE, M. B. M.; FIAD, R. S. e MAYRINK-SABINSON, M. L. T. Cenas de aquisição da escrita: o sujeito e o trabalho com o texto. Campinas: Associação de Leitura do Brasil/Mercado de Letras, 1997, pp. 155-173.

GINZBURG, C. Mitos, emblemas e sinais – morfologia e história. 3.ed., São Paulo: Companhia das Letras, 1999.

GOMES, R. A análise de dados em pesquisa qualitativa. Em: MINAYO, M. C. S. (org.). Pesquisa social – teoria, método e criatividade. 18.ed., Petrópolis: Vozes, 1994, pp. 67-80.

GONSALVES, E. P. Escolhendo o percurso metodológico. Em: ______. Conversas sobre iniciação à pesquisa científica. Campinas: Alínea, 2001, pp. 61-73.

INDURSKY, F. A quantificação na análise do discurso: quantidade equivale a qualidade? Em: D.E.L.T.A. (Documentação e Estudos em Lingüística Teórica e Aplicada), vol. 06, n^o 1, 1990, pp. 19-40.

LAVILLE, C. e DIONNE, J. A construção do saber – manual de metodologia de pesquisa em ciências humanas. Belo Horizonte: Editora da UFMG; Porto Alegre: Artmed, 1999.

LÜDKE, M. e ANDRÉ, M. E. D. A. Pesquisa em educação: abordagens qualitativas. São Paulo: EPU, 1986.

LUNA, S. V. O falso conflito entre tendências metodológicas. Em: FAZENDA, I. (org.). Metodologia da pesquisa educacional. 6.ed., São Paulo: Cortez, 2000, pp. 21-33.

MARCUSCHI, L. A. Aspectos da questão metodológica na análise da interação verbal: o continuum qualitativo-quantitativo. Em: Revista latino-americana de estudos do discurso, vol. 1, n^o 1, ago., 2001, pp. 23-42.

MARQUES, W. O quantitativo e o qualitativo na pesquisa educacional. Em: Avaliação, ano 2, vol. 2, n^o 3(5), set., 1997, pp. 19-32.

MASON, J. Introduction: asking difficult questions about qualitative research. Em: Qualitative researching, London: Sage Publications, 1997, pp. 01-07.

MINAYO, M. C. S. Ciência, técnica e arte: o desafio da pesquisa social. Em: ______. (org.). Pesquisa social – teoria, método e criatividade. 18.ed., Petrópolis: Vozes, 1994, pp. 09-29.

______. O desafio do conhecimento: pesquisa qualitativa em saúde. 7.ed., São Paulo: Hucitec; Rio de Janeiro: Abrasco, 2000.

MONTEIRO, R. C. A pesquisa qualitativa como opção metodológica. Em: Pro-posições, n^o 05, ago., 1991, pp. 27-34.

PIMENTEL, E. Sujeitos leitores, sujeitos autores – indícios de histórias de leituras na produção de textos escolares. Dissertação de Mestrado em Lingüística. Universidade Estadual de Campinas/Instituto de Estudos da Linguagem, 1998.

SÁNCHEZ GAMBOA. S. A dialética na pesquisa em educação: elementos de contexto. Em: FAZENDA, I. (org.). Metodologia da pesquisa educacional. 6.ed., São Paulo: Cortez, 2000, pp. 91-115.

______. Quantidade – qualidade: para além de um dualismo técnico e de uma dicotomia epistemológica. Em: SÁNCHEZ GAMBOA, S. (org.). Pesquisa educacional: quantidade – qualidade. 4.ed., São Paulo: Cortez, 2001a, pp. 84-111.

______. Tendências epistemológicas: dos tecnicismos e outros “ismos” aos paradigmas científicos. Em: SÁNCHEZ GAMBOA, S. (org.). Pesquisa educacional: quantidade – qualidade. 4.ed., São Paulo: Cortez, 2001b, pp. 60-83.

SANTOS, B. S. Um discurso sobre as ciências. 12.ed., Porto: Afrontamento, 2001.

SANTOS FILHO, J. C. Pesquisa quantitativa versus pesquisa qualitativa: o desafio paradigmático. Em: SÁNCHEZ GAMBOA, S. (org.). Pesquisa educacional: quantidade – qualidade. 4.ed., São Paulo: Cortez, 2001, pp. 13-59.

SAUL, A. M. Avaliação emancipatória – desafio à teoria e à prática de avaliação e reformulação de currículo. 5.ed., São Paulo: Cortez, 2000.

THIOLLENT, M. J. M. Aspectos qualitativos da metodologia de pesquisa com objetivos de descrição, avaliação e reconstrução. Em: Cadernos de pesquisa, n^o 49, mai., 1984, pp. 45-50.

TRIVIÑOS, A. N. S. Introdução à pesquisa em ciências sociais: a pesquisa qualitativa em educação. São Paulo: Atlas, 1987.

VIANNA, H. M. Avaliação educacional – teoria, planejamento, modelos. São Paulo: Ibrasa, 2000.