Estratégias de abordagem

1. Análise de dados

A análise quantitativa de dados judiciais é uma abordagem que utiliza elementos de estatística para construir modelos descritivos e explicativos acerca das várias dimensões ligadas aos processos judiciais. Nos textos em inglês, é comum usar o termos jurimetrics, que é uma construção similar à da econometrics, que são estudos concentrados na medição de certos elementos jurídicos e no tratamento estatístico das informações. Em português, esse termo tem sido utilizado em alguns círculos, havendo inclusive uma Associação Brasileira de Jurimetria, fundada em 2011, bem como por pesquisadores como a economista Luciana Yeung. Todavia, esse termo não se tornou de uso corrente entre os pesquisadores, que normalmente utilizam o rótulo pesquisa empírica, que tem um significado potencialmente mais amplo (pois várias pesquisas empíricas não adotam um viés quantitativo), mas que tem sido utilizado para designar abordagens que dialogam com as metodologias quantitativas.

Essas análises podem adotar uma abordagem censitária ou amostral, mas de todo modo utilizam estratégias de explicação que dialogam com o instrumental da estatística. Em boa parte dos casos, trata-se apenas de estatística descritiva, que faz uma descrição quantitativa do campo (contabilizando números de processos, tempos de tramitação ou prevalência de certos tipos de decisão), utilizando algumas medidas estatísticas simples (como médias, medianas e percentuais), que são interpretadas a partir de uma análise qualitativa, focada na compreensão do sentido das grandezas numéricas. Esse tipo de abordagem é capaz de traçar correlações, observando padrões de variação coordenada nas variáveis estudadas, mas não pode afirmar a existência de relações causais.

Em certos casos, as pesquisas podem passar para o campo da estatística inferencial, que tem metodologias voltadas para analisar as correlações evidenciadas pelas pesquisas e identificar nelas a existência (ou não) de relações de causalidade. Nesse caso, utiliza-se um ferramental estatístico mais sofisticado, ligado às regressão logística, nome dado ao campo que estuda os padrões de correlação de variáveis e estabelece a possibilidade de identificar, com razoável segurança, a existência de relações de causalidade.

Acontece, porém, que os modelos de regressão tipicamente exigem amostras bastante grandes (chamadas de pesquisa de N-grande, visto que n designa tipicamente o número de elementos que compõem uma amostra), que muitas vezes são incompatíveis com os fenômenos jurídicos estudados. Uma pesquisa de intenção de voto entrevista várias centenas de pessoas, para alcançar uma amostra significativa para milhões de eleitores. Ocorre que os processos efetivamente debatidos em um tribunal (qualquer que seja ele) precisam caber no tempo anual de sessões, e raramente são maiores do que poucas centenas (exceto no caso de julgamentos "expressos", padronizados, que não envolvem um debate efetivo nos órgãos colegiados).

Essa relativa limitação do número de processos julgados faz com os pesquisadores se vejam frente à necessidade de ampliar o seu objeto, viabilizando a acumulação de universos e amostras suficientemente grandes para que haja sentido utilizar as estruturas da estatística inferencial. O problema é que, para fazer essa ampliação, muitas vezes é necessário utilizar processos de muitos anos, de muitas origens e de muitos ritos, o que compromete a viabilidade de retirar conclusões válidas, visto que a amostra pode ser pouco representativa de um universo definido. A estatística inferencial é um instrumento poderoso, mas que precisa ser utilizado com muito cuidado para evitar conclusões equivocadas.

A estatística descritiva é um instrumento que leva a conclusões menos sólidas, mas que pode ser utilizada em um número maior de casos e que permite a combinação de análises quantitativas (pois a descrição é feita em termo de quantidades) e de análises qualitativas, visto que a interpretação dos "números" é realizada por meio de uma análise crítica, que constrói narrativas que buscam dar sentido ao panorama descritivo traçado. Essa é uma plasticidade que torna essa abordagem adaptada à interpretação dos dados heterogêneos e relativamente pequenos que podemos obter no caso dos processos judiciais que tramitam nos tribunais brasileiros.

Se você pretende fazer uma pesquisa com análise de dados, é muito importante fazer um desenho adequado. Para isso, indicamos a leitura cuidadosa do livro An Introduction to Empirical Legal Research, publicado por Lee Epstein e Andrew Martin em 2014, que trata minuciosamente do planejamento e da execução desse tipo de trabalho. É interessante também o livro de 2002, de Lee Epstein e Gary King, chamado Pesquisa Empírica em Direito: Regras de Inferência, que tem a vantagem de estar em português, mas trata-se de uma versão anterior do texto, que não traz de forma detalhada as orientações para realizar o desenho e a execução da pesquisa empírica.

Na análise de dados, é importante que você faça um desenho da pesquisa muito cuidadoso, esclarecendo:

Quais dados serão coletados e como isso será feito. Esse é um ponto importante, pois em várias situações a obtenção dos dados é um desafio considerável. Se os dados estão pouco sistematizados e dependem de um esforço considerável para a sua identificação, é preciso esclarecer bem as formas como os dados serão acessados. Embora exista no Brasil uma lei que determina a transparência dos dados, essa transparência ainda é muito relativa (para dizer o mínimo). Muitas informações não são disponibilizadas, ou o são de forma fragmentária, criando desafios de sistematização. Outras informações existem apenas em formato de imagem (e não de texto), o que exige estratégias de conversão. As estratégias de coleta de dado devem ser esclarecidas, até porque os orientadores e examinadores podem ter uma experiência que os capacite a avaliar se as expectativas do pesquisador são razoáveis quanto à disponibilidade das informações e da viabilidade das estratégias voltadas a sua obtenção.
Uma vez coletados os dados, é preciso organizá-los, e essa pode ser uma tarefa muito desafiadora, especialmente quando o esforço de organização depender da formulação de novas classificações. A classificação é o ponto de maior contato entre a pesquisa empírica e as abordagens teóricas, pois os critérios de segmentação utilizados em qualquer classificação devem ter densidade teórica suficiente, sem o que as conclusões se tornam frágeis. Essa organização gera as bases de dados que são passíveis de análise
Análise dos dados. Uma vez que foram coletados, organizados e classificados, o pesquisador conta com uma base de dados que deve lhe permitir formular interpretações, seja com base em abordagens quantitativas propriamente ditas (como os modelos de regressão), seja por análise qualitativas, que buscam conferir um sentido narrativo às grandezas numéricas evidenciadas pela aplicação de estratégias de estatística descritiva.

No caso de pesquisas voltadas à análise de dados, uma metodologia sólida deveria ser capaz de explicar adequadamente os critérios que serão aplicados nessas três atividades.

2. Análise de decisões

2.1 A seleção das decisões

A análise do conteúdo de decisões judiciais é uma das formas típicas de pesquisa em direito. Trata-se de uma forma específica de análise documental, já que tais decisões são espécies de documentos, ou seja, são um registro de informações sobre a atuação judicial. Diferentemente do que chamamos de análise de dados, essa é uma forma de abordagem eminentemente qualitativa, voltada a produzir narrativas que deem sentido aos fenômenos observados.

Quando foca sobre uma decisão específica, a pesquisa pode ser compreendida como um estudo de caso, sendo aplicáveis a esse exercício todas as questões ditas no ponto anterior. Em especial, é preciso justificar muito bem o motivo pelo qual o estudo de uma determinada decisão é relevante para o campo e é preciso tomar um cuidado muito grande para não inferir conclusões gerais a partir de um objeto tão circunscrito.

Como no caso do estudo de caso, a ampliação do número de decisões não é uma solução adequada para a questão da relevância. Quando um pesquisador escolhe analisar várias decisões, ele tipicamente busca estabelecer padrões decisórios, com vistas a identificar uma linha jurisprudencial.

Porém, quando se escolhe um certo conjunto de decisões, é preciso ter critérios muito claros para essa seleção, sob pena de a pesquisa ser inviabilizada por um viés de seleção: se o pesquisador seleciona as decisões que considera importantes, é muito provável que os critérios ideológicos do pesquisador determinem os processos que serão analisados. Esse tipo de "grupo de processos" não pode ser considerado uma "amostra", visto que toda amostra precisa ser escolhida de forma randômica.

Uma amostra adequadamente selecionada pode permitir que a análise de um grupo de casos leve a conclusões que podem ser aplicadas à população de casos. Todavia, um grupo de casos selecionados por critérios de relevância não constitui amostra e não permite alcançar conclusões aplicáveis para processos fora do grupo analisado.

Isso não significa que seja impossível fazer pesquisas sobre grupos de casos, mas apenas que a seleção desses grupos precisa estar muito bem justificada na metodologia. Você pode fazer uma pesquisa censitária, analisando todos os casos do seu universo, desde que trabalhe com um universo pequeno: por exemplo, as decisões tomadas pelo plenário do STF que usem como fundamento explícito o princípio da igualdade ou o princípio da proporcionalidade.

Quando você define um critério, a aplicação desse critério pode conduzir a sua pesquisa, de forma segura, a um grupo de processos que tenha um tamanho que caiba no seu tempo e no seu orçamento. Por esse motivo, os orientadores são tão insistentes na necessidade de fazer um recorte do objeto, estabelecendo critérios rígidos para o que vai ser ou não objeto da pesquisa e, com isso, reduzir a complexidade do trabalho a um nível manejável.

Essa gestão da complexidade é uma das partes mais importantes do trabalho, e uma das funções primordiais do orientador, pois muitas vezes o pesquisador iniciante não tem meios para calcular o tamanho do esforço que será necessário para realizar a pesquisa desejada e para chegar ao difícil equilíbrio entre um objeto relevante e o tempo disponível.

2.1 O que fazer com as decisões?

Essa é a questão fundamental ligada à estratégia de abordagem. Uma vez que você tem um problema de pesquisa e entende que a análise de certas decisões contribui para enfrentar esse problema, é preciso definir qual será o tratamento dado a cada decisão.

Uma das possibilidades é focar em alguns elementos específicos (relatores, tipos de decisão, presença de certos argumentos), que podem devidamente identificados (como a data da decisão), classificados (por exemplo, definido que as decisões serão classificadas como procedência, improcedência, prejudicialidade ou extinção processual) ou quantificados (como o tempo de tramitação).

Se a sua pesquisa gerar informações desse tipo, o resultado é que você poderá resumi-los em uma tabela: uma base de dados, que pode ser analisada a partir das metodologias empíricas descritas no item anterior. Uma vez que você tenha classificações e datas, esses dados podem ser transformados em grandezas numéricas, por meio de estratégias de contagem: embora seja uma dimensão narrativa afirmar que um processo teve uma decisão de procedência, passa a ser uma quantidade numérica afirmar que a população de decisões teve 150 decisões de procedência, que correspondem a 15% dos julgamentos ocorridos em um determinado período.

Aquilo que, para um processo determinado, é uma classificação qualitativa, pode ser incorporado a análises quantitativas quando não tratamos do processo específico, mas da população de processos. Esse trânsito para a população de processos, com a contagem de dados, abre espaço para a utilização de estratégias quantitativas, especialmente para a construção de um modelo descritivo (que fale das características de um conjunto de processos ou de decisões) ou mesmo de um modelo explicativo (seja de explicações qualitativas ou até mesmo pelo uso de estatística inferencial).

Mas pode ser que o tratamento que você realize com dada decisão conduza sua pesquisa a produzir outros tipos de dados: descrições dos pontos principais, dos argumentos mais relevantes, das interações entre os atores e de outros dados de natureza narrativa, que não se prestam muito a entrar em bases de dados.

Essas narrativas se prestam a análises qualitativas, que podem apontar a existência de pressupostos implícitos, do uso de categorias determinadas, de implicações filosóficas de certos usos, de relações com a doutrina ou com a jurisprudência anterior. Todos esses elementos não são redutíveis a "classificações" das unidades de análise, ao menos em um primeiro momento.

Ocorre que a leitura crítica de várias decisões pode conduzir a muitas apreciações diferentes, de processos diferentes, que não permitam dizer nada sobre o conjunto dos processos analisados. Por isso, você precisa definir muito bem do que você pretende falar. Uma coisa é fazer um estudo de caso sobre um processo. Uma coisa diferente é fazer um estudo de caso sobre um conjunto de processos, que são entendidos como um único caso complexo.

2.2 Estudo de caso de objetos complexos

Uma situação desafiadora ocorre quando você opta por realizar um estudo de caso, mas não estuda um objeto simples, e sim um caso complexo, formado por vários objetos interligados. Isso pode acontecer, por exemplo, quando você pretende analisar a jurisprudência recente do STJ sobre uma matéria, o que faz com que o seu objeto seja único (a jurisprudência recente), mas que ele seja composto por vários elementos que precisarão ser analisados individualmente (as decisões).

O fato é que todo caso é complexo: uma decisão é composta por muitos argumentos, uma situação decorre da interação de várias pessoas. Todo caso pode ser subdividido em partes menores, em um processo de análise (que, literalmente, quer dizer divisão). Mas certos casos somente são acessíveis pelo estudo individual de seus componentes, pois o objeto de pesquisa escolhido é composto por vários elementos autônomos (vários processos, vários argumentos, várias pessoas).

Esse tipo de complexidade é plenamente compatível com os estudos de caso, que têm por função justamente lidar com essa sobreposição de camadas, que desafia estratégias mais redutoras, como as quantitativas (que somente conseguem lidar com grandezas numéricas).

Porém, é preciso tomar cuidado para definir se o seu projeto tem por objeto o estudo indutivo de uma população (estudando uma série de características de membros dessa população, eventualmente uma amostra, para fazer afirmações acerca de qualidades da população) ou se você trata o seu objeto complexo como um caso: uma rede de interações que pode ser analisada diretamente, e não por uma determinada composição de suas partes.

Se o estudo tem uma abordagem populacional, o foco será a multiplicação de informações sobre as unidades que constituem a população. Se o estudo tem uma abordagem de caso complexo, o grupo de decisões é tratado desde logo como um sistema: como expressão de uma mesma linha, como realização de um entendimento. Nesse caso, a abordagem não tipicamente indutiva, pois as informações sobre cada caso são entendida, desde logo, como informações sobre a jurisprudência recente.

Esse tipo de estudo de caso complexo pode criar armadilhas para um pesquisador inexperiente, pois ele pode pressupor a existência de certos objetos que, no fundo, não existem. Falar da "jurisprudência recente", ou mesmo da "jurisprudência", supõe a existência de uma sistematicidade que talvez não corresponda aos fatos. Quando a sua pergunta adota como unidade de análise um caso complexo, você precisa explicar muito bem os motivos pelos quais é razoável tratar um conjunto de decisões como partes de um sistema (e não apenas como decisões independentes, que podem não se deixar sistematizar).

Por tudo isso, o desafio metodológico para lidar com um objeto complexo é muito maior do que o desafio de lidar com um objeto simples, visto que é preciso ter justificativas sólidas para tratar um certo conjunto como sendo um sistema.

2.3 Metodologias específicas

Não existe algo como uma metodologia específica para lidar com documentos em geral, nem com decisões em particular. Pesquisa documental não é uma estratégia específica, mas é um nome que designa um conjunto de estratégias que têm um objeto comum (e podem não ter mais nada em comum além do tipo do objeto tratado).

Existem, contudo, abordagens específicas que são normalmente ligadas aos protocolos adotados por determinados grupos de pesquisa, e que têm como objetivo permitir que as investigações realizadas por eles sejam (ao menos relativamente) comensuráveis. Selecionamos aqui duas abordagens que podem ser interessantes como modelo: a Metodologia de Análise de Decisões (MAD) e a Análise Empírico-Retórica Do Discurso Jurídico (AERD).

2.3.1 Metodologia de Análise de Decisões (MAD)

A MAD foi desenvolvida no Grupo de Estudo e Pesquisa Hermenêutica e Políticas Públicas e é explicitada em um artigo de Roberto Freitas Filho e Thalita Lima que tem esse mesmo nome (2010). Essa é uma abordagem que tem por objetivo organizar informações sobre um conjunto de decisões, verificar se há nelas uma coerência decisória e produzir uma explicação do sentido do conjunto das decisões. Esses autores propõem iniciar por uma pesquisa exploratória, que permita mapear as decisões acerca de determinada questão e definir um problema de pesquisa.

Esse problema de pesquisa deve conter um critério para identificar as decisões que comporão o conjunto de objetos analisados pela pesquisa, e as informações referentes a esses processos devem ser levantados e organizados em um banco de dados. Como segundo passo, sugere-se que esses dados sejam tratados qualitativamente, com a investigação dos "conceitos, valores, institutos e princípios presentes nas narrativas decisórias" (Freitas Filho e Lima 2010). A identificação desses argumentos é o primeiro passo para uma nova rodada analítica, voltada a compreender não apenas os argumentos utilizados, mas a atribuir a esse conjunto de decisões um sentido unificado, compreendendo-as como elementos de uma prática decisória.

O exercício de ler as decisões como realização de uma prática unificada faz com que a pergunta dessa metodologia se dirija a uma prática decisória que deve ser revelada a partir do estudo indutivo de uma série de decisões particulares. Entendemos, assim, que esta abordagem trata um conjunto de decisões sobre um certo tema como uma prática discursiva e que o resultado aponta para eventuais conclusões sobre a estrutura dessa prática. Portanto, um dos desafios para o uso dessa abordagem é justificar, a partir da pesquisa exploratória, a viabilidade de tratar um conjunto de decisões como sendo um sistema, e não apenas um somatório de decisões (cujo conjunto pode não formar um sistema).

2.3.2 Análise Empírico-Retórica Do Discurso Jurídico (AERD)

Essa é uma abordagem desenvolvida por Issac Reis, que é pesquisador no Grupo de Pesquisa Retórica Argumentação e Juridicidades da UnB. Isaac Reis esclarece que, tal com a Análise do Discurso, a AERD não está interessada "em sentidos ocultos ou na intenção do orador, mas nos textos mesmos" (Reis 2015), mas nos efeitos retóricos que uma decisão pode produzir em seu auditório (Reis 2018).

O primeiro passo dessa metodologia é definir o objeto empírico, que é constituído por uma decisão, ou por um pequeno conjunto de decisões, que Reis denomina de corpus de pesquisa (Reis 2018). Como a AERD propõe um tratamento que consome muito tempo para cada decisão, não é viável ampliar muito esse corpus.

O segundo passo, antes mesmo da análise minuciosa da decisão, é a compreensão do seu contexto, não em busca de compreender suas conexões sociais e políticas (o que apontaria para outros tipos de abordagem, mais sociológicos), mas para entender o contexto retórico que envolveu a formulação do discurso. Como o objetivo é compreender os efeitos retóricos da decisão no auditório, é preciso mapear previamente as concepções desse auditório e das regras discursivas vigentes.

Somente depois de fixado o contexto, passa-se à leitura exploratória do corpus (para que o pesquisador formule um mapeamento geral do texto), seguida de uma leitura retórica, voltada a identificar e classificar as estratégias retóricas envolvidas no texto. Uma das maiores contribuições desta metodologia é oferecer categorias para que o pesquisador possa fazer essa análise retórica, classificando cada um dos argumentos a partir de uma tripartição de tipos de estratégias:

As estratégias de ethos se voltam a persuadir o auditório por meio de características do seu emissor (seu prestígio, sua legitimidade, sua competência, sua experiência, etc.).
As estratégias de pathos apontam para a mobilização emocional do auditório, forjando identidades, estimulando medos e desejos, manipulando as emoções do ouvinte.
As estratégias de logos buscam afirmar-se como interpretações objetivas e racionais, atentando para a coerência lógica.

Essa tripartição, como toda divisão, tem seus limites. Porém, a sua função na metodologia é evitar simplificações, pois a existência de três dimensões a serem analisadas simultaneamente gera a possiblidade de cruzamentos e tensões entre elas.

Reis sugere então uma segunda leitura retórica, que não é voltada a classificar os argumentos nas 3 dimensões (o que foi feito na primeira leitura), mas classificar que tipo específico de argumento foi usado (demonstrações de erudição, deduções, referências a fatos, perguntas retóricas, etc.), viabilizando a criação de um mapa retórico no qual estejam indicados os tipos de argumento usados, os lugares em que ocorrem e as dimensões a que se ligam. Esse mapa é o resultado do levantamento de dados, e a parte analítica da pesquisa se dá a partir da interpretação desse mapa.

Uma análise da metodologia indica que ela oferece um quadro conceitual que permite um mapeamento dos argumentos contidos em uma decisão, oferecendo com isso um instrumento voltado a identificar elementos qualitativos (que estratégias foram usadas?) e quantitativos (que estratégias foram recorrentes?) que podem auxiliar o pesquisador a produzir uma narrativa que confira um entendimento da decisão enquanto conjunto de elementos retóricos. Assim, em vez de comparar os conteúdos das decisões, as interpretações que elas trazem, a metodologia AERD oferece a base para uma descrição diferente da decisão, focada os padrões argumentativos que o método evidencia.

3. Entrevistas

Para poder fazer pesquisas de dados, é preciso coletar os dados. No caso de pesquisas sobre processos e decisões, o esforço envolvido está na identificação de estratégias por meio das quais é possível ter acesso aos dados disponíveis e convertê-los em informações relevantes, por meio de medidas e de classificações. Porém, em vários casos não queremos descobrir como as coisas são, mas como elas são percebidas.

Nessas situações (como das intenções de voto ou das percepções acerca da democracia), precisamos desenvolver estratégias para descobrir os interesses, as pretensões, os desejos das pessoas. Isso pode ser feito de modo indireto, por meio da observação de fatos que consideramos indícios de uma certa percepção: podemos, por exemplo, investigar a origem social dos juízes e a sua trajetória profissional, com o objetivo de compreender melhor os seus valores e crenças. Mas essa busca pode ser feita também de modo direto: por meio de entrevistas, em que se pergunta como as pessoas enxergam determinados assuntos, como elas narram certas histórias.

O potencial das entrevistas está nesse acesso direto às percepções das pessoas. E o limite das entrevistas está aí também: elas nos dizem pouco sobre como as coisas efetivamente ocorreram, visto que a distância entre fatos e percepções pode ser muito grande. Quem pretende identificar como os juízes atuam na prática, tem pouco a ganhar fazendo entrevistas com os juízes, pois esse tipo de estratégia mostra menos sobre o mundo do que sobre as visões de mundo dos juízes.

Entrevistas podem ser elementos muito relevantes de pesquisa, mas elas devem ser sempre utilizadas com cuidado, quando o objetivo é compreender as conexões entre os fatos e não as suas percepções por um certo grupo. Historiadores enfrentam a dificuldade de reconstituir os fatos a partir de uma série de narrativas, todas elas contextuais e muitas vezes comprometidas com a defesa de determinadas perspectivas. Essa passagem das narrativas para os fatos é sempre imperfeita, mas, na pesquisa histórica, é um dos meios principais de acesso a fatos que ocorreram e somente permanecem registrados em algumas narrativas, tipicamente escritas.

Por esse motivo, entrevistas tendem a ser excelentes fontes de pesquisa exploratória, pois permite incorporar os insights e as interpretações das pessoas envolvidas, que são fatores primordiais para o desenho de uma pesquisa conclusiva. Porém, no caso de uma pesquisa que pretenda ser conclusiva, as entrevistas precisam ser utilizadas com cuidado e as suas conclusões precisam sempre ser bem dimensionadas, para que se evite utilizar percepções individuais como indícios de que os fatos efetivamente ocorreram de acordo com a percepção dos entrevistados.

Outra dificuldade muito grande nas entrevistas é que pode ser muito difícil tirar uma conclusão a partir delas, visto que entrevistas livres (nas quais as perguntas são construídas ao longo da interação) tendem a gerar estruturas muito heterogêneas. Cada pessoa falará dos temas que lhe são mais caros e, com isso, torna-se muito difícil fazer uma análise comparativa dos resultados de um série de entrevistas.

Para aumentar o grau de padronização, é possível fazer um roteiro com algumas perguntas centrais que serão sempre repetidas (e que fornecem as bases para uma análise comparativa), mas com uma parte da entrevista livre, tornando admissível a apresentação de questionamentos livres, que explorem as narrativas que vão sendo expostas pelos entrevistados.

Porém, nos casos em que a metodologia das pesquisas envolve uma análise comparativa mais rígida das respostas, é comum que seja necessário repetir o mesmo roteiro com cada entrevistado. Isso acontece porque a inserção de perguntas livres (e mesmo a simples modificação na ordem das perguntas) altera a própria experiência e pode conduzir a modificações nos padrões das respostas anteriores. Imagine, por exemplo, uma entrevista voltada a identificar a intenção de voto no qual os entrevistadores comecem perguntando sobre a ideologia política da pessoa, sobre suas posturas pessoais, e depois sobre os candidatos. Provavelmente, os resultados seriam diferentes se a pesquisa começasse perguntando sobre os candidatos preferidos e somente depois sobre a identidade ideológica do entrevistado.

As diferenças introduzidas pela falta de padronização pode não ser tão grandes, mas pode ser suficiente para modificar substancialmente os resultados de uma pesquisa em que 5% de diferença é algo bastante substancial. Nesses casos, o indicado é a realização de entrevistas estruturadas, nas quais o entrevistado é submetido a um questionário padrão.

4. Questionários e Surveys

Embora a estruturação das perguntas sirva para tornar as entrevistas mais padronizadas, ela não garante uma padronização nas respostas. Um roteiro idêntico de perguntas abertas pode ser muito útil para identificar narrativas complexas, ligadas a pesquisas qualitativas, mas é pouco útil quando se trata de oferecer respostas estruturadas, que sejam base adequada para a construção de bancos de dados para pesquisas quantitativas.

Para tornar respostas mais padronizadas (e por isso mesmo passíveis de análise quantitativa), o pesquisador também pode oferecer aos entrevistados perguntas nas quais não se espera uma narrativa, mas apenas o oferecimento de dados simples ou a escolha de algumas opções determinadas pelo questionário. Em vez de perguntar o que o entrevistado viu ou sabe, é possível fazer perguntas em que a possibilidade do entrevistado seja apenas o de escolher entre algumas alternativas, definidas pelo pesquisador. Com isso, as categorias que definem a resposta não são as do entrevistado, mas aquelas escolhidas pelo entrevistador.

Quando isso ocorre, o foco deixa de ser a interação entrevistador/entrevistado, e passa a ser a aplicação de um questionário predefinido, que não tem apenas perguntas estruturadas, mas também tem respostas estruturadas. A aplicação desse tipo de questionário é normalmente realizada como parte de uma pesquisa survey (ou apenas survey), que é uma técnica adaptada a servir como coleta de dados para serem trabalhados a partir de metodologias quantitativas. Por esse motivo, a survey já é conduzida para obter dados acerca de uma amostra determinada pelo modelo estatístico utilizado na pesquisa.

Porém, é preciso ter em mente que o survey é muito próximo das entrevistas, pois ele não nos oferece um acesso direto aos dados, e sim à percepção que algumas pessoas têm. Quando perguntamos qual é o gênero de uma pessoa, ou qual é a sua cor, a resposta é inevitavelmente um posicionamento pessoal sobre essa questão, motivo pelo qual todo questionário levanta dados acerca de opiniões, preferências ou perspectivas. Assim, nas pesquisas que pretendem estabelecer modelos descritivos ou explicativos sobre fatos, a coleta de dados via entrevista ou survey deve sempre ser acompanhada por outros métodos, que apontem mais diretamente para a distinção entre as percepções e os fatos e, no caso específico do direito, entre o que se diz e o que se faz.

5. Observação Participante

Os métodos de observação participante são ligados especialmente às abordagens antropológicas, que buscam compreender as relações sociais existentes em um determinado grupo. Trata-se de uma abordagem imersiva, no sentido de que o pesquisador precisa estar imerso nas relações sociais que se busca compreender, e que exige um grande investimento de tempo, visto que não se trata de buscar informações concentradas, mas de observar uma série de interações sociais relativamente dispersas, e buscar elementos que permitam compreender o seu significado.

Esse foco no significado, na atribuição de sentido narrativo a uma prática social, coloca a observação participante como uma das abordagens propriamente qualitativas, visto que ela é voltada especificamente a buscar dados que não são quantificáveis: papéis sociais desempenhados, tipos de conceitos utilizados, significados atribuídos a determinados atos.

Trata-se de uma abordagem que consome um tempo muito grande e que coloca o pesquisador em contato com as relações sociais que se busca compreender no ambiente no qual elas são efetivamente realizadas. No oposto do controle artificial obtido pelo experimento, a observação participante busca ter acesso ao modo pelo qual essas relações operam, com o mínimo possível de intervenção do pesquisador.

Esse tipo de abordagem teve notável desenvolvimento na antropologia porque não é possível observar as relações sociais a partir de fora, especialmente com relação a culturas em que somos estrangeiros. A simples presença de um observador externo possa alterar o comportamento das pessoas, gerando interações muito diferentes daquelas que ocorreriam de forma espontânea, em um ambiente composto apenas por membros da comunidade. A observação participante tenta minimizar esse impacto por meio de uma presença constante e, na medida do possível, inserida nas atividades sociais que se busca compreender.

Ao tornar o observador um participante da própria atividade, ficam relativamente borradas as distinções externo/interno do próprio pesquisador, o que tende a minimizar o impacto que a sua presença tem nos comportamentos e, com isso, possibilita uma observação de interações sociais que não podem ser acessadas por outras abordagens, como entrevistas ou observações externas. Nas palavras do antropólogo Malinowski, tratava-se de conviver e a “ter contato o mais íntimo possível com os nativos”; ou, na verdade, a viver “como um nativo entre os nativos” (Lupetti Baptista, 2017), a tal ponto que se pudesse ter acesso a uma expressão social espontânea (ou quase).

Quando o pesquisador se torna um dos participantes das relações sociais que são seu objeto de pesquisa, ele se torna diretamente "afetado" pelas interações em que ele está mergulhado, o que faz com que essa abordagem seja menos vista como uma "coleta de dados" do que como uma "vivência" (Lupetti Baptista 2017). "Imersão" e "afetação" são conceitos chave desse tipo de experiência, estabelecendo suas potencialidades e limites. Por um lado, essa afetação direta permite que o pesquisador perceba elementos que não seriam acessíveis de outro modo. Por outro, esse mergulho sensível em uma rede de relações pode limitar muito a capacidade de o pesquisador ser um observador isento dessas relações, visto que ele pode ter suas conclusões muito impactadas pelo lugar que ele ocupou nessas relações.

Esse equilíbrio precário faz com que o exercício da observação participante exija um esforço constante de reflexão, em que as interações observadas sejam sempre problematizadas, em busca de compreender o seu significado social, para além do significado que as pessoas que vivenciam a experiência atribuem a ela. Não existe uma metodologia muito definida, pois a compreensão das relações está mais relacionada à experiência direta e imersiva do pesquisador do que à observação de um conjunto de regras ou de passos a seguir. Como afirma Lupetti Baptista (2017),

"sempre respondo a meus ansiosos orientandos e orientandas, ávidos por respostas de sobre 'como se comportar em campo' ou 'o que devo fazer diante do meu interlocutor(?)'. Digo a eles(as) sempre: 'Comece logo o trabalho de campo'. E eles(as) retrucam: 'Mas como?'. E eu, de novo: Indo a campo.

Isso não quer dizer que se pode ir a campo sem ter qualquer preparo, mas apenas que não há um algoritmo a ser seguido. Por isso, a própria metodologia indicada no trabalho não pode ser tão precisa como em outras abordagens, nas quais se exige uma descrição minuciosa das variáveis, dos dados a serem coletados, dos modos pelos quais eles serão processados. O estudante pode perceber essa imprecisão como um ganho (pois torna desnecessário fazer essas escolhas ainda no projeto), mas o fato é que representa um grande desafio: a abordagem será definida ao longo da empreitada, de tal modo que não é possível diferenciar o desenho da pesquisa, a coleta de dados e a análise. Tudo é feito ao mesmo tempo e, por isso, toda a pesquisa fica constantemente em aberto, exigindo muitas idas e vindas, muitas redefinições, muitas alterações de percurso: em suma, muito tempo de dedicação. Um tempo que não se mede em semanas, mas em meses ou mesmo em anos.

Esse exercício é bem diferente daquele ao qual os juristas são treinados: uma constante de problematização (em vez da busca por respostas), duvidar das interpretações óbvias (em vez de buscar argumentos retoricamente eficientes), ser cético com elação às próprias interpretações (em vez de defender as próprias opiniões a todo custo), ser claro com relação aos limites das interpretações propostas (em vez de apresentar apenas os argumentos favoráveis à sua tese).

Essa grande distinção com relação às habilidades típicas dos juristas torna esse tipo de trabalho de campo desafiador e potencialmente transformador. Apesar do interesse que pode ser despertado por essa possibilidade de trilhar caminhos tão diferentes, é preciso ter alguns cuidados na decisão de optar por um método desse tipo.

O primeiro é a questão do tempo, pois a atividade imersiva normalmente exige um investimento muito grande de tempo no trabalho de campo, pois é preciso estar imerso nas relações que se pretende avaliar. Esse tempo é muitas vezes incompatível com um mestrado que não tenha dedicação exclusiva, e uma observação participante muito rápida tende a não ter bons resultados.

Por vezes, essa dificuldade é enfrentada por meio da realização de uma observação participante dentro do próprio ambiente de trabalho, no qual o pesquisador já está imerso. Essa é uma opção que, em vez de facilitar as coisas, torna-as mais difíceis, pois é extremamente difícil ter um olhar crítico sobre relações sociais nas quais já estamos inseridos. A abordagem da observação participante exige, ao mesmo tempo, a proximidade da participação e o distanciamento do observador, sob o risco de que as explicações geradas pela pesquisa sejam justamente as percepções dominantes no grupo analisado.

A riqueza da observação participante está nesse cruzamento de pontos de vistas, de modos diferentes de observação, que permitem um olhar crítico sobre as interações sociais observadas/vividas. Não é razoável que se faça uma observação participante quando se ocupa um lugar de protagonismo nas relações sociais observadas, como seria o caso de um juiz fazendo esse tipo de análise sobre as suas próprias audiências. Em se tratando de participantes sem protagonismo evidente (como o de servidores lotados em um gabinete), é difícil alcançar o distanciamento necessário para que causem estranheza certas formas de organização social que são muito familiares. Nas palavras de Luppeti Baptista, é desafiador "estabelecer a necessária distância para desnaturalizar e avaliar, com certa objetividade, os dados e as representações vivenciadas no campo" (2017). Esse trabalho não é impossível, mas tem de ser enfrentado com muito cuidado, para ter resultados interessantes.

Também é preciso levar em conta que a realização de uma observação participante no próprio lugar de trabalho (ou na própria família, ou na própria instituição de estudo ou em outros grupos em que se está inserido) pode gerar situações insustentáveis, visto que a análise crítica das posições dos superiores hierárquicos e também dos colegas tem o potencial de gerar consequências indesejáveis para o pesquisador. Essa peculiaridade pode limitar bastante o potencial crítico do trabalho, seja porque o pesquisador pode ter dificuldades para desenvolver e enunciar críticas a seus superiores (ou a seus companheiros), seja porque a familiaridade com as pessoas pode ser um óbice para uma análise mais profunda das relações em que elas estão inseridas. Por tudo isso, é mais adequado fazer esse tipo de abordagem em contextos nos quais você é "estrangeiro" e dos quais você não fará mais parte depois da pesquisa.

Além disso, não tem sentido prático adotar uma abordagem desse tipo para acessar informações que poderiam ser obtidas de outra forma: por observações externas dos comportamentos, por análises de dados, por surveys ou por entrevistas. Porém, quando o foco da pesquisa é na compreensão de aspectos fortemente qualitativos (como, por exemplo, a relação entre os ministros e seus assessores, ou entre os servidores de um gabinete e os seus chefes), essa pode ser uma opção justificada.

6. Grupo focal

O grupo focal é uma espécie de interação dialógica realizada coletivamente, o que gera resultados diversos das entrevistas individuais. Entrevistas individuais geram uma relação bilateral, entrevistador/entrevistado. Nos grupos focais, além dessa interação do mediador com os participantes, existem uma série de influxos que derivam das interações que ocorrem entre os próprios participantes.

Essa interação complexa tem a potencialidade de gerar resultados diferentes de uma multiplicidade de entrevistas simples. Assim como múltiplas aulas individuais, em regime de tutoria, têm um resultado diferente de uma aula com muitos alunos, pois essa alteração demográfica modifica a maneira como as pessoas se comportam.

Existe o fato de que algumas pessoas que não falariam isoladamente sobre certos temas, podem se sentir seguras (ou até mesmo encorajadas) quando observam outras pessoas falando de suas próprias experiências. Porém, o elemento mais relevante é que um grupo em que os participantes tenham certas identidades pode servir como espaço no qual aflorem certas interações espontâneas que seriam impossíveis no contato direto entre o entrevistado e o entrevistador (que é sempre um "estrangeiro").

O grupo focal pode ser usado como uma forma de produzir reações mais espontâneas do que uma entrevista, mas de uma forma mais intensiva do que a abordagem extensiva da observação participante. Como afirmam Krueger e Casey (citados por Braga e Angotti 2017), existe a percepção de que "as pessoas revelavam informações delicadas quando se sentiam em segurança, em lugar confortável, ao lado de pessoas como elas".

Essas peculiaridades exigem dos pesquisadores que tenham uma preparação para lidar com grupos e para criar o ambiente de segurança no qual os diálogos possam aflorar de modo tão espontâneo quanto possível. Assim, não faz sentido organizar um grupo focal com uma entrevista muito estruturada, visto que a riqueza das interações teria pouco espaço para dar resultados mais ricos. Nesse caso, o resultados seria mais próximo de uma entrevista coletiva, em que o condutor desempenha um protagonismo muito grande. No grupo focal, o mediador precisa ter o cuidado de conduzir os debates com algum foco, sem o que o tempo disponível pode ser esgotado (sem que os temas relevantes venham a ser debatidos), mas sem se tornar o centro do discurso (sem o que a riqueza dos diálogos pode ser comprometida).

Braga e Angotti, por exemplo, realizaram grupos focais em uma pesquisa sobre a maternidade no cárcere (chamada Dar luz à Sombra), tanto pelas potencialidades específicas do grupo focal, quanto pela economia de tempo envolvida no contato simultâneo com muitas pessoas (2017). Consideradas as dificuldades de conseguir autorizações para realizar entrevistas individuais com as detentas, o grupo focal se mostrou uma opção que conseguia alcançar os objetivos da pesquisa de forma mais eficiente e porque viabilizava as interações dialógicas entre as mulheres presas.

Porém, tanto na pesquisa de Braga e Angotti como em outras, é comum que o grupo focal seja aplicado em coordenação com outros tipos de abordagem (como entrevistas e coletas de dados em documentos), para gerar um conjunto de informações que seja apta a ser interpretada de forma mais densa pelos pesquisadores.

Assim como nas entrevistas, o grupo focal tem por objetivo a identificação de percepções, de modo que não tendem a gerar resultados conclusivos. Porém, podem ser extremamente úteis tanto como parte de uma pesquisa exploratória ou como elemento voltado a identificar algumas percepções transversais em determinados grupos.

7. A pesquisa sobre a pesquisa: a produção acadêmica como objeto de pesquisa

Quando existe um conjunto suficientemente denso de investigações científicas sobre um determinado tema, passa a ser relevante investigar as diversas publicações disponíveis, para avaliar a qualidade das pesquisas e para identificar os pontos de convergência e divergência.

Esse tipo de meta-análise (ou seja, de uma análise de análises, e não de fatos) tem uma grande relevância para um campo de conhecimento, visto que ela contribui decisivamente para o mapeamento dos discursos existentes e para a construção de uma certa sistematicidade.

No campo das publicações científicas, é comum diferenciar o que é um research article (ou seja, um artigo que publica resultados de pesquisas originais) e o que é um review article (ou seja, artigo de revisão), que faz revisões de literatura, em suas várias formas.

No direito, essas estratégias ainda são de difícil aplicação, visto que tipicamente não há uma base suficientemente ampla e densa de pesquisas empíricas sobre um determinado tema, que justifique a necessidade de um estudo desse tipo para poder mapear um campo.

Inobstante, já começamos a ter estudos desse tipo: Duarte e outros escreveram um artigo intitulado O Sistema de Justiça na Ciência Política Brasileira: uma análise da literatura, no qual fazem um levantamento dos artigos de ciência política sobre o sistema de justiça e aplicam a esse conjunto de dados uma técnica de clusterização (programas que dividem um conjunto de textos em clusters, ou seja, em grupos com características comuns), baseados nas referências bibliográficas dessas publicações. O artigo identifica que não há padrões claros de distribuição das referências, que não formam clusters significativos, o que sugere que elas não estabelecem um diálogo muito grande entre si, exceto no campo da literatura sobre Justiça Eleitoral.

7.1 Bibliometria

O referido artigo de Duarte e outros afirma que se utiliza de técnicas de bibliometria, ou seja, de abordagens quantitativas que mensuram certas relações entre os textos. Desde que a área de estatística aplicada à economia veio a ser chamada de econometria, outros campos de abordagens quantitativas também passaram a construir seus nomes a partir dessa mesma lógica de identificar um objeto (economia, direito, publicações, ciência) e acrescentar o sufixo "metria", gerando neologismos como bibliometria (bibliometrics), jurimetria (jurimetrics), cientometria (scientometrics).

Para compreender melhor a bibliometria, há boas referências no artigo Bibliometric Basics, de Diane Cooper (2015), na página da Wikipedia e no canal do HUB no Youtube.

Uma das funções básicas da bibliometria é medir o impacto da produção acadêmica, utilizando medidas como contagem de citações e o estabelecimento de índices que determinem o fator de impacto dos periódicos. A bibliometria não se concentra no conteúdo dos textos, na qualidade dos resultados das pesquisas, mas os elementos que podem ser quantificados.

Um dos instrumentos típicos da bibliometria é a construção de redes de citações, como as que foram estabelecidas por Duarte e outros, em busca de compreender o modo como as pesquisas científicas se relacionam e quais são as produções centrais nessa rede.

7.2 Revisões Sistemáticas

As revisões sistemáticas não se limitam a análises quantitativas e estatísticas, pois a sua função é realizar o mapeamento das pesquisas realizadas em um certo campo, com foco nas metodologias utilizadas e nos resultados alcançados. Não se trata de mensurar o impacto de certas publicações (como é normalmente o caso das abordagens bibliométricas), mas de cartografar uma área de pesquisa, consolidando os resultados e, principalmente, evidenciando quais são as conclusões predominantes, quais são os pontos de dissenso e quais são as lacunas de conhecimento (knowledge gaps) (Jesson e outros 2011) que podem ser enfrentadas por novas pesquisas .

Por mais que toda revisão de literatura organize sistematicamente as publicações mapeadas, a expressão revisão sistemática tem um sentido técnico: ela não é um estudo preparatório, mas ela é propriamente uma investigação, em que o objeto de pesquisa é um um campo de pesquisas (Jesson e outros 2011).

Essas revisões tendem a gerar artigos autônomos e a lidar com grandes conjuntos de informações (que chegam aos milhares de obras). Por se tratarem de investigações autônomas, essas revisões precisam evitar ainda com mais cuidado os vieses de seleção (especialmente, para evitar a localização apenas de textos com os quais o pesquisador tende a concordar e para garantir o caráter exaustivo do trabalho), o que exige abordagens metodologicamente bem planejadas.

O rigor dessas pesquisas explica o fato de que que Kahn e outros designam esse tipo de produção como um research article e não como um review article, pois trata-se propriamente de uma investigação metodologicamente determinada, que tem a peculiaridade de adotar como objeto outras produções acadêmicas. Todavia, revisões sistemáticas tendem a ser entendidas como review articles e não como research articles.

Há algumas décadas, revisões sistemáticas não eram trabalhos comuns. Porém, com a recente combinação de (i) uma multiplicação exponencial do número de publicações e (ii) a disponibilidade de softwares capazes de pesquisar os dados dessas publicações, fez com que a construção de revisões sistemáticas se tornasse um elemento fundamental para garantir a coesão de campos de estudo com ampla produção acadêmica (especialmente, com produção empírica ampla, que conduz a resultados colidentes e a interpretações divergentes dos dados).

No caso das dissertações de mestrado construídas como dois artigos concatenados, uma das combinações possíveis é iniciar o trabalho com uma revisão sistemática da literatura, o que seria apropriado caso os estudos preparatórios sugerissem a existência de incertezas e tensionamentos dentro da produção contemporânea. Nesse caso, o mapeamento da produção existente, feito de forma rigorosa, pode ser uma etapa necessária para encontrar as lacunas no campo que poderão dar margem à construção de problemas originais de pesquisa.

7.3 Meta-análises

Embora meta-análise signifique textualmente análises de análises, esse termo adquiriu um significado específico na epistemologia, especialmente de áreas experimentais.

As meta-análises são uma forma específica de revisão sistemática, caracterizada pelo uso que elas fazem dos resultados das pesquisas mapeadas pela revisão. Nas palavras de Jesson e outros:

Meta-analysis is a statistical technique which has been developed to combinequantitative results obtained from independent studies that have been published. (Jesson e outros 2011)

O pressuposto da meta-análise é a existência de uma pluralidade de pesquisas que avaliam o mesmo objeto, como ocorre tipicamente nas ciências médicas. No contexto da pandemia de Covid-19, muitos estudos foram feitos simultaneamente, para avaliar os impactos de uma série de drogas no tratamento da doença e de suas repercussões.

Cada um desses estudos é limitado em seu escopo, e essas limitações dificultam a generalização das conclusões. A meta-análise se utiliza de mecanismos estatísticos que permitem combinar os resultados de uma multiplicidade de pesquisas individuais, para tirar conclusões do conjunto dos dados compilados pela revisão sistemática.

Essa abordagem permite a construção de conjuntos de dados mais robustos do que os contidos em cada pesquisa particular, viabilizando conclusões cientificamente mais sólidas.

Dado o estado atual das pesquisas em direito, especialmente no Brasil, não parece viável a utilização de meta-análises, as quais somente oferecem conclusões interessantes na medida em que possibilitam combinar dados de uma multiplicidade de pesquisas empíricas (normalmente experimentais) sobre um mesmo objeto, o que não é o caso do contexto atual da pesquisa em direito. Mas é importante saber o que elas são, até para evitar chamar de meta-análises um artigo de revisão, por mais amplo que seja o seu objeto.

7.4 Artigo de Revisão

Um artigo de revisão é uma publicação autônoma, que veicula uma revisão de literatura. Essa revisão não precisa ser necessariamente sistemática, no sentido específico de que ela tem uma metodologia predefinida, pois esses artigos normalmente realizam uma descrição narrativa do campo científico mapeado pelo pesquisador.

Quando a revisão de literatura trata de um objeto suficientemente amplo e realiza um mapeamento especialmente complexo, ela pode representar uma contribuição efetiva para o campo estudado. Esse é o caso, por exemplo, do artigo de Arantes e Arguelhes intitulado Supremo: o estado da arte: pesquisas mapeiam as forças e as fraquezas do STF, do individualismo dos ministros à busca por transparência.

Esse tipo de mapeamento extensivo é um instrumento relevante para que as pessoas tenham uma visão de conjunto. Ele tende a poupar o trabalho de outros pesquisadores, na medida em que funcionam como revisões gerais de literatura, que podem ser citadas e incorporadas por outras pesquisas.

Como tudo na academia, esse tipo de trabalho precisa ser avaliado na sua relação com o ambiente no qual foi produzido. Quando um campo de pesquisa não está amadurecido, é comum que se multipliquem abordagens autônomas, sem o devido diálogo. Quando os conhecimentos estão dispersos, os mapeamentos feitos por review articles podem ser muito relevantes. Porém, em campos nos quais há mapeamentos constantes (veiculados em revisões de literatura publicadas em vários trabalhos), pode não ser relevante um trabalho que se dedique apenas a fazer a revisão de uma literatura que já foi revisada (a não ser se o resultado apresentado for inovador).

Quando há uma sedimentação maior de pesquisas, quando vão se tornando mais claras as metodologias úteis e as enganosas, o tipo de mapeamento exigido não será o de uma revisão de literatura construída narrativamente, mas de uma revisão sistemática com métodos claros. E quando o campo consolida a utilização de certas metodologias, os trabalhos podem se tornar tão acopláveis entre si que permitem a realização de meta-análises que combinem resultados de pesquisas independentes, gerando um conhecimento novo a partir dos dados combinados de investigações realizadas de forma autônoma.

Os artigos de revisão podem ser o núcleo de uma monografia de graduação ou de uma monografia de especialização, mas não é comum que eles sejam aceitos como a produção de um mestrado, visto que eles não têm densidade metodológica.

Inobstante, dentro de uma monografia pensada como uma combinação de dois artigos (como é a sugestão feita neste curso), é possível que o primeiro seja um review article que prepare o terreno para a realização de um artigo de pesquisa acoplado a ele. Porém, essa é uma escolha que deve ser feita com cuidado, já que os review articles são normalmente resultados de estudo e não de pesquisa. Assim, para que essa opção seja devidamente justificada, o mais adequado seria a realização de uma revisão sistemática, com uma metodologia predefinida.