24 Outubro 2019
A concessão do Prêmio do Banco da Suécia de Economia a Abhijit Banerjee, Esther Duflo e Michaël Kremer provoca entusiasmo. Concedê-lo a uma mulher, que é mais jovem comparada com a idade média dos laureados, é notável, tanto que o júri foi atrevido: é apenas a segunda vez que isso acontece em 50 anos. Além disso, este prêmio marca uma virada empírica da economia dominante que podemos saudar. Finalmente, a questão da pobreza – o tema de pesquisa desses três economistas – volta a ocupar um lugar de destaque. Só podemos nos alegrar.
O artigo é de Agnès Labrousse, professora de economia (CRIISEA, Universidade de Picardie-Jules Verne), e Arthur Jatteau, professor de economia e sociologia (Clersé, Universidade de Lille), publicado por Alternatives Économiques, 18-10-2019. A tradução é de André Langer.
Os trabalhos dos três premiados abrangem uma ampla gama de áreas (nutrição, educação, acesso ao crédito, etc.). Eles compartilham um método para o qual contribuíram amplamente para a sua popularização e que é bem recebido pelo Comitê do Banco da Suécia como justificativa para a concessão do prêmio: os experimentos aleatórios. Do que se trata?
Como nos ensaios clínicos “randomizados”, uma população é dividida em dois grupos, determinados por sorteio para garantir sua comparabilidade – desde que haja indivíduos suficientes na amostra, é provável que tenhamos grupos parecidos. Portanto, para medir o efeito de um “tratamento”, basta oferecê-lo a apenas um dos dois grupos (que chamamos de grupo teste), abstendo-se de dar qualquer coisa ao outro grupo (chamado de grupo controle). Ao final de um certo tempo, a comparação entre os dois permite determinar o efeito do tratamento.
Por exemplo, se queremos medir o impacto da distribuição gratuita de livros didáticos, como foi feito no Quênia, divide-se aleatoriamente um grupo de crianças em idade escolar em dois. Uns recebem os livros didáticos e outros não. No final de um ano letivo, basta submetê-los a testes de nível e comparar as médias de cada grupo para ver o efeito desse tratamento.
Este método, proclamam os seus defensores, os “randomistas”, tem a ambição de revolucionar as ciências econômicas e as políticas sociais, de tirá-las das correntes ideológicas, para trazê-las ao pragmatismo e à eficiência. Ao testar “o que funciona” com um rigor inigualável, a economia do desenvolvimento entraria na era da ciência.
No entanto, desde que prestemos atenção à implementação dos experimentos aleatórios em economia, parece que esse discurso da novidade e da cientificidade merece ser fortemente matizado. Muitos são os limites dos experimentos. Discutimos dez deles, sem a pretensão de exaustividade.
Quando recuamos um pouco no tempo para considerar a longa história das experimentações, parece que os psicólogos desempenharam um papel pioneiro no desenvolvimento de experimentos aleatórios, muito antes dos experimentos de Ronald Fisher em agronomia na década de 1930 e o advento dos ensaios clínicos em medicina a partir da década de 1940. A randomização foi praticada na década de 1920 nas ciências sociais antes que interviesse sua justificativa estatística ou que os ensaios clínicos lhe dessem uma legitimidade científica adicional.
Nos anos 1910, as temáticas educacionais e os estudantes eram os objetos privilegiados das experimentações. Em meados da década de 1920, ocorreu, em Chicago, o primeiro experimento social randomizado controlado em larga escala. Ele testa o impacto de uma campanha de informação – sobre datas e procedimentos de votação, redigidos na língua materna dos cidadãos – sobre a participação: seis mil cidadãos de diversas origens participam. Esses experimentos pioneiros correspondem amplamente, em suas modalidades e temas, aos experimentos contemporâneos.
Se os experimentos aleatórios não são novos nas ciências sociais, também não o são na economia. Em 1968, os experimentos fizeram uma entrada notável na disciplina com o lançamento do New Jersey Income Maintenance Experiment, sob o ímpeto de um doutorando do MIT, Heather Ross. Muitos outros seguirão, com orçamentos substanciais, a tal ponto que alguns falam de uma idade de ouro da avaliação aleatória. A moda passará na década de 1980.
Trinta anos mais tarde, é outra doutoranda em economia no MIT, Esther Duflo, que ajudará a fazer – e com que sucesso! – com que ocupem novamente um lugar de destaque. Mas essa nova onda de experimentos aleatórios ignorará amplamente os ganhos metodológicos, especialmente no que diz respeito aos limites, da primeira.
No papel, experimentos aleatórios podem aparecer como uma obrigação para isolar rigorosamente o efeito de um programa. No entanto, o respeito ao protocolo requer condições muito rígidas e difíceis de reunir na prática. Testados em campo, os experimentos encontram muitos problemas e necessitam de múltiplos expedientes que os afastam da pureza do discurso do método de alguns randomistas: ausência de seleção aleatória, problemas de permeabilidade entre grupos teste e controle, problemas de desgaste (isto é, perda do número de sujeitos sob experimentação) que frequentemente afetam os dois grupos de maneira diferente, “poluição” por uma outra intervenção realizada por uma ONG em um campo semelhante... Essas dificuldades e esses expedientes são sistematicamente ocultados ou diminuídos nas publicações acadêmicas que destacam o rigor do método. Se não anulam seu interesse, questionam sua superioridade.
No entanto, esses problemas não vêm de uma minoria de experimentos mal conduzidos, de algumas ovelhas negras: eles são estruturais. William Faulkner documenta-os para o experimento piloto mexicano Progresa/Oportunidades, onde o processo de amostragem em grupos passou por um quase experimento, onde o desgaste era muito forte e significativamente diferente entre grupos tratamento e controle, onde índices importantes de “contaminação” entre grupos podem ser descobertos. Quentin e Guérin constatam problemas semelhantes para o experimento Sky no Camboja, conduzido por uma prestigiada equipe de Berkeley. Morvant-Roux e seus coautores destacam-no para o experimento marroquino do microcrédito Al Amana, implementado pelo J- PAL. Ao final, um ex-assistente do J-PAL aponta que, na prática, os Randomized Controlled trials (ensaios clínicos randomizados) tornam-se Randomized out of control trials [ensaios clínicos randomizados fora do controle]!
Quando os dados são analisados novamente por outras equipes, levam, às vezes, a resultados diferentes. É o caso do experimento piloto do J-PAL, aquele sobre os vermífugos, de Miguel e Kremer (terceiro ganhador do prêmio). Este experimento levou à generalização dos vermífugos para aumentar a presença de crianças na sala de aula. Foi revisado por epidemiologistas da London School of Hygiene and Tropical Medicine em duas publicações do Journal of International Epidemiology. Ao recalcular os dados, eles encontraram várias inconsistências. E levam a um efeito indireto duas vezes menor do tratamento sobre a redução do absenteísmo escolar (3,9%), efeito que não é estatisticamente significativo. Ora, esse efeito indireto foi a principal justificativa para a eficácia desses programas.
A mesma equipe aponta outras deficiências e a presença de altos riscos de viés. Ela ressaltou que é particularmente delicado imputar a diminuição do absenteísmo a um efeito puro do vermífugo, porque esse tratamento vinha acompanhado de um programa de sensibilização para as questões de saúde. Este programa é potencialmente a causa do efeito, uma hipótese verossímil, dada a ausência de aumento de peso e tamanho das crianças tratadas.
No caso da experimentação do microcrédito em Al Amana, no Marrocos, uma replicação recente questiona os resultados publicados pelo J-PAL e mostra que os dados produzidos são de péssima qualidade. A validade interna dos experimentos é, portanto, questionável, embora continue sendo o principal argumento de venda para os randomistas.
Conforme observado por Angus Deaton (ele próprio ganhador do prêmio do Banco da Suécia em 2015), os experimentos aleatórios permitem eventualmente mostrar se um programa funciona ou não, mas não mostram por que (e como) funciona. Trata-se aqui de entender a diferença entre as provas de eficácia, que se referem ao impacto de um dispositivo, e as provas de causalidade, que revelam os mecanismos que levaram ao impacto (ou à sua ausência).
Tomemos o exemplo de um experimento aleatório para distribuir livros didáticos gratuitamente às crianças em idade escolar. Isso não deu certo: o grupo teste (aquele a quem foram entregues os livros didáticos) não obteve resultados significativamente melhores que o grupo controle. Por quê? Porque os livros não eram adaptados para os alunos? Os professores não sabiam como usá-los? Foi porque os alunos não sabiam como usá-lo? Como vemos, as razões podem ser numerosas. A prática de experimentos aleatórios de Esther Duflo e sua equipe não torna possível explicá-las.
Contudo, aos olhos dos políticos ou atores sociais a quem são remetidos os resultados desses experimentos, desvendar os mecanismos causais é um objetivo pelo menos tão importante quanto atestar a eficácia de um programa. É a esse preço que podemos realmente compreender a cadeia de efeitos que uma política pública entranha (e não apenas o seu resultado final). No caso em questão, várias pistas seriam úteis para o tomador de decisão público: melhorar a pedagogia dos livros didáticos, capacitar os professores para usá-los ou ainda explicar aos alunos como lidar com eles. Mas, para isso, ainda é necessário que esses diferentes elementos tenham sido trazidos à luz.
Como podemos explicar que os economistas que praticam os experimentos aleatórios finalmente se municiam de poucos meios para compreender os mecanismos causais em ação? A hipótese que podemos apresentar refere-se à compartimentação metodológica e disciplinar que eles exibem.
De fato, uma abordagem quantitativa tem precedência. Aos olhos de Esther Duflo e seus colegas, está claro que a natureza científica da economia requer o uso de “hard numbers”, ou seja, números rigorosos extraídos de experimentos. Os métodos qualitativos são deslegitimados e os randomistas fazem apenas um uso muito limitado deles, o que resultou em uma consideração relativa das realidades do campo. Mas, para entender o que realmente está acontecendo durante um experimento aleatório, nada melhor que “fazer no campo”, no sentido que dão a essa expressão as ciências sociais, ou seja, considerar o terreno como provedor de conhecimentos por si só, e não como um simples “campo de jogo estatístico”.
Para isso, dispomos principalmente de dois métodos bem conhecidos nas ciências sociais, mas negligenciados na economia dominante: a observação e a entrevista. A primeira fornece os meios para entrar minuciosamente no contexto e, mais especificamente, no curso efetivo de um experimento. O que realmente constituiu o “tratamento”? Em que contexto, em que ambiente o experimento ocorreu? A entrevista oferece a possibilidade de reconstruir o sentido dado pelos atores às suas ações e palavras, e, em particular, como eles compreenderam ou não o “tratamento”, como o consideram, etc. Isso deve fornecer uma descrição mais detalhada do que os questionários aos quais se restringem quase todos os experimentos aleatórios.
Na ausência de um estudo qualitativo, os experimentos podem dar origem a interpretações altamente questionáveis. O economista especialista em questões relativas à pobreza Martin Ravallion dá um exemplo impressionante a propósito do experimento Proemploi no México: “Cupons que dão direito a uma subvenção salarial foram dados aleatoriamente a indivíduos que participam de um programa de ajuda condicionada a uma obrigação de trabalho (workfare), com um grupo de controle. Em teoria, a subvenção, ao reduzir o custo do trabalho, deveria tornar a contratação mais atraente. A experimentação aleatória mostrou um efeito positivo. [...] Mas as entrevistas qualitativas de acompanhamento com as empresas e os trabalhadores indicaram que os cupons tinham valor de certificação para os trabalhadores pouco numerosos para os seus possuidores, uma espécie de “carta de recomendação” (ninguém sabia no nível local que esses cupons foram atribuídos aleatoriamente)”!
No experimento sobre o microcrédito no Marrocos, um estudo qualitativo independente mostrou que a organização de microcrédito Al Amana era percebida de acordo com as regiões como assimilada ao Estado central, como fonte de medo aqui, de ilegitimidade em outros lugares (“Dinheiro dos ladrões”) ou como uma organização de doação, e não de empréstimos. Compreender a percepção da organização, mas também as representações culturais dos atores sobre o crédito e a dívida é fundamental para compreender o porquê e o como do sucesso ou do fracasso de um dispositivo. Obviamente, não se trata de opor qualitativo e quantitativo, mas de mostrar que a negligência do primeiro e a obsessão do segundo, de que Duflo e seus colegas costumam dar demonstrações, cegam para processos causais importantes.
Um experimento aleatório envolve necessariamente um número relativamente pequeno de indivíduos (no máximo alguns milhares), em um determinado território, em um determinado tempo... Apresenta-se, portanto, a questão – que atravessa todas as ciências sociais – da generalização dos resultados que podemos tirar. Até que ponto eles seriam encontrados em outro contexto que não aquele em que foram obtidos? Por exemplo, a experiência de Jessica Cohen e Pascaline Dupas na distribuição gratuita de mosquiteiros produziu resultados positivos para a amostra em questão, localizada em uma determinada região do Quênia, com uma população específica (mulheres grávidas). Mas o que aconteceria cinco anos depois? Em outra região do Quênia? Em outro país? Aplicado a outro tipo de indivíduos? Fazer-se essas perguntas é perguntar-se até que ponto os resultados obtidos em um contexto podem ser obtidos em outro: é o que se chama validade externa.
Agora, a validade externa constitui um sério limite para os experimentos aleatórios, sem que seja exclusiva em outros lugares. Em relação ao exemplo dos mosquiteiros, Dani Rodrik observa que, com todo o rigor, não há nenhuma razão para pensar que os resultados sejam generalizáveis. Isso levanta a questão do próprio interesse desse tipo de método e do que pode nos ensinar.
Os randomistas respondem a esta objeção com a ideia da replicação. Trata-se de reproduzir um mesmo experimento em outro contexto. Se tal ideia pode ser interessante, não pode ser a solução milagrosa para o problema da validade externa. Com efeito, se admitirmos que uma replicação do estudo sobre mosquiteiros foi realizado em outro país, como isso nos ensina algo sobre um terceiro país? A replicação pode fornecer informações sobre o potencial de generalização, mas não fornece uma resposta definitiva.
Além disso, os randomistas tendem a supor que existem comportamentos específicos aos pobres (uma racionalidade dos pobres que justifica uma economia dos pobres) e a naturalizá-los. Seria suficiente implantar os incentivos e dispositivos certos para os pobres em todo o mundo. Esse pressuposto merece ser questionado, pois existe uma grande diversidade de comportamentos e de lógicas das populações pobres do Norte e do Sul.
Podemos criticar os randomistas por descontextualizar excessivamente os experimentos, por desenraizar seus dados, a exemplo de muitos economistas mainstream. No entanto, a inserção nos contextos sociais, culturais ou biofísicos específicos é um elemento essencial para a compreensão dos processos em ação e para a interpretação dos resultados experimentais.
Onde os ensaios clínicos randomizados praticados em medicina envolvem na grande maioria dos casos a distribuição de um placebo ao grupo controle, é mais delicado com os experimentos aleatórios praticados nas ciências sociais. Se quisermos medir o efeito da distribuição de livros didáticos para crianças em idade escolar ou empréstimos subsidiados para microempreendedores, que placebos podemos encontrar? Você não pode fazer livros escolares fictícios ou conceder empréstimos falsos!
A ausência quase sistemática de placebo no contexto dos experimentos aleatórios deve ser levada a sério, pois pode nuançar a própria validade do método. Além disso, é possível que o simples fato de os indivíduos serem incluídos em um experimento altere seu comportamento. Isso é o que chamamos nas ciências sociais de “efeito Hawthorne”. Um artigo em particular procurou demonstrá-lo e concluiu que estava longe de ser insignificante.
Outro pré-requisito nos ensaios clínicos está ausente dos experimentos em economia: o duplo-cego. Na medicina, o padrão é que os pacientes que participam do ensaio não saibam a que grupo pertencem (tratamento ou controle). Isso permite evitar certos vieses comportamentais (pode-se desejar, por exemplo, investir mais ou, ao contrário, desinvestir). Além disso, também é habitual que a equipe médica e paramédica envolvida no estudo ignore o status dos pacientes de que cuida. Isso evita que seja influenciada, porque muitas vezes quer que os resultados sejam conclusivos e, portanto, poderia ser tentada, mesmo inconscientemente, a se envolver com o grupo tratamento. De fato, no J-PAL, às vezes há uma confusão dos papéis daqueles que entram em contato com as populações: investigadores neutros ou trabalhadores humanitários pressionando pelo sucesso da intervenção? A fronteira é, às vezes, porosa e, talvez, mais facilmente atravessada quando se conhece o status (tratamento ou controle) das pessoas que se têm diante de si.
Tomemos a suma de Banerjee e Duflo, Repenser la pauvreté (Repensar a pobreza, Seuil, 2012), que resume todos os experimentos aleatórios conduzidos pelo J-PAL em todos os domínios. Uma análise textual destaca uma série de termos que não estão incluídos neste livro. Por exemplo, as questões relativas às políticas e aos fluxos macroeconômicos estão ausentes, assim como aquelas relativas ao meio ambiente, às desigualdades e às relações Norte-Sul, que são questões cruciais. O mesmo vale para questões mesoeconômicas (cadeias de valor, desenvolvimento setorial e territorial, etc.).
Isso não é surpreendente, porque essas questões não podem ser objeto dos experimentos aleatórios: não podemos testar experimentalmente uma política de ajuste estrutural, os efeitos redistributivos de uma política de redução das desigualdades, uma política industrial ou o desenvolvimento de um cluster. Os experimentos aleatórios têm pouco a nos dizer sobre o (mau) desenvolvimento da China, por exemplo, um país que contribuiu de maneira significativa com seu peso para a redução da pobreza no mundo. Eles se calam sobre as causas profundas da crise financeira de 2007-2008 e seus efeitos sobre as famílias pobres. Este também é o caso de questões microeconômicas importantes: aquelas relativas à organização da produção e da empresa, às dinâmicas da inovação ou aos processos de aprendizado em escala microeconômica. Os experimentos estão mal adaptados para capturar as dinâmicas dos fluxos como processos de mudança complexos e multifatoriais.
Os experimentos aleatórios são capazes de avaliar apenas medidas simples e não verdadeiros programas de ação social, que combinam diferentes medidas. Não se trata de políticas testadas, mas de medidas pontuais, muitas vezes muito diferentes dos programas implementados pelos poderes públicos ou por ONGs, programas cuja eficácia costuma ser a combinação de diferentes elementos.
Por exemplo, em matéria de saúde, foi uma combinação de medidas de autorreforço, uma abordagem integrada dos sistemas locais de saúde em Madagascar e Ruanda que permitiram melhorar significativamente a saúde das populações rurais. Ora, os ensaios clínicos são uma ferramenta para isolar o efeito puro de uma determinada ação, mas eles não compreendem as interações entre diferentes ações – do mesmo modo que são mal ajustados na medicina para a análise das interações medicamentosas, à exceção de alguns grandes testes muito caros.
Quando não se trata de medidas sem importância, mas de programas um pouco mais complexos que são testados (como no caso de um dispositivo de microcrédito na zona rural do Marrocos), os experimentos são de pouca ajuda. De fato, não se sabe o que realmente foi testado nos experimentos, sobre quais populações alvo e é difícil tirar conclusões robustas. O que está em jogo no fracasso do programa Al Amana? É a cota inicial alocada às mulheres? É o fato de ter primeiro concedido o crédito a grupos e não a indivíduos? É o cronograma de reembolsos transposto do microcrédito em zona urbana e que era pouco alinhado com o calendário agrário? O fato de o dispositivo ter evoluído significativamente ao longo do caminho aumenta a dificuldade.
Para continuarem a ser rigorosos, os experimentos aleatórios têm, portanto, uma relevância limitada aos “programas túneis”. Bernard, Delarue e Naudet estudaram de perto essas questões na Agência Francesa de Desenvolvimento (AFD) e especificam da seguinte maneira os pré-requisitos da randomização: o programa testado deve relacionar-se com “(i) um período coerente com a cadeia causal assumida, (ii) um número limitado de tratamentos, homogêneos e precisos, (iii) um processo de administração previamente testado, (iv) uma cadeia causal curta e independente de eventos externos, (v) uma apropriação rápida e estável ao longo do tempo pelos beneficiários do tratamento, (vi) uma participação ampla e estável ao longo do tempo dos beneficiários, e (vii) um conjunto de efeitos mensuráveis a curto ou médio prazo, que abrangem os principais aspectos do tratamento”.
Como muitas ações sociais se desviam desses pré-requisitos, o campo de relevância dos ensaios randomizados é, em última análise, muito limitado, mesmo no nível micro. É por isso que a AFD, após uma fase inicial de entusiasmo pelas avaliações aleatórias e depois de testá-las em campo (Al Amana era um desses testes), decidiu abandoná-las. Outro fator que entrou em jogo é o custo, geralmente muito alto, dos experimentos.
Os custos dos experimentos aleatórios são variáveis. Eles variam de algumas dezenas de milhares de euros a vários milhões para os mais caros, como aquela da carteira de motorista. Ainda temos que chegar a um acordo sobre o que entendemos por “custos”. Estamos falando apenas do custo do tratamento ou também estamos incorporando o custo de todas as pessoas envolvidas no processo de avaliação? No último caso, o custo dos experimentos aleatórios parecerá bem mais alto do que o que normalmente é apresentado.
Isso pode levar a situações às vezes absurdas, onde a avaliação custa mais do que o “tratamento”! Portanto, haveria dinheiro suficiente para ampliar o tratamento mais ainda. No entanto, se não houver um debate sobre o significado do efeito do tratamento (como é o caso da distribuição de medicamentos ou de vacinas ou do acesso a escolas próximas a áreas residenciais), podemos nos perguntar sobre as justificativas éticas que privariam conscientemente parte da população do tratamento, enquanto questões de custo não entram em consideração. Essa restrição de custo tem outra consequência importante: na prática, os experimentos geralmente ocorrem em um curto período de tempo (de seis meses a três anos), mesmo que o impacto de certos dispositivos leve tempo para se fazer sentir, ao passo que o de outros dispositivos diminui após um período de entusiasmo inicial.
Os experimentos concentram-se em objetivos intermediários considerados para servir ao desenvolvimento, como o aumento do uso de fertilizantes químicos pelos agricultores, uma vez que sua medida é facilmente objetivável. Os testes serão focados em diferentes dispositivos destinados a aumentar o uso desses fertilizantes por parte dos agricultores (quenianos).
Supõe-se que esse aumento no uso de fertilizantes seja um fator de desenvolvimento para os agricultores (objetivo final), através do aumento dos rendimentos que, por si só, se traduzem em um aumento dos rendimentos. No entanto, não há vínculo mecânico entre a consecução do objetivo intermediário e a do objetivo final: o aumento da oferta de produtos agrícolas pode, por exemplo, levar a preços mais baixos e, portanto, a renda agrícola menor. A importação de insumos caros pode ser uma fonte de desequilíbrios e dependência econômica, e seu uso intensivo pode contribuir para a degradação a longo prazo do equilíbrio microbiológico dos solos.
A relevância dos objetivos intermediários é insuficientemente debatida: eles são apresentados como dados (pelos especialistas) e as alternativas não são discutidas (como processos agroecológicos mais alinhados com as práticas agronômicas camponesas). Isso se inscreve em um paternalismo nudge, onde são os especialistas que sabem melhor do que os atores envolvidos o que é bom para eles. Este fenômeno é reforçado pelo financiamento do J-PAL por mega-fundações como a de Bill e Melinda Gates. Estes últimos dão uma confiança ilimitada às soluções tecnológicas, ao uso de fertilizantes ou de organismos geneticamente modificados (OGM) na África, sem considerar as alternativas.
A questão da relevância dos “tratamentos” para os “sujeitos” dos experimentos é uma questão crucial, muitas vezes deixada de lado. A busca por artigos publicáveis em periódicos de primeira linha pode levar a privilegiar tratamentos “originais” e “inéditos”, que têm maior probabilidade de atrair a atenção dos editores desses periódicos. Assim, aparece um viés de publicação na escolha dos tratamentos. Os principais periódicos (estadunidenses) podem, assim, ajudar a selecionar indiretamente as medidas aplicáveis às populações locais do Sul.
Como observa Martin Ravallion, “para o J-PAL, os experimentos randomizados não são simplesmente o suprassumo do cardápio dos métodos permitidos; são a única coisa que consta no cardápio!”
Seria lamentável se o tsunami experimental que vemos hoje na economia do desenvolvimento trouxesse consigo métodos comprovados nas ciências sociais e ignorasse décadas de trabalhos consagrados a essas questões, sob o pretexto de que essas produções seriam todas, por definição, menos rigorosas.
As temáticas centrais que não se prestam à experimentação permaneceriam em terreno não cultivado e outras seriam abordadas apenas pela ótica do randomizável. “Se a única ferramenta que você tem é um martelo, tudo começa a se parecer com um prego”, alertou Abraham Maslow. E isso pode ser ruim. Na economia, como em todas as disciplinas, não há panaceia metodológica. Isso foi notavelmente bem ilustrado pela primeira mulher a receber o prêmio do Banco da Suécia, uma grande praticante dos métodos mistos e da interdisciplinaridade, uma certa Elinor Ostrom.
FECHAR
Comunique à redação erros de português, de informação ou técnicos encontrados nesta página:
Os 10 limites do método Duflo - Instituto Humanitas Unisinos - IHU
Éric Jaffrain, consultor de marketing de organizações sem fins lucrativos, tendo criado o conceito de gift economy, a economi[...]
LER MAIS
