Printer Friendly

O ranking Brasileiro de pesquisa e os principios de Berlim para rankings de instituicoes de ensino superior/The Brazilian research ranking and the Berlin principles for rankings of higher education institutions.

RESUMO

Os rankings estao ganhando destaque como instrumentos de avaliacao das instituicoes de ensino superior. Nos ultimos anos, surgiram varios deles, tanto nacionais quanto internacionais. O Ranking Brasileiro de Pesquisa (BRR) foi lancado em 2014 no Brasil e mede o desempenho das instituicoes de pesquisa cientifica brasileiras. Usando um sofisticado conjunto de indicadores bibliometricos, o ranking tem como objetivo fornecer medicoes altamente precisas do impacto cientifico dessas organizacoes e de seu envolvimento na colaboracao cientifica. Sua fonte de dados e a base Web of Science, considerando publicacoes indexadas no periodo entre 2003 e 2012. No presente artigo, e analisado se o BRR segue as recomendacoes do documento "Principios de Berlim para Rankings de Instituicoes de Ensino Superior", elaborado em 2006 pelo Grupo Internacional de Especialistas em Rankings, que contem um conjunto de 16 diretrizes para orientar os produtores de rankings na elaboracao de suas classificacoes. O cotejo das caracteristicas do BRR com os Principios de Berlim mostrou que esse ranking esta perto de completar sua conformidade aos principios recomendados para rankings.

PALAVRAS-CHAVE: Rankings. Ranking Brasileiro de Pesquisa. Diretrizes. Principios de Berlim para Rankings de Instituicoes de Ensino Superior.

ABSTRACT

University rankings are gaining prominence as assessment tools of higher education institutions. In recent years there have emerged various rankings, either with national or international focus. The CWTS Brazilian Research Ranking (BRR) was launched in 2014 in Brazil and measures the performance of Brazilian scientific research institutions (not just universities). Using a sophisticated set of bibliometric indicators, this ranking aims to provide highly accurate measurements of the scientific impact of these organizations and their involvement in scientific collaboration, and its data source is the Web of Science database, considering indexed publications between 2003 and 2012. The aim of this paper is an analysis and a discussion if the BRR follows the recommendations from the document "Berlin Principles for Higher Education Institutions Rankings", published in 2006 by the International Rankings Expert Group, which contains a set of sixteen guidelines to guide producers in developing their rankings. The comparison of the BRR with the Berlin principles showed that this ranking is close to complete its accordance with the recommendations for rankings.

KEY-WORDS: Rankings. Brazilian Research Ranking. Guidelines. Berlin Principles for Rankings of Higher Education Institutions.

1 INTRODUCAO

O ensino superior atualmente experimenta um processo de massificacao, mercantilizacao e globalizacao (Shin, Toutkoushian & Teichler, 2011). De fato, recente relatorio publicado pela Organizacao das Nacoes Unidas para a Educacao, a Ciencia e a Cultura--United Nations Educational, Scientific and Cultural Organization--(Unesco, 2015) indica as tendencias e os desenvolvimentos em ciencia, tecnologia, politica de inovacao e governanca no periodo entre 2009 e meados de 2015, mostrando um continuo crescimento do ensino superior em nivel mundial: o numero de estudantes internacionais aumentou de 2,8 milhoes para 4,1 milhoes entre 2005 e 2013. Segundo o relatorio, a partir de 2012 cinco paises tinham mais de 10.000 de seus estudantes de doutorado no exterior: China (58.492 estudantes), India (30.291), Alemanha (13.606), Ira (12.180) e Republica da Coreia (11.925). Dez outros tiveram mais de 4.000 (Italia, Canada, EUA, Arabia Saudita, Indonesia, Franca, Vietna, Turquia, Paquistao e Brasil), projetando um forte impulso na globalizacao da educacao superior mundial. Na Figura 1, mostra-se que essa evolucao do crescimento da internacionalizacao do ensino superior e continua desde 1975.

[FIGURA 1 OMITTED]

Nesse cenario, os rankings universitarios ganham destaque como instrumentos de avaliacao e classificacao das universidades, principalmente apos o lancamento, em 2003, do primeiro ranking em ambito mundial, o Academic Ranking of World Universities (ARWU), tambem conhecido como Ranking de Shanghai, lancado pela Universidade Shanghai Jiao Tong, da China. Na sequencia, surgiram outros rankings mundiais, tais como o Times Higher Education World University Rankings (THE) e o Webometrics Rankings (WR), ambos lancados em 2004; o CWTS Leiden Ranking em 2007; o SCImago Institutions Rankings World Report (SIR) em 2009; e o Quacquarelli Symonds World University Rankings (QS) em 2010, entre outros. Esses sistemas ganham crescente importancia atual na sociedade, como sinalizadores de um paradigma de excelencia e qualidade de instituicoes de ensino superior (IES) no mundo globalizado.

Porem, rankings de universidades ja existiam antes das atuais versoes mundiais. O primeiro ranking universitario em ambito nacional, o America's Best Colleges, foi publicado nos Estados Unidos em 1983 pelo semanario U.S. News & World Report (Webster, 2001), tambem seguido de outros com escopo nacional, criados com o objetivo primario de orientar os estudantes estadunidenses na escolha da universidade para a continuacao de seus estudos apos o exame Scholastic Aptitude Test ou Scholastic Assessment Test (SAT)--um instrumento de admissao ao ensino superior dos EUA que permite ao estudante a escolha entre varias opcoes de universidades, simultaneamente (Almeida Filho, 2011).

A experiencia estadunidense inspirou a criacao de sistemas nacionais de classificacao de universidades por outros paises. Usher e Medow (2009) analisaram 22 rankings nacionais de 15 paises diferentes (Australia, Canada, Cazaquistao, Chile, China, Espanha, Estados Unidos, Holanda, Hong Kong, Italia, Peru, Polonia, Reino Unido, Taiwan e Ucrania), apontando sua proliferacao. O Brasil ja conta com dois rankings universitarios em nivel nacional: o Ranking Universitario da Folha (RUF, 2015), lancado pelo jornal Folha de S.Paulo em 2012 e ja na sua quinta edicao; e o Ranking Brasileiro de Pesquisa (CWTS Brazilian Research Ranking--BRR (2015), lancado em maio de 2014 e elaborado pelo Centro para Estudos de Ciencia e Tecnologia de Leiden (Centre for Science and Technology Studies, ou Centrum voor Wetenschap en Technologische Studies--CWTS), instituicao holandesa dedicada aos estudos e metricas de Ciencia e Tecnologia (C&T), ligada a Universidade de Leiden.

Tal expansao de rankings nacionais pode ser interpretada como uma reacao as classificacoes globais por paises cujas IES neles sao desconsideradas, ou mesmo para complementar aspectos nacionais e locais que nao figuram entre os criterios dessas listagens internacionais.

Com a crescente importancia do fenomeno dos rankings, evidenciando sua influencia em decisoes individuais no momento de optar por uma universidade, na reputacao de instituicoes ranqueadas e em politicas voltadas ao ensino superior--nao sem polemicas desencadeadas sobre as metodologias adotadas pelas diversas classificacoes--, surge o entendimento de que tais aparatos devem ser acompanhados, garantindo a devida atencao aos procedimentos eticos. Assim, a Organizacao das Nacoes Unidas para a Educacao, a Ciencia e a Cultura (United Nations Educational, Scientific and Cultural Organization--Unesco), em parceria com orgaos internacionais para a educacao, cria em 2004 o Grupo Internacional de Especialistas em Rankings (International Ranking Expert Group--IREG), que em 2006 elabora o documento "Principios de Berlim para Rankings de Instituicoes de Ensino Superior", um conjunto de 16 principios recomendados para nortear os produtores de rankings na qualidade e nas boas praticas na elaboracao de suas classificacoes de IES. Neste trabalho, analisa-se o Ranking Brasileiro de Pesquisa (BRR), com o objetivo de verificar sua conformidade aos Principios de Berlim.

2 METODOLOGIA

Para alcancar o objetivo proposto, procede-se a uma breve explanacao sobre os criterios considerados pelos rankings ao classificar universidades. A seguir, as caracteristicas do BRR sao descritas, bem como as diretrizes dos Principios de Berlim para rankings de instituicoes de ensino superior. As 16 diretrizes do documento sao entao cotejadas com as informacoes disponiveis do BRR, acompanhadas por analise e discussao, atribuindo-se uma pontuacao de conformidade a cada um dos principios de Berlim, por meio de uma adaptacao da Escala de Likert (Badri, Donald & Donna, 1995), com cinco scores que variam de "Nao se aplica" (NA), significando que o Principio de Berlim em questao nao e aplicavel ao BRR, nao valendo pontuacao; "Nao atende", em que o BRR nao cumpre com o requisito do principio, com valor de 0%; "Atende parcialmente", significando que existe alguma adesao do BRR ao principio relacionado, valendo 50%; "Atende", em que o requisito do principio e atendido pelo BRR, valendo 75%; e "Atende plenamente", quando o requisito do principio e atendido e superado, com valor de 100%. Por fim, os resultados sao consolidados para verificacao do nivel de conformidade do BRR aos Principios de Berlim para Rankings de Instituicoes de Ensino Superior.

3 OS CRITERIOS CONSIDERADOS PELOS RANKINGS DE UNIVERSIDADES

Segundo Shin (2011), os criterios considerados pelos rankings de universidades sao relacionados a dimensoes da eficacia institucional representadas em algumas medidas de indicadores de ambiente academico (campus life), ensino (teaching), producao de pesquisa (research) e reputacao (reputation). Ha rankings que, alem dessas dimensoes basicas, consideram outras dimensoes como a internacionalizacao das IES--dada a importancia da globalizacao e o intenso movimento transnacional de pessoal academico (estudantes e pesquisadores); a inovacao, caracterizada como a interface da universidade com a industria e pelo registro de patentes; e a presenca na Web, reconhecendo que o meio virtual tem papel cada vez mais importante na disseminacao do conhecimento gerado pelas universidades.

Os dados obtidos para ranquear as universidades podem ser internos as instituicoes--fornecidos pelas proprias universidades; ou externos--extraidos de bases de dados como a Web of Science (WoS) e a Scopus, para auferir o numero de publicacoes e o numero de citacoes atribuidas as instituicoes; e/ou atraves de pesquisas de opiniao junto a stakeholders, por exemplo. Verifica-se que na maioria das atuais classificacoes de universidades os criterios mais presentes sao aqueles relacionados a dimensao da pesquisa (research), valorizando aspectos da producao cientifica e tecnologica das instituicoes.

Para Shin e Toutkoushian (2011), e muito dificil estabelecer indicadores de certas dimensoes institucionais tais como a qualidade do ensino (teaching quality), fazendo com que a maioria dos rankings universitarios, especialmente os globais, dependa fortemente de medidas quantificaveis de desempenho institucional. Shin (2011) indica ainda que os rankings internacionais nao consideram dimensoes locais da efetividade das IES, pois tais aspectos configuram uma medida dificil de captar (principalmente em nivel mundial), devido as variabilidades das comunidades no entorno das universidades. Nesse sentido, os rankings nacionais ganham importancia ao situarem um contexto local de producao e impacto da atuacao das universidades, que sao desconsiderados em rankings globais. Sanz-Casado, Garcia-Zorita, Serrano Lopez, Efrain-Garcia e De Filippo (2013) apontam que os rankings nacionais possuem caracteristicas que os tornam mais apropriados para identificar e comparar atividades das IES de uma mesma regiao e pais.

4 O RANKING BRASILEIRO DE PESQUISA (CWTS BRAZILIAN RESEARCH RANKING--BRR)

O BRR e baseado na metodologia do global CWTS Leiden Ranking, e como este tambem se abstem de combinar arbitrariamente multiplas dimensoes do desempenho da universidade em um unico indicador agregado. O BRR tambem nao se baseia em dados fornecidos pelas proprias universidades, tampouco se utiliza de dados de pesquisa de opiniao (Waltman et al., 2012), comuns a muitos rankings. Assim, o BRR nao avalia dimensoes institucionais como reputacao, ambiente de ensino, etc., e classifica as instituicoes brasileiras em um conjunto de indicadores bibliometricos relacionados a producao cientifica organizada em duas dimensoes: Impacto e Colaboracao. As instituicoes de ensino superior brasileiras sao classificadas em redes publicas, privadas e especiais, de acordo com a classificacao brasileira do Ministerio da Educacao e Cultura (MEC). Alem de universidades, o BRR inclui institutos de investigacao, hospitais e organizacoes de economia mista (a exemplo da Petrobras). Seus indicadores sao tanto dependentes como independentes do tamanho das instituicoes, incluindo intervalos de estabilidade para as medidas independentes do tamanho (CWTS Brazilian Research Ranking, 2015).

A dimensao do Impacto considera os seguintes indicadores: Producao total (P), que se refere ao total da producao publicada das instituicoes indexada na WoS sob os criterios considerados pelo ranking; Quantidade de publicacoes nas revistas consideradas Top entre as 10% mais citadas ([P.sub.Top] 10%); Proporcao de 10% de publicacoes consideradas Top (Publication Proportion--[PP.sub.Top10%]), que se refere a proporcao de publicacoes de uma universidade que pertence as revistas entre as 10% mais citadas, em comparacao com outras publicacoes no mesmo campo e no mesmo ano; Media de Pontuacao da Citacao (Mean Citation Score--MCS), que e o numero medio de citacoes das publicacoes de uma universidade; e a Media de Pontuacao da Citacao Normalizada (Mean Normalized Citation Score--MNCS), que e o numero medio de citacoes das publicacoes de uma universidade, normalizada para as diferencas de campo e ano de publicacao.

Ja a dimensao Colaboracao Cientifica considera os seguintes indicadores: Proporcao de publicacoes interinstitucionais em colaboracao (PPcollab), relacionado a proporcao de publicacoes de uma universidade em coautoria com outras organizacoes; Proporcao de publicacoes em colaboracao internacional ([PP.sub.in]tcollab), relacionada as coautorias com dois ou mais paises; Proporcao de publicacoes de colaboracao da Universidade com a Industria ([PP.sub.collabU-I]), que refere-se as coautorias com um ou mais parceiros industriais; alem de considerar indicadores de distancia das colaboracoes (Mean Geographical Collaboration Distance--MGCD), com a Proporcao de publicacoes colaborativas de curta distancia (PP<100 km), considerando as publicacoes de uma universidade com uma distancia geografica de colaboracao menor que 100 km; e a Proporcao de publicacoes colaborativas de longa distancia (PP>1000 km), que e a proporcao de publicacoes de uma universidade com uma distancia geografica de colaboracao maior que 1000 km. O BRR, assim como o CWTS Leiden Ranking, nao pondera seus criterios, dada a sofisticada agregacao estatistica derivada dos indicadores MCS, MNCS e MGCD. No Quadro 1, sumarizam-se as dimensoes e os indicadores considerados pelo BRR.

5 OS PRINCIPIOS DE BERLIM SOBRE RANKINGS DE INSTITUICOES DE ENSINO SUPERIOR

A proliferacao dos rankings de universidades foi acompanhada por extensas e variadas controversias relacionadas a suas metodologias (Teichler, 2011). Tal situacao levou a Unesco, atraves de seu orgao subordinado Centro Europeu para o Ensino Superior (Centre Europeen pour l'Enseignement Superieur--CEPES), a tomar a iniciativa de reunir, em 2004, consultores ad-hoc e entidades colaboradoras, como a Associacao Universitaria Europeia (European University Association - EUA), o Instituto de Politica de Educacao Superior (Institute for Higher Education Policy), de Washington, DC, e o Centro de Desenvolvimento do Ensino Superior (Centrum fur Hochschulentwicklung--CHE) alemao, resultando na criacao do Grupo Internacional de Especialistas em Rankings (International Ranking Expert Group--IREG). Em 20 de maio de 2006, o IREG apresenta o documento "Principios de Berlim para Rankings de Instituicoes de Ensino Superior" (IREG, 2006)--um conjunto de 16 diretrizes para orientar os produtores de rankings na elaboracao de suas classificacoes com base em quatro categorias:

i. objetivos e metas dos rankings;

ii. metodologia adotada: escolha e peso dos indicadores;

iii. coleta e processamento de informacoes;

iv. apresentacao dos resultados no ranking.

As categorias dos Principios de Berlim sao detalhadas no Quadro 2.

6 Resultados: O BRR e os Principios de Berlim

As 16 diretrizes dos Principios de Berlim sobre Rankings de Instituicoes de Ensino Superior foram cotejadas com as informacoes disponiveis do BRR, acompanhadas por analise e discussao de acordo com as categorias do documento do IREG, sendo atribuido um score a conformidade do BRR ao requisito do principio, conforme indicado na Metodologia: "Nao se aplica" (NA); "Nao atende", com valor de 0%; "Atende parcialmente", valendo 50%; "Atende", com valor de 75%; e "Atende plenamente", com valor de 100%.

6.1 CATEGORIA: PROPOSITOS E OBJETIVOS

6.1.1 Principio 1

Ser uma entre varias diferentes abordagens para a avaliacao do ensino superior (IREG, 2006).

O BRR nao e a unica maneira pela qual as instituicoes de ensino superior brasileiras sao avaliadas, existindo outros instrumentos com essa finalidade, tanto governamentais quanto privados. No ambito governamental, as avaliacoes sao realizadas trienalmente pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anisio Teixeira (Inep), orgao do MEC. As avaliacoes sao fundamentadas na Lei no. 10.861, de 2004, que instituiu o Sistema Nacional de Avaliacao da Educacao Superior (Sinaes); e na Portaria Normativa no. 40, de 2007, Art. 33-B, que institui o e-MEC, sistema eletronico de fluxo de trabalho e gerenciamento de informacoes relativas aos processos de regulacao, avaliacao e supervisao da educacao superior. Os indicadores do Inep baseiam-se em tres parametros: I - de cursos superiores: atraves do Conceito Preliminar de Curso (CPC); II - de instituicoes de educacao superior: pelo Indice Geral de Cursos Avaliados da Instituicao (IGC); e III - de desempenho de estudantes: pelo conceito obtido a partir dos resultados do Exame Nacional de Desempenho de Estudantes (Enade). Alem disso, ha tambem a avaliacao dos cursos de posgraduacao no pais pela Coordenacao de Aperfeicoamento de Pessoal de Nivel Superior (Capes).

Outro instrumento, dessa vez privado, de avaliacao das IES brasileiras e o Ranking Universitario da Folha (RUF), lancado pelo jornal Folha de S.Paulo em 2012 e atualmente na sua quinta edicao. O RUF classifica as IES brasileiras a partir de dois focos: o ranking de universidades e o ranking de cursos. A versao relacionada as universidades considera 195 universidades publicas e privadas avaliadas por meio de cinco dimensoes com pesos especificos (Folha de S.Paulo, 2016).

BRR Score: Atende (75%).

6.1.2 Principio 2

Ser claros quanto ao proposito e ao publico ao qual estao dirigidos (IREG, 2006).

Na pagina de abertura de seu site oficial, o BRR indica de forma explicita seu objetivo: "Fornecer medicoes altamente precisas do impacto principalmente cientifico destas organizacoes e do seu envolvimento na colaboracao cientifica" (CWTS Brazilian Research Ranking, 2015). Na mesma pagina inicial, o BRR tambem indica o publico-alvo do ranking--todos os atores envolvidos com a avaliacao da pesquisa brasileira:
Brazil is an important fast growing country in science. As a result
research evaluation is gaining importance. Bibliometric indicators can
be supportive in that process. With this initiative CWTS wishes to
contribute to this task providing methodology as well as results based
on many years of experience in this area (CWTS Brazilian Research
Ranking, 2015).


BRR Score: Atende (75%).

6.1.3 Principio 3

Reconhecer a diversidade das instituicoes e levar em conta diferentes missoes e objetivos (IREG, 2006).

Segundo Vogel, Milanez, Noyons, Kobashi & Faria (2014), o CWTS Leiden contou com a colaboracao de dois pesquisadores brasileiros em sua equipe de elaboracao do BRR, no processo de normalizacao de nomes, na classificacao das organizacoes e em outros aspectos do ranking. O BRR considera a diversidade das instituicoes de acordo com a categorizacao do proprio MEC, classificando universidades publicas, privadas e especiais e institutos de pesquisa, estabelecimentos hospitalares em geral e universitarios e organizacoes de capital misto (a exemplo da Petrobras) (CWTS Brazilian Research Ranking, 2015).

BRR Score: Atende (75%).

6.1.4 Principio 4

Ser claros sobre as fontes de informacao e seu significado (IREG, 2006).

O BRR 2014 indica que sua fonte e a base de dados Web of Science (WoS) da empresa Thomson Reuters, localizada na Filadelfia, EUA; e considerando publicacoes indexadas entre 2003 e 2012 (CWTS Brazilian Research Ranking, 2015). A WoS reune as antigas bases do Institute for Scientific Information (ISI) depois de sua aquisicao pela Thomson Reuters nos anos 1990: Science Citation Index Expanded (SCI), Social Sciences Citation Index (SSCI) e Arts & Humanities Citation Index (AHCI). Em setembro de 2014, a WoS apresentava 90 milhoes de registros, incluindo mais de um bilhao de referencias citadas (Thomson Reuters, 2014). A WoS e considerada uma base de dados prestigiada (Cavacini, 2015), mas ha criticas por sua restricao de indexacao de titulos de revistas e de areas de pesquisa (Hood & Wilson, 2001).

BRR Score: Atende (75%).

6.1.5 Principio 5

Especificar os contextos linguistico, cultural, economico e historico do sistema avaliado (IREG, 2006).

Este principio assemelha-se ao 3[degrees] anteriormente citado, no reconhecimento da diversidade das instituicoes, com seus diferentes contextos. O BRR e baseado na metodologia do global CWTS Leiden Ranking, que mesmo em ambito mundial preve a analise de diferentes instituicoes por meio de suas caracteristicas e dimensoes semelhantes, de acordo com seu arranjo no pais de origem (Vogel et al., 2014). Essa forma de avaliar aproxima instituicoes parecidas umas com as outras em termos de missao e tipologia institucional, sendo mais judiciosa em relacao a diversidade de instituicoes e sistemas existentes (instituicoes publicas e privadas, organizacoes de pesquisa--mesmo aquelas de capital misto, e hospitais universitarios), alem de classificar os componentes, grupos e afiliacoes, em sete diferentes areas do conhecimento, considerando tal diversidade.

BRR Score: Atende (75%).

6.2 CATEGORIA: METODOLOGIAS

6.2.1 Principio 6

Deve haver transparencia da metodologia (IREG, 2006).

A metodologia do BRR e disponibilizada publicamente no site do ranking (CWTS Brazilian Research Ranking, 2015), no idioma ingles. No idioma portugues, ha o trabalho de Vogel et al. (2014) tambem documentando a metodologia do BRR. E como ja indicado, essa metodologia e baseada no CWTS Leiden Ranking--tambem ja documentada por Waltman et al. (2012). A extensa discussao metodologica que precedeu o lancamento do CWTS Leiden Ranking igualmente foi documentada por Waltman et al. (2011a, 2011b) e Waltman e Schereiber (2013).

BRR Score: Atende plenamente (100%).

6.2.2 Principio 7

Escolha de indicadores de acordo com sua relevancia e validade (IREG, 2006).

Como ja indicado no principio 6 anterior, a metodologia do BRR, baseada no CWTS Leiden Ranking, e fundamentada em extenso trabalho de discussao e analise metodologica--incluindo o calculo dos indicadores e estabelecendo sua relevancia e validade--, empreendida pelos pesquisadores ligados ao Centro de Estudos de Ciencia e Tecnologia de Leiden (CWTS Leiden), da Universidade de Leiden, Holanda (Waltman et al., 2011a, 2011b; Waltman et al., 2012; Waltman & Schreiber, 2013).

O BRR adota sofisticadas mensuracoes estatisticas considerando contagem completa (full counting); contagem fracionada (fractional counting); contagem com dependencia ou independencia do tamanho da instituicao; alem de atribuir um intervalo de idade dos dados por meio da tecnica estatistica conhecida como bootstrapping, que distribui mais equitativamente o peso de publicacoes colaborativas; e tambem normaliza os pesos dos indicadores de impacto por area--o BRR considera sete diferentes areas para sua classificacao. Todas essas medicoes tornam possivel a comparacao de diferentes instituicoes em diferentes campos (CWTS Brazilian Research Ranking, 2015).

BRR Score: Atende plenamente (100%).

6.2.3 Principio 8

Preferencia por mensurar resultados (IREG, 2006).

O BRR e explicito em seus objetivos: "Fornecer medicoes altamente precisas do impacto principalmente cientifico destas organizacoes e do seu envolvimento na colaboracao cientifica" (CWTS Brazilian Research Ranking, 2015). O BRR avalia aspectos mais especificos das instituicoes, relacionados com seu desempenho cientifico: seu resultado na producao e na colaboracao cientifica.

BRR Score: Atende plenamente (100%).

6.2.3 Principio 9

Destaque para os pesos atribuidos aos indicadores (se usados) e limitacao das mudancas feitas neles (IREG, 2006).

Este principio relaciona-se a diversas criticas recebidas pelos rankings devido as variabilidades existentes nas ponderacoes, de forma nem sempre clara (Buela-Casal, Gutierrez-Martinez, Bermudez-Sanchez & Vadillo-Munoz, 2007;). O BRR, tal como o CWTS Leiden Ranking, nao atribui pesos a seus indicadores, pois, conforme ja indicado, adota um conjunto de sofisticadas analises estatisticas que prescinde de hierarquia determinada por pesos atribuidos. O proprio calculo estatistico empreendido pelo ranking --considerando a contagem completa (full counting), a contagem fracionada (fractional counting), a contagem com dependencia ou independencia do tamanho da organizacao (na opcao de parametros avancada do ranking), alem do intervalo de estabilidade dos dados--ja posiciona as instituicoes de acordo com a caracteristica escolhida para se avaliar (CWTS Brazilian Research Ranking, 2015).

BRR Score: Nao se Aplica (NA).

6.2.3 Principio 10

Devem-se respeitar os padroes eticos e as recomendacoes de boas praticas destes Principios (IREG, 2006).

O esforco do BRR para alcancar uma metodologia a mais objetiva e imparcial possivel para a avaliacao das organizacoes de ensino superior e de pesquisa brasileiras, tal como esta implicito em seus objetivos (CWTS Brazilian Research Ranking, 2015), de forma transparente e documentada, esta alinhado as boas praticas recomendadas e aos padroes eticos indicados pelos Principios de Berlim para Rankings.

BRR Score: Atende (75%).

6.3 CATEGORIA: COLETA E TRATAMENTO DE DADOS

6.3.1 Principio 11

Usar informacoes auditaveis e verificaveis sempre que possivel (IREG, 2006).

Como ja indicado, a origem dos dados utilizados pelo BRR para avaliar as instituicoes brasileiras e a bem estabelecida base de dados WoS, da Thomson Reuters. E uma fonte externa as instituicoes e, embora seja uma fonte de dados restrita, no Brasil e acessivel atraves do Portal de Periodicos da Capes (2015) por instituicoes cadastradas, o que permite seu acesso a qualquer tempo para a devida verificacao dos dados ali coletados. No entanto, o BRR ressalta em seu site que a atribuicao de publicacoes para organizacoes de pesquisa nao esta livre de erros, devido a inconsistencias (embora minimas) inerentes a propria fonte de coleta em relacao ao registro dos enderecos institucionais na base de dados. A confiabilidade da base de dados e diretamente proporcional a confiabilidade dos resultados do ranking.

BRR Score: Atende (75%).

6.3.2 Principio 12

Incluir informacoes obtidas conforme os procedimentos adequados a coleta cientifica de dados (IREG, 2006).

Conforme ja indicado, a fonte de coleta de dados do BRR e a base de dados WoS, considerando todo o conjunto de bases que a compoem: Science Citation Index Expanded (SCI), Social Sciences Citation Index (SSCI) e Arts & Humanities Citation Index (AHCI). A coleta de dados baseou-se nas publicacoes do tipo artigo (article) e artigo de revisao (review) com origem institucional do Brasil (atraves do endereco de afiliacao indicado nas publicacoes), indexadas na WoS durante o periodo de 2003 a 2012; e considerando apenas o nucleo (core) dessas publicacoes: caracterizadas por seu escopo internacional, por publicarem em ingles e por apresentarem um volume de referencias suficientes em relacao ao nucleo de periodicos da base WoS. Esses requisitos excluem cerca de 16% dos periodicos, principalmente aqueles da area de ciencias humanas, periodicos comerciais e revistas populares (Vogel et al., 2014; CWTS Brazilian Research Ranking, 2015).

BRR Score: Atende plenamente (100%).

6.3.3 Principio 13

Aplicar medidas de garantia de qualidade aos processos do proprio ranking (IREG, 2006).

A qualidade dos processos do BRR e indicada pela descricao pormenorizada de sua metodologia, seja na coleta dos dados, seja na identificacao das instituicoes avaliadas, seja nos indicadores adotados, sistematizados pelo CWTS Leiden no objetivo de desenvolver uma metodologia valida (Waltman et al., 2012; CWTS Brazilian Research Ranking, 2015).

BRR Score: Atende plenamente (100%).

6.3.4 Principio 14

Aplicar medidas organizacionais para aprimorar a credibilidade (IREG, 2006).

O BRR e um produto do CWTS Leiden, que adota principios e regras fundamentados em rigorosa metodologia cientifica na sistematizacao de seus produtos e servicos, que sao focados em tres eixos: Monitoramento e Avaliacao (Monitoring & Evaluation), com estudos, indicadores e dados (a exemplo dos rankings CWTS Leiden Ranking e BRR, e relatorios e analises encomendados por instituicoes governamentais e outros publicos); Analise Avancada (Advanced Analytics) por meio de aplicacoes e ferramentas desenvolvidas pela instituicao e disponibilizadas ao publico (a exemplo da ferramenta de visualizacao VOS Viewer, desenvolvida pela instituicao; e Treinamento e Educacao (Training & Education), oferecendo ao publico cursos em analise bibliometrica para a gestao e avaliacao da pesquisa.

Deve-se mencionar que tanto para o global CWTS Leiden Ranking como para o Ranking Brasileiro de Pesquisa, o CWTS Leiden considera como possibilidade a auditoria do IREG--que, em 2009, ja denominado como IREG Observatory on Academic Ranking and Excellence, ou simplesmente IREG Observatory, criou uma auditoria com o proposito de certificar os rankings que seguem as boas praticas preconizadas pelos Principios de Berlim e atribui um selo de certificacao as listagens auditadas e conformes (IREG, 2009).

BRR Score: Atende (75%).

6.4 CATEGORIA: APRESENTACAO DOS RESULTADOS DO RANKING

6.4.1 Principio 15

O ranking deve proporcionar aos consumidores uma compreensao clara de todos os fatores usados em sua elaboracao e oferecer escolhas na forma de apresentacao (IREG, 2006).

O BRR e detalhadamente apresentado em seu site oficial, e sua metodologia, como ja indicado nos principios 6 e 7 anteriores, e extensamente explicada pela literatura (Waltman et al., 2011a; 2011b; Waltman et al., 2012; Waltman & Schreiber, 2013).

Em seu site, o BRR indica as varias formas de proceder a pesquisa das instituicoes no BRR, e Vogel et al. (2014) mostram pormenorizadamente, por meio de exemplos concretos, como "ler" o BRR. Talvez a dificuldade de entendimento dos resultados do BRR se deva a sofisticacao das medidas estatisticas adotadas, o que requer do publico interessado a necessaria compreensao do significado dos indicadores e como eles sao aplicados pelo BRR.

Um ponto importante a ser trabalhado pelo CWTS Leiden refere-se a dispor as informacoes sobre o BRR em seu site tambem em portugues, considerando o publico falante desse idioma, ja que e um ranking focado em instituicoes brasileiras.

BRR Score: Atende parcialmente (50%).

6.4.2 Principio 16

Ser compilado de modo a eliminar ou reduzir erros nos dados originais e ser organizado e apresentado de forma tal que erros e falhas possam ser corrigidos (IREG, 2006).

Este principio e, de certa forma, sobreposto aos principios relacionados na categoria Metodologias e na categoria Coleta e Tratamento de Dados dos Principios de Berlim--ja cotejados anteriormente com as caracteristicas do BRR que discutem a fonte de dados utilizada, a metodologia adotada e todos os demais procedimentos voltados a garantia da confiabilidade do ranking, inclusive considerando erros (mais relacionados as inconsistencias dos dados extraidos de bases de dados).

BRR Score: Atende plenamente (100%).

Os scores atribuidos ao BRR de acordo com a sua conformidade a cada um dos 16 Principios de Berlim sao consolidados na Tabela 1.

Percebe-se que a conformidade do BRR predomina em "Atende" (com valor de 75% de conformidade) em oito dos Principios de Berlim, sendo a maioria na categoria Objetivos e metas dos rankings, em que o BRR esta conforme em todos os requisitos; seguido de "Atende completamente", com 100% de conformidade, em tres principios da categoria Metodologia dos rankings, e o 9[degrees] principio dessa categoria--sobre os pesos atribuidos aos indicadores dos rankings--nao se aplica, uma vez que o BRR nao adota ponderacoes em seus indicadores. O BRR tambem atinge 100% de conformidade em dois principios da categoria Coleta e tratamento dos dados; e ainda em um principio da categoria Apresentacao de resultados. O unico principio em que a conformidade do BRR figurou como "Atende parcialmente" refere-se ao 16[degrees] da categoria Apresentacao de resultados, devido a percepcao da necessidade de o BRR manter tambem uma interface em portugues no seu site, que atualmente e somente em ingles. O BRR nao figurou em nenhum score "Nao atende". Os resultados indicam que o BRR adere a quase totalidade dos Principios de Berlim para Rankings de Instituicoes de Ensino Superior, em conformidade com a maioria dos principios.

7 CONSIDERACOES FINAIS

O recente surgimento dos rankings internacionais monopolizou atencoes ao sinalizar padroes de excelencia e qualidade do Ensino Superior, causando impacto nos stakeholders--comunidade academica, orgaos gestores de politicas publicas, agencias de fomento e mesmo a sociedade, por meio da reputacao e expressao da opiniao publica, refletida nas escolhas para ingresso no ensino superior. Entretanto, a percepcao atribuida aos rankings como fontes incontestaveis de indicacao de excelencia e qualidade institucional das IES nao esta livre de controversias. Conceitos, dimensoes, indicadores, metodos de analise de informacoes e dados, abrangencia, bem como seus efeitos tem sido alvo de amplas discussoes.

Nesse sentido, a criacao de um conjunto de diretrizes para nortear a elaboracao de rankings de forma transparente e etica e uma iniciativa pertinente e bem-vinda, apoiando a melhoria continua e o aperfeicoamento das metodologias utilizadas nas diversas classificacoes.

Neste trabalho, o objetivo foi verificar a adequacao do Ranking Brasileiro de Pesquisa (BRR), aos principios para rankings exortados pelo IREG, uma vez que a sistematizacao do BRR nao e um empreendimento acabado e definitivo, mas, sim, um esforco de melhoria continua, considerando nao so o rigor metodologico aplicado a seus procedimentos, mas tambem os principios eticos requeridos e esperados de sistemas de classificacao de instituicoes de ensino superior e de pesquisa, aumentando sua confiabilidade. O cotejo realizado com os Principios de Berlim para Rankings de Instituicoes de Ensino Superior mostrou que o BRR apresentase na conformidade "Atende" em oito dos principios e em "Atende plenamente" em seis dos principios, indicando que a quase totalidade de suas caracteristicas esta adequada as 16 recomendacoes indicadas.

8 REFERENCIAS

Almeida Filho, N. (2011). Rankings, vikings, masters & colleges: dilemas da universidade brasileira no contexto da internacionalizacao. Conferencia ministrada no Instituto de Estudos Avancados da Universidade de Sao Paulo, em 25 de abril de 2011. 16 p. [impresso].

Badri, M. A., Donald, D., & Donna, D. (1995). A study of measuring the critical factors of quality management. International Journal of Quality & Reliability Management, 12(20), 36-53.

Buela-Casal, G., Gutierrez-Martinez, O., Bermudez-Sanchez, M. P., & Vadillo-Munoz, O. (2007). Comparative study of international academic rankings of universities. Scientometrics, 71(3), 349-365.

Cavacini, A. (2015). What is the best database for computer science journal articles?. Scientometrics, 102(3), 2059-2071.

CWTS Brazilian Research Ranking. (2015). Methodology. Leiden: CWTS. Recuperado em 9 de outubro, 2015 de http://brr.cwts.nl/methodology

Folha de S. Paulo (2016). Como e feito o Ranking de. Sao Paulo: Folha de Sao Paulo. Recuperado em 25 de setembro, 2016, de http://ruf.folha.uol.com.br/2016/o-ruf/ranking-universidades/

Hood, W. W., & Wilson, C. S. (2001). The scatter of documents over databases in different subject domains: how many databases are needed? Journal of the American Society for Information Science and Technology, 52(14), 1242-1254.

International Ranking Expert Group - IREG. (2006). Principios de Berlim para Rankings de Instituicoes de Ensino Superior. Berlim: IREG. Recuperado em 10 de outubro, 2015, de http://www.iregobservatory.org/index.php?option=com content&task=view&id=41&Itemid=48

International Ranking Expert Group - IREG. (2009). IREG ranking audit: purpose, criteria and procedure. Berlim: IREG Observatory. Recuperado em 20 de outubro, 2015, de http://www.unesco.org/new/fileadmin/MULTIMEDIA/HQ/ED/pdf/RANKINGS/Sadlak IREG.pdf

Lei n. 10.861, de 14 de abril de 2004 (2004). Institui o Sistema Nacional de Avaliacao da Educacao Superior--Sinaes e da outras providencias. Diario Oficial da Uniao, 72, Secao 1.

Portal de Periodicos da Capes. (2015). Recuperado em 2 de outubro, 2015, de http://www-periodicos-capes-gov-br.ez67.periodicos.capes.gov.br/

Portaria Normativa n. 40, de 12 de dezembro de 2007 (2010, 29 de dezembro). Institui o e-MEC, sistema eletronico de fluxo de trabalho e gerenciamento de informacoes relativas aos processos de regulacao, avaliacao e supervisao da educacao superior no sistema federal de educacao, e o Cadastro e-MEC de Instituicoes e Cursos Superiores e consolida disposicoes sobre indicadores de qualidade, banco de avaliadores (Basis) e o Exame Nacional de Desempenho de Estudantes (ENADE) e outras disposicoes. Diario Oficial da Uniao, 249, Secao 1. [republicacao do original de 2007].

Ranking Universitario da Folha (2016). Recuperado em 25 de setembro, 2016, de http://ruf.folha.uol.com.br/2016/o-ruf/ranking-universidades/

Sanz-Casado, E., Garcia-Zorita, C., Serrano Lopez, A. E., Efrain-Garcia, P., & De Filippo, D. (2013). Rankings nacionales elaborados a partir de multiples indicadores frente a los de indices sinteticos. Revista Espanola de Documentacion Cientifica, 36(3), 1-18.

Shin, J. C. (2011). Organizational effectiveness and university rankings. In J. C. Shin, R. K. Toutkoushian, & U. Teichler. (Eds.), University rankings: theoretical basis, methodology and impacts on global higher education (pp. 19-34). Houten: Springer.

Shin, J. C., Toutkoushian, R. K., & Teichler, U. (Eds.). (2011). University rankings: theoretical basis, methodology and impacts on global higher education. Houten: Springer.

Shin, J. C., & Toutkoushian, R. K. (2011). The past, present, and future of university rankings. In J. C. Shin, R. K. Toutkoushian, & U. Teichler. (Eds.), University rankings: theoretical basis, methodology and impacts on global higher education (pp. 1-16). Houten: Springer.

Thomson Reuters. (2014). Web of Science. Recuperado em 15 de outubro, 2015, de http://wokinfo.com/citationconnection/

Teichler, U. (2011). Social contexts and systemic consequence of university rankings: a meta-analysis of the ranking literature. In J. C. Shin, R. K. Toutkoushian, & U. Teichler. (Eds.), University rankings: theoretical basis, methodology and impacts on global higher education (pp. 55-69). Houten: Springer.

United Nations Educational, Scientific and Cultural Organization--Unesco. (2015). Unesco Science Report: towards 2030. Paris: Unesco. 795 p. Recuperado em 11 de novembro, 2015, de http://unesdoc.unesco.org/images/0023/002354/235406e.pdf

Usher, A., & Medow, J. (2009). A global survey of university rankings and league tables. In B. M. Kehm, & B. Stensaker (Eds.), University rankings, diversity, and the new landscape of higher education (pp. 3-18). Rotterdam: Sense Publishers.

Vogel, M. J. M., Milanez, D. H., Noyons, E., Kobashi, N. Y., & Faria, L I. L (2014). Como ler um ranking: a proposta do Brazilian Research Ranking. In XV Encontro Nacional de Pesquisa em Ciencia da Informacao (p. 3422-3438). Belo Horizonte: UFMG. Recuperado em 10 de outubro, 2015, de http://enancib2014.eci.ufmg.br/documentos/anais/anais-gt7

Waltman, L., van Eck, N. J., van Leeuwen, T. N., Visser, M. S., & van Raan, A. F. J. (2011a). Towards a new crown indicator: some theoretical considerations. Journal of Informetrics, 5(1), p. 37-47.

Waltman, L., van Eck, N. J., van Leeuwen, T. N., Visser, M. S., & van Raan, A. F. J. (2011b). Towards a new crown indicator: an empirical analysis. Scientometrics, 87(3), 467-481.

Waltman, L., Calero-Medina, C., Kosten, J., Noyons, E. C. M., Tijssen, R. J.W., et al. (2012). The Leiden Ranking 2011/2012: data collection, indicators, and interpretation. Journal of the American Society for Information Science and Technology, 63(12), 2419-2432.

Waltman, L. & Schreiber, M. (2013). On the calculation of percentile-based bibliometric indicators. Journal of the American Society for Information Science and Technology, 64(2), 372-379.

Webster, T. J. (2001). A principal component analysis of the US News & World Report tier rankings of colleges and universities. Economics of Education Review, 20(3), 235-244.

Sibele Fausto

Bibliotecaria da Universidade de Sao Paulo (USP), Brasil

sifausto@usp.br

Clara Calero-Medina

Pesquisadora do Centro de Estudos de Ciencia e Tecnologia da Universidade de Leiden,

Holanda

clara@cwts.leidenuniv.nl

Ed Noyons

Pesquisador do Centro de Estudos de Ciencia e Tecnologia da Universidade de Leiden,

Holanda

noyons@cwts.leidenuniv.nl

Recebido em: 23/11/2015 Aprovado em: 20/08/2016
Quadro 1: Dimensoes e indicadores do BRR

Dimensao      Indicadores

              P - Producao total
              [P.sub.Top 10%] - Quantidade de publicacao entre as Top
              10%
Impacto       [PP.sub.Top10%] - Proporcao de 10% de publicacoes Top
              MCS--Media de Pontuacao da Citacao
              MNCS--Media de Pontuacao da Citacao
              Normalizada
              [PP.sub.collab] - Proporcao de publicacoes
              interinstitucionais em colaboracao
              [PP.sub.intcollab] - Proporcao de publicacoes em
              colaboracao internacional
              [PP.sub.collabUI] - Proporcao de publicacoes de
              colaboracao
Colaboracao   da Universidade com a Industria
              [PP.sub.< 100 km] - Proporcao de publicacoes colaborativas
              de curta distancia
              [PP.sub.> 1000 km] - Proporcao de publicacoes
              colaborativas de longa distancia

Fonte: CWTS Brazilian Research Ranking, 2015

Quadro 2: Principios de Berlim para rankings de Instituicoes de Ensino
Superior

Categorias      Principios

Objetivos e     1. Ser uma entre varias diferentes abordagens para a
Metas dos       avaliacao do ensino superior. Rankings podem fornecer
Rankings        informacoes comparativas e melhor compreensao do ensino
                superior, mas nao devem ser o principal metodo para
                avaliar uma instituicao de ensino superior. Rankings
                fornecem uma perspectiva baseada no mercado que pode
                complementar o trabalho do governo, das instituicoes de
                acreditacao e das agencias de avaliacao independentes.
                2. Ser claros quanto ao proposito e ao publico ao qual
                estao dirigidos. Os indicadores utilizados para atender
                a um objetivo especifico ou para informar um
                publico-alvo podem nao ser adequados para diferentes
                fins, ou grupos-alvo.
                3. Reconhecer a diversidade das instituicoes e levar em
                conta diferentes missoes e objetivos. Medidas de
                qualidade para as instituicoes voltadas para a pesquisa,
                por exemplo, sao bastante diferentes daquelas
                apropriadas para as instituicoes que oferecem amplo
                acesso as comunidades carentes. As instituicoes que
                estao sendo classificadas e os peritos que assistem ao
                processo de classificacao devem ser consultados
                frequentemente.
                4. Ser claros sobre as fontes de informacao e seu
                significado. A relevancia dos resultados de
                classificacao depende do publico que recebe as
                informacoes e das fontes dessas informacoes (tais como
                bases de dados, alunos, professores, entidades
                empregadoras). Uma boa pratica seria combinar diferentes
                perspectivas fornecidas por essas fontes, a fim de
                obter uma visao mais completa de cada instituicao de
                ensino superior incluida no ranking.
                5. Especificar os contextos linguistico, cultural,
                economico e historico do sistema avaliado. Rankings
                internacionais, em particular, devem estar atentos a
                possibilidade de vies e ser precisos na determinacao
                de seu objetivo. Nem todas as nacoes ou sistemas
                compartilham os mesmos valores e crencas sobre o que
                constitui a "qualidade" em instituicoes de ensino
                superior, e os sistemas de classificacao nao devem ser
                concebidos para forcar essas comparacoes.
Metodologia     6. Deve haver transparencia da metodologia. A escolha
adotada         dos metodos usados para preparar rankings deve ser clara
                e inequivoca. Essa transparencia deve incluir o calculo
                dos indicadores, bem como a origem dos dados.
                7. Escolha de indicadores de acordo com sua relevancia e
                validade. A escolha dos dados deve ser baseada no
                reconhecimento da capacidade de cada medida para
                representar a qualidade academica e as forcas
                institucionais, e nao na disponibilidade de dados. Deve
                haver clareza sobre o porque de as medidas terem sido
                incluidas e o que elas pretendem representar.
                8. Preferencia por mensurar resultados. Os dados sobre
                os insumos sao relevantes, pois refletem a condicao
                geral de determinado estabelecimento e sao mais
                frequentemente disponiveis. Medidas de resultados
                fornecem uma avaliacao mais precisa da posicao e/ou
                a qualidade de determinada instituicao ou programa.
                Os compiladores de rankings devem garantir que um
                equilibrio adequado seja alcancado.
                9. Destaque para os pesos atribuidos aos indicadores (se
                usados) e limitacao das mudancas feitas neles. Mudancas
                nos pesos tornam dificil para os consumidores entender
                se a posicao do programa ou da instituicao mudou no
                ranking devido a uma diferenca inerente ou devido a uma
                mudanca metodologica.
Coleta e        10. Devem-se respeitar os padroes eticos e as
processamento   recomendacoes de boas praticas destes Principios. A fim
de informacoes  de assegurar a credibilidade de cada ranking, os
                responsaveis pela coleta e uso de dados e realizacao de
                visitas in loco devem ser os mais objetivos e imparciais
                possiveis.
                11. Usar informacoes auditaveis e verificaveis sempre
                que possivel. Tais dados tem varias vantagens, incluindo
                o fato de que foram aceites por instituicoes e que sao
                comparaveis e compativeis entre as instituicoes.
                12. Incluir informacoes obtidas conforme os
                procedimentos adequados a coleta cientifica de dados.
                Os dados coletados a partir de um subconjunto nao
                representativo ou distorcido de estudantes, professores
                ou outras partes podem nao representar uma instituicao
                ou programa e devem ser excluidos.
                13. Aplicar medidas de garantia de qualidade aos
                processos do proprio ranking. Os processos utilizados
                para avaliar as instituicoes devem ser usados para
                avaliar o proprio ranking. Rankings devem ser
                continuamente sistematizados para desenvolver uma
                melhor metodologia.
                14. Aplicar medidas organizacionais para aprimorar a
                credibilidade. Essas medidas podem incluir orgaos
                consultivos ou mesmo de supervisao, de preferencia com
                alguma participacao internacional.
                15. O ranking deve proporcionar aos consumidores uma
                compreensao clara de todos os fatores usados em sua
                elaboracao e oferecer escolhas na forma de apresentacao.
                Dessa forma, os usuarios dos rankings terao melhor
                compreensao dos indicadores utilizados para classificar
Apresentacao    as instituicoes ou programas. Alem disso, devem ter a
dos resultados  oportunidade de tomar as proprias decisoes sobre como
no ranking      esses indicadores devem ser ponderados.
                16. Ser compilado de modo a eliminar ou reduzir erros
                nos dados originais e ser organizado e apresentado de
                forma tal que erros e falhas possam ser corrigidos. As
                instituicoes e o publico devem ser informados sobre os
                erros que ocorreram.

Fonte: IREG (2006)

Tabela 1: Conformidade do BRR aos Principios de Berlim para rankings de
IES

Principios de Berlim             Nao se aplica  Nao atende

Categoria             Principio  NA             0%

                       1
                       2
Objetivos e            3
                       4
                       5
                       6
Metodologia            7
                       8
                       9          *
                      10
Coleta e              11
tratamento            12
de dados              13
                      14
Apresentacao          15
de resultados         16

Principios de Berlim  Atende parcialmente  Atende  Atende Completamente
                      50%                  75%     100%

Categoria                                  *
                                           *
                                           *
Objetivos e                                *
                                           *
                                                   *
                                                   *
Metodologia                                        *
                                           *
                                           *
Coleta e                                           *
tratamento                                         *
de dados                                   *
                      *
Apresentacao                                       *
de resultados

Fonte: elaboracao propria
COPYRIGHT 2016 Future Studies Research Journal: Trends and Strategies
No portion of this article can be reproduced without the express written permission from the copyright holder.
Copyright 2016 Gale, Cengage Learning. All rights reserved.

Article Details
Printer friendly Cite/link Email Feedback
Author:Fausto, Sibele; Medina, Clara Calero; Noyons, Ed
Publication:Future Studies Research Journal: Trends and Strategy
Article Type:Report
Geographic Code:3BRAZ
Date:Apr 1, 2016
Words:8066
Previous Article:Governanca de TI nos Bancos de Varejo Brasileiros: Comportamento e Tendencias/IT governance in the retail banking forum: Behavior and trends.
Next Article:Turnover no varejo: Estudo em uma rede supermercadista em Belo Horizonte - MG/Turnover in retailing: Study on a supermarket network in Belo Horizonte...
Topics:

Terms of use | Privacy policy | Copyright © 2019 Farlex, Inc. | Feedback | For webmasters