Printer Friendly

How to avoid bias in systematic reviews of observational studies/Como minimizar vieses em revisoes sistematicas de estudos observacionais.

INTRODUCAO

Pesquisas epidemiologicas visam construir conhecimento e ainda, obter resultados validos e precisos. Em estudos epidemiologicos requer-se reflexao profunda sobre as opcoes e planejamento em todas as fases metodologicas. A definicao do projeto de estudo e um passo crucial para que se mantenha o rigor metodologico necessario. O delineamento de revisao sistematica tem ganhado popularidade na area da saude publica, mas este como qualquer design de estudo e vulneravel a certos vieses que devem ser rigorosamente planejados e/ou contabilizados pelos pesquisadores.

Uma revisao sistematica, utiliza como fonte de dados a literatura acerca de um tema especifico. Esse tipo de averiguacao disponibiliza uma sintese das evidencias relacionadas a uma estrategia de intervencao especifica, mediante o emprego de metodos explicitos e sistematizados de busca, analise critica e resumo da informacao selecionada. As revisoes sistematicas sao particularmente uteis para integrar as informacoes de um grupo de estudos para responder a uma pergunta de pesquisa mais abrangente do que e possivel a partir de um estudo individual, que podem apresentar resultados conflitantes e/ou coincidentes, bem como identificar assuntos que necessitam de evidencia, auxiliando na orientacao para investigacoes futuras [1]. Ao combinar as evidencias de varios estudos, e importante considerar o risco de vies em cada estudo. Resultados de estudos observacionais podem ser tendenciosos, se os metodos de estudo nao sao adequados [2,3].

Revisoes sistematicas completas sao demoradas, muitas vezes com duracao de ate tres anos e exigindo dois revisores para avaliar cada artigo a fim de minimizar os erros. Um estudo estimou que 80% das avaliacoes de risco de vies levaram entre 10 e 60 minutos para serem executadas [4,5]. Alem disso, os julgamentos de risco de vieses por vezes sao imperfeitos. Estudos tem demonstrado que os revisores frequentemente relatam diferentes niveis de risco de vies para os mesmos estudos [4,6-10]. Isso pode acontecer, por exemplo, se um revisor perde frases "chave" ao longo do texto [10].

Entre as vantagens de confeccionar uma revisao sistematica incluem-se a probabilidade de avaliacao da consistencia e generalizacao dos resultados entre populacoes ou grupos, bem como especificidades e variacoes de protocolos de tratamento e producao de subsidios para formulacao de politicas de saude [11].

Ha incongruencia na nomenclatura usada para se descrever revisoes sistematicas, considerando que algumas incluem uma sintese estatistica dos resultados dos estudos e outras nao. Autores apontam que revisoes sistematicas com metanalise sao diferentes de outras revisoes por seu componente metanalitico [11]. Metanalise e um estudo de revisao da literatura em que os resultados de varios estudos independentes sao agrupados e sintetizados por meio de procedimentos estatisticos (analise da analise), de modo a produzir uma unica estimativa ou indice que caracterize o efeito de determinado preditor/intervencao [12,13].

As revisoes sistematicas historicamente foram desenvolvidas para sistematizar os achados de estudos de intervencao e mais recentemente vem sendo aplicadas para estudos observacionais, os quais sao aplicaveis em muitos casos relacionados a saude humana nos quais estes delineamentos sao os mais adequados. No entanto, na escolha de um desenho de estudo, os riscos, bem como as beneficios devem ser considerados. Embora as revisoes sistematicas apresentem inumeras vantagens, elas tambem tem uma maior vulnerabilidade a determinados tipos de vieses, especialmente quando se trata de revisoes de estudos observacionais.

O objetivo deste estudo foi revisar a literatura para avaliar criticamente os fatores que afetam este tipo de desenho de estudo, bem como metodos possiveis de superar ou minimizar essas distorcoes para auxiliar os investigadores que escolhem este tipo de desenho de estudo epidemiologico.

METODOS

Para atingir o objetivo proposto, a pesquisa bibliografica foi conduzida no States National Library of Medicine (PubMed), Scientific Electronic Library Online (SciELO), e Google Scholar. Para a busca em bases de dados foram utilizados os descritores: review, sistematic review, bias (epidemiologia) e observational studies como assunto. Tambem foram consultados livros e documentos com relevancia para o tema. Estes foram incluidos por acreditar-se que livros e outros documentos representam producao de conhecimento importante e atual sobre o tema em foco.

Foram criterios de inclusao: publicacoes disponiveis online, na integra, nos idiomas portugues, ingles e espanhol, que abordassem analises de vieses em revisoes sistematicas e sem limite de data de publicacao. Foram criterios de exclusao: publicacoes duplicadas e/ou com enfoque estritamente em ensaios clinicos randomizados. A coleta dos dados foi realizada entre junho de 2016 e junho de 2017. Todas as obras analisadas foram citadas juntamente com seus respectivos autores, respeitando-se, assim, os principios eticos em pesquisa.

REVISAO DA LITERATURA

O campo da epidemiologia tem procurado compreender os fatores que podem interferir no teste de hipoteses, entre eles os erros que podem mascarar os verdadeiros resultados de um estudo. Antes de apresentar os erros comumente encontrados em revisoes sistematicas, uma compreensao basica dos conceitos e tipos de erro conhecidos como erros aleatorios e sistematicos e necessario.

O erro aleatorio ocorre quando o valor medido na amostra diverge, aleatoriamente, a partir do valor real da populacao. O erro aleatorio pode ocorrer em qualquer desenho de estudo, e nao e especifico dos estudos de revisao. Usando um tamanho de amostra maior pode-se reduzir o erro aleatorio, e este tipo de erro pode ser estimado por meio de testes estatisticos. O segundo tipo de erro, conhecido como erro sistematico ou vies, e definido como qualquer processo, em qualquer etapa da pesquisa, em que metodologia incorreta durante o curso da investigacao distorce o resultado.

Vies inclui toda e quaisquer distorcao durante o processo de investigacao, que pode ocorrer em qualquer tipo de delineamento. No entanto, existem certos tipos de vieses a que revisoes sistematicas sao vulneraveis. Os tipos de vieses podem ser classificados nas seguintes categorias: vies de selecao, vies de informacao, e vies de confundimento. Esses serao explorados no presente artigo no ambito da revisao sistematica de estudos observacionais, juntamente com as possiveis estrategias que os pesquisadores podem usar para supera-los.

Uma revisao sistematica consiste de estudos primarios, publicados e nao publicados, cumprindo os criterios de inclusao e exclusao determinados a priori e deve ser representativa de todos os resultados dos estudos primarios disponiveis na epoca em que a revisao foi conduzida. No entanto, se apenas estudos publicados com restricao de idioma (por exemplo, Ingles) sao utilizados a partir de certas bases de dados eletronicas, como e o caso de muitas revisoes publicadas, um grande numero de estudos elegiveis pode ser perdido, resultando em um vies substancial de selecao [14].

Uma estrategia de busca inadequada ou nao abrangente e que inclua apenas publicacoes com texto completo, sao outros erros comuns que podem reduzir a representatividade dos estudos identificados ou incluidos. Uma pesquisa abrangente deve incluir a "grey literature" (literatura cinzenta) [15]. A literatura cinzenta pode incluir busca em anais de eventos cientificos pertinentes ao tema pesquisado, busca em bases de teses e dissertacoes internacionais, OAIster, Google, openDOAR, OpenGrey, entre outros.

Por outro lado, o vies de auto selecao pode surgir quando os pesquisadores optam por nao publicar alguns dos seus estudos primarios, por varias razoes, por exemplo, como resultados nulos, inesperadas ou achados inexplicaveis. Alem disso, os editores de revistas e revisores sao mais propensos a aceitar os estudos com resultados estatisticamente significativos, especialmente se acontecer mesmo quando o tamanho da amostra for relativamente pequeno [14].

Os dados selecionados para compor a metanalise podem estar influenciados pelo vies de publicacao. Entende-se por vies de publicacao a tendencia de os resultados publicados estarem sistematicamente diferentes da realidade. A nao publicacao de resultados pode ser devida a decisao do autor ou do financiador do estudo, que nao submetem para publicacao os achados desfavoraveis, ou dos editores de periodicos cientificos, que podem nao ter interesse em divulgar resultados negativos (sem significancia estatistica) [16].

Nas revisoes sistematicas, a presenca desse vies pode ser identificada por meio de grafico de funil e de testes estatisticos [2]. A utilizacao dessas tecnicas e recomendada para metanalises com dez estudos ou mais e baseia-se em questoes de estimativa e de precisao. Os estudos pouco precisos, em geral realizados com amostras de tamanho pequeno, poderao encontrar resultados positivos ou negativos (estatisticamente significativos ou nao) por influencia do acaso. Eles estariam distribuidos simetricamente na parte mais larga do funil. Estudos de maior precisao, em geral em menor numero, estariam mais proximos do valor real e situados na parte mais estreita do funil. Tambem e possivel estimar a presenca desse vies em bases de registros de estudos, pela busca daqueles que nao vieram a ser publicados [16].

Nao raro, os autores de revisoes sistematicas mencionam entrar em contato com autores e pesquisadores da area relacionada para obter informacoes sobre os estudos que nao foram publicados ou nao foram incluidos nos bancos de dados utilizados na pesquisa. No entanto, a taxa de resposta e outros detalhes relacionados a essas perguntas raramente sao relatados. A baixa taxa de resposta a tais consultas tambem pode aumentar o vies de auto selecao [14].

Na atualidade, o uso de ferramentas como Researchgate tem contribuido coma aproximacao de pesquisadores ao redor do mundo, de forma que, em nossa experiencia, tem sido mais efetivas as tentativas de contato e aproximacao com grupos de pesquisa e pesquisadores em busca de dados publicados e mais detalhes sobre artigos que buscamos incluir nas revisoes sistematicas que temos feito.

O processo de recuperacao de informacoes de estudos para inclusao em revisoes sistematicas, geralmente e mais problematico do que em serie de casos, como os dados a serem coletados ou extraidos dos estudos primarios, pois sao mais propensos a erros de classificacao do que dados demograficos e clinicos de pacientes em uma serie de casos. Exposicao/intervencao, resultados e potenciais fatores de confusao nao podem ser definidos ou categorizados da mesma forma em todos os estudos primarios, e a recategorizacao desses com a finalidade de agrupar os achados pode resultar em erros de classificacao [14].

A fim de minimizar esses erros, e comum que no processo de extracao de dados em revisoes sistematicas tenham dois revisores coletando as informacoes dos estudos primarios de forma independente, e resolvendo as discordancias com um terceiro revisor ou por meio de um consenso. Alem disso, como uma revisao sistematica de estudos observacionais utiliza informacoes apresentadas em estudos primarios, qualquer medida realizada ou erros reportados em estudos posteriores pode invalidar as conclusoes da revisao. Alem disso, avaliar a qualidade dos estudos primarios a serem incluidos em uma revisao sistematica e de extrema importancia. Somente estudos com resultados razoavelmente validos de associacoes devem ser incluidos [17-20].

E fundamental que se garanta que os estudos incluidos na revisao sistematica tenham uma qualidade metodologica comparavel entre si e que as informacoes necessarias que permitam identificar que foram evitados vieses de selecao, afericao e confundimento foram tomadas. Alem disso, dados basicos que permitam identificar se as populacoes pesquisadas nos estudos sao comparaveis, tambem sao fundamentais.

Confundimento nao e um vies usual para revisoes sistematicas qualitativas, pois as comparacoes em grupos dos estudos primarios devem ser muito similares em termos de fatores prognosticos [21]. A adopcao de criterios de inclusao/exclusao mais rigorosos para melhorar a homogeneidade entre os estudos primarios pode ajudar, mas a custa de generalizacao externa e aplicabilidade. A questao da nao comparabilidade e ainda mais complicada com metanalises que incluem estudos observacionais ou ensaios nao randomizados em que os fatores de confusao ajustados podem ser muito diferentes, em termos de numeros, definicoes e categorizacoes, em diferentes estudos primarios. Uma sintese narrativa com profundas avaliacoes criticas de estudos primarios individuais pode ser mais informativa [14].

CONCLUSAO

Revisoes sistematicas sao estudos que assim como qualquer outro design apresentam vantagens e desvantagens. O presente manuscrito discorre sobre as principais desvantagens divulgadas na literatura e os principais vieses que comumente ocorrem nesse tipo de delineamento. Deve-se observar que os vieses mais amplamente reconhecidos em revisoes sistematicas de estudos observacionais sao aqueles relacionados a selecao e vies de publicacao. Embora este delineamento de estudo tem a possibilidade de erros, existem estrategias que podem ser usadas no planejamento do estudo, bem como durante e mesmo depois de sua execucao para garantir o rigor cientifico, sobretudo porque revisoes sistematicas tem uma importancia cientifica reconhecida.

doi: 10.1590/1982-021620171941117

REFERENCIAS

[1.] Linde K, Willich SN. How objective are systematic reviews? Differences between reviews on complementary medicine. J R Soc Med. 2003;96(1):17-22.

[2.] Higgins JP, Green S. Cochrane Handbook for Systematic Reviews of Interventions. Chichester, UK: Wiley. 2008.

[3.] Schulz KF, Grimes DA. Allocation concealment in randomised trials: defending against deciphering. Lancet. 2002;359(9306):614-8.

[4.] Millard LA, Flach PA, Higgins JP. Machine learning to assist risk-of-bias assessments in systematic reviews. Int J Epidemiol. 2016;45(1):266-77.

[5.] Savovic J, Weeks L, Sterne JA, Turner L, Altman DG, Moher D et al. Evaluation of the Cochrane Collaboration's tool for assessing the risk of bias in randomized trials: focus groups, online survey, proposed recommendations and their implementation. Syst Rev. 2014;3:37.

[6.] Armijo-Olivo S, Ospina M, da Costa BR, Egger M, Saltaji H, Fuentes J et al. Poor reliability between Cochrane reviewers and blinded external reviewers when applying the Cochrane risk of bias tool in physical therapy trials. PLoS One. 2014;9(5):e96920.

[7.] Hartling L, Ospina M, Liang Y, Dryden DM, Hooton N, Krebs SJ et al. Risk of bias versus quality assessment of randomised controlled trials: cross sectional study. BMJ. 2009;339:b4012.

[8.] Hartling L, Bond K, Vandermeer B, Seida J, Dryden DM, Rowe BH. Applying the risk of bias tool in a systematic review of combination long-acting beta-agonists and inhaled corticosteroids for persistent asthma. PLoS One. 2011;6(2):e17242.

[9.] Hartling L, Hamm MP, Milne A, Vandermeer B, Santaguida PL, Ansari M et al. Testing the risk of bias tool showed low reliability between individual reviewers and across consensus assessments of reviewer pairs. J Clin Epidemiol. 2013;66(9):973-81.

[10.] Lensen S, Farquhar C, Jordon V. Risk of bias: are judgements consistent between reviews? Cochrane Database Syst Rev Suppl. 2014;1:30.

[11.] Akobeng AK. Understanding randomised controlled trials. Arch Dis Child. 2005;90(8):840-4.

[12.] Bradley L, Law M. Systematically reviewing the evidence. In: Law M, McDermid J. Evidence-based rehabilitation: a guide to practice. 3.ed. Thorofare (NJ): SLACK Inc. 2002. p. 143-59.

[13.] Sampaio RF, Mancini MC. Estudos de revisao sistematica: um guia para sintese criteriosa da evidencia cientifica. Rev.bras.fisioter. 2007;11(1):83-9.

[14.] Yu IT, Tse SL. Clinical Epidemiology Workshop 11 --Sources of bias in systematic reviews with or without meta-analysis. Hong Kong Med J. 2013;19(2):156-8.

[15.] Fourth International Conference on Grey Literature: New Frontiers in Grey Literature. GreyNet, Grey Literature Network Service, Washington DC, USA. 1999. p.4-5.

[16.] Pereira GP, Galvao TF. Heterogeneidade e vies de publicacao em revisoes sistematicas. Epidemiol. Serv.Saude. 2014;23(2):775-8.

[17.] Yu IT, Tse SL. Clinical Epidemiology Workshop 7 Appraising a study on diagnosis. Hong Kong Med J. 2012;18:325-6.

[18.] Yu IT, Tse SL. Clinical Epidemiology Workshop 8-- Appraising a study on therapy. Hong Kong Med. 2012;18:19-20.

[19.] Yu IT, Tse SL. Clinical Epidemiology Workshop 9 Appraising a study on prognosis. Hong Kong Med J. 2012;18:507-8.

[20.] Yu IT, Tse SL. Clinical Epidemiology Workshop 10--Appraising a study on risk factors or aetiology. Hong Kong Med J. 2013;19:50-1.

[21.] Yu IT, Tse SL. Clinical Epidemiology Workshop 3--Sources of bias in case series, patient cohorts, and randomised controlled. Hong Kong Med J. 2011;17:478-9.

Carlos Podalirio Borges de Almeida (1)

Barbara Niegia Garcia de Goulart (1)

(1) Universidade Federal do Rio Grande do Sul, Porto Alegre, Rio Grande do Sul, Brasil.

Fontes de financiamento: CAPES--Bolsa de estudo para cursar doutorado. CNPq--produtividade em pesquisa.

Conflito de interesses: inexistente

Recebido em: 25/01/2017

Aceito em: 21/06/2017

Endereco para correspondencia:

Carlos Podalirio Borges de Almeida Universidade Federal do Rio Grande do Sul Grupo de Pesquisa EPI-DCH Rua Ramiro Barcelos 2777 Porto Alegre, Rio Grande do Sul, Brasil

CEP: 90035-003

E-mail: carlosalmeida1410@hotmail.com
COPYRIGHT 2017 CEFAC - Associacao Institucional em Saude e Educacao
No portion of this article can be reproduced without the express written permission from the copyright holder.
Copyright 2017 Gale, Cengage Learning. All rights reserved.

Article Details
Printer friendly Cite/link Email Feedback
Title Annotation:Artigos de revisao
Author:de Almeida, Carlos Podalirio Borges; de Goulart, Barbara Niegia Garcia
Publication:Revista CEFAC: Atualizacao Cientifica em Fonoaudiologia e Educacao
Article Type:Ensayo
Date:Jul 1, 2017
Words:2640
Previous Article:Augmentative and alternative communication: from qualification to speech, language and hearing science clinical practice/Comunicacao suplementar...
Next Article:Contributions of neuroimaging in singing voice studies: a systematic review/ Contribuicoes da neuroimagem no estudo da voz cantada: revisao...
Topics:

Terms of use | Privacy policy | Copyright © 2021 Farlex, Inc. | Feedback | For webmasters