Printer Friendly

Investigacion cualitativa reproducible: un camino que debemos empezar a recorrer.

Qualitative reproducible research: A path we must begin to walk

Introduccion

En los ultimos anos ha venido creciendo un movimiento que busca que la investigacion cuantitativa publicada en las revistas cientificas sea reproducible por otros expertos, a fin de aumentar la confianza que se tiene en los resultados de la investigacion. Para ello se requiere que, como minimo, las bases de datos y la codificacion usada en el software de analisis estadistico esten disponibles para que otros investigadores puedan verificar los resultados publicados y conducir analisis alternativos (1). A este movimiento se le conoce como investigacion reproducible (IR).

La idea surgio a partir de demostrarse que se ha publicado investigacion fraudulenta en revistas de alto impacto cientifico. Tal vez el caso mas reconocido fue la publicacion en la revista Science del estudio "Patient-Specific Embryonic Stem Cells Derived from Human SCNT Blastocysts" (2), del grupo de trabajo dirigido por Woo Suk Hwang, que debio ser retirado de la revista una vez que el comite de investigaciones de la Universidad Nacional de Seul encontro, en un analisis interino, que los datos sometidos a la revista "fueron basados en una manipulacion deliberada, o en otras palabras la fabricacion de resultados de investigacion" (3). Este caso, y otros, impulsaron entre un amplio grupo de editores de revistas cientificas la idea de promover la reproducibilidad de la investigacion, bajo la premisa de que solo se puede llegar a la verdad bajo la verificacion independiente de las nuevas observaciones (4). La idea de realizar investigacion que sea reproducible tiene cabida incluso cuando los autores no tienen abiertamente una intencion deliberada de fraude, si se tiene en consideracion que los analisis modernos han llegado a ser cada vez mas complicados y la posibilidad de errores inadvertidos que lleven a conclusiones equivocadas es cada vez mas grande.

Los defensores de realizar IR cuantitativa mencionan una serie de ventajas de seguir estos lineamientos (5), que incluyen:

* Mayor transparencia acerca de la calidad y la integridad de la investigacion.

* Mayor diseminacion y entendimiento de los resultados.

* Disponibilidad de los datos completos para que se puedan realizar metanalisis con otros estudios.

* Implementacion mas facil de los hallazgos y recomendaciones provenientes de la investigacion.

* El progreso mas rapido de la ciencia.

* Un mejor aprovechamiento del dinero invertido en la investigacion, especialmente si se considera que el dinero proveniente de fondos publicos seria capaz de producir datos aprovechables por multiples investigadores.

?Pueden las ventajas propuestas de la investigacion reproducible ser aplicables a la investigacion cualitativa?

Hasta el momento se ha reconocido la importancia de mantener un rigor suficiente y unos criterios minimos de calidad a la hora de conducir, evaluar y publicar una investigacion cualitativa (IC), si bien se reconoce que mantener, evaluar y demostrar ese rigor es mas dificil para la IC que para la investigacion cuantitativa. Dentro de los criterios a la hora de determinar la calidad una IC se propone una evaluacion de la validez y la confiabilidad de la investigacion. Por validez se entiende la medida en que los resultados son una representacion adecuada del fenomeno que se pretende medir; mientras que nos referimos a confiabilidad como la reproducibilidad y estabilidad de los datos (6). Asi, demostrar que los datos recogidos y analizados dentro de una IC son reproducibles es clave para demostrar la confiabilidad y, por tanto, la calidad de una IC.

Las motivaciones que generaron la corriente de IR tambien aplican a la IC, en la cual--similar a lo visto para la investigacion cuantitativa --llegan a publicarse estudios de baja calidad, con datos primarios incompletos o con una codificacion y analisis inadecuados o susceptibles de error. Incluso tambien podria haber manipulacion deliberada de los datos o fraude.

La idea de la IR ha empezado a tener cabida entre los investigadores biomedicos que realizan investigacion cuantitativa (7), e incluso entre aquellos que proponen metodos mixtos o multiples (es decir, aquellos que utilizan simultaneamente metodos de investigacion cuantitativa y cualitativa) (8); sin embargo, la aplicacion de los lineamientos de IR, entendida como el hecho de hacer disponibles los datos primarios y la codificacion usada en el analisis para que otros investigadores puedan verificar los resultados publicados, no ha tenido aun amplia acogida dentro de aquellos que trabajan con IC. Para algunos investigadores cualitativos, incluso, no deberia ser un tema para tratar, bajo la premisa de que la IC es subjetiva, y por tanto se asume que no existe una sola verdad, sino verdades multiples e individuales para cada individuo o para cada comunidad, que no son y no deben ser reproducibles a otros individuos o comunidades. Estos investigadores probablemente preferirian hacer una validacion de su trabajo de forma individual y cerrada, y presentar solo los resultados de su investigacion dentro de circulos especificos.

A pesar de ello, muchos investigadores cualitativos tienen una opinion diferente, y asumen que el resultado de la IC puede y debe ser extrapolable, en alguna medida, a poblaciones diferentes a aquellas en las que se desarrollo (9). Esto, siempre y cuando se describa suficientemente el contexto de la investigacion, las caracteristicas de los participantes en el estudio, la indole de sus interacciones con el investigador y el entorno fisico para que otros puedan decidir cuan transferibles a otros contextos son los resultados. Para estos investigadores, la idea de hacer su investigacion mas transparente puede tener sentido y estaran mas abiertos a adoptar conductas que favorezcan la IR, como serian el acceso a la transcripcion de sus datos o su codificacion a solicitud de cualquiera que este interesado en ellas.

Asumir esta postura podria traer para ellos multiples ventajas. La primera, y tal vez la mas importante, es una mayor confianza en los resultados de la investigacion. Ejemplos de ello partiendo de diferentes posturas paradigmaticas se presentan a continuacion:

* Los investigadores que se basan en la teoria critica (10) parten de la idea de generar conocimiento que pueda identificar y demostrar las estructuras de opresion existentes y, a partir de dicho conocimiento, empoderar a las comunidades para generar un cambio. Los resultados de investigadores de esta vertiente pueden, sin embargo, sufrir de menor credibilidad si se asume de entrada que estan sesgados hacia demostrar dichas disparidades. Cabe aclarar que para los investigadores que realizan IC critica no se considera que sus resultados son sesgados, sino mas bien enfocados; pero que esta misma teoria critica, basada en la historiografia, reconoce la importancia de medir adecuadamente, e incluso cuantificar estas disparidades. Para los investigadores cualitativos criticos hacer disponibles sus datos, de tal forma que puedan ser evaluados y reproducidos por otros, podria fortalecer sus conclusiones y facilitar el cambio que estan buscando, al servir como punto de partida para el desarrollo de estrategias que respalden a las personas mas vulnerables, dando voz a sus experiencias y perspectivas, y haciendo visibles las fuentes de opresion y corrupcion en la sociedad.

* Los investigadores que se basan en paradigmas constructivistas (10) estaran de acuerdo en que la realidad se construye por medio de la interaccion y el dialogo entre diferentes actores, y aceptaran, por tanto, que puede haber diferentes interpretaciones de esa realidad. Ofrecer los resultados de investigaciones basadas en epistemologias constructivistas (por ejemplo, transcripciones o codigos) a una comunidad mas abierta de investigadores u otros usuarios de esa informacion sera de gran ayuda si se desea un entendimiento mas completo del problema, en especial si se pretende que dichas interpretaciones puedan ser extrapoladas, al menos en cierta medida, a otras comunidades semejantes.

Otras ventajas potenciales de realizar IC reproducible incluyen un mejor entendimiento de los resultados de la investigacion, al permitir a los usuarios que quieran reinterpretar la informacion e implementar las medidas que se desprendan de su analisis lo hagan de una forma informada, consciente y mas completa. Tambien es posible que sea mas facil la consecucion de recursos, bajo la premisa de que la informacion abierta y ampliamente disponible producira mas y mejores resultados, ademas de beneficiar a mas personas y comunidades.

Por ultimo, hacer reproducible la IC facilitaria la consecucion de colaboradores, promoveria la retroalimentacion de otras personas interesadas en el tema e invitaria a nuevos investigadores a trabajar en el problema.

Limitaciones de la investigacion reproducible

Existen tambien potenciales limitaciones a la hora de realizar IC reproducible. El solo hecho de poder reproducir el analisis de los datos o, incluso, de repetir la misma investigacion obteniendo resultados similares no corrige los problemas estructurales de la investigacion. Si en la investigacion no se tuvieron en cuenta posibles variables de confusion, si el diseno del estudio es pobre o si existe una gran perdida de informacion (por presentar solo algunos ejemplos aplicables a la investigacion cuantitativa), no habra forma de solucionarlos solo por tener disponibles los datos o los codigos que permitan reproducir el analisis (11). De igual forma, si se esta conduciendo IC, el hecho de hacer disponibles los datos obtenidos (entrevistas, documentos, fotografias, grabaciones de audio, etc.) o los resultados de los procesos de analisis y reduccion de la informacion (fundamentalmente la codificacion) no soluciona los potenciales problemas estructurales de la investigacion cualitativa: si la metodologia seleccionada era inadecuada para responder las preguntas planteadas, si no se obtuvo una muestra suficiente y representativa de entrevistas, si en dichas entrevistas no se abordaron los temas con profundidad, si la informacion obtenida no era confiable o si la codificacion paso por alto informacion relevante para cumplir con los objetivos del estudio. El hecho de hacer disponibles los datos primarios o los resultados de la codificacion de esta informacion no solucionara dichos problemas.

Una segunda limitacion, y probablemente la mas importante, a la hora de aplicar los principios de la IR a la IC proviene, sin embargo, de consideraciones eticas para tener en cuenta en el momento de hacer publicos los datos. Dos consideraciones resultan centrales en esta discusion: la necesidad de consentimiento informado y la confidencialidad de los datos (12).

Siempre que se desee hacer publica la informacion, sera necesario un proceso de consentimiento informado en el cual se explicite la intencion de hacer disponibles los datos primarios de una forma abierta y facil. Sin embargo, las condiciones que debe cumplir dicho consentimiento informado son aun un tema que amerita discusion. Se ha planteado que la IC requiere ajustes a dicho proceso para hacerlo acorde con las caracteristicas propias de este tipo de investigacion (13). Primero, la IC es realizada dentro de un contexto temporal determinado, en un periodo especifico de la vida de una persona, con caracteristicas que pueden cambiar de forma subita. Segundo, los participantes pueden tener dificultades para entender y anticipar las consecuencias de un determinado estudio cuando estas se explican unicamente al inicio de la investigacion. Sera necesario realizar un proceso dinamico de consentimiento informado que tenga en cuenta las caracteristicas cambiantes de la investigacion a traves del tiempo y que actualice la voluntad expresada por los pacientes (13). Mas aun, es posible que un participante conozca totalmente las implicaciones de un estudio y autorice compartir la informacion en un determinado momento del tiempo; pero decida cambiar de opinion tiempo despues de haber terminado la investigacion, en la medida en que cambie su realidad. El proceso de consentimiento informado debera ser capaz de adaptarse a esta nueva demanda.

Otras consideraciones deben plantearse dentro del proceso de consentimiento informado para la publicacion, a nivel individual, de los datos producto de la IC. ?Que hacer cuando la persona que da el consentimiento no es directamente el sujeto que entro en la investigacion, sino su representante (por ejemplo, en el caso de menores de edad o participantes con alteraciones en su salud mental)? ?Que conducta seguir cuando existen discrepancias entre la voluntad expresada por el participante y la opinion de los investigadores u otro actor (por ejemplo, personal de salud) con respecto a si es o no conveniente la publicacion de esta informacion? Las respuestas a estas preguntas estan por ser definidas y ameritaran discusiones bioeticas profundas.

La confidencialidad de los datos es tambien fundamental y tiene algunas particularidades aplicables a la IC. En general, los investigadores cualitativos se caracterizan por hacer hincapie en temas sensibles, por lo que las caracteristicas particulares de los participantes son importantes si se pretende hacer disponible, por cualquier via, los datos obtenidos. Hacer publicos los datos no sera posible si los participantes en la investigacion son susceptibles a consecuencias negativas asociadas a ello. Vale la pena pensar que con frecuencia se tratan temas muy personales, traumaticos (por ejemplo, abuso). Hacer publicos esos datos puede ser muy invasivo emocionalmente y generar verguenza o revictimizacion. De igual forma, hacer publica informacion obtenida para una IC puede generar consecuencias negativas desde el punto de vista politico o social, haciendo a los participantes vulnerables a consecuencias politicas (por ejemplo, marginalizacion) o sociales, como estigmatizacion y rechazo (14).

Aun en los casos en los que sea posible hacer publica la informacion, deberan hacerse todos los esfuerzos para impedir la identificacion individual del participante en la investigacion, proceso conocido como anonimizacion. El riesgo de no realizarla es alto cuando existe una cantidad pequena de participantes o cuando ellos experimenten una condicion poco frecuente que los hagan distinguibles del resto de miembros de su comunidad. Existen herramientas informaticas que facilitan llevar a cabo este proceso que ya vienen utilizandose en las bases de datos publicadas de estudios cuantitativos. En ciertas ocasiones, los participantes no tendran reparos en permitir que otros los identifiquen; por el contrario, pueden desear que eso ocurra, lo que debe quedar claramente expresado en el documento de consentimiento informado.

Facilitadores para la llegada de la reproducibilidad a la investigacion cualitativa

A pesar de las limitaciones presentadas, existen algunos pasos que facilitarian la realizacion de IR dentro de los estudios cualitativos.

Diferentes softwares estan disponibles en la actualidad que permiten guardar de forma organizada tanto los datos primarios como la codificacion asignada a ellos, lo que facilita compartir la informacion tanto entre los diferentes autores de una investigacion como con investigadores externos, tal como se necesita en IR. Dentro de los programas desarrollados para estudios cualitativos se destacan el software Nvivo, el programa QSR N6 e, incluso, algunos softwares gratuitos como el desarrollado por los Centros de Control y Prevencion de la Enfermedad de los Estados Unidos (CDC EZ test), disponible a traves de su pagina electronica (https://www.cdc.gov/hiv/library/software/index.html).

El uso de diferentes paquetes informaticos de forma simultanea puede, sin embargo, dificultar la reproduccion del analisis de los estudios. Se deberan, entonces, disenar algunos estandares minimos de obligatorio cumplimiento si se quiere publicar IC reproducible. Estos estandares deberan definir de forma clara que datos reportar, bajo que formato, con cuales metodos de anonimizacion y donde quedaran depositados, especificando algunas medidas para garantizar la seguridad de esta informacion. Algunas lecciones se podrian aprender de revistas que publican investigacion cuantitativa reproducible, que ya han estandarizado algunas reglas para facilitar este proceso (1,15).

Algunos sitios web se han desarrollado para guardar los datos asociados a un determinado estudio o publicacion. Dichos repositorios podrian ser tambien de utilidad para hacer disponibles para otros investigadores o a la comunidad en general los datos primarios y la codificacion correspondientes a investigacion cualitativa. Un ejemplo de ellos es el proyecto Dataverse, disponible a traves de su pagina electronica (https://dataverse.org).

El proceso de reproducir IC puede hacerse siguiendo pequenos pasos. Ante las dificultades eticas planteadas para compartir datos a nivel individual, es posible empezar por compartir unicamente los codigos y los datos primarios que se relacionen exclusivamente con ellos, sin hacer disponible la totalidad de las entrevistas o documentos primarios. Solo para casos muy seleccionados se dejaria disponible la totalidad de la informacion. El campo de IC reproducible solo progresara en la medida en que entendamos sus ventajas y estemos dispuestos a trabajar para lograr sus beneficios.

Conclusiones

El concepto de IR ha venido ganando espacio dentro de las ciencias biomedicas. Las ventajas asociadas aplican muy bien dentro del trabajo de los investigadores cualitativos, siendo las mas importantes una mayor confianza en los resultados de la investigacion, ademas de favorecer la formacion de redes y la construccion de conocimiento de forma colaborativa. Queda aun mucho camino por recorrer para que pueda aplicarse de forma generalizada. Las limitaciones mas grandes estan dadas por las restricciones eticas que implican hacer disponibles de forma abierta los datos primarios y la codificacion de los estudios. El consentimiento informado y las medidas para garantizar la confidencialidad de los datos son temas en los que debemos trabajar para superar estas dificultades.

Referencias

(1.) Peng RD. Reproducible research and Biostatistics. Biostatistics. 2009;10(3):405-8.

(2.) Hwang WS, Roh S Il, Lee BC, Kang SK, Kwon DK, Kim S, et al. Patient specific embryonic stem cells derived from human SCNT blastocysts. Science. 2005;308(5729):1777-83.

(3.) Kennedy D. Editorial expression of concern. Science. 2006;311(5757):36.

(4.) Laine C, Goodman SN, Griswold ME, Sox HC. Reproducible research: Moving toward research the public can really trust. Ann Intern Med. 2007;146(6):450-3.

(5.) Groves T, Godlee F. Open science and reproducible research. BMJ. 2012;344(June):e4383.

(6.) Anderson C. Presenting and evaluating qualitative research. Am J Pharm Educ. 2010;74(8):1-7.

(7.) Iqbal SA, Wallach JD, Khoury MJ, Schully SD, Ioannidis JPA. Reproducible research practices and transparency across the biomedical literature. PLoS Biol. 2016;14(1):1-13.

(8.) Dunning T, Rosenblatt F. Transparency and reproducibility in multi-method research. Rev Cienc Politica. 2016;36(3):773-83.

(9.) Ulin P, Robinson E, Tolley E. El analisis de los datos cualitativos. En: Investigacion aplicada en salud publica: Metodos cualitativos. Washington: Organizacion Panamericana de la Salud; 2006. p. 137-70.

(10.) Guba EG, Lincoln YS. Paradigmatic controversies, contradictions, and emerging confluences. En: Denzin NK, Lincoln YS, editores. The Sage handbook of qualitative research. 3rd. ed. Thousand Oaks: Sage; 2005. p. 191-215.

(11.) Leek JT, Peng RD. Opinion: Reproducible research can still be wrong: Adopting a prevention approach. Proc Natl Acad Sci. 2015;112(6):1645-6.

(12.) Williams G, Pigeot I. Consent and confidentiality in the light of recent demands for data sharing. Biometrical J. 2017;59(2):240-50.

(13.) Oye C, Sorensen NO, Glasdam S. Qualitative research ethics on the spot: Not only on the desktop. Nurs Ethics. 2016;23(4):455-64.

(14.) Peter E. The ethics in qualitative health research: special considerations. Cien Saude Colet. 2015;20(9):2625-30.

(15.) Hofner B, Schmid M, Edler L. Reproducible research in statistics: A review and guidelines for the Biometrical Journal. Biometrical J. 2016;58(2):416-27.

Notas de autor

(a) Medico Internista. Magister en Epidemiologia Clinica. PhD (c) en Epidemiologia Clinica. Profesor asistente, Departamento de Medicina Interna, Facultad de Medicina, Pontificia Universidad Javeriana, Bogota, Colombia.

Correspondencia: o.munoz@javeriana.edu.co

Informacion adicional

Conflictos de interes: no

Fuentes de financiacion: ninguna

Oscar Mauricio Munoz Velandia (a)

o.munoz@javeriana.edu.co

Pontificia Universidad Javeriana, Colombia

Recepcion: 25/10/2017

Aprobacion: 14/12/2017

DOI: https://doi.org/10.11144/Javeriana.umed59-3.icrc

Redalyc: http://www.redalyc.org/articulo.oa?id=231055744009

CC BY
COPYRIGHT 2018 Pontificia Universidad Javeriana
No portion of this article can be reproduced without the express written permission from the copyright holder.
Copyright 2018 Gale, Cengage Learning. All rights reserved.

Article Details
Printer friendly Cite/link Email Feedback
Title Annotation:Articulos originales
Author:Munoz Velandia, Oscar Mauricio
Publication:Revista Universitas Medica
Date:Jul 1, 2018
Words:3441
Previous Article:Desarrollo neuroembriologico: el camino desde la proliferacion hasta la perfeccion.
Next Article:Plasminogenemia asociada a conjuntivitis lenosa.
Topics:

Terms of use | Privacy policy | Copyright © 2021 Farlex, Inc. | Feedback | For webmasters