Printer Friendly

La investigacion evaluativa de programas educativos con tecnologias de la informacion y la comunicacion: propuesta del estado de la cuestion *.

Resumen: En este articulo se presenta una propuesta de estado del arte sobre investigacion y evaluacion de programas educativos que tiene como caracteristica estar mediados por tecnologias de la informacion y la comunicacion (TIC). En el articulo se revisan las principales intenciones y modelos de los enfoques evaluativos de tales programas, las tendencias generales en lo que respecta a la evaluacion de impacto, las tendencias en el uso de indicadores y marcos de evaluacion, los principales metodos y tecnicas de evaluacion, y finalmente el abordaje del tema de la equidad social en la evaluacion educativa. Con estos elementos se realiza un balance que permite proponer una lectura del estado actual en esta novel tematica.

Palabras clave: Programas Educativos, Mediacion Tecnologica, Evaluacion de Programas, Estado de la Cuestion, Investigacion, Indicadores, Tecnicas de Evaluacion, Metodos de Evaluacion.

Introduccion

La discusion sobre la valoracion de las repercusiones de la introduccion de la informatica a programas educativos se puede ubicar desde los comienzos mismos de estos programas en Europa, Norteamerica y Latinoamerica (Crook, 1998; Plaz, 1999). Luego de diversos avances en esta direccion el tema de la evaluacion de tales programas sigue siendo uno de los mas relevantes, y sobre el cual se dirigen multiples esfuerzos en la actualidad (por ejemplo vease CAIBI, 2000 y 2001; Prat, 2001).

Es importante para toda investigacion que se dirija a valorar los resultados, efectos o impactos de programas educativos que introduzcan el uso de Tecnologias de la Informacion y la Comunicacion (1) tener una vision general de como la investigacion evaluativa ha sido planteada en este campo. Sin embargo, dado el extenso volumen y la diversidad de la informacion existente sobre la tematica, se prefiere hablar de una propuesta del estado del arte; puesto que lo que se ofrece a continuacion es una posibilidad entre otras, de sintetizar el estado de la cuestion en este campo del conocimiento.

El desarrollo del documento se estructura en seis partes. En la primera se presentan las principales caracteristicas de los documentos revisados. En la segunda se explicitan las intenciones y los enfoques evaluativos que han seguido las investigaciones y propuestas teoricas en esta tematica. Las tendencias en la evaluacion de impacto social se abordaran en la tercera parte y se complementa en la seccion cuarta, con una revision de indicadores y los marcos de evaluacion empleados. En la quinta se plantean los principales metodos y tecnicas de evaluacion. En la sexta seccion, siguiendo nuestro interes por presentar las relaciones entre las TIC en educacion y la equidad, se expondra la forma en que esta tematica ha sido abordada por las investigaciones. Finalmente se presenta una sintesis de aspectos generales que se desprenden de esta propuesta del estado de la cuestion y sus repercusiones en la investigacion evaluativa.

I. Caracteristicas de la revision documental

La construccion de este documento supone una revision de modelos de evaluacion de proyectos que integran TIC en educacion y en otros ambitos. Esta revision se basa en el estudio de diversas publicaciones sobre el tema. Se incorporan antecedentes de metodologias y discusiones conceptuales sobre evaluacion e investigacion del impacto social. Ello sin embargo, implica una exploracion de caracter general y flexible, abierta a la consideracion de marcos o propuestas de evaluacion de impacto de proyectos o programas que integren componentes tecnologicos, aun y cuando su ambito de aplicacion trascienda el educativo y se instaure en lo organizacional, lo comunal o el desarrollo sostenible en general.

Con respecto a las evaluaciones generales que no hacen explicito el componente educativo pero que, sin embargo, realizan estudios que incorporan el uso de TIC (Athanasou 1999; Diaz-Albertini 2001; UNRISD 1998; Menou, 1999a; Menou & Potvin, 2000, Lanfranco & Balson, 2000; Young, 1997; Miller & Slater, 2000; Rohozinski, 1998; Hamelink, 1999; Gomez & Hunt, 1999; Olivier 2000; Wood 1997; Camacho, 2000a, 2001a & 2001c; Blau, 2001; ACP-PSRM, 2001; McConnell, 1998; Daly, 1999), se observa una tendencia a analizar instituciones, programas y organizaciones mas que individuos particulares. En su mayoria, estos documentos conciben la evaluacion de TIC como evaluacion de la Internet, de los procesos e interacciones en ella, de las redes de trabajo y de los espacios virtuales.

En cuanto a los estudios que hacen referencia explicita al ambito educativo, destacan por su particularidad, aquellos que se refieren a telecentros dado que estos se enfocan en el area rural (Gomez y Hunt, 1999; Ernberg, 1998; Colin & Walker, 2001; Hudson, 2001; Menou, 2001b), y aquellos documentos que refieren especificamente a la aplicacion de tecnologias en el ambito escolar. Estos ultimos incluyen la evaluacion de aspectos como el software (Britain & Liber, 1999 y Honey, McMillan & Carrig, 1999), las condiciones infraestructurales para la incorporacion de las TIC en programas educativos (OECD, 2001; Lemke, Martin, Capella; 2001), las caracteristicas de los ambientes de aprendizaje (FOD, 1995b), el papel de los docentes en la puesta en practica de programas educativos apoyados en las TIC (Alvarez, Roman, Dobles, Umana, Zuniga, Garcia, Potashnik y Rawlings, 1998) y de los procesos de capacitacion de los docentes (FOD, 2000a).

II. Intenciones y modelos de los enfoques evaluativos

La reflexion en torno a los modelos subyacentes a los documentos sobre evaluacion revisados, permite distinguir variados aportes conceptuales y metodologicos segun los supuestos y las caracteristicas del enfoque mismo de evaluacion.

Si bien casi todos los documentos parecen conservar el sentido de la palabra evaluacion como elemento de juicio para la toma de decisiones (Athanasou, 1999; Jackson, 2001; Menou, 1999; Menou & Potvin, 2000; Menou, 2001; Potvin, Lanfranco & Balson 2000; Young, 1997; Wood 1997; ACP-PSRM, 2001); el modelo y la intencionalidad de esta evaluacion, son distintos.

El primer gran rasgo identificable en cuanto a la intencionalidad especifica de la evaluacion, corresponde al interes por proveer a los disenadores y administradores de proyectos, de un conjunto de elementos de juicio que permitan determinar si la forma en que se esta conceptualizando el programa podria obtener el impacto buscado. En esta tendencia destaca la propuesta de Jackson (2001), cuya logica apunta a evaluar la coherencia en el establecimiento de los problemas, objetivos, estrategias y actividades especificas del programa sujeto a valoracion. En este enfoque, la consistencia en los diversos niveles de especificidad, la jerarquizacion y la priorizacion, son entonces los elementos claves para planear, disenar, implementar y evaluar proyectos (Jackson, 2001).

Una posicion similar presentan los documentos de consultores internacionales para la valoracion del impacto de la introduccion de las TIC en el ambito organizacional; en donde la evaluacion es concebida como el proceso de aplicacion de un metodo, que determina el desempeno de un programa para la consecucion de los resultados esperados, durante un periodo de tiempo determinado. Ello con la intencionalidad de apoyar la toma de decisiones y la resolucion de problemas; siendo el matiz particular, el de valorar el exito en funcion del aporte que el uso de las tecnologias hayan brindado para el cumplimiento de la mision organizacional y sus objetivos (Carver, 1999; Drucker, 1999; McClure & Lopata, 1999; Advance Strategic Management Consultants, 1999; Camacho, 2000a, 2001a, 2001c).

Otro ejemplo de esta intencionalidad presente de los marcos de evaluacion, es el caso expuesto Athanasou (1999) quien, en su propuesta de evaluacion de programas educativos de capacitacion para el comercio y la industria, apunta que el fin que busca la evaluacion del aprendizaje asistido por computadora en el ambito del comercio, es que mediante la valoracion de los programas se puedan tomar decisiones con respecto a los mismos, que contribuyan a la vez con su mejoramiento.

Un caso particular es expuesto por ACP-PSRM (2001) quienes proponen una metodologia para evaluar proyectos que implementan el uso de las TIC pero desde una perspectiva de genero. En este modelo le que se busca es valorar como ha sido tomado en cuenta el factor genero en tales programas y cuales han sido sus impactos en esta direccion. Resultados de esta perspectiva serian empleados tanto para el mejoramiento, la retroalimentacion, la valoracion y la planificacion de otros programas.

Otra tendencia subyacente que es posible reconocer, remite a la intencionalidad comparativa al interior de los proyectos mismos como mecanismo de orientacion para la toma de decisiones en el transcurso de las diversas fases de implementacion. Esta es la situacion en las propuestas metodologicas de Menou (1999a, 1999b) y Menou & Potvin (2000) quienes enfatizan la necesidad de documentar la situacion previa al inicio del proyecto como condicion base o control que se contrasta con la situacion en diversas thses y que permite, en un modelo longitudinal, el monitoreo y la evaluacion de impacto. Cabe apuntar sin embargo, que tanto Menou (1999a, 2000, 2001a), como Potvin (2000), y Potvin, Lanfranco y Balson (2000) formulan estos prerrequisitos y lineamientos a partir de sus lecciones aprendidas en evaluaciones expost de impacto con proyectos que introducian componentes tecnologicos en diversos contextos. De estas experiencias rescatan ademas, como elementos primordiales las siguientes recomendaciones:

--Necesidad de una estandarizacion conceptual y un marco de trabajo rural que permita integrar las diversas poblaciones de interes.

--Importancia de establecer dominios de impacto de tal forma que pueda trascender la unidireccionalidad que se ha impreso a la evaluacion del flujo de cambio y se puede valorar el impacto en la modificacion reciproca entre tecnologia y sociedad.

Especificamente, de la evaluacion del impacto social de proyectos que utilizan tecnologias digitales, y particularmente en el marco de los preparativos para el pilotaje de la OPA Online Proposal Appraisal-, IDRC (2000); Menou y Potvin sugieren la conveniencia de realizar distinciones en los hallazgos segun estos resultados inmediatos, efectos, consecuencias, grado de satisfaccion o impacto. Son tambien ejemplos de monitoreos o evaluaciones concurrentes las propuestas de Wood (1997); UNRISD (1998) y Athanasou (1999), quienes respaldan la realizacion de evaluaciones en distintas etapas de los proyectos con el fin de darles seguimiento a los procesos, o bien valorar el cumplimiento de tareas y la efectividad de las diversas fases entre otros.

La identificacion de diversos dominios de impacto en los cuales se observen los hallazgos, parece ser otro rasgo comun en las propuestas de los marcos de evaluacion revisados y a ellos, se suman autores como Camacho (2000a & 2000b); Miller & Slater (2000) y Potvin, Lanfranco & Balson (2000). Estos ultimos proponen un marco conceptual cuyo proposito es orientar estudios periodicos en proyectos longitudinales. Para ello, sistematizan categorias de uso de las TIC en donde podrian presentarse impactos, cuyos dominios son los diversos contextos comunitarios y las acciones posibles que son facilitadas por las TIC.

Un caso de aplicacion que ilustra esta evaluacion de impacto en dominios especificos, lo constituye el caso de la Red Cientifica Peruana que evalua como el uso de la red de Internet ha logrado cambios o efectos en la vida personal e institucional de los usuarios de la red en Peru (Diaz-Albertini, 2001). En este sentido, el autor afirma que "impacto" ha de entenderse en funcion de los cambios positivos o negativos que surgen a partir de la utilizacion de los servicios digitales al interior de los centros de trabajo, en la cotidianidad personal y en el entorno de estos individuos e instituciones.

Se reconoce asi, en la evaluacion de Impacto Social de la Red Cientifica Peruana, la intencionalidad de evaluar la efectividad de los resultados que se obtienen de la puesta en practica de un proyecto en particular en, al menos, los siguientes dominios: usuarios, estructuras institucionales y calidad, cantidad, variedad de servicios y productos ofertados por los individuos y las organizaciones impactadas.

Subyace tambien en algunos de estos modelos la preocupacion porque los resultados de la evaluacion busquen el desarrollo de politicas que regulen el uso e incorporacion de las TIC en los paises (Diaz-Albertini 2001; UNRISD 1998; Hamelink, 1999; Sagna, 2000).

Otra tendencia identificable, refiere al concepto de progresion en los procesos evaluados que, conservando la categorizacion por dominios, supone una logica en niveles ascendentes donde las condiciones de un nivel anterior, son pre-requisito para la evaluacion en el nivel superior (Young, 1997). En este modelo, la intencionalidad es la de direccionar la toma de decisiones a partir de la evaluacion gradual y continua en cada dominio, suponiendo condiciones minimas en cada nivel como soporte de un impacto mayor en el siguiente.

Este marco de evaluacion se sustenta en el reconocimiento de que las TIC apoyan el desarrollo sostenible de manera indirecta, como efecto secundario del apoyo directo que las; mismas brindan para la coordinacion y la informacion de individuos y grupos que trabajan a favor del desarrollo humano (Young, 1997). Especificamente, este marco de evaluacion mide en el primer nivel los resultados directos de la introduccion de las TIC a partir de las variables de informacion, conexiones sin limites, atemporalidad y mejora de costo-beneficios. Los resultados esperados son la formacion de grupos y "clusters" en los que se genera conocimiento, cooperacion, participacion y acceso equitativo (segundo nivel) que, a su vez, generan nuevas formas de organizacion y cambios en las politicas (tercer nivel) que promueven el desarrollo sostenible con la creacion de nuevos valores, prosperidad, salud y seguridad. Cada nivel ademas, supone la integracion de dos componentes en la red de informacion: un componente fisico (hardware) y otro humano e institucional.

Esta logica progresiva posee ademas una implicacion fundamental en la formulacion de los hallazgos de las evaluaciones, categorizandolos segun sean sus resultados (informacion sobre el progreso hacia el logro de objetivos en cada nivel); factores de desarrollo (cambios en diversos beneficiarios o poblaciones de interes) o factores administrativos. Cabe rescatar que la conveniencia de realizar distinciones en los hallazgos es sugerida tambien por Menou & Potvin (2000).

En general, con respecto a los modelos de evaluacion ya descritos, cabe apuntar que se observa la tendencia a la evaluacion diagnostica en distintos niveles (usuarios individuales, instituciones, organizaciones, comunidades, instancias privadas y gubernamentales) para ver el impacto social. Sin embargo, estos modelos tienden a buscar la descripcion del estado de la cuestion de un fenomeno social que se reconoce cambiante y dinamico.

Otra area relevante para la investigacion y la evaluacion de impacto social gira en torno a los telecentros, que se caracterizan por ser un espacio fisico que proporciona acceso publico a las TIC para el desarrollo educacional, personal, social y economico (Gomez & Hunt, 1999). Desde esta perspectiva, los telecentros han sido una estrategia privilegiada por parte de organizaciones gubernamentales y no gubernamentales para la promocion del desarrollo en diferentes puntos del mundo (Colin & Walker, 2001).

Al respecto, se senalan varias limitaciones en el alcance de las evaluaciones, en tanto la mayoria de los recursos parecen haber sido destinados a la implementacion de proyectos piloto que no tuvieron el soporte paralelo en el destino de recursos para la comprension de sus usos e impactos en las comunidades.

Dos iniciativas relevantes en el intento de subsanar estas limitaciones son las propuestas de Ernberg (1998) y la de Hudson (2001), de una metodologia que integre tanto un eje formativo como otro sumativo para la evaluacion de proyectos de telecentros (2). En ambas propuestas, el primero de estos ejes que se supone continuo, serviria de monitoreo para la identificacion de problemas y oportunidades que retroalimenten la ejecucion y promuevan nuevas estrategias de accion. El segundo, supone una evaluacion expost que evalue los logros, la relacion costo-beneficio y el impacto del proyecto, de donde derivarian las lecciones aprendidas; estas ultimas deberian constituirse en los insumos principales para la retroalimentacion y futura planificacion de programas.

Por otra parte, Hudson (2001) argumenta que una manera de consolidar las posibilidades de que un programa que actua por medio de telecentros tenga un impacto real, es considerado desde la planificacion, las caracteristicas de la comunidad en tanto que genero, etnia, nivel educativo, nivel de ingresos y localizacion geografica; las cuales, ademas de consolidar la capacidad de impacto, introducen una perspectiva de equidad en el programa.

Por su parte Chasquinet (2002) propone enfocar la evaluacion por medio del sistema MEAI (3) que simultaneamente incorpora el monitoreo, la evaluacion y el analisis de impactos en tres grandes escenarios constituidos por las instituciones promotoras, los telecentros y las comunidades; con el fin de valorar las consecuencias de los programas que implantan telecentros.

Para Menou (2001a) los telecentros constituyen medios adecuados para favorecer procesos de desarrollo social en las comunidades. Sin embargo estos procesos deben trascender al desarrollo de habilidades en las personas para la interaccion con las TIC y no deben de permanecer en el nivel de la alfabetizacion digital. Ademas, la conectividad por si misma no es una garantia del desarrollo cuando se carece de personas capacitadas optimamente para tener un desempeno adecuado en estas condiciones. Esta tesis tambien es sostenida por Young (1997) quien senala que para la generacion de conocimiento se requiere no solo de la disponibilidad de la informacion sino de la adecuada interaccion de las personas.

Segun la postura de Menou (2001b), los intentos de ligar el desarrollo social de comunidades, con el desarrollo de habilidades individuales para la interaccion con las TIC, deben concretarse en el desarrollo de mecanismos de evaluacion que den cuenta de estos procesos. Estos mecanismos son denominados como IsTICometros y se deben dirigir principalmente al desarrollo de indicadores economicos, indicadores de desarrollo humano y social e indicadores de informacion e infraestructura de las TIC.

Desde el punto de vista de las dificultades que se generan con la sinergia entre desarrollo de habilidades con la tecnologia y desarrollo social, una de las fuerzas que puede impedir la interaccion de las personas con la tecnologia en el espacio de la comunidad, especialmente cuando esta es rural, es la "tecnofobia" que se puede desarrollar a proposito de las TIC. Ante este peligro una de la soluciones mas interesantes es constituir las comunidades de aprendices (Wilmore, 2001) que es un metodo de trabajo en el que todos los miembros de la comunidad son integrados al proceso de aprendizaje por medio del trabajo en conjunto, la investigacion y la busqueda de soluciones colaborativas.

Gomez & Hunt (1999) afirman sin embargo, que mientras no se desarrollen metodologias y herramientas apropiadas para evaluar adecuadamente el impacto social del uso de las TIC en actividades de desarrollo, la credibilidad de los proyectos que implementen el uso de TIC seguira estando basada en la euforia dominante que pretende ver en la tecnologia la solucion a los problemas sociales.

En sintesis, las evaluaciones e investigaciones en programas que introducen TIC han sido direccionados a valorar resultados, efectos e impactos con el fin de obtener insumos para la toma de decisiones, ya sean estos con el fin de elaborar disenos apropiados de programas que seran ejecutados en el futuro, monitorear y retroalimentar programas en ejecucion o valorar las consecuencias concretas de los mismos.

En cuanto a los modelos especificos, resaltan aquellos que se dirigen a construir evaluaciones por niveles, donde cada uno de ellos constituyen elementos necesarios para alcanzar otros de mayor alcance o complejidad en sus; consecuencias. Esta perspectiva es valida tanto en el caso de los telecentros como en el caso de otros programas mediados por TIC. Sin embargo, se puede concluir que a pesar de la experiencia en investigacion evaluativa en esta tematica, existe una tendencia a reflexionar sobre la escasez de modelos adecuados para valorar el impacto de tales programas lo cual se traduce en la carencia de un instrumental.

III. Tendencias generales en la evaluacion de impacto

En la evaluacion de impacto social y las condiciones de equidad de los programas que introducen nuevas tecnologias de la informacion y la comunicacion en el ambito educativo, destacan los aportes de Britain & Liber (1999), SchoolNet (2000), proyecto Conexiones (2001), Honey, McMillan & Carrig (1999) y Herman (2001).

Los primeros, innovan al senalar que las estrategias de evaluacion de programas educativos con TIC, (en su caso, la evaluacion de ambientes de aprendizaje virtual), no han de buscar la discriminacion en nociones de calidad; en tanto lo fundamental es la generacion de un marco que permita revelar las suposiciones pedagogicas que subyacen al software mismo, o a la practica con la que es introducido en el sistema educativo, ya que de ello depende su impacto.

Los segundos plantean la necesidad de evaluar la practica en el aula misma con un enfoque formativo dirigido a los docentes de los programas de desarrollo educativo que introducen TIC. Sugieren, a diferencia de Britain & Liber (1999) que la evaluacion de impacto ha de explorarse en la calidad de la ensenanza y el aprendizaje, y que ello toma lugar en cuatro niveles distintos, a saber, el nivel de las habilidades para el uso de las TIC: el nivel de la integracion a partir de la evaluacion de competencias; el nivel de crecimiento profesional de los educadores y el nivel de los cambios en la escuela en general. Planteamientos semejantes se encuentran en Alvarez y otros, 1998. Este estudio se propuso analizar comparativamente la puesta en practica de los programas de informatica educativa para primaria de Costa Rica, contemplando tres niveles de analisis: el programa, la escuela y el aula, prestando especial atencion al papel de los docentes en el funcionamiento de los programas en esos tres niveles.

Honey, McMillan & Carrig (1999) presentan una discusion en torno a lo aprendido durante las tres decadas de investigacion sobre tecnologias educativas en el Centro EDC'S para la Infancia y la Tecnologia en Estados Unidos. En ella, se sugiere que la revision ha develado tres grandes factores que impulsan la investigacion en este campo hacia nuevas areas de exploracion, a saber, los cambios en la naturaleza de los elementos tecnologicos; los cambios en los tipos de preguntas de investigacion que se hacen y los cambios en las formas y metodos de investigacion que se utilizan.

Al respecto, senalan que los estudios durante los anos 70 y los 80 lograron demostrar el impacto de las tecnologias o el software sobre el aprendizaje de los estudiantes, pero que estos, sin embargo, eran intimamente dependientes del tipo particular de tecnologias que estaban siendo utilizadas por los sujetos del estudio. Apuntan adicionalmente que, como estos estudios se enfocaban especificamente en ciertas tecnologias y en su impacto particular, contribuyeron muy poco con el objetivo de investigar para discernir los roles generalizables que las tecnologias pueden jugar en la consecucion de retos claves en el proceso de ensenanza-aprendizaje (Honey, McMillan & Carrig, 1999).

Estos autores anotan que por ello, y por la combinacion de la computacion, la conectividad, las capacidades visuales y multimediales, la miniaturizacion y la velocidad en los actuales elementos tecnologicos, es que se introducen cambios en la esfera de los problemas de investigacion que se han de plantear. Las preguntas inicialmente formuladas en los anos 70's buscaban encontrar como cierto tipo de actividades mediadas por la computadora mejoraban el aprendizaje del estudiante, siendo un problema fundamental de este tipo de planteamientos, la ausencia de preguntas por el proceso mayor de cambio a escala institucional y el contexto social en el cual eran utilizadas y adquirian sentido. Las practicas de ensenanza, las experiencias del estudiantado, los contextos pedagogicos e inclusive lo que estaba siendo realizado con las computadoras, fueron excluidos para que los investigadores pudieran hacer afirmaciones poderosas y definitivas sobre los efectos de la introduccion misma de la tecnologia. Este camino probo su esterilidad para la investigacion del impacto de las TIC en los procesos educativos.

El Proyecto Conexiones visualizo este problema en su documento "Modelo de Evaluacion" (2001), al senalar que el campo de la incorporacion de nuevas tecnologias a la educacion se observa una tendencia a realizar evaluaciones e investigaciones sobre topicos especificos, con un enfoque que intenta identificar y explicar la influencia de un factor determinado en un resultado concreto. Subrayan los autores que ello supone una gran limitacion, en tanto los hallazgos no permitian a los educadores alcanzar el gran reto de utilizar esas tecnologias para apoyar el desarrollo de capacidades en los estudiantes.

Surgen entonces nuevas preguntas de investigacion que rescatan interrogantes como las siguientes: ?como se integran las tecnologicas en los contextos educacionales?, ?como son interpretados y adaptados por los usuarios los nuevos recursos electronicos? y ?como articular las nuevas capacidades tecnologicas con las necesidades de aprendizaje de los estudiantes? y ?como puede interactuar y apoyar el cambio tecnologico con los cambios en otras esferas del proceso educativo? A estas preguntas se les puede agregar aquellas que elabora Jurich (1999) en su cuestionamiento de algunas de las evaluaciones realizadas a estos programas: ?como se integra la informatica al curriculo escolar en general?, ?cuales son los factores culturales que median en el proceso de aprendizaje tanto en el docente como en el estudiante? No obstante, este enfoque mas contextual de la investigacion del impacto de Programas Educativos apoyados en las TIC se encuentra planteado en la metodologia de los primeros estudios conducidos por la Fundacion Omar Dengo (1992, 1995).

Estas nuevas preguntas, afirman Honey, McMillan & Carrig (1999), requieren del desarrollo de metodos que puedan responder a como los factores de diseno, cultura escolar y practicas educativas y pedagogicas dan forma al impacto que las tecnologias pueden tener en el sistema escolar. Para ello recomiendan la realizacion de estudios longitudinales de gran escala que busquen entender como sucede el proceso de innovacion en las escuelas y no se limite a encontrar los resultados especificos. Igualmente subrayan la importancia de rescatar el rol fundamental de los maestros como colaboradores en el diseno, la implementacion y la interpretacion de la evaluacion.

Respondiendo a esta inquietud, Van Harmelen (2001) diferencia entre evaluaciones de impacto y el "impact assessment". La evaluacion debe tomar en cuenta las influencias positivas y negativas que no son necesariamente atribuibles al proyecto especifico; mientras que, "assessment" describe un proceso sobre el impacto que la intervencion tiene y esta acorde con la naturaleza cualitativa del estudio.

Esta tesis es sostenida tambien por Crook (1998) quien en el analisis de resultados de investigaciones dirigidas a la evaluacion de efectos producidos por la introduccion de la informatica en el sistema educativo en los 80's y 90's, llega a la conclusion que la variable que demuestra tener un peso significativo en el aprovechamiento de los alumnos se encuentra en la capacitacion de los docentes y la implementacion de estrategias pedagogicas adecuadas al medio. Tambien Herman (2001) hace hincapie en esta idea demostrando que la reforma educativa no se sostiene unicamente con la introduccion de la tecnologia sino que se debe de enfatizar en la puesta en practica de tales programas. Este es el aspecto crucial a tomar en cuenta en las evaluaciones.

Especificamente en el ambito latinoamericano, un aporte fundamental en materia de evaluacion proviene del Proyecto Conexiones en Colombia anteriormente mencionado. Segun afirman, el enfoque que se sigue en dicho proyecto reconoce que la evaluacion permite comprender la naturaleza del programa, con la intencion de mejorar a traves del analisis y de los resultados la practica misma. Al respecto anaden que la evaluacion que se propone no tiene solamente la pretension de etiquetar el programa como bueno / malo, ni siquiera la de facilitar la toma racional de las decisiones, sino que convierte en un instrumento que coloca el enfasis en los procesos y el contexto de los ambientes de aprendizaje mas alla de la medicion de los productos, las condiciones de entrada y los recursos mismos (Proyecto Conexiones, 2001).

En este sentido, es oportuno tambien el senalamiento que hace Aphek (2001) en torno al concepto de aproximacion dialogica en la metodologia de evaluacion en sistemas educativos. Al respecto rescata que existe un proceso de dialogo permanente entre componentes tales como topicos, flujos de informacion, habilidades y valoracion de la comunidad especifica en la cual opera la escuela y programa.

A pesar de lo anterior, las investigaciones y evaluaciones focalizadas en aspectos particulares no han sido dejadas de lado y por el contrario son tan relevantes como en los primeros anos del desarrollo de esta tematica. Un ejemplo de ello se puede observar en el estudio de Allegra, Chifiari & Ottaviano (2001) en la que se afirma la relevancia de las TIC en el desarrollo cognoscitivo a partir de resultados favorables en aspectos como la creatividad y el uso del tiempo.

En general, estas evaluaciones e investigaciones en el campo de la informatica educativa, sugieren que el acceso sostenido a la tecnologia tiene el potencial de impactar positivamente tanto en el proceso de aprendizaje de los estudiantes como la vision de la comunidad sobre las capacidades de sus estudiantes. Sin embargo, los hallazgos indican que la tecnologia por y en si misma, con la ausencia de otros componentes de reforma escolar, no producen este tipo de cambios (Honey, McMillan & Carrig, 1999). Una idea similar es ejemplificada por la propuesta de una concepcion relacional de la tecnologia (Burbules & Callister, 2001) que reconoce que las elecciones en materia de uso de las TIC siempre estan relacionadas con un cumulo de otras practicas y procesos sociales que determinan su impacto.

Lo anterior tambien se evidencia en planteamientos como los de Hamelink (UNRISD, 1999) e Iglesias (BID, 2000), quienes afirman que el progreso y el desarrollo social requieren de una plataforma de espacios publicos, redes, canales y sitios que faciliten el intercambio de conocimientos para la deliberacion, participacion e informacion de las personas con miras a la democratizacion de la toma de decisiones en las estructuras publicas locales, naciones y globales. Asi, se reconoce el potencial de las TIC para desarrollar esta plataforma, pero nunca por si mismas, sino enmarcadas en politicas que orienten su uso. En este sentido Iglesias (2000) afirma que la voluntad politica tiene el potencial de marcar la diferencia entre brecha digital y oportunidad digital para el desarrollo, y que las tecnologias de la informacion y la comunicacion, sin dicha voluntad politica para el logro de objetivos de desarrollo, puede mas bien incrementar la brecha ya existente en la sociedad del conocimiento.

En sintesis, las tendencias en la evaluacion del impacto social plantean la necesidad de no colocar a la tecnologia en el centro del analisis. Por el contrario la tecnologia debe verse como una variable mas en un conjunto de otras variables que tienen un enorme peso en las consecuencias finales de los programas que se sirven de las TIC. Por otra parte, las evaluaciones pueden estar ubicadas en el orden de lo general cuando tienen la ambicion de valorar la generalidad de los impactos de los programas; pero tambien se pueden centrar en aspectos especificos de los efectos. Estos ultimos a pesar de que no tienen la posibilidad de hacer una completa valoracion de impacto social si muestran datos importantes para evaluaciones mas generales.

IV. Tendencias en el uso de indicadores y marcos de evaluacion

Los diferentes documentos revisados para esta propuesta de estado del arte, pero, especialmente aquellos que constituyen evaluaciones o reflexiones metodologicas para la evaluacion de impactos de TIC, presentan como una de las labores esenciales en la construccion de sus marcos metodologicos la elaboracion de indicadores pertinentes para la valoracion del fenomeno de interes. Esta preocupacion se observa en dos aspectos; por un lado, la construccion y escogencia de los indicadores en si mismos, y por el otro, la construccion de estructuras de evaluacion desde las cuales dichos indicadores deben ser empleados.

En la construccion de indicadores, se parte del supuesto de que los indicadores para valorar el impacto de las TIC poseen condiciones particulares, y en consecuencia, deben ser adecuados para que den cuenta del proceso que se quiere evaluar (Rohozinski, 1998). Sin embargo, este no parece ser un punto ampliamente compartido. Especificamente en el campo de la investigacion y evaluacion educativa, se encuentran documentos (Ritcher, 2001; Martinello, 1999) que hacen caso omiso de este punto de partida y buscan valorar el impacto de las TIC en terminos de indicadores ampliamente usados en el pasado (por ejemplo: tasa de matriculacion, rendimiento academico, desercion, etc.). Quienes presentan propuestas que buscan rescatar la particularidad de las TIC incluyen indicadores que se relacionan, por un lado, con las caracteristicas de la interaccion entre docentes y educandos con y a traves de la tecnologia (por ejemplo: uso, apropiacion, desarrollo de ambientes colaborativos, etc.); y por otro, indicadores que valoran las consecuencias de las TIC mas alla de los ambitos inmediatos de su aplicacion (por ejemplo: repercusiones de las TIC sobre el desarrollo social, generacion de integracion social, mejoria en condiciones de vida, etc.).

Con respecto a las estructuras de evaluacion o marcos metodologicos que coordinan el empleo de indicadores, se perfilan al menos cuatro posiciones que se diferencian entre si con claridad y una quinta que constituye una posibilidad de integracion.

La primera propuesta (Ernberg, 1998; National Research Council, 1998) que se puede encontrar es la de organizar las estructuras de evaluacion segun el ambito de impacto. Estos niveles de impacto son de muy variadas posibilidades entre las que cabe senalar la escuela, el aula, la casa o la comunidad como un ambito de impacto de las TIC. En general se refieren a ambitos de impacto como espacios donde este impacto puede ser observado, la decision de cual es el ambito escogido es una decision que responden a los interese de la evaluacion.

El segundo marco de organizacion empleado es entender los impactos segun tipo de impacto. Se realizan organizaciones de indicadores segun ubiquen resultados positivos o negativos, previstos o imprevistos, directos o indirectos (ver: National Research Council, 1998).

El tercer marco de ordenamiento de los indicadores responde al criterio de las condiciones especificas y las caracteristicas de las poblaciones. En este sentido se ordenan marcos en funcion del tipo de poblacion (Jackson, 2001; Young, 1997; Wood, 1997). Esto implica que el ordenamiento de los indicadores responde a criterios tales como genero, etnia, edad, nivel educativo, nivel economico, etc.

Un cuarto criterio de ordenamiento propone estructurar los indicadores en funcion del proceso del programa. Emplear la dimension procesal del impacto implica considerar diferenciaciones tales como indicadores de penetracion como antecedente a los indicadores de uso (Daly, 1999) o indicadores para resultados, efectos e impactos (Camacho, 2000b & 2001a).

Finalmente, una vision integradora de los anteriores ordenamientos se puede observar en el trabajo de Proyecto Conexiones (2001) en el cual, el ordenamiento de su Modelo de evaluacion comprende agrupar indicadores segun el contexto (o ambitos), condiciones, el proceso de programa y las poblaciones afectadas.

En sintesis se puede senalar que la construccion de indicadores para valorar las repercusiones de las TIC se orienta en funcion de disenar indicadores que puedan dar cuenta de la especificidad del fenomeno. Esto, sin embargo no es ampliamente seguido homogeneamente y se mantiene el uso de los indicadores usados de forma tradicional en educacion. Por su parte, los modelos de evaluacion que les proveen a los indicadores de una estructura para su utilizacion, muestran variadas posibilidades. A pesar de ello, queda claro que estas diferentes posiciones no son de ninguna manera irreconciliables y por el contrario parece adecuado disenar modelos de evaluacion que integren dos o mas de estas posibilidades.

V. Principales metodos y tecnicas de evaluacion

En cuanto a estrategias metodologicas, las propuestas de los documentos revisados son diversos. Sin embargo, hay consenso en cuanto a la necesidad de incluir a representantes de todas las poblaciones interesadas en el diseno, la implementacion y el analisis del proceso de evaluacion (Stoll, Menou, Camacho, Khellady, 2002; Menou, 1999 & 2001; Menou & Potvin, 2000; Potvin, Lanfranco & Balson, 2000; Young, 1997; Jackson, 2001; ACP-PSRM, 2001). En este sentido, Athanasou (1999) plantea que cualquier programa o servicio de aprendizaje asistido por tecnologia refleja una inversion tanto personal, como social y organizacional que necesita ser revisada.

Jackson (2001) postula la necesidad de que se lleven a cabo talleres de trabajo grupal con fases de analisis y planteamiento en los que recomienda integrar tecnicas como la lluvia de ideas; la construccion de un arbol en los que se ramifican problemas u objetivos con una logica subyacente de causa --efecto; la realizacion de FODA (Fortalezas, oportunidades, debilidades y amenazas); el analisis del campo de fuerzas positivas y negativas que promueven o inhiben la consecucion de los objetivos del proyecto; y la creacion de matrices que contengan objetivos, actividades, resultados esperados, posibles indicadores y factores externos que podrian afectar la consecucion de los objetivos.

Esta necesidad de incorporar metodos grupales es tambien planteada por Menou (1999) quien introduce la recomendacion de que en las diversas fases del proyecto, puedan verse reflejados aspectos de uso e impacto relacionados con las esferas de lo individual y lo grupal. De su propuesta puede extraerse una concepcion de lo grupal, y el impacto en este nivel, como distinto a la suma de experiencias individuales por lo que, en la eleccion de los metodos especificos, esta condicion merece el uso de grupos focales y grupos de discusion ademas de los cuestionarios y las entrevistas individuales. En este aspecto en particular, la propuesta de Menou (2001a & 2001b) se dirige a apoyar evaluaciones con mecanismos que amplien la participacion de los interesados en virtud de que la valoracion no debe centrarse en la vision de una elite dominante de actores en el proyecto.

Sumadas a estas recomendaciones, apunta como lecciones aprendidas de la segunda fase del programa "Impacto de la Informacion" en el marco del proyecto "Building on IDRC's Research Program on Assessing the Impact of Information on Decision Making". (Menou, 1999) la necesidad de clarificar, definir y documentar el concepto de impacto que se tomara como base, pues ello guia y determina los objetivos y procedimientos en las diferentes fases metodologicas de una evaluacion. Retoma como metodos de investigacion de impacto principalmente utilizados, los cuestionarios y las entrevistas semi-estructuradas; apuntando ademas, como se senalo previamente, la necesidad de que existan grupos controles en estudios longitudinales. Finalmente propone la pertinencia de producir un manual detallado que permita rescatar los marcos conceptuales y metodologicos en fases posteriores de un mismo estudio, para articular la pluralidad del uso de multiples canales, fuentes y metodos de recoleccion de la informacion.

Por su parte, ACP-PSRM (2001) plantea que la identificacion e incorporacion de todos los interesados a diferentes niveles constituye una de las herramientas mas poderosas en la evaluacion TIC con perspectiva en genero. Una de las razones para ello es que permite asegurar que se tomen en cuenta la perspectiva de grupos con diferentes caracteristicas pero que igualmente estan siendo afectados por las diferencias de genero.

En este mismo sentido y en el ambito educativo especificamente, Britain & Liber (1999) rescatan la necesidad de considerar las diversas poblaciones implicadas: maestros, tutores, estudiantes e institucion, y para ello consideran el modelo conversacional (Laurillard, 1993), que en-fatiza las interacciones entre el estudiante y el tutor; y el modelo de sistemas viables (VSM, 1981; Beer, 1981) que subraya como el software ayuda al tutor a manejar conversaciones y construir actividades individualizadas para una gran numero de estudiantes.

Miller & Slater (2000) abogan por la pertinencia de los abordajes etnograficos del fenomeno suscitado en la incorporacion de las TIC a las comunidades. Estos metodos de investigacion dan cuenta de aspectos como los cambios en los procesos de socializacion y apropiacion, donde las TIC juegan un papel importante en la dinamica de los factores culturales. Aplicaciones concretas de este tipo de metodos de investigacion se encuentra en el trabajo de Cabrera (2001) quien recurre a diferentes tecnicas cualitativas con una perspectiva etnografica para entender la apropiacion de Internet en jovenes escolares desde el punto de vista psicosocial y cultural. Por su parte el trabajo de Arredondo (2001) compara, con metodos etnograficos, las diferencias que existen entre las intenciones del proyecto Enlaces de Chile con los resultados. Por su parte, los estudios realizados en la FOD sobre el Programa de Informatica Educativa para la escuela primaria, tambien han privilegiado los metodos cualitativos como los estudios de casos, basados en tecnicas como la observacion y la entrevista semiestructurada (FOD, 1993, 1995a, 1995b, 1997, 2000b). Finalmente, el trabajo de Van Harmelen (2001) asume un metodo naturalista/interpretativo que no se distancia de los enfoques etnograficos en la evaluacion de un proyecto educativo con TIC en Namibia.

En general, los documentos revisados sugieren como metodos posibles ademas del trabajo con grupos focales y entrevistas, las observaciones, el estudio de casos, las aproximaciones etnograficas, el uso de cuestionarios por e-mail como mecanismos de recoleccion de informacion y los disenos experimentales (Hudson, 2001; Athanasou, 1999; Menou, 1999; Advance Strategic Management Consultants, 1999; Diaz-Albertini, 2001), el uso de tecnicas participativas (Gomez & Hunt, 1999; Sguazzin & du Toit, 2000) y el analisis de anecdotas (Stoll, Menou, Camacho & Khellady; 2002; PANTLEG, 2000).

Se rescata ademas la pertinencia de completar el trabajo de entrevistas con trabajo de campo, y en ello aparece como un rasgo fundamental la necesidad de integrar criterios y medidas objetivas o cuantitativas, en tanto factibles, medibles y verificables; y medidas subjetivas o cualitativas en tanto opiniones, percepciones y niveles de satisfaccion. (Athanasou, 1999; Young, 1997; Jackson, 2001; Menou & Potvin 2000; Advance Strategic Management Consultants, 1999; Wood, 1997; Hudson, 2001). A esta idea se suma Diaz-Albertini (2001), Miller & Slater (2000) quienes rescatan que la medicion no solo hace referencia a los cambios tangibles o materiales sino tambien a las expectativas, percepciones y conocimientos de las personas.

VI. Abordajes de la equidad en el ambito de las TIC

La perspectiva de la equidad es una de las mas relevantes en la discusion sobre las TIC. La incorporacion de las TIC en los diferentes ambitos de la vida social se ve principalmente como una necesidad mas que un lujo, que permitira el alcance de bienestar en el campo de la salud, la educacion, y el empleo (Lawson & Comber, 2000). Otros mas optimistas aun, plantean que por medio de la incorporacion de las TIC, la pobreza mundial puede disminuir hasta en un 50% (Morrison, 2001); o en general las consideran herramientas altamente efectivas para promover el desarrollo social (Hilbert, 2001). En general se asume que la unica forma de lograr avances sobre el tema de brecha digital es mediante la introduccion de las TIC en la educacion, pero ello depende de politicas sociales en las que tanto los gobiernos como las instituciones privadas participen activamente (Thomas, 1998).

A pesar de ello, existen diferentes discusiones sobre el tema de la brecha digital a nivel mundial (The Public Voice, 2001), especialmente en lo que se refiere a cuales son las mejores politicas a seguir para eliminarla. Para ello la via privilegiada ha sido la constitucion de programas educativos de informatica que presentan un acento en poblaciones tradicionalmente limitadas en posibilidades como son: las poblaciones rurales, el grupo femenino, la ninez y los grupos con bajos niveles economicos y educativos.

En este contexto el discurso prevaleciente es aquel que apunta a senalar el acceso fisico a las TIC como un paso necesario pero no suficiente. En este sentido, Kleiman (2000) expone que la equidad no debe ser buscada por medio de la disposicion equitativa de maquinas entre alumnos, o entre comunidades con amplias posibilidades economicas y aquellas que carecen de ellas. La posicion de acceso fisico per se a las TIC responde a mitos generados por la inclusion de la tecnologia en los sistemas educativos. Para que se de la verdadera equidad debe de hacerse un uso de la maquina como herramienta. Esto implica que debe de darse un acento en la capacitacion de los docentes y el desarrollo de estructuras organizativas que permitan la introduccion tecnologica en las escuelas.

En esta linea de discusion, Mansell & When (1998) presentan a las TIC como una posibilidad para que se alcance el "empowerment" de las personas. Un ejemplo de esto se puede encontrar en el estudio de Hafkin & Taggart (2001) donde se expone como la introduccion de TIC en los grupos de mujeres ha permitido que se den cambios en el proceso de produccion, se han introducido nuevos productos y servicios y se ha dado un giro en la tecnologia empleada, facilitando que las mujeres asiaticas eleven su nivel de vida. Un ejemplo especifico del trabajo sobre la pobreza se encuentra en Aminata (2000), quien presenta el reporte de una experiencia en las que se comenta como se trabajo con jovenes de Senegal para capacitarlos en el uso de tecnologias, esto con el fin de reducir la pobreza y proveer posibilidades para su futuro.

Desde el punto de vista de las zonas geograficas, la introduccion de las TIC en las zonas rurales se considera una de las principales direcciones sobre las que se busca actuar contra la inequidad. Estas zonas tienen la particularidad de ser mayormente desprovistas de desarrollo social y aglutina la mayoria de la poblacion mundial alcanzando un 71% (PANTLEG, 2001). Esta perspectiva ha conducido a programas de informatica educativa como el de Costa Rica a contar entre sus criterios para la seleccion de escuelas participantes, su ubicacion en la zona rural y su pertenencia a los estratos sociales mas desposeidos, de modo que aproximadamente el 60% de las escuelas que lo integran se ubican en la zona rural (FOD, 2002).

Para Ishaq (2001) a pesar de que existe brecha de la equidad en tanto que brecha economica y brecha en el acceso a la tecnologia, lo mas relevante es que por medio de estas se potencie la disminucion de una brecha en la creatividad. Desde su perspectiva la Internet debe ser entendida como un espacio en el cual se puede desarrollar la creatividad de las personas.

La perspectiva de Morino Institute (2001) y al expuesta por Gomez & Martinez (2001) es que la tecnologia debe de ser empleada para el desarrollo de oportunidades, mediante las cuales se van a poder observar mejoras tangibles en las condiciones de vida de las personas. Este seria un objetivo que no se alcanzaria por la via simplista de poner las TIC a disposicion de las personas, sin que medie un enfoque orientado al desarrollo de las capacidades de las personas.

Estos ultimos autores (Gomez, Martinez & Reilly; 2001) plantean que la brecha digital es una manifestacion de las brechas sociales, politicas y economicas, tanto en los ambitos locales como internacionales. Por ello focalizarse en la brecha digital no va a ser determinante en la mejora del desarrollo social. Mas que el acceso fisico a la Internet y las TIC en general se requiere de la capacitacion de las personas para que puedan emplearlas.

A manera de sintesis se puede senalar que existe en los documentos revisados una tendencia critica a la sobrevaloracion del efecto que las maquinas pueden tener en la sociedad y la educacion. Esta sobrevaloracion se traduce en politicas de distribucion igualitaria de recursos tecnologicos; sin embargo, la idea de que la presencia de la maquina en si misma produce desarrollo social y mejora las condiciones de equidad es un mito. Para alcanzar esto debe de partir de la perspectiva de la maquina como herramienta que es empleada para el desarrollo de capacidades humanas.

Por la via del desarrollo de capacidades se puede avanzar hacia mejoras posibles en las condiciones de vida de las personas. Para que se de esta mejora de las capacidades se requiere de inversion en la capacitacion de docentes para que posibiliten un uso efectivo y apropiado de las TIC en las poblaciones interesadas.

Desde el punto de vista de la evaluacion de programas que introducen las TIC en la educacion, no se debe de limitar el analisis de la equidad al tema del acceso igualitario, sino que se debe avanzar hacia el conocimiento de efectos sobre las capacidades humanas y las condiciones para que ellas se desarrollen. Esto, claro esta, no excluye la preocupacion por las variables de la desigualdad (genero, pobreza, distribucion geografica, etc.); por el contrario busca pasar del analisis simplista de la presencia o no, a la valoracion de cual es la magnitud de los efectos y las condiciones que los posibilitan.

Sintesis general

Con el panorama anteriormente descrito se pueden extraer algunas conclusiones de orden general; las cuales delinean --si bien es cierto, a grandes rasgos-- intenciones, estrategias y enfasis en la investigacion y evaluacion de programas que emplean TIC. Estas lineas generales son la siguientes:

--La evaluacion es entendida en el contexto de estos programas como un elemento para la formulacion de juicios. Es frecuente el recurso a diferentes tipos de evaluacion (exante, monitoreo, expost, etc.), y su empleo se debe principalmente a la intencion con la que la evaluacion se lleve a cabo; es decir, lo que realmente tiene peso es si la evaluacion se realiza con miras a la planificacion, la retroalimentacion o a la toma de decisiones sobre el futuro de los programas. A pesar de ello, existe una tendencia a propiciar la confluencia de diferentes modalidades de evaluacion en los nuevos modelos que se construyen para estos fines. Asi, se busca complementar las evaluaciones diagnosticas con monitoreos y analisis de impactos, y de integrar evaluaciones sumativas y formativas.

--Se disenan modelos de evaluacion orientados a constatar los procesos de cambio producidos por la interaccion de diversos contextos con las TIC, mas que la busqueda de resultados puntuales o lineales. Dado que la evaluacion de los programas educativos que utilizan TIC suponen consecuencias progresivas y acumulativas, se plantea comprender estas consecuencias en funcion de modelos que den cuenta de procesos progresivos.

--Una situacion particular que enfrenta la investigacion y la evaluacion de las consecuencias a nivel educativo y social de estos programas es el constante y acelerado desarrollo tecnologico, el cual le imprime cambios constantes a las posibilidades de aplicacion de las TIC a la educacion.

--Uno de los aspectos importantes que dificulta el desarrollo en metodologia para la evaluacion de los impactos sociales de los programas educativos apoyados en las TIC es la escasez de indicadores que puedan dar cuenta de los cambios que estos programas generan en los diferentes ambitos en los que entran a interactuar.

--Existe bastante consenso en recomendar que con la instalacion de un programa se debe de acumular la mayor cantidad posible de documentacion, tanto de las condiciones iniciales como del desarrollo del programa. Por esta via se facilita la evaluacion de impacto social y la evaluacion longitudinal.

--Los metanalisis realizados a las investigaciones y evaluaciones desde los 70 sobre las consecuencias de las TIC presentan un panorama incierto respecto a la efectividad de estos programas, senalandose que son justamente las variables no tecnologicas (docencia, capacitacion, relaciones interpersonales, etc.), las que tienen mayores y mejores efectos en el aprendizaje de las personas.

--En cuanto a metodos de investigacion resalta el hecho de que el desarrollo de las evaluaciones debe darse con la incorporacion de la mayor cantidad de representantes posibles de los interesados. En este sentido se consideran poco recomendables los enfoques en los que todo el protagonismo del proceso lo lleve a cabo el evaluador. Por otro lado, introducir a los diferentes grupos de interesados implica pensar los efectos de los programas apoyados en las TIC mas alla de los ambitos en los que tienen una incidencia directa. En este sentido, ambitos que otrora han sido de escaso interes como el macrosocial o el comunal --en los proyectos que no son telecentros-- se presentan ahora como sujetos importantes de evaluacion.

--Los metodos longitudinales surgen como uno de los metodos mas recomendados pero a la vez, menos empleados. Se sostiene que dichos metodos podrian dar resultados mas solidos con los cuales poder valorar las consecuencias reales que se le pueden atribuir a dichos programas.

--Por otro lado, el uso de metodos etnograficos y de tecnicas cualitativas se postula como una de estas estrategias metodologicas mas empleadas en la actualidad. Esto contrasta con el uso de metodos de medicion de caracter cuantitativo que no parecieran estar en el primer plano de interes de los investigadores en el campo.

-- La preocupacion por la equidad se ha presentado de dos maneras: por un lado en funcion de grupos marginados (mujeres, pobres, ninos, etc.), pero tambien se ha organizado la discusion en funcion de diferentes condiciones de equidad; donde resalta la comprension de la equidad como igualdad de bienes (computadoras, conexion, capacitacion) y la equidad como desarrollo de oportunidades. Esta ultima nocion de equidad es la mas valorada, y se plantea como perspectiva que debe estar presente desde la planificacion de los programas hasta su evaluacion.

Finalmente, mas alla de aspectos que pueden centrarse en la caracteristicas generales de la evaluacion de programas, se ha senalado que la construccion especifica de condiciones para evaluacion del impacto social de programas apoyados en las TIC es aun un proyecto por constituirse. Se plantea que no existe a la fecha un consenso sobre cuales son los indicadores adecuados para valorar el fenomeno y sus vias de aprehension. Por ello, la exploracion de modelos de evaluacion, el desarrollo de indicadores y criterios se convierte en un punto capital de la agenda de investigacion de estos temas.

Notas

* Este trabajo se llevo a cabo con la ayuda de fondos asignados por el Centro Internacional de Investigaciones para el Desarrollo de Ottawa, Canada (CIID-IDRC) y se desarrollo en el departamento de Investigacion de la Fundacion Ornar Dengo. Para la redaccion inicial de las primeras secciones de este documento se conto con la colaboracion de la Bach. Monica Salazar Villanea. Para la revision de esta version se conto con la colaboracion de Magaly Zuniga.

1. En adelante, para referirse a las Tecnologias de la Informacion y la Comunicacion se emplearan las siglas TIC.

2. Son programas que vinculan los recursos tecnologicos con las comunidades. Tienen diversas formas de implementarse, ya sea por medio de instituciones (municipalidades, escuelas, etc.) o por medio de estructuras movibles que se colocan en las comunidades. Si bien su orientacion puede ser educativa, la mayoria de estos programas estan centrados en el desarrollo social de las zonas en las que operan.

3. MEAI: Monitoreo, evaluacion y analisis de impactos.

Referencias bibliograficas

ACP-PSRM. "Metodologia de evaluacion de genero (MEG)". En http://www.apcwomen.org/gem/ Consultado 6/1/02. 2001.

Aminata, T. "Linking computers and community organizations in Senegal". www.idrc.ca/red_article_english.cf m?article_num=719 Consultado el 1/11/2001. 2000.

Allegra, M.; Chifiari, A.; Ottaviano; S. "ICT to tain students towards creative thinking". En: http://ifets.ieee.org/periodical/ vol_2_2001/allegra.html Consultado 15/1/02. 2001.

Alvarez, M.; Roman. F.; Dobles, M.; Umana, J.; Zuniga, M.; Garcia, J.; Means, B.; Potashnik, M.; Rawlins, L. Computadoras en las escuelas: estudio cualitativo de Chile y Costa Rica. E&T: Education and Technology Series: Special Issue. 1998.

Aphek, E. "Sharing Knowledge and bridging gaps: children teaching children computer skills". Israel. En: http://www.iicd.org/base/ story_search_read?id=27 Consultado 15/1/02. 2001.

Arredondo, J. "Nuevas Tecnologias, educacion y equidad. Un estudio etnografico en las escuelas de Chile. FONDECYT-Chile. FLACSO-Ecuador. 2001.

Athanasou, J. "A framework for evaluating the effectiveness of technology-assisted learning". En: Virtual University Journal, Vol. 02, No. 1, pp. 13-21. http://www.emerald-library.com/ pdfs/50802aa2.pdf Consultado el 17/05/01. 1999.

Blau, A. "More than Bit Players: how information technology will change the ways Nonprofits an Foundations work and thieve in the information age". Nueva York: Surdna Foundation. En: http://www.surdna.org/documents/ morefinal.pdf Consultado el 8/1/02. 2001.

Britain, S.; Oleg, L. "A Framework for Pedagogical Evaluation of Virtual Learning Environments". University of Wales, Bangor. En: http://www.jtap.ac.uk/reports/htm/ jtap-041.html Consultado el 28/05/01. 1999.

Burbules, N.: Callister, T. "Educacion, riesgos y promesas de las nuevas tecnologias de la informacion". Ediciones Juan Granica: Barcelona. 2001.

Cabrera, J. "Naufragos y navegantes en territorios hipermediales: Experiencias psicosociales y practicas culturales en la apropiacion de Internet en jovenes escolares". Informe presentado a concurso Investigacion sobre Impactos Sociales de las TIC en Latinoamerica y el Caribe. FLACSO, Sede Ecuador. 2001.

CAIBI "Relacion de indicadores TIC en los paises de la CAIBI". En: http://www.map.es/csi/caibi/ indicadores_lista._pdf Consultado el 7/1/02. 2000.

CAIBI "Que es CAIBI?". En: www.map.es/csi/caibi/general/ o_2.htm Consultado 1/10/01. 2001.

Camacho, K. (coord.) "Building an ICT evaluation framework. IDRC-Workshop. Memoria de los talleres realizados en Costa Rica. 13-15/12/2000. Material Mimeografiado. 2000a.

Camacho, K. "Marco de referencia de la investigacion. ?Como nos acercamos a la valoracion de impacto de la Internet en las Organizaciones de la sociedad civil de Centroamerica? Fundacion ACCESO: Costa Rica. 2000b.

Camacho, K. "La Internet, un gran desafio para las organizaciones de la sociedad civil centroamericana". Primer analisis de una encuesta" regional. Fundacion ACCESO. En: http://www.acceso.or.cr/publica/ grandesafio.shtml Consultado 07/11/01. 2001a.

Camacho, K. "Internet, ?una herramienta para el cambio? Elementos para una discusion necesaria". Fundacion ACCESO. En: http://www.acceso.or.cr/publica] telecom/conocimiento22.shtml Consultado el 07/11/01. 2001b.

Camacho, K. "?Como nos acercamos a la valoracion del impacto de la Internet en las Organizaciones de la Sociedad Civil de Centroamerica?". Fundacion ACCESO. En: http://www.acceso.or.cr/publica/ telecom/Framework.shtml Consultado 07/11/01. 2001c.

Chasquinet "Estado del arte de los telecentros en America Latina y el Caribe". Ecuador. En: http://chasquinet.org/pub/docs/ telelac/estarte.doc Consultado el 13/2/02. 2002.

Colin, L; Walker, D. (ed.)"Telecentres: Case studies and key Issues". Vancouver: the Common wealth of learning". En: http://col.org/telecentres Consultado 7/1/02. 2001.

Crook, C. "Ordenadores y aprendizaje colaborativo". Madrid: Morata. 1998.

Daly, J. (1999) "A conceptual framework for the study of impacts of the internet. University of Maryland. http://www.bsos.umd.edu/ cidcm/papers/jdaly/concept.htm Consultado 14/6/01.

Diaz-Albertini, J. "Evaluacion de Impacto Social de la Red Cientifica Peruana e Internet en el Peru 1991-1995". Direccion Universitaria Coordinadora de Investigacion Cientifica, Universidad de Lima. Internet, en: http://www.rcp.net.pe/VFORO/ memorias/esp/diaz5.htm Consultado el 29/5/01. 2001.

Ernberg, J. "Integrated Rural Development and Universal Access-Towards a Framework for Evaluation of Multipurpose Community Telecentre Pilot Projects Implemented by ITU and its Partners. Partnership and Participation in Telecommunications for Rural Development: Exploring What Works and Why", Conference Guelph University, Canada. En: http://www.itu.int/ ITU-D-UniversalAccess/johan/ papers/guelph.htm Consultado el 28/6/01. 1998.

Fundacion Omar Dengo. "Mi experiencia con el programa de informatica educativa MEP-FOD: Impacto del programa en una escuela de zona rural". Informe 1-93. Informe de investigacion evaluativa. San Jose. 1993.

Fundacion Omar Dengo. "Vivencia en el laboratorio de informatica educativa del PIE MEP-FOD. Un acercamiento a los procesos generados en maestras y encargadas de laboratorio". Informe de investigacion evaluativa. San Jose. 1995a.

Fundacion Ornar Dengo. "La vivencia en el laboratorio de informatica educativa del PIE: un acercamiento a los procesos generados en ninos y ninas". Informe 2-95. Informe de investigacion evaluativa. San Jose. 1995b.

Fundacion Ornar Dengo. "Construccion de lecciones aprendidas sobre la puesta en practica del Programa de Informatica Educativa MEP-FOD: el papel de los docentes". Informe #6, Lecciones Aprendidas. Informe de investigacion. San Jose. 1997.

Fundacion Omar Dengo. "Informe final de la Evaluacion Formativa del Componente de Capacitacion del Proyecto Informatica Educativa 21 para I y II Ciclos (PIE)". Informe 13-2. Informe de investigacion evaluativa. San Jose. 2000a.

Fundacion Omar Dengo. "Informatica y educacion de adultos: El caso de los cursos de navegacion por internet y correo electronico para adultos mayores y ciudadanos de oro de la Fundacion Ornar Dengo". Informe de investigacion. San Jose. 2000b.

Fundacion Omar Dengo. "Informe de Estadisticas del Programa de Informatica Educativa Ministerio de Educacion Publica-Fundacion Omar Dengo (PIE-MEP-FOD)". Informe del mes de Abril. San Jose. 2002.

Gomez, R.; Hunt, P. "Telecentre Evaluation: A global Perspective". PAN Global Networks, IDRC, proceedings of Conference, Far Hills Inn, Quebec. En: http://www.idrc.ac/telecentre/ evaluation/nn/00 Cov.html Consultado 3/07/01._1999.

Gomez, R.: Martinez, J. "Internet... ?para que? Fundacion ACCESO. En: http://acceso.or.cr/PPPP Consultado el 8/11/01. 2001.

Gomez, R.; Martinez, J.; Reilly, K. "Paths beyond conectivity: Experience from Latin America and the Caribbean". United Nations Development Programme. En: http://63.241.184.166/tcdcweb/ copo_south_journal/2001_oc/ index.html Consultado 9/1/02. 2001.

Hafkin, N.; Taggart, N. "Gender, information technology and developing countries: An analityc study". En: http://www.usaid.gov/wid/pubs/ it01.htm Consultado 11/12/01. 2001.

Hamelink, C. "ICT's and Social Development: The Global Policy Context. UNRISD News" Number 21. Autumn/Winter, DP116. En: http://unrisd.org/engindex/publ/ news/21eng/dp116.htm Consultado el 23/7/01. 1999.

Herman, J. Evaluating the effects of technology in school reform. En: Means, B. (ed). "Technology and Education Reform the reality behind the promise". E.E.U.U.: Jossey-Bass Publishers. 1994.

Hilbert, M. "Latin America on its path into the digital age: Where are we? http://www.eclac.cl/publicaciones/ Desarrollo Productivo/5/LCL555P/ Lc11555.pdf Consultado 10/12/01. 2001.

Hudson, H. Telecentre evaluation: Issues and strategies. En: Colin, L.; Walker, D. (ed) (2001) "Telecentres: Case studies and key Issues". Vancouver: the Commonwealth of learning. En: http://col.org/telecentres Consultado el 7/1/02. 2001.

Honey M.; McMillan K.; Carrig, F. Perspectives on Technology and Education Research: Lessons form the Past and Present. EDC Center for Children and Technology. En: http://www.ed.gov/Technology/ TeachConf/1999/whitepapers/ paper1.html Consultado 17/10/01. 1999.

Iglesias, E. "From digital divide to digital opportunity in Latin America and the Caribbean". Inter-American Development Bank. En: http://www.iadb.org/exr/speeches/ s191000c.htm Consultado 20/8/01.2000.

Ishaq, A. "La brecha informatica mundial". Finanzas y Desarrollo. Vol. 38, No. 3. 2001.

Jackson, B. "Designing Projects and Project Evaluations Using The Logical Framework Approach". The World Conversation Union. En: http://www.iucn.org/themes/eval/ english/lfa.htm Consultado 13/07/01. 2001.

Jurich, J. "Computers in the classroom: How effective???". Performance Review Division. Canadian International Development Agency. TechKnowlogia. Nov/Dec. 1999.

Kleiman, G. "Myths and realities about technology in K-12 schools". En: www.ede.org/ILNT/news/issue14/ featurel.htm Consultado 24/4/01. 2000.

Mansell, R.; When, U. (ed.)"Knowledge societies: Information society for sustainable development" Oxford University Press: London. 1998.

Martiniello, M. "Participacion de los Padres en la Educacion: Hacia una Taxonomia para America Latina". Development Discussion Paper No. 709, June. Harvard Institute for International Development, Harvard University. 1998.

McConnell, S. "Connecting with unconnected rural stakeholders". University of Guelph: Canada. http://www.devmedia.org/papers.cfm?docid=117 Consultado el 7/9/01. 1988.

Menou, M. "Assesssing Methologies in Studies of the Impact of Information: A Synthesis, presented to annual meeting of the American Society of Information Science (ASIS) Pasadena CA, 26 May 1999". En: http://www.bellanet.org/partners/ aisi/proj/synthesis.htm Consultado el 5/12/00. 1999a.

Menou, M. "Synthesis Report-Part 1: Methodological issues. In: Connectivity in Africa: Use, Benefits and Constraints of Electronic Communications. Study carried out under the CABECA project of Padis (UN-ECA) as part of the IDRC sponsored research program on the Impact of Information on Development". En: http://www.bellanetorg/partners/ aisi/proj/conn.htm Consultado el 5/12/00. 1999b.

Menou, M.; Potvin, J. "Toward a conceptual Framework for Learning about ICTs and Knowledge in the Process of Development: Background Document. Bellanet, Draft for Comment". En: http://www.bellanet.org/ICT_res_pol/docs/ LEAP_Concept 2May2000.htm Consultado el 11/5/01. 2000.

Menou, M. "IsICTometrics: Toward an alternative vision and process". En: http://funredes.org/olistica/ documentos/doc2 Consultado 27/6/01. 2001a.

Menou, M. "Educating citizens of the global learning society". Uned nations Development programme. En: http://63.241.184.166/ tcdcweb/coop_south_journal/2001_oct/index.html Consultado 9/1/02. 2001b.

Miller, D.; Slater, D. "The Internet. An Etnographic Approach. Chapter One-Conclusions". Oxford, University of London. En: http://ethnonet.gold.ac.uk/ chapter.html Consultado el 9/05/01. 2000.

Morino Institute. "From access to outcomes: raising the aspirations for technology inicitiatives in low-income communities" Morino report on the digital divide. En http://morino.org/divides/ report2.htm Consultado el 18/12/01. 2001.

Morisson, D. "An outlet to growth". World Link Sept./Oct. 2001. National Research Council. "Internet Counts. Measuring the Impacts of the Internet". Office of International Affairs, National Research Council. Washington, D.C. En: http://www.bsos.umd.ed/cidcm papers/ewilson/xnasresp2.htm#exec Consultado el 20/06/01. 1998.

North Central Regional Educational Laboratory. "Learning with Technology Profile Tool". Technology in Education Consortium. U.S. En: http://www.ncrtec.org/capacity/ profile/profwww.htm Consultado el 14/5/01. 2000.

Lawson, T; Comber, C. "Introducing information and communication technologies into schools: The blurring of boudaries". En: www.techsoup.org/articlepage. cfm?topicid=12&articleid=164 Consultado el 28/11/01. 2000.

Lemke, C.; Martin, C.; Capella, E. "Children and computer technology". California: The David and Lucile Packard Foundation. En: www.futurechildren.org Consultado el 7/1/02. 2001.

GECD. "Learning to chance: ICTs in schools". En: http://electrade.gfi.fr/cgi-bin/ OECDBookShop.storefront/EN/ product/962001131P1 Consultado el 4/12/01. 2001.

PANTLEG "Revealing the soul of a project. Stories as evaluation: Towards a methodology". En" Success Stories of Rutal ICTs in a Development Country. Banco de Documentos de IDRC. 2000.

PANTLEG. "Information and communication technologies for rural development and developing countries". En: http://www.bellanet.org/leap/ pantleg/index.cfm? fuseaction=dsp_document_details& doc_id=23&cat_id=19 Consultado el 12/12/01. 2001.

Plaz, I. "Catalogo bibliografico de tecnologias de la informacion y la comunicacion para fomentar el desarrollo equitativo y sustentable en America Latina". En: http://funredes.org/mistica/ castellano/ciberoteca/catalogo/ index.html Consultado el 27/11/01. 1999.

Potvin, J.; Lanfranco, S.; Balson, D. "ICT Impact Assessment Framework". Bellanet, February, 2000. En: http://www.bellanet.org/ict_res_pol/ index.cfm?Fuseaction= view_article&TheArticle=16 Consultado 4/07/01. 2000.

Prat, A. "Sociedad de la informacion y promocion de la cultura cientifica. Politicas publicas e indicadores de seguimiento (relatoria general)". En: http://ricyt.edu.ar Consultado 17/12/0i. 200l.

Ritcher, C. La gestion del gasto publico en educacion en Centroamerica. En: "?Hacia donde va el gasto publico en educacion?. Logros y desafios". Serie Politicas Sociales 42, vol. III, CEPAL, ECLAC. Division de Desarrollo Social, Chile. 2001.

Rohozinski, R. "Mapping Russian Cyberspace: Perspective on Democracy and the Net. Paper prepared for the UNRISD Conference on Information Technologies and Social Development", Geneva. En: http://www.unrisd.org/infotech/ conferen/russian/toc.htm Consultado 1/08/01. 1998.

Proyecto Conexiones "Modelo de Evaluacion". Informe Final. Colombia. En: http://conexiones.eafit.edu.co/ informes/final/Evaluacion.htm Consultado el 17/10/01. 2001.

Sagna, O. "Information Technologies and Social Development in Senegal". UNRISD News Number 23. Autumn/Winter. ftp://ftp.unicc.org/unrisd/ outgoing/news/23e.pd_df Consultado el 23/07/01. 2000.

SchoolNet S.A. "Assessment and the Evaluation of the Impact of ICT. Educator Development for ICT's: Framework, Version 1, 2". June. En: http://www.school.za/edict/edict/ assess.htm Consultado el 29/05/01. 2000.

Sguazzi, T.; du Toit, D. "The espiral model. New options for supporting the professional development of implementers-based education. Findings from the learning for sustainability's piloting of ideas around environmental learning". Learning for Sustainbility Project. Johannesburg. 2000.

Stoll, K.; Menou, M.; Camacho, K.; Kehellady, Y. Learning about ICTs role in development: A frameworktoward a participatory, transparent and continuous process. Draft 5.2. 2002.

The Public Voice. "The Public Voice and the digital divide: a report for the DOT force". En: www.thepublicvoice.org/dotforce/ DOT_Force_Report.pdf Consultado el 9/1/02. 2001.

Thomas, G. "Elements of a national strategy to foster effective of techonology in elementary and secondary education". En: www.rand.org/publications/ CT/CT145/CT145.pdf Consultado 20/11/01. 1998.

UNRISD. "Info-Tech Project: Information Techonologies and Social Development". En: http://www.unrisd.org/infotech/ index.htm Consultado 31/07/01. 1998.

Van Harmelen, U. "Evaluating Change: an impact study of the Life Science Project Namibia, 1991-2000. Educational Department Rhodes University. 2001.

Wilmore, D. "Establishing a community of learners: the use of information technology (IT) as an effective learning tool in rural primary or elementary schools". En: http://ifets.ieee.org/periodical/ vol_3_2001/ discuss_summary_april2001.html Consultado el 17/1/02. 2001.

Wood, P. "Building Gender Considerations Into ICT Evaluation Work. APC, presented at the Evaluating and Implementing ICT Strategies for the Information Age panel at the Global Knowledge Conference in Toronto, build-gender,html. Consultado el 3/07/01. 1997.

Recibido 26-V-2003 * Aceptado 12-VIII-2003

Jose Miguel Rodriguez Garcia Profesor de la Escuela de Psicologia de la Universidad de Costa Rica
COPYRIGHT 2004 Universidad de Costa Rica
No portion of this article can be reproduced without the express written permission from the copyright holder.
Copyright 2004 Gale, Cengage Learning. All rights reserved.

 
Article Details
Printer friendly Cite/link Email Feedback
Author:Rodriguez Garcia, Jose Miguel
Publication:Educacion
Date:Jan 1, 2004
Words:12291
Previous Article:Ensenanza de la lectura a personas adultas con trastornos del desarrollo.
Next Article:Como planear un programa de radio.
Topics:

Terms of use | Privacy policy | Copyright © 2018 Farlex, Inc. | Feedback | For webmasters