Printer Friendly

Metodo Hibrido de Recomendacion Adaptativa de Objetos de Aprendizaje basado en Perfiles de Usuario.

Hybrid Method for Adaptive Recommendation of Learning Objects based on User Profiles

INTRODUCCION

Los Sistemas de Recomendacion (SR) tienen como principal objetivo entregar a los usuarios resultados de busquedas de informacion cercanos a sus preferencias y necesidades, a partir del hecho que a un usuario le guste o no cierto item, objeto, medio o informacion al que podria acceder (Chesani, 2002). Existen muchas tecnicas de SR, cada una puede ser usada para diferentes enfoques y en diferentes contextos, de acuerdo a las necesidades (Hdioud et al., 2012), ademas necesitan gran cantidad de informacion sobre los usuarios y recursos a recomendar para entregar resultados de calidad. Esto se logra con la caracterizacion de los estudiantes y la retroalimentacion que se realice de las recomendaciones (Li, 2010). Un Sistema de recomendacion hibrido es aquel que combina diferentes SR para producir una salida con el objetivo de completar sus mejores caracteristicas y hacer mejores recomendaciones (Burke, 2007). Estos sistemas de recomendacion hibrida pueden dividirse en dos grupos, los de combinacion lineal, que son aquellos que crean una lista de recomendaciones sin combinarlas para crear una prediccion combinada. Y los de combinacion secuencial, donde la salida de una tecnica de recomendacion es la entrada a otra tecnica. En este articulo solo se tuvo en cuenta la combinacion lineal, donde cada sistema de recomendacion genera sus propios resultados y a traves de alguna tecnica se combinan para dar mejores recomendaciones.

Para que un SR entregue resultados adaptados necesitan de perfiles que almacenen la informacion y las preferencias de cada usuario (Cazella, 2010). Segun (D'Agostino et al., 2005) un "perfil es el modelado de un objeto en forma compacta mediante sus caracteristicas primordiales. En el caso de un perfil de usuario de un sistema de software, este puede comprender tanto datos personales y caracteristicas del sistema computacional, como tambien patrones de comportamiento, intereses personales y preferencias. Este modelo de usuario esta representado por una estructura de datos adecuada para su analisis, recuperacion y utilizacion".

Realizar herramientas como apoyo al proceso ensenanza-aprendizaje, ha sido el reto a lo largo del tiempo en la educacion mundial constantemente en la busqueda de metodos para propiciar la participacion activa del estudiante en el proceso (Tovar et al., 2014). Se quieren entonces entregar materiales educativos conocidos como Objetos de Aprendizaje (OA) que segun el IEEE (Institute of Electrical and Electronics Engineers) en (Learning Technology Standards Committee, 2002), pueden considerarse como una entidad digital con caracteristicas de diseno instruccional, que puede ser usado, reutilizado o referenciado durante el aprendizaje soportado en computador; con el objetivo de generar conocimientos, habilidades, actitudes y competencias en funcion de las necesidades del alumno. Los OA estan almacenados en bibliotecas digitales especializadas llamadas Repositorios de Objetos de Aprendizaje (ROA) donde se alojan multiples tipos de recursos educativos y sus metadatos. Los ROA se unen para facilitar su administracion a traves de Federaciones de Repositorios permitiendo el acceso a los contenidos de los OA disponibles en un grupo de repositorios. Una federacion ofrece un enfoque unificado de representacion de estos repositorios (Acevedo et al., 2010; Tabares et al., 2015).

El objetivo de este articulo es proponer un metodo hibrido de recomendacion adaptativa de OA, utilizando diferentes tecnicas existentes en la literatura, se presentan los pasos necesarios para la construccion de un sistema hibrido, se utiliza un modelo de recomendacion hibrida donde se combinan las tecnicas contenido, colaborativa y conocimiento. El metodo propone adicionalmente realizar combinaciones de resultados de las tecnicas con el fin de entregar OA adaptados al perfil de un aprendiz especifico que sean relevantes a su proceso de aprendizaje. Se realizan diferentes combinaciones de tres tecnicas de recomendacion (Contenido, colaborativo y conocimiento) y se utilizan las medidas de precision, recall y f1 score para evaluar su desempeno.

TRABAJOS RELACIONADOS

Al realizar una busqueda de trabajos relacionados con los SR hibridos aplicados a materiales de aprendizaje basados en un perfiles de usuarios se encontro el trabajo presentado en (Salehi et al., 2013), donde utilizan algoritmos geneticos y realizan dos procesos de recomendacion, el primero de ellos trata de las caracteristicas explicitas representado en una matriz de preferencias del estudiante. La segunda recomendacion es con pesos implicitos a los recursos educativos que son considerados como cromosomas en el algoritmo genetico para optimizarlos segun los valores historicos. En el trabajo de (Zapata et al., 2011), se entregan materiales educativos ajustados al perfil, combinando varios tipos de filtrado, tratando de utilizar toda la informacion que se tenga disponible sobre objetos y usuarios. Inicialmente, el metodo preselecciona OA del repositorio, usando una busqueda con base en los metadatos, luego esos OA pasan por los otros procesos de filtrado para obtener una lista final que sera la que mejor se adapte al usuario En este trabajo se combinan varios criterios de filtrado: basado en el contenido, en la actividad colaborativa y en la demografia.

Por otro lado, hay trabajos donde realizan la revision de algunos SR hibrida como el de (Burke, 2002) y el de (Vekariya y Kulkarni, 2012), donde senalan las ventajas, desventajas y usos de las tecnicas de hacer hibrida la recomendacion. En este ultimo trabajo, utilizaron el filtrado colaborativo (medido con el coeficiente de Pearson) y el filtrado basado en contenido, para hacer la validacion. Concluyen que el filtrado hibrido compuesto por el filtrado colaborativo y el filtrado basado en contenido, mejora las predicciones del SR. Por ultimo en el trabajo de (Degemmis et al., 2007) proponen un modelo de recomendacion hibrida basado en el perfil de usuario donde tambien realizan la integracion de los SR basados en contenido y colaborativo obteniendo buenos resultados.

Con respecto a la determinacion de los estilos de aprendizaje de los estudiantes para entregar materiales adaptados a cada perfil especifico se puede encontrar trabajos como el de (Puello et al., 2014), donde implementa el test de Felder y Silverman utilizando la plataforma Moodle, su principal objetivo fue determinar el estilo de aprendizaje predominante en un curso especifico.

TECNICAS DE RECOMENDACION

Antes de definir el metodo propuesto es importante senalar que la integracion de tecnicas de recomendacion incluye las siguientes: por contenido (i.e. basada en el perfil de usuario), filtrado colaborativo (i.e. basada en perfiles de usuario similares) y basada en conocimiento (i.e. basada en el historial de navegacion). Estas tecnicas se combinan a traves del modelo que se presenta en la figura 1, el cual se compone de seis modulos, donde se recuperan los OA desde repositorios y federaciones, usando los metadatos descriptivos almacenados de estos objetos. Los perfiles de los estudiantes tambien estan disponibles y se componen de sus datos personales, preferencias y estilo de aprendizaje. Por lo tanto, hay tres modulos de recomendacion uno para cada una de las tecnicas seleccionadas; un cuarto modulo que realiza el proceso de integracion utilizando los resultados de las recomendaciones y finalmente se tienen dos modulos que manejan la informacion sobre los perfiles, estos perfiles y estan modelados en OWL (Ontology Web Language), lenguaje de la WEB para representacion de ontologias de dominio y los metadatos de los OA, que estan almacenados en la Federacion de Repositorios de Objetos de Aprendizaje Colombia (FROAC).

METODO PROPUESTO

El metodo que se propone esta compuesto por 4 etapas (ver figura 2) para construir SR hibridos, los pasos que deben seguirse se enumeran a continuacion:

1. Seleccionar las caracteristicas del usuario sobre las que se realizaran las recomendaciones.

2. Seleccionar los SR a utilizar, deben ser minimo dos para tener un sistema hibrido, implementar las tecnicas elegidas.

3. Seleccionar alguna de las tecnicas de combinacion de sistemas de recomendacion e implementarla.

4. Evaluar el desempeno de las recomendaciones utilizando algunas metricas de recuperacion de informacion

A continuacion se describen cada una de las etapas.

Etapa 1: Identificacion de Caracteristicas del Usuario

La primera etapa consiste en la identificacion y seleccion de las caracteristicas del perfil de usuario que describen al estudiante en su rol de usuario en el SR. Entre las caracteristicas que se incluyen, estan los datos personales, tales como su identificacion, nombre, sexo, lugar de origen, nivel de estudios, carrera, institucion donde estudia. Tambien se deben incluir las caracteristicas del contexto del usuario y otras referentes a su historial academico incluyendo los logros o competencias obtenidas y las actividades educativas desarrolladas con los recursos utilizados.

Adicionalmente, algunos estudios afirman que el estilo de aprendizaje es la caracteristica mas relevante para entregar materiales educativos adaptados (Alonso et al., 1997) (Klasnja- Milicevic et al., 2011). El estilo de aprendizaje se refiere a las estrategias para la recopilacion de nueva informacion y adaptacion de la misma a su entorno. Existen diferentes modelos para representar el estilo de aprendizaje de un estudiante. En (Gonzalez et al., 2009) se presenta la combinacion de los modelos de estilos de aprendizaje VARK y FSLSM obteniendo buenos resultados para caracterizar el perfil del estudiante y de esta manera entregar al estudiante los materiales educativos adaptados. El modelo de estilos de aprendizaje de VARK propuesto por Neil Fleming y Colleen Mills es un instrumento para determinar la preferencia de los estudiantes al procesar la informacion desde el punto de vista sensorial. De esta forma las modalidades sensoriales que identificaron son las siguientes: Visual, Auditivo, Lecto-escritor y Kinestesico. Por otro lado el modelo de FSLSM esta disenado a partir de cuatro escalas bipolares, que son Activo- Reflexivo, Sensorial-Intuitivo, Visual-Verbal y Secuencial-Global. Con base en estas escalas, Felder y Silverman han descrito la relacion de los estilos de aprendizaje con las preferencias de los estudiantes vinculando los elementos de motivacion en el rendimiento escolar (Gonzalez et al., 2009)

Etapa 2: Seleccion de Tecnicas de Recomendacion

Existen muchas tecnicas de recomendacion, cada una usada en enfoques y contextos diferente y que requieren informacion diversa tanto del usuario como del material a recomendar (Hdioud et al., 2012). Asi, para el caso de materiales educativos los SR deberia ser capaz de recomendar recursos adaptados a un estudiante especifico. Burke clasifica los SR en (Burke, 2002):

i) SR basados en el Contenido: realizan la recomendacion con base a un perfil de usuario creado que almacena sus intereses, el proceso de recomendacion se hace sobre las caracteristicas presentes en los items.

ii) SR Colaborativos: construyen la recomendacion como una agregacion estadistica/probabilistica de las preferencias de otros usuarios.

iii) SR basados en Conocimiento: hace recomendaciones segun el historial de navegacion de un usuario, este historial esta almacenado con el fin de obtener las preferencias e intereses del usuario.

El enfoque hibrido, busca la combinacion de varias tecnicas de recomendacion con el objetivo de completar sus mejores caracteristicas y hacer mejores recomendaciones (Cazella et al., 2010; Burke, 2002). Aunque los SR hibridos tienen grandes ventajas como entregar recomendaciones de alta calidad, su presencia en la Web es baja, debido a su complejo desarrollo ya que se debe tener en cuenta la gestion de un modelo de usuario, tener mecanismos para definir y clasificar la informacion que puede ser recomendada, la definicion de tecnicas adaptativas, ademas de la definicion de correspondencias entre los usuarios para seguir con las estrategias de adaptacion. Y finalmente, se vuelve un desafio la tarea de seleccionar la mejor tecnica de combinacion para presentar los resultados.

Etapa 3: Combinacion de Tecnicas

Para realizar la combinacion de tecnicas se deben aplicar al menos dos de ellas, Burke propone diferentes metodos de combinacion que se explican en esta seccion (Burke, 2002).

i) Metodo ponderado: Para cada resultado de cada tecnica de recomendacion se le da un puntaje y a traves de un consenso se combinan los resultados. Donde se combinan las puntuaciones o votos para producir una unica recomendacion. Esta combinacion puede ser aplicada utilizando una funcion que pondera la importancia de cada uno de los sistemas de recomendacion. El problema de este metodo es que el valor relativo a las diferentes tecnicas es uniforme, esto no siempre es verdadero porque depende de la cantidad de informacion (evaluaciones, usuarios similares, entre otros) con la que se cuenta. La ponderacion tambien puede ser definida en funcion a una retroalimentacion (puntuacion) que dan los usuarios a las recomendaciones.

ii) Metodo de Conmutacion: El sistema conmuta entre las tecnicas de recomendacion en funcion de la situacion actual segun algun criterio de conmutacion analizando los resultados obtenidos en evidencia pasada. Se aplica una de las tecnicas, si esta no entrega resultados, se prosigue a aplicar la siguiente tecnica. La desventaja de esta tecnica es que si al aplicar la primera tecnica si se encuentran resultados, las otras tecnicas no se ejecutaran y es posible que se queden sin mostrar algunos resultados relevantes para el usuario.

iii) Metodo Mixto: Se presentan las recomendaciones de diferentes sistemas de recomendacion al mismo tiempo. Se ejecutan todas las tecnicas de recomendacion disponibles y se presentan todos los resultados, su principal ventaja es que puede mostrar nuevos elementos. Su principal desventaja es que se pueden mostrar resultados que no son tan importantes para el usuario.

iv) Metodo de cascada: Es un proceso por etapas en la cual, una tecnica de recomendacion se utiliza por primera vez para producir una clasificacion gruesa de los items candidatos y una segunda tecnica refina la recomendacion de entre el conjunto de candidatos. Cada una de las recomendaciones refina las recomendaciones dadas por los otros.

v) Metodo de combinacion de caracteristicas: Se toman las caracteristicas, de diferentes fuentes de datos, de una tecnica de recomendacion se procesan y esas caracteristicas son la entrada a la otra tecnica, este metodo reduce la sensibilidad del sistema al numero de usuarios que han valorado un item. En este metodo se combinan las caracteristicas de los datos en bruto de diferentes fuentes.

vi) Funcion de aumento: Una caracteristica de salida de una tecnica, se usa como una caracteristica de entrada a otra, es decir se utiliza un modelo para generar rasgos para la entrada de un segundo algoritmo. Meta-nivel: El modelo aprendido por un sistema de recomendacion se utiliza como entrada a otro, es decir todo el modelo es la entrada para el segundo algoritmo. Por ejemplo se hace una primera recomendacion sobre la base de interes para la comunidad en conjunto y luego se distribuye a los usuarios particulares. Estos modelos, esencialmente manejan vectores de terminos y pesos que pueden ser comparados a traves de los usuarios para hacer las predicciones.

vii) Interseccion de resultados: A pesar que no esta en la revision bibliografica como una tecnica de combinacion, desde el punto de vista de la teoria de conjuntos es posible utilizar la operacion interseccion que permite obtener los elementos comunes resultados de la aplicacion de las tecnicas de recomendacion. Su principal ventaja es que los resultados entregados son los elementos comunes al aplicar los diferentes SR, ademas se pueden entregar resultados intermedios, intersecciones de solo dos SR.

Etapa 4: Evaluacion del Desempeno de la Integracion

Despues de tener los resultados de la integracion de los SR, se debe evaluar el desempeno, para ello en esta etapa se proponen tres metricas para calcular la calidad de las recomendaciones, usadas comunmente para evaluar la recuperacion de la informacion. Burke afirma que las medidas de precision y recall ayudan a evaluar los resultados y definir si se entregaron buenas recomendaciones, donde se analiza la calidad de la recuperacion (Burke, 2002; Baeza y Ribeiro, 2011; Cardona y Sanchez, 2010). Cabe senalar que la relevancia es entendida como la importancia que tiene un material educativo (en este caso OA), para apoyar el proceso de aprendizaje de un estudiante especifico, adaptandose a sus preferencias y necesidades. Este valor lo determina un grupo de estudiantes que calificaron dicho valor, despues de utilizar el OA.

Las tres metricas consideradas son las siguientes:

i) Precision: esta medida permite conocer el indice del total de materiales recuperados cuantos fueron acertados, es decir cuales de ellos fueron considerados relevantes. Este indice entre mas cercano a 1 es mejor la tecnica de recomendacion (Ver formula 1).

precision = aciertos/recuperados (1)

ii) Recall: para utilizar esta medida se debe conocer del conjunto de posibles resultados cuantos son relevantes para el conjunto de estudiantes, y mide cuantos aciertos del SR estan dentro del conjunto de relevantes. Este indice entre mas cercano a 1 es mejor la tecnica de recomendacion (Ver formula 2).

recall = aciertos/relevantes (2)

iii) F1 Score: Es la media armonica ponderada de precision y recall, donde tiende a 1 cuando el numerador es igual al denominador, indicando una mejor tecnica de recomendacion (Ver formula 3).

fi score = 2 * precision * recall/precision + recall (3)

EXPERIMENTACION Y APLICACION DEL METODO PROPUESTO

Para evaluar el metodo propuesto se utilizo un caso de estudio especifico teniendo en cuenta un tipo de estudiante con el fin de evaluar el desempeno al combinar los resultados obtenidos de las tecnicas de recomendacion seleccionadas.

Etapa 1. Identificacion de Caracteristicas del Usuario

En la identificacion de las caracteristicas del perfil del estudiante se tomo un trabajo previo de los autores (Rodriguez et al., 2013), donde se seleccionaron las siguientes caracteristicas: (i) Datos personales: Identificacion, Nombres, Apellidos, Fecha de Nacimiento, Email, Sexo, Idioma, Usuario, Contrasena, Pais, Departamento, Ciudad, Direccion, Telefono; (ii) Preferencias: Idioma, Temas, Formatos; (iii) Estilo de Aprendizaje: utilizando la combinacion de los modelos VARK y FSLSM, utilizado en trabajos previos como en la tesis de maestria (Rodriguez et al., 2013); y (iv) Historial de Uso: Identificacion de cada OA evaluado, Calificacion, Fecha de utilizacion. En el caso de estudio, los estudiantes seleccionados tienen el estilo de aprendizaje tipo 7: Visual-Global y sus preferencias son la programacion, analisis y diseno de algoritmos. Ademas estos estudiantes evaluaron la relevancia de algunos OA referentes a la programacion exhaustiva (evaluacion>4, en un rango de 1 a 5, donde 5 representa que el material es importante para su aprendizaje y 1 el material no es importante para el).

Etapa 2. Seleccion de Tecnicas de Recomendacion

En esta etapa se realizaron busquedas en FROAC (Federacion de Repositorios de Objetos de Aprendizaje Colombia (Tabares et al., 2015), que cuenta actualmente con 621 Objetos de aprendizaje) con diferentes palabras, como algoritmos, programacion, entre otras, en promedio los resultados fueron de 20 Objetos de Aprendizaje. Encontrando los resultados de la busqueda se pusieron a consideracion del grupo de estudiantes seleccionado y donde debian calificar cuales eran relevantes para ellos, considerando la relevancia como la importancia que tiene el objeto para apoyar el aprendizaje del tema que se esta buscando. Para evitar el sesgo en las tecnicas de recomendacion a cada estudiante se le puso a evaluar todos los materiales. Despues de obtener los resultados de la busqueda se ejecutaron las tecnicas de recomendacion propuestas en la tesis de maestria: (Rodriguez-Marin et al., 2013; Ovalle et al., 2014), que se explican a continuacion:

Recomendacion por contenido: Esta recomendacion esta basada en el perfil del estudiante, donde se asocian los metadatos de los OA: LearningResourceType, InteractivityLevel, IntendedEndUser Role, Context, Description y Language, con las caracteristicas del perfil del estudiante como el estilo de aprendizaje, seleccionando aquellos OA que personalicen los resultados.

Recomendacion colaborativa: La recomendacion basada en filtrado colaborativo, pretende entregar OA a los estudiantes, buscando OA que le gustaron o interesaron a usuarios similares. Siendo la similaridad la representacion numerica del grado de semejanza entre dos usuarios, basada en las preferencias sobre items comunes. Para hacer este proceso primero se busca un perfil similar, para este caso se selecciono la distancia del coseno segun el estudio presentado en (Rodriguez et al., 2014), enfocandose en 6 caracteristicas del perfil del estudiante para encontrar la similitud de los usuarios, estos son: nivel de escolaridad, estilo de aprendizaje, nivel educativo, preferencia de idioma, preferencias de tema y preferencia de formato. Recomienda OA del usuario similar que fueron evaluados positivamente y que fueron recientemente utilizados.

Recomendacion basada en conocimiento: Finalmente la recomendacion basada en conocimiento, hace recomendaciones buscando OA similares a los que el usuario evaluo positivamente en el pasado. Para esto primero se realiza un proceso de filtrado de los OA evaluados con una calificacion igual o superior a 4 y se buscan OA similares, realizando busquedas por los metadatos titulo, descripcion y palabras clave de cada OA a recomendar con los OA evaluados; la medida de similitud utilizada es overlap.

Etapa 3. Combinacion de Tecnicas

Al tener los OA resultantes de cada una de las tecnicas de recomendacion y tener el conjunto de OA relevantes, para cada una de las palabras de busqueda; se continua con la etapa 3 del metodo propuesto, en donde se realiza la combinacion de tecnicas que se explica a continuacion. Para ello se utiliza una notacion para referirnos a las tres tecnicas de recomendacion aplicadas asi: A. Recomendacion por contenido, B. Recomendacion colaborativo, C. Recomendacion por conocimiento. De esta forma se realizaron las siguientes combinaciones de tecnicas: AB, BA, AC, CA, BC, CB, ABC, ACB, BAC, BCA, CAB, CBA. Es importante senalar que para realizar los experimentos propuestos en este articulo no se pueden aplicar las tecnicas: Metodo de combinacion de caracteristicas, funcion de aumento y meta-nivel, debido que para este articulo solo se cuenta con los resultados de las tecnicas, no se hace la recomendacion como tal y estas tecnicas necesitan combinar las entradas o los modelos de las entradas de los SR para generar los resultados.

Para el metodo ponderado, se debe contar con un factor de ponderacion de cada tecnica de recomendacion para seleccionar cada uno de los OA resultado. Estos pesos son tentativos y estan asociados a las condiciones especificas del sistema sobre el que se realiza la evaluacion, pues las tecnicas que requieren de datos historicos para poder hacer la recomendacion se vera afectado favorablemente ante un volumen alto de registros y en el otro caso su peso deberia ser menor. Al no contar con la cantidad de registros evaluados y como queremos evaluar cual tecnica puede ser mas apropiada, el orden para la combinacion sera cambiado mostrando todas las posibilidades, el factor de ponderacion debe sumar 1. Para este caso de estudio y con el fin de ser uniforme en el proceso, se opto cuando se combinan dos tecnicas los factores de ponderacion son 0,7 para la primera y 0,3 para la segunda; por el contrario cuando se combinaron las tres tecnicas, los factores fueron de 0,5, 0,3 y 0,2, tambien segun el orden de la combinacion y proporcional. El peso de cada OA es 1, debido que tienen el mismo valor por ser resultado de la recomendacion y en estas tecnicas no se tiene en cuenta el orden en que se entregan los resultados. Para conocer cuales son los OA resultados de este metodo hibrido, se seleccionan los OA que esten por encima del umbral de 0,6, debido que es la mitad mas 1 del factor de ponderacion.

Para el metodo de conmutacion se debe contar con un criterio de seleccion de la tecnica de recomendacion, para este caso la primera tecnica de cada una de las combinaciones es la seleccionada y los resultados son los que genero esa tecnica. En el metodo mixto se muestran todos los resultados de las tecnicas combinadas reuniendo los resultados, primero se muestran los de una tecnica, luego los de otra y asi presenta todos los OA, sin embargo, como estas tecnicas no entregan materiales ordenados, no se tiene en cuenta cual tecnica entrega primero los resultados. Con el metodo Cascada, se aplican filtros a los resultados de las recomendaciones, entonces para el experimento se selecciono la primera tecnica como la que inicia el proceso y a esos resultados se le aplican los del segundo.

Finalmente, con la tecnica de interseccion de conjuntos, los resultados son los OA comunes a las tecnicas que se estan combinando, teniendo en cuenta resultados intermedios de las intersecciones cuando se combinan los resultados de los tres SR.

Etapa 4. Evaluacion del Desempeno de la Integracion.

Al tener el resultado de cada una de las combinaciones de las diferentes tecnicas y conociendo previamente cuales fueron los OA relevantes para el conjunto de estudiantes que se esta trabajando, se aplico la medida de precision y recall para cada combinacion y palabra, despues se hizo un promedio con ellas, para entregar resultados consolidados; finalmente se calculo la medida de f1 score. A continuacion se presenta la interpretacion de los resultados obtenidos.

i) Metrica de precision: De los OA recuperados por cada una de las combinaciones, se seleccionaron cuantos de ellos fueron relevantes y asi se calculo esta metrica por cada palabra, despues se hizo un promedio y los resultados se muestran en la figura 3. La precision es mas cercana a 1 cuando todos los elementos recuperados son relevantes. En el eje x estan las diferentes tecnicas de combinacion y en el eje y, esta la precision que va en escala de a 2, desde el 0 al 1. Debido que la precision varia en ese rango.

Con los resultados obtenidos se puede concluir para cada tecnica de combinacion que: (i) el metodo ponderado presenta buenos resultados al combinar las tecnicas conocimiento con contenido y con colaborativo, dando mas peso de ponderacion a la tecnica de conocimiento. Esto debido a la naturaleza de los datos y que se cuenta con evaluaciones previas, que es el insumo para el SR basado en conocimiento; (ii) el metodo de conmutacion presenta mejores resultados cuando se entregan los OA del sistema de recomendacion basado en conocimiento; (iii) el metodo mixto entrega resultados con una precision no muy alta para todas las combinaciones, esto se debe a que muestra todos los resultados de las tecnicas y no todos son relevantes para los estudiantes; y (iv) los metodos de cascada e interseccion tienen los mismos resultados cuando se combinan dos tecnicas, entregando muy buenos resultados la combinacion de tecnicas con contenido, esto debido que muchos de los OA resultados recuperados son relevantes. Y son diferentes cuando se combinan las tres tecnicas, dando un valor mayor de precision el metodo de cascada, debido que se recuperan pocos elementos y de ellos son relevantes. En cambio la tecnica de interseccion de resultados tiene un mayor numero de elementos recuperados.

ii) Metrica de recall: Es mas cercano a 1 cuando todos los elementos que son relevantes fueron entregados en la recuperacion. Se pueden ver en la figura 4 los resultados para cada combinacion.

Con los resultados de esta medida se puede concluir que la tecnica de combinacion mixta, entrega mas cantidad de elementos relevantes, seguida por la tecnica de conmutacion y ponderado. Adicionalmente, cabe aclarar que la tecnica de interseccion de resultados, teniendo en cuenta resultados intermedios tambien entrega un buen indice de recall. Por otro lado la tecnica de cascada, no tiene un buen indice de recall, debido a que hace un filtro, donde entrega al final muy pocos resultados, por ello los OA relevantes recuperados son pocos tambien.

iii) Metrica f1 score: Esta media permite visualizar los resultados de precision y recall en una misma metrica (figura 5). Lo que hace esta metrica es que busca la interseccion de las metricas precision y recall y lo divide por la union de las mismas. El metodo de combinacion mixto entrega un buen resultado, debido que su medida de recall es muy alta.

Por esta razon se considero importante conocer en promedio la cantidad de elementos que entrega cada tecnica de combinacion. Para ellos se seleccionaron cuantos objetos fueron recuperados por cada tecnica de combinacion y cuantos de ellos fueron relevantes, en la figura 6 se muestra cuantos materiales entrego cada tecnica, respecto a los OA relevantes de cada una.

Con lo anterior se puede concluir que aunque la tecnica de combinacion mixta entrega mayor cantidad de OA relevantes, sin embargo, la cantidad de OA recuperados es mayor que en las otras tecnicas. Por otro lado la tecnica de cascada entrega muy pocos resultados. La combinacion ideal seria aquella tecnica que entregue una cantidad considerable de materiales de aprendizaje.

Para evaluar el desempeno general en la combinacion de tecnicas de recomendaciones (metodo hibrido) se consideran medidas estadisticas sobre los valores de precision y recall. Dichas medidas se presentan de forma grafica en los diagramas de caja (diagrama de bigotes) de la figura 7, agrupados que permiten hacer visualmente una comparacion cuantitativa y cualitativa de los resultados. Los diagramas de caja ilustran medidas estadisticas asi: en cada cuadro la marca central es la mediana, los bordes de la caja son los percentiles 25 y 75, los bigotes se extienden a los puntos de datos mas extremos que no se consideran valores atipicos, y los valores atipicos se representan individualmente.

Del diagrama de cajas se puede concluir que las tecnicas hibridas de conmutacion y mixto pueden entregar mas cantidad de material educativo relevante, independientemente de las combinaciones de los sistemas de recomendacion que se apliquen.

CONCLUSIONES

Utilizar sistemas de recomendacion hibrida, mejora los resultados relevantes que se entregan a un usuario segun sus caracteristicas personales y adaptandose a sus necesidades. La principal ventaja de los sistemas hibridos es que ayuda a mejorar los problemas de inicializacion y dependiendo de la tecnica de combinacion que se aplique los resultados son diferentes y la informacion con la que se cuenta. En este articulo se propone un metodo para desarrollar sistemas de recomendacion hibrida basado en el perfil del estudiante con el fin de obtener resultados personalizados y adaptables, que apoyen su proceso de aprendizaje. Este metodo cumple con una serie de pasos que inician con la seleccion de caracteristicas del perfil del estudiante, continua con la seleccion de los algoritmos de recomendacion, seguido de la eleccion en la combinacion de los resultados de esas tecnicas y finalmente se llega a la aplicacion de metricas que evaluen las combinaciones. El aporte principal de este articulo esta en la realizacion de pruebas de las diferentes tecnicas de combinacion de los resultados de los sistemas de recomendacion (Contenido, colaborativo y conocimiento) y se evalua las recuperaciones con las diferentes integraciones aplicando las medidas de precision, recall y f1 score. Con las evaluaciones realizadas se puede concluir que la mejor combinacion de SR sera la que tenga en cuenta la recomendacion por conocimiento, ademas que el metodo mixto es mejor porque si entrega todos los elementos relevantes de un conjunto de objetos, su desventaja es que el resultado puede contener una mayor cantidad de OA y para el estudiante sera mas dificil visualizar los OA entregados. Sin embargo consideramos que la interseccion de resultados puede ser mas util al momento de entregar los resultados, debido que entrega una cantidad de OA relevantes considerable.

Como trabajo futuro se propone tener en cuenta un orden de los resultados entregados por cada tecnica de recomendacion para evaluar mejores desempenos y tener un valor de importancia para cada OA segun la posicion en la lista de resultados. Ademas implementar tecnicas de recomendacion del estado del arte y hacer las combinaciones presentadas en este metodo para hacer comparaciones. Respecto a la retroalimentacion del estudiante, se pueden tener valoraciones comparativas y subjetivas sobre la combinacion de tecnicas apoyado por el SR hibrido que les gusta mas.

doi: 10.4067/S0718-50062016000400010

AGRADECIMIENTOS

El trabajo de investigacion presentado en este articulo fue financiado parcialmente por el proyecto de COLCIENCIAS de la Universidad Nacional de Colombia titulado: "RAIM: Implementacion de un framework apoyado en tecnologias moviles y de realidad aumentada para entornos educativos ubicuos, adaptativos, accesibles e interactivos para todos", con codigo 1119-569-34172. Adicionalmente, este trabajo fue desarrollado con el apoyo de la beca de doctorado del "Programa Nacional de Formacion de Investigadores--COLCIENCIAS" otorgada a Paula Andrea Rodriguez Marin.

REFERENCIAS

Acevedo, C., J.L. Arciniegas, X. Garcia y J. Perrinet, Proceso de Adaptacion de una Aplicacion de eaprendizaje a t-aprendizaje, Informacion Tecnologica, Vol. 21(6), 27-36 (2010)

Alonso, C., Gallego, D., y Honey, P., Los Estilos de Aprendizaje. Procedimientos de diagnostico y mejora. Bilbao (1997)

Baeza-Yates, R., y Ribeiro-Neto, B., Modern Information Retrieval: The Concepts and Technology Behind Search. (A. Wesley, Ed.)Addision Wesley (Vol. 9) (2011)

Burke, R., Hybrid Recommender Systems: Survey and Experiments. User Modeling and User-Adapted Interaction, 12(4), 331-370 (2002)

Burke, R., Hybrid web recommender systems. The Adaptive Web, 4321, 377-408 (2007)

Cardona, D.M. y Sanchez, J.M., Indicadores Basicos para Evaluar el Proceso de Aprendizaje en Estudiantes de Educacion a Distancia en Ambiente e-learning, Formacion Universitaria, Vol. 3(6), 15-32 (2010)

Cazella, S. C., Reategui, E. B., y Nunes, M. A., A Ciencia da Opiniao: Estado da arte em Sistemas de Recomendacao. JAI: Jornada de Atualizacao Em Informatica Da SBC. Rio de Janeiro, RJ: PUC Rio, 161-216 (2010)

Chesani, F., Recommmendation Systems. Corso Di Laurea in Ingegneria Informatica, 1-32 (2002)

D'Agostino, E., Casali, A., Corti, R., y Torres, A., Sistema de Apoyo al Aprendizaje Diagnostico Utilizando Perfiles de Usuario : EndoDiag II. VIII Simposio Argentino de Informatica y Salud, pp. 1-14 (2005)

Degemmis, M., Lops, P., y Semeraro, G., A content-collaborative recommender that exploits WordNet-based user profiles for neighborhood formation. User Modeling and User-Adapted Interaction, 217-255. doi:10.1007/s11257-006-9023-4 (2007)

Gonzalez, H., Duque Mendez, N., y Ovalle Carranza, D., Tecnicas inteligentes para la actualizacion dinamica del perfil del usuario en un sistema de educacion virtual. In Tendencias en Ingenieria de Software e Inteligencia Artificial (2009)

Hdioud, F., Frikh, B., y Ouhbi, B., A comparison study of some algorithms in Recommender Systems. Information Science and Technology (CIST), Colloquium, 130-135 (2012)

KlaSnja-Milicevic, A., Vesin, B., Ivanovic, M., y Budimac, Z., E-Learning personalization based on hybrid recommendation strategy and learning style identification. Computers & Education, 56(3), 885-899. doi:10.1016/j.compedu.2010.11.001 (2011)

Learning Technology Standards Committee, IEEE Standard for Learning Object Metadata. Institute of Electrical and Electronics Engineers, New York (2002).

Li, J. Z., Quality, Evaluation and Recommendation for Learning Object. International Conference on Educational and Information Technology, (Iceit), 533-537 (2010).

Ovalle, D.A., O.M. Salazar y N.D. Duque, Modelo de Recomendacion Personalizada en Cursos Virtuales basado en Computacion Ubicua y Agentes Inteligentes, Revista de Informacion Tecnologica. Vol. 25(6), pp. 131-142 (2014)

Puello, P., Fernandez, D., y Cabarcas, A., Herramienta para la Deteccion de Estilos de Aprendizaje en Estudiantes utilizando la Plataforma Moodle. Formacion Universitaria, 7(4), 15- 24. doi:10.4067/S071850062014000400003 (2014)

Rodriguez, P. A., Moreno, J., Duque, N. D., Ovalle, D., y Silveira, R., Un modelo para la composicion semiautomatica de contenido educativo desde repositorios abiertos de objetos de aprendizaje. Revista Electronica de Investigacion Educativa (REDIE)., 16(1) (2014)

Rodriguez-Marin, P. A., Duque-Mendez, N. D., y Ovalle, D. A., Modelo de recomendacion adaptativa de objetos de aprendizaje en el marco de una federacion de repositorios, apoyado en agentes inteligentes y perfiles de usuario--Tesis de Maestria. Universidad Nacional de Colombia Sede Medellin (2013)

Salehi, M., Pourzaferani, M., y Razavi, S. A., Hybrid attribute-based recommender system for learning material using genetic algorithm and a multidimensional information model. Egyptian Informatics Journal. doi:10.1016/j.eij.2012.12.001 (2013)

Tabares, V., Duque, N., Rodriguez, P., Moreno, J., y Ovalle, D., FROAC: Una Iniciativa Colombiana para la Integracion de Repositorios de Objetos. Campus Virtuales, IV(1), 108-117 (2015)

Tovar, L. C., Bohorquez, J. a, y Puello, P., Propuesta metodologica para la construccion de objetos virtuales de aprendizaje basados en realidad aumentada. Formacion Universitaria, 7(2), 11- 20. doi:10.4067/S071850062014000200003 (2014)

Vekariya, V., y Kulkarni, G. R., Hybrid recommender systems: Survey and experiments. In 2012 Second International Conference on Digital Information and Communication Technology and its Applications (DICTAP) (pp. 469-473). Ieee. doi:10.1109/DICTAP.2012.6215409 (2012)

Zapata, A., Menendez, V., Prieto, M., y Romero, C., A Hybrid Recommender Method for Learning Objects. Design and Evaluation of Digital Content for Education Proceedings Published by International Journal of Computer Applications, 1-7 (2011)

Paula A. Rodriguez (1), Nestor D. Duque (2) y Demetrio A. Ovalle (1)

(1) Universidad Nacional de Colombia, Facultad de Minas, Departamento de Ciencias de la Computacion y de la Decision, Grupo de investigacion GIDIA, Medellin-Colombia (e-mail: parodriguezma@unal.edu.co, dovalle@unal.edu.co)

(2) Universidad Nacional de Colombia, Departamento de Informatica y Computacion, Grupo de Investigacion GAIA, Manizales-Colombia (e-mail: ndduqueme@unal.edu.co)

Recibido Dic. 4, 2015; Aceptado Feb. 4, 2016; Version final Abr. 1, 2016, Publicado Ago. 2016

Leyenda: Fig. 1. Modelo hibrido de tecnicas de recomendacion que apoya el metodo propuesto

Leyenda: Fig. 2. Metodo propuesto para la construccion de SR hibridos

Leyenda: Fig. 3. Resultados de la metrica de precision

Leyenda: Fig. 4. Resultados de la metrica recall

Leyenda: Fig. 5. Resultados de la metrica f1 score

Leyenda: Fig. 6. Promedio de la cantidad de OA recuperados y relevantes para cada tecnica de combinacion

Leyenda: Fig. 7. Diagrama de caja para los resultados de las metricas de precision y de recall
COPYRIGHT 2016 Centro de Informacion Tecnologica
No portion of this article can be reproduced without the express written permission from the copyright holder.
Copyright 2016 Gale, Cengage Learning. All rights reserved.

Article Details
Printer friendly Cite/link Email Feedback
Author:Rodriguez, Paula A.; Duque, Nestor D.; Ovalle, Demetrio A.
Publication:Formacion Universitaria
Date:Aug 1, 2016
Words:6757
Previous Article:Principios de Neurociencia Aplicados en la Educacion Universitaria.
Next Article:Retos de la Inclusion Academica de Personas con Discapacidad en una Universidad Publica Colombiana.

Terms of use | Privacy policy | Copyright © 2019 Farlex, Inc. | Feedback | For webmasters