Printer Friendly

RAN: un programa informatico para estimar patrones de respuesta aleatorios en tests objetivos.

Frederick y Crosby (2000) reconocieron varios estilos de respuesta relevantes para comprender y valorar la validez de los resultados obtenidos desde las pruebas de autoinforme. Asi, desde un eje formado por el grado de esfuerzo y la motivacion aplicado por el examinado para resolver los items de un instrumento de medida, Frederick y Crosby (2000) identificaron cuatro patrones de respuesta anomalas, pero tres han supuesto un desafio para el examinador al interpretar las puntuaciones. Una respuesta inconsistente sugiere variabilidad en el esfuerzo y motivacion, con errores no esperados y pobre desempeno; un patron de respuestas suprimidas proviene de una intencion de simulacion y de dar respuestas erroneas deliberadamente; finalmente, el patron de respuestas irrelevantes identifica al examinado cuyas respuestas no guardan relacion con el contenido de los items y no puede diferenciarse de un patron del cuarto tipo, respuestas aleatorias, es decir aquellas respuestas en que el examinado responde con pobre motivacion en la tarea y con bajo esfuerzo para representar su estatus en el constructo evaluado (Frederick y Crosby, 2000); tal patron no es replicable, y solo representan un proceso azaroso. Este ultimo patron es el objetivo del presente trabajo, y desde la cual se presentaran unos procedimientos estadisticos desarrollados por Charter (1994, 2000) para determinar si la puntuacion obtenida por un examinado es diferente de la obtenida por azar y, derivar intervalos de confianza alrededor de una puntacion aleatoria esperada.

Woodard y Axelroad (1999) recomendaron que la interpretacion de puntuaciones provenientes de items dicotomicos debiera incluir la evaluacion de respuestas aleatorias, y consecuentemente aplicaron el metodo de Charter (1994, 2000) a la Escala de Depresion Geriatrica (Yesavage, 1986) para determinar la presencia de potenciales respuestas aleatorias dentro de los puntos de corte de identificacion de la severidad de la depresion. Otros estudios aplicados tambien han usado este metodo (Charter, 1994; Charter y Lopez, 2003; Lopez y Charter, 2001), pero aparentemente no ha sido una metodologia extendida a otros trabajos, aun cuando tiene un valioso potencial para aproximarse objetiva y cuantitativamente a la deteccion de un patron aleatorio de respuestas. Comparado con la toma de decisiones basadas en la experiencia, los principios matematicos demuestran ser solidos en el establecimiento de puntos de corte o intervalos de confianza para sugerir la presencia de un patron aleatorio de respuesta (Charter y Lopez, 2003), y son la base objetiva y fiable para la toma de decisiones.

En las evaluaciones de la personalidad, y dada su naturaleza explorativa, es comun hallar indicadores de respuestas anomalas que sirven para obtener evidencias de la validez derivada de las puntuaciones; por ejemplo, las medidas verbales de personalidad para adultos (Butcher, Dahlstrom, Graham, Tellegen, y Kaemmer, 1989) y adolescentes del MMPI (Butcher et al., 1992), el Inventario de Millon (Millon, Davis, Millon y Grossman, 2006), y las medidas no verbales (por ejemplo, el Cuestionario No Verbal de Personalidad, (NPQ , Paunonen, Jackson y Ashton, 2004), incorporan subescalas para estimar la validez de las respuestas del examinado. Otras medidas clinicas mas criticas, como las escalas de identificacion del abuso infantil (Milner y Crouch, 1997), tambien poseen escalas de validez. Pero la efectividad de estos componentes es puesta a prueba en estudios empiricos; de este modo, las distinciones sobre estos estudios se pueden reconocer en sus aportaciones sobre datos normativos (p. e., Sanchez y Jimenez, 2003), puntos de corte y probabilidades asociadas a la deteccion de respuestas aleatorias (p. e., Lopez y Charter, 2001), y evaluaciones sobre la efectividad de las mismas (Charter y Lopez, 2002; Sanchez y Jimenez, 2003). Los disenos aplicados son generalmente experimentales y se analizan cuantitativamente con pruebas de hipotesis (Sanchez y Jimenez, 2003) o estimaciones de poder predictivo (Archer, Handel, Lynch y Elkins, 2002; Baer, Kroll, Rinaldo y Ballenger, 1999) variando la severidad de la presencia de respuestas aleatorias y el tipo de distorsion de respuesta (presentacion favorable, presentacion desfavorable, respuesta honesta y respuesta aleatoria).

Otro metodo es el uso de modelos estadisticos para determinar el estatus de un examinado respecto a sus respuestas, que no es nuevo pero tiende ser poco atendido por los usuarios. Estos metodos dan una estimacion probabilistica del grado de anomalia de respuesta. A menos que estos procedimientos se publiquen y describan en los manuales de pruebas, generalmente no llega al conocimiento del usuario aplicado o investigador debido que se difunden en revistas de compleja base matematica y estadistica, que no son accesibles para el profesional de la Psicologia. Se han desarrollado estimadores puntuales y limites de confianza para el grado de anormalidad de las diferencias entre una norma y un puntaje individual basados en distribuciones t (Crawford y Garthwaite, 2002, 2005; Crawford, Garthwaite y Howell, 1998), o aproximaciones normales a la distribucion binomial (Charter, 1994; Charter y Lopez, 2003), pero aparentemente, no estan tan difundidos como seria deseable. Otros metodos abordan el mismo problema pero diferente metodologicamente; por ejemplo, se tiene el comercialmente disponible Indicador de Validez del Perfil (Frederick y Crosby, 2000; Frederick, Sarfaty, Johnston, y Powel, 1994), pero requieren un largo proceso de validacion y adaptacion psicometrica y linguistica que no siempre accesible al profesional de la Psicologia.

El objetivo del presente trabajo es describir un metodo para estimar la presencia de respuestas aleatorias dentro del conjunto de respuestas a un instrumento de tipo autoinforme. Este metodo fue propuesto por Charter (1994, 2000) y fue aplicado en varias ocasiones para examinar pruebas de personalidad (Lopez y Charter, 2001; Charter y Lopez, 2003) y de rendimiento cognitivo (Charter, 1994). Durante el recorrido de este documento, se presentaran las formulaciones estadisticas y ejemplos apropiados en varias situaciones de evaluacion psicologica, pero se hara un enfasis en la interpretacion juiciosa del coeficiente propuesto y sus intervalos de confianza. Finalmente, describiremos un programa informatico de libre distribucion.

Estimacion Puntual por un Coeficiente Estandarizado

Al rastrear el inicio de este coeficiente, su primera exposicion fue en una investigacion de Charter (1994) para determinar si las puntuaciones de pruebas de ritmo, percepcion sonido-palabra y categorias de Seashore (todos de la Bateria Neuropsicologica Halstead-Reitan; Reitan y Wolfson, 1993) son significativamente diferentes de un patron de respuestas aleatorias; posteriormente, Charter (2000) amplio la exposicion de la aproximacion normal a la distribucion binomial y presento ecuaciones para la construccion de intervalos de confianza alrededor de la respuesta aleatoria probable. La distribucion binomial es un modelo de probabilidad para variables discretas con dos categorias, por ejemplo, los puntajes de instrumentos de medida que usan items dicotomicos son una buena representacion de ella (Sheskin, 2003). Mas tarde, Charter y Lopez (2003) construyeron intervalos de confianza en los niveles del 95, 90 y 85% a las escalas de validez F, F Back y VRIN, todas provenientes del MMPI-2 (Butcher et al., 1989).

Bajo el marco de la prueba de hipotesis, se probo la hipotesis nula de aleatoriedad en la puntuacion del examinado; la hipotesis alternativa es la opuesta. En el calculo del coeficiente, expresado como una puntuacion tipica z, se incluyen 1) la puntuacion obtenida por el examinado que servira para evaluar la aletoriedad del patron de respuestas, 2) el numero de items y 3) la proporcion aleatoria esperada (PAE). Este ultimo concepto es la probabilidad de obtener una respuesta correcta o incorrecta en cada item. El calculo se basa en la equiprobabilidad de las opciones de respuesta al item; por lo tanto, se calcula sencillamente como 1/[n.sub.op], donde [n.sub.op] es el numero de opciones de respuesta en el item. Para items dicotomicos, el PAE es 0.5, es decir, 1/2. Para items de opcion multiple con cuatro alternativas, la PAE = 0.25 (1/4). Si se dispone de items con un numero diferente de opciones de respuesta y agrupados en subtests, entonces ello produce tambien diferentes PAE; para tal situacion se aplicaria el promedio ponderado. Por ejemplo, si disponemos de tres subtests, uno con 50 items de dos opciones (PAE = 0.5), otro de 20 items con cuatro opciones (PAE = 1/4 = 0.25) y el tercero formado por 25 items cinco opciones (PAE = 1/5 = 0.20), el promedio ponderado de los 95 items sera

[PAE.sub.pond] = [50(0.50) + 20(0.25) + 25(0.20)]/95 = 0.368

La proporcion aleatoria esperada (PAE) para los 95 items agrupados en un solo test sera 0.368, y el coeficiente estandarizado para evaluar si una puntuacion obtenida no se debe a un patron aleatorio de respuestas es

[EXPRESION MATEMATICA IRREPRODUCIBLE EN ASCII.] (1)

donde

z = puntuacion tipica

x = puntuacion obtenida por el examinado

k = numero de items en el instrumento de medida.

PAE = Proporcion Aleatoria Esperada

Esta formula es una razonable aproximacion normal a la distribucion binomial (Charter, 2000) siempre que K (PAE) o K (1-PAE) > 5. Siguiendo con el ejemplo anterior, un examinado que obtuvo una puntuacion de 50 en el instrumento de 95 items ha obtenido la siguiente puntuacion tipica.

[EXPRESION MATEMATICA IRREPRODUCIBLE EN ASCII.]

El coeficiente estandarizado es 3.27 y es estadisticamente significativo (p < 0.001), por lo tanto el examinador puede usar esta informacion estadistica para decidir si la puntuacion obtenida no proviene de un patron aleatorio de respuesta y balancear la interpretacion del puntaje. Este resultado es una estimacion, e indica que es muy improbable que la puntuacion provenga de tal patron de respuesta aleatoria. Pero considerando esto tecnicamente, es pertinente relacionar el numero de items disponibles y la aproximacion normal de la formula. En otras palabras, para lograr una mas cercana aproximacion normal a la distribucion binomial, el valor de K (numero de items) es clave; basandose en un estudio de simulacion, Charter (2000) recomendo que un instrumento deba tener un minimo numero items con respecto al PAE (tabla 1).

En otras palabras, teniendo una proporcion aleatoria esperada (PAE) igual a 0.42, se sugiere que la prueba tenga mas de 50 items para lograr una razonable aproximacion normal usando el coeficiente estandarizado descrito en la ecuacion 1.

Por otro lado, la ventaja de la aproximacion normal a la distribucion binomial derivada del coeficiente estandarizado afecta tambien a la construccion de intervalos de confianza para determinar si una puntuacion es diferente de la respuesta aleatoria. Para construir intervalos de confianza, primero el profesional o investigador puede preguntarse cual sera la puntuacion observada que no podria identificarse como derivado de una respuesta aleatoria, con un determinado nivel de confianza, por ejemplo, 95%. Otros niveles de significancia menos conservadores pueden tambien usarse (por ejemplo, 90% de confianza). Este es justamente el siguiente enfoque, la de construir intervalos de confianza para el rango probable de respuestas aleatorias.

Intervalos de confianza

Otro metodo recomendado, y que concuerda con las recomendaciones actuales en materia de publicacion de resultados cuantitativos (Finch, Thomason y Cumming, 2002; Wilkinson y the Task Force on Statistical Inference, 1999), es la construccion de intervalos de confianza, que informa del rango probable de un parametro en la poblacion. Para nuestro objetivo, el parametro de interes al cual se estimara el intervalo en un nivel de confianza particular sera el puntaje aleatorio esperado. Por lo tanto, basandose en la aproximacion normal a la distribucion binomial (Charter, 2000), podemos construir uno de los elementos del intervalo de confianza para la respuesta aleatoria probable

A = z[raiz cuadrada de (PAE(1-PAE)/k)] + (1/2k) (2)

Los terminos de la ecuacion han sido definidos previamente; pero aqui, z es el valor critico proveniente de la distribucion normal estandarizada. El examinador puede elegir el nivel el nivel de confianza apropiado para sus propositos: 99% (z= 2.58), 95% (z= 1.96), 90% (z = 1.64), o 85% (z = 1.44). Los limites superiores e inferiores del intervalo son

LI = k(PAE - A) (3)

LS = k(PAE + A) (4)

Los limites centran el intervalo alrededor de la puntuacion aleatoria esperada, PAES, que es igual a PAEmultiplicado por K. Tomando nuevamente el ejemplo anterior, el puntaje aleatorio esperado para la prueba es PAES= (PAE) (K )= (0.36) (95) = 34. Luego, alrededor de este puntaje se construira el intervalo de confianza que el examinador puede elegir en un nivel de 95%; entonces:

[EXPRESION MATEMATICA IRREPRODUCIBLE EN ASCII.]

LI = 95 (0.368 - 0.102) = 25.24 ~ 25

LS = 95 (0.368 + 0.102) = 44.67 " 44

Charter (2000) recomendo redondear hacia arriba el limite inferior y hacia abajo el limite superior. Por lo tanto, el intervalo al 95% dentro del cual una respuesta se consideraria aleatoria se encuentra entre 25 y 44, y cuyo centro del intervalo es 34, lo que coincide con la estimacion puntual proveniente del coeficiente estandarizado de nuestro ejemplo (50), y sugiere que este puntaje es mejor que el azar y se consideraria que la prueba no ha sido aleatoriamente respondida por el examinado, ya que esta fuera de este intervalo en el nivel de confianza prefijado. Ademas de probar la puntuacion del examinado, el enfoque de intervalos de confianza informa del rango probable de puntuaciones aleatorias para que el investigador o clinico puedan contrastar otros puntajes.

Aplicaciones

Este metodo, y su programa informatico acompanante (ver mas abajo), puede jugar un papel importante en la revision psicometrica de una prueba publicada, ya que la revision puede incluir estos aportes complementarios o validar ciertos aspectos de del instrumento que sean consistentes con las hipotesis del examinador. Por ejemplo, el usuario puede calcular la respuesta esperada aleatoria y sus intervalos de confianza para los puntajes totales, ya que le dara informacion oportuna para el investigador o profesional que desea tomar decisiones con informacion tecnica que las respalde. Finalmente, se podria poner a prueba los indices de validez de instrumentos clinicos publicados como en Charter y Lopez (2003) respecto al MMPI.

En el diseno de pruebas, este metodo presentado puede ayudar a determinar el numero de items del formato final de una escala. Ya que el punto de corte obtenido por el metodo de Charter sugiere una puntuacion minima (se deriva en un minimo numero de items), el constructor de una prueba determinara el grado en que es suficiente un determinado minimo numero de items para hacer menos probable la cantidad de respuesta aleatoria.

El clinico puede considerar que si los puntajes de un paciente son inconsistentes con ciertas hipotesis clinicas, una de las causas es la respuesta aleatoria que probablemente ha ocurrido; esta situacion esta relacionado directamente con la fiabilidad de los puntajes obtenidos; por lo tanto el clinico puede hallar razones para explorar los motivos de este patron de respuestas o re-administrar el instrumento aplicado. Visto desde una perspectiva mas amplia, la deteccion de la aleatoriedad de las respuestas puede jugar un papel clave en juzgar las evidencias de validez y fiabilidad de los instrumentos bajo analisis, incluso en la validez consecuencial. De este modo, puntuaciones dentro o menores al intervalo de confianza para la respuesta aleatoria esperada pueden ser sometidos a examenes adicionales como la consistencia interna y correlaciones en el grupo de examinados con estas puntuaciones; el investigador puede tener un apoyo para tomar mejores decisiones sobre si este grupo pueda ser eliminado o representa realmente el extremo posible mas bajo de la distribucion de las puntuaciones.

Hallar un resultado individual dentro de un intervalo que indique la probabilidad de respuesta aleatoria no debe ignorar los aspectos interpretativos. Mas que una ciencia, el proceso interpretativo es un arte sensible a los aspectos que no reflejan las tecnicas estadisticas, como son los factores relacionados con el examinado, motivacion, salud, concentracion, los cambios de administracion de la prueba o aun los cambios de examinador (Feldt y Charter, 2003). Se ha puesto atencion a los indicadores intrapersonales de los examinados al explorar el impacto del fingimiento y la respuesta aleatoria sobre la efectividad de los indices de respuestas validas, correlaciones de los constructos medidos y propiedades psicometricas, pero se deberia poner atencion tambien en las propiedades estructurales de los instrumentos. Por ejemplo, la ubicacion de los items dentro del instrumento (items agrupados vs. aleatoriamente distribuidos) son predictores parciales el grado de severidad del impacto del fingimiento y de la respuesta aleatoria (McFarland et al., 2002). En el mismo estudio de McFarland et al. (2002), las medidas de neuroticismo y conciencia (desde el modelo de lo Cinco Grandes de personalidad) fueron los mas afectados. Por lo tanto, la distorsion de respuesta aporta una parte de la varianza de error.

Una diferencia que se debe alertar al usuario de este enfoque es entre un patron de respuestas completamente aleatorio y otro parcialmente aleatorio, situacion que ha sido explorada continuamente y con especial atencion en el MMPI (Archer et al., 2002; Baer et al., 1999; Cramer, 1995). Y los metodos expuestos en nuestro trabajo no son sensibles a diferenciarlos. Aunque las respuestas completamente aleatorias en un protocolo tienden a ser mas detectadas que las parcialmente presentes (Pinsoneault , 1999, 2006; Archer et al., 2002), el coeficiente no nos dice nada sobre cual de estos problemas esta presente, y el examinador es puesto a prueba para analizar cualitativamente el grado y la distribucion de las respuestas aleatorias en el protocolo que esta evaluando. En esta misma linea de discusion, es cierto que el poder discriminatorio de las tecnicas cuantitativas presentadas aqui no alcanza a diferenciar estos tipos de respuestas anomalas ni los propuestos por Frederick y Crosby (2000), pero esta limitacion de las inferencias que se pueden extraer de ellas podria ser una fortaleza. Creemos que discernir diferentes patrones de respuestas anomalas desde un solo indice cuantitativo puede promover su uso indiscriminado y desplazar a un plano secundario la incorporacion del juicio del examinador ante un fenomeno complejo; por lo tanto, la estimacion probabilistica de la respuesta aleatoria puede ser indicador necesario aunque no suficiente para iniciar una investigacion de tal respuesta en el examinado. Si hay el interes especifico en, por ejemplo, diferenciar patrones de respuestas anomalos como los propuestos por Frederick y Crosby (2000), se puede recurrir al metodo evaluativo creado por ellos, pero cuya discusion esta fuera de los limites del presente articulo.

De igual modo, el punto de corte generado de la aplicacion del metodo que presentamos no es un dato absoluto para asegurar que un examinado ha respondido aleatoriamente (Charter, 2000). Otras explicaciones son igualmente posibles como estilos de respuesta particulares, fatiga o bajos niveles de alfabetizacion (Lopez y Charter, 2001), y que deben ser ponderados por el examinador. Como en muchas situaciones aplicadas y teoricas en la ciencia psicologica, la comunion de las tecnicas y el juicio deben aliarse para tomar decisiones acertadas. Finalmente, las comparaciones interculturales entre puntajes de personalidad (por ejemplo, vease Scout y Wampa, 2000) pueden enriquecer la interpretacion con indices estadisticos de validez de respuestas.

Es cierto que otros metodos mas sofisticados y con validez de constructo aceptables pueden tambien ser utilizados (por ejemplo, las escalas de validez orientadas a la deteccion de respuestas aleatorias), pero pueden revelar un inestable exito en diferentes instrumentos; y por otro lado, la sola nominacion de escala de aleatoriedad no es un suficiente motivo para asignarle su efectividad pretendida. Por ejemplo, para un instrumento menos conocido, el Inventario Jesness (Jesness, 2000), su Escala de Aleatoriedad produjo bajas tasas de sensibilidad y especificidad que las escalas de Respuesta Variable y de Inconsistencia de Respuesta Variable incluidas en el mismo instrumento (Pinsoneault , 2006); y para un instrumento mas conocido, el Inventario Clinico Multiaxial de Millon (MCMI-III), sus indices de validez fueron pobremente eficientes en la deteccion de respuestas aleatorias (Charter y Lopez, 2002). Archer et al. (2002) tambien demostraron que las escalas F en la version adolescente del MMPI son menos sensibles en condiciones de respuesta aleatoria parcial. Convergiendo con estos hallazgos, Lopez y Charter (2003) cuestionaron la utilidad clinica de la escala TRIN del MMPI-2 para detectar confiablemente respuestas aleatorias. Aparentemente, las escalas de deteccion de patrones invalidos de respuesta son inestables y las investigaciones tienden a ser contradictorias.

Contar con metodos cuantitativos que amplifiquen la informacion sobre el examinado y que ayuden a tomar decisiones apropiadas, tiene consecuencias que superan el interes metodologico, pues si el clinico siempre pretende tomar decisiones adecuadas derivadas de los resultados de sus instrumentos, deberia mantener un minimo respaldo proveniente de la informacion disponible que tiene y su capacidad para integrarlos dentro de un marco de validez consecuencial; y el metodo de Charter puede apuntar a este aspecto, y dar un aporte adicional a la validez consecuencial de una practica que caracteriza a los psicologos, es decir, la evaluacion psicologica.

Los ejemplos y la revision de los metodos para determinar respuesta aleatoria aqui presentados, se han focalizado en instrumentos de personalidad, pero este no es el unico contexto posible de aplicacion del procedimiento delineado. El procedimiento puede ser apropiadamente aplicado a cuestionarios conteniendo items dicotomicos, ya sea en aquellos tematicamente orientados hacia la medicion de aspectos de la personalidad como los de desempeno maximo, por ejemplo instrumentos de aptitudes o logro academico. Es razonable suponer que en ambos tipos de instrumentos, la respuesta aleatoria puede ocurrir, y si la observacion del examinador respalda esta suposicion, la estimacion de la probabilidad de tal respuesta en el examinado parece una practica necesaria. Esta posicion es consistente con las aplicaciones sugeridas por Charter (2000), aunque aparentemente hasta la fecha no ha sido aun muy utilizada en ambos ambitos de evaluacion psicologica. Aunque parece una limitacion que los procedimientos de Charter se apliquen unicamente a instrumentos con items dicotomicos, estos tipos de medidas no son infrecuentes aun en la evaluacion de personalidad. Las evaluaciones neuropsicologicas, de rendimiento academico, de inteligencia, de aptitudes y, en general, de maximo desempeno; y los instrumentos de personalidad que registran las respuestas binariamente (verdadero y falso), son las medidas en que idealmente pueden determinarse los estimadores puntuales y en los intervalos de confianza para la deteccion de respuestas aleatorias por el metodo de Charter (2000). No se conoce de un metodo que sea aplicable a puntajes provenientes de items politomico (de tipo Likert), y ello es mas bien una via de futuro desarrollo.

Finalmente dado que el todo es diferente a la suma de sus partes, creemos que la mejor estrategia seria combinar la evidencia psicometrica y el juicio clinico, tal como tambien lo sugieren Charter y Lopez (2002), para tomar decisiones bien informadas sobre la calidad del puntaje. Si el lector esta interesado en aplicar los metodos aqui expuestos, el problema de los errores en el calculo manual pueden estar presentes; por lo tanto, a continuacion describimos un programa informatico que facilitara estos calculos.

Disponibilidad del programa

El programa esta disponible en entorno Windows sin costo y puede solicitarse al primer autor de este trabajo mediante las direcciones de contacto. El programa se presenta como un ejecutable independiente y ha sido construido en el entorno LibertyBasic; no obstante, este programa no requiere ninguna instalacion de software especializado. El programa permite manejar archivos de respuestas correctas con 1's y 0's, donde 1 es acierto y 0 es fallo, o tambien permite corregir, con un conjunto de claves, un archivo que contiene las respuestas dadas por las personas a un conjunto de items. Los datos ausentes se contabilizan como fallos.

Si el instrumento esta corregido, el programa necesita dos archivos:

1) Un archivo con una matriz rectangular (cada fila = una persona; y cada columna = un item. Las columnas deben estar separadas por comas Consultar el archivo de ejemplo "ex1.dat" que viene con el programa. Este archivo puede tener cualquier nombre, pero la extension debe ser necesariamente "*.dat".

2) Un archivo con el numero de opciones que tiene cada subtest. Por ejemplo, si un prueba esta formado por tres subtests de 10 items, donde los 10 primeros items tienen 4 opciones, los 10 siguientes tienen 2 opciones y los 10 ultimos tienen 2 opciones, entonces el archivo tiene 3 filas y dos columnas. El primer valor de la fila corresponde al numero de items en el subtest y el segundo valor corresponde al numero de opciones de los items de ese subtest. Consultar el archivo "ex1.sbt". Este archivo puede tener cualquier nombre, pero la extension debe ser necesariamente "*.sbt". Si se trata de una prueba completa, sin subtests, entonces este archivo tendra una fila (numero de items) y una columna (numero de opciones).

Estos dos archivos deben crearse previamente a la puesta en marcha del programa con cualquier editor de textos o procesador de textos que permita escribir/leer los archivos en formato texto (ASCII).

Puesta en marcha del programa

El programa es autoejecutable desde el explorador de Windows o desde la ventana del MS-DOS. Tambien se puede llevar el icono con la antorcha, que identifica al ejecutable del programa, al escritorio y lanzarlo desde alli.

Archivo con las respuestas correctas e incorrectas (1's y 0's)

Una vez activado el programa, aparece una pantalla que pide todos los datos del analisis que queremos realizar:

1) El nombre del archivo con los datos (DATA MATRIX) sin extension.

2) El nombre del archivo de salida (OUTPUT FILE) sin extension.

3) El tamano muestral (SAMPLE SIZE).

4) La longitud del instrumento (TEST LENGTH) incluidos todos los subtests.

5) El numero de subtests (NUMBER OF SUBTEST).

6) El nombre del archivo (sin extension) con los subtests que incluye el instrumento completo (SUBTEST FILE NAME).

7) La puntuacion tipica, al nivel de confianza deseado (CONFIDENCE LEVEL (ST. SCORE)). Por ejemplo, si queremos trabajar al nivel de confianza del 90% escribiremos 1.64; al nivel de confianza del 95% escribiremos 1.96, y al nivel de confianza del 99%, escribiremos 2.56. La puntuacion tipica se escribira sin signos de mas o menos. Se puede emplear cualquier nivel de confianza, siempre que introduzcamos en esta casilla la puntuacion tipica correspondiente segun la tabla de areas bajo la curva normal. El programa no calcula esta puntuacion tipica, debemos buscarla manualmente en las tablas correspondientes. Si la puntuacion tipica que utilizamos no corresponde a ninguno de los tres niveles de confianza especificados anteriormente, el programa nos pedira que introduzcamos el nivel de confianza correspondiente a esa puntuacion tipica.

8) El archivo con la clave de correccion de los items (KEY FILE). En este caso, como la matriz de entrada es de 1's y 0's, el archivo con las claves (KEY FILE) se dejara en blanco.

Archivo con las opciones de los items marcadas por las personas

Cuando el archivo con la matriz de datos no contenga los aciertos y fallos, sino las opciones seleccionadas por las personas, debemos utilizar la clave de correccion (KEY FILE). La clave para cada item se escribira en un nuevo archivo que puede tener cualquier nombre pero su extension debe ser necesariamente "*.key". Este archivo tiene tantas filas como items del test (contando todos los subtests) y solo una columna. En esta columna debe aparecer la opcion correcta para cada item. Para el resto, operar como aparece en la seccion anterior.

Archivo de salida

El programa produce un archivo de salida (*.out) que contiene el intervalo confidencial al nivel de confianza especificado, la proporcion aleatoria esperada, un listado con el numero de la perso na, la puntuacion total y la puntuacion tipica correspondiente al patron de respuestas obtenido, y el signo de (*) indica que el patron de respuestas es no aleatorio.

La salida finaliza con un conteo del numero de personas cuyo patron de respuestas es no aleatorio y el numero de personas cuyo patron de respuestas es aleatorio. Tambien calcula el coeficiente de fiabilidad KR-20 y la variante de Horst (1953) para la muestra completa, y para el grupo de personas cuyo patron de respuestas no fue aleatorio.

Fecha recepcion: 1/3/2009 * Fecha aceptacion: 30/6/2009

Referencias

Archer, R.P., Handel, R.W, Lynch, K.D., y Elkins, D.E. (2002). MMPI-A validity scale uses and limitations in detecting varying levels of random responding. Journal of Personality Assessment, 78, 417-431.

Baer, T.A., Kroll, L.S., Rinaldo, J., y Ballenger , J. (1999). Detecting and discriminating between random responding and overreporting on the MMPI-A. Journal of Personality Assessment, 72, 308-320.

Butcher, J., Williams, C., Graham, J., Archer, R., Tellegen, A., Ben-Porath, Y., y Kaemmer, B. (1992) Minnesota Multiphasic Personality Inventory Adolescent: Manual for administration and scoring. Minneapolis: University of Minneapolis Press.

Butcher, J., Dahlstrom, W., Graham, J., Tellegen, A., y Kaemmer, B. (1989). MMPI-2: Manual for administration and scoring. Minneapolis: University of Minneapolis Press.

Charter, R.A. (1994). Determining random responding for the Category, Speech-Sounds perception, and Seashore Rhythm tests. Journal of Clinical and Experimental Neuropsychology, 16, 744-748.

Charter, R.A. (2000). Determining random responding to objective test. Journal of Psychoeducational Assessment, 18, 308-315.

Charter, R.A., y Lopez, M.N. (2002). Millon Clinical Multiaxial Inventory (MCMI-III): The inability of the validity conditions to detect random responders. Journal of Clinical Psychology, 58, 1615-1617.

Charter, R.A., y Lopez, M.N. (2003). MMPI-2: Confidence Intervals for random responding to the F, F Back, and VRIN scales. Journal of Clinical Psychology, 59, 985-990.

Cramer, K.M. (1995). Comparing three new MMPI-2 randomness indices in a novel procedure for random profile derivation. Journal of Personality Assessment, 65(3), 514-520.

Crawford, J.R., y Garthwaite, P.H. (2005). Testing for suspected impairments and dissociations in single-case studies in neuropsychology: Evaluation of alternatives using Monte Carlo simulations and revised tests for dissociations. Neuropsychology, 19, 318-331.

Crawford, J.R., y Garthwaite, P.H. (2002). Investigation of the single case in neuropsychology: Confidence limits on the abnormality of test scores and test score differences. Neuropsychologia, 40, 1196-1208.

Crawford, J.R., Garthwaite, P.H., y Howell, D.C. (1998). Payne and Jones revisited: Estimating the test scores abnormality using a modified paired samples t-test. Journal of Clinical and Experimental Neuropsycho logy, 20, 898-905.

Elkins, D.E., y Archer, R.P. (1999). Identification of random responding on the MMPI-A. Journal of Personality Assessment, 73, 407-421.

Feldt, L.S., y Charter, R.A. (2003). Estimating the reliability of a test split into two parts of equal or unequal length. Psychological Methods, 8, 102-109.

Finch, S., Thomason, N., y Cumming, G. (2002). Past and future American Psychological Association guidelines for statistical practice. Theory & Psychology, 12, 825-853.

Frederick, R.I., y Crosby, R.D. (2000). Development and validation of the Validity Indicator Profile. Law and Human Behavior, 24, 59-82.

Frederick, R.I., Sarfaty, S., Johnston, J., y Powel, J. (1994). Validation of a detector of response bias on a forced-choice test of nonverbal ability. Neuropsychology, 8, 118-125.

Horst, P. (1953) Correcting the Kuder-Richardson reliability formula for dispersion of item difficulties. Psychological Bulletin, 50, 371-374.

Jesness, C.F. (2000) The Jesness inventory manual (Rev. Ed.). North Tonawanda, NY: Multi-Health Systems.

Lopez, M.N, y Charter, R.A. (2001). Random responding to the MMPI-2 F scale. Psychological Reporting, 88, 398.

McFarland, L.A., Ryan, A.M., y Ellis, A. (2002). Item placement on a personality measure: Effects on faking behavior and test measurement properties. Journal of Personality Assessment, 78, 348-369.

Millon, T., Davis, R., Millon, C., y Grossman, S., (1997). The Millon Clinical Multiaxial Inventory-III, Third Edition (MCMI-III). Minneapolis, MN: National Computer Systems.

Milner, J.S., y Crouch, J.L. (1997). Impact and detection of response distortions on parenting measures used to assess risk for child physical abuse. Journal of Personality Assessment, 69, 633-650.

Paunonen, S.V, Jackson, D.N., y Ashton, M.C. (2004) Nonverbal Personality Questionnaire. Port Huron, MI: Sigma Assessment Systems, Inc.

Pinsoneault , T.B. (1999). Efficacy of the Three Randomness Validity Scales for the Jesness Inventory. Journal of Personality Assessment, 73, 395-406.

Pinsoneault, T.B. (2006). Updating the Jesness Inventory randomness validity scales for the Jesness Inventory-Revised. Journal of Personality Assessment, 86, 190-195.

Reitan, R.M., y Wolfson, D. (1993). The Halsted-Reitan neuropsychological test battery: Theory and clinical interpretation (2nd ed.). Tucson, AZ: Neuropsychology Press

Sanchez, G., y Jimenez, F. (2003). La Escala Superlativa S de Butcher y Han (1995): el fingimiento en la adaptacion espanola del MMPI-2. Revista de Psicologia de la Pontificia Universidad Catolica del Peru, 21, 5-39.

Sheskin, D.J. (2003). Handbook of parametric and nonparametric statisticalprocedures (3th ed.). Boca Raton, FL: Chapman & Hall.

Scout, R.L., y Wampa, W.M. (2000). The MMPI-2 in Peru: A normative study. Journal of Personality Assessment, 74, 95-105.

Wilkinson, L., y the Task Force on Statistical Inference (1999). Statistical methods in psychology journals: Guidelines and Explanations. American Psychologist, 54, 594-604.

Woodard, J.A., y Axelrod, B.N. (1999). Interpretative guidelines for neuropsychiatric measures with dichotomously scored items. International Journal of Geriatric Psychiaty, 14, 385-388.

Yesavage, J.A. (1986). The use of self-rating depression scales in the elderly. En L.W. Poon (Ed.): Handbook for clinical memory assessment of older adults. Washington DC: American Psychological Association.

Correspondencia: Cesar Merino Soto

Universidad de San Martin de Porres

Chorrillos--Lima 9, Lima (Peru)

e-mail: sikayax@yahoo.com.ar

Cesar Merino Soto y Jose Lopez Pina*

Universidad de San Martin de Porres y * Universidad de Murcia
Tabla 1
Relacion entre el numero de items y la PAE

K     > 30   > 50        > 80        > 200
PAE   0.5    0.4 o 0.6   0.3 o 0.7   0.2 o 0.8

K     > 600       > 1400
PAE   0.1 o 0.9   0.05 o 0.95
COPYRIGHT 2010 Colegio Oficial De Psicologos Del Principado De Asturias
No portion of this article can be reproduced without the express written permission from the copyright holder.
Copyright 2010 Gale, Cengage Learning. All rights reserved.

Article Details
Printer friendly Cite/link Email Feedback
Author:Merino Soto, Cesar; Lopez Pina, Jose
Publication:Psicothema
Date:Apr 1, 2010
Words:5880
Previous Article:Seleccion de modelos anidados para datos longitudinales usando criterios de informacion y la estrategia de ajuste condicional.
Next Article:Procedimientos graficos para evaluar la consistencia intra-individual en el analisis factorial de items.
Topics:

Terms of use | Privacy policy | Copyright © 2019 Farlex, Inc. | Feedback | For webmasters