Printer Friendly

Implementation strategies for learning: an item response theory (IRT)-based analysis/Estrategias de aplicacao do aprendido: analise baseada em TRI.

Os fatores de contexto sao importantes preditores de efeitos de acoes de treinamento e desenvolvimento (T&D). Dizem respeito, por exemplo, ao apoio que o participante recebe de seus pares e superiores para participar e, depois, para transferir o que aprendeu (Grossman & Salas, 2011). Entretanto, o papel ativo exercido por esse participante, sobre aquele contexto, ainda e pouco explorado (Pilati & Borges-Andrade, 2005). Inspirados nas questoes empiricas presentes na literatura de T&D sobre as formas de possibilitar o aumento da transferencia de aprendizagem para o ambiente de trabalho, esses autores propuseram um conceito para o estudo deste fenomeno: as estrategias para aplicacao, no trabalho, do aprendido em treinamento (EAA).

A base conceitual das EAA relaciona-se, principalmente, ao modelo de estabelecimento de metas (Locke, Shaw, Saari, & Latham, 1981), bastante conhecido em psicologia organizacional e do trabalho, e as estrategias de enfrentamento (Marx, 1982), mencionadas em contextos de psicologia clinica. Apoia-se ainda em outros construtos, como as estrategias de aprendizagem e o comportamento proativo. O processo de estabelecimento de metas permite aos individuos regularem os seus comportamentos, funcionando como uma tecnica motivacional eficaz para melhorar o desempenho em uma tarefa (Locke & Latham, 2002). Esse processo, visando utilizar e reter as competencias recem-adquiridas em eventos de T&D, conduz a melhorias de desempenho (Payne, Youngcourt, & Beaubien, 2007). Pode ocorrer antes, durante e apos tais eventos.

A prevencao de recaidas, como uma estrategia para potencializar a transferencia de habilidades adquiridas ou atitudes desenvolvidas, foi sugerida por Marx (1982). Consiste na utilizacao de componentes cognitivos e comportamentais que visam facilitar a manutencao, em longo prazo, do que foi aprendido, para evitar recaidas de pessoas em tratamentos de droga adicao, por exemplo. Em contextos de trabalho, a recaida se refere ao retorno ao desempenho na forma como era executado antes dos eventos de T&D. A inclusao, nesses eventos, de modulos de estudo sobre prevencao de recaidas se traduziria em niveis mais elevados de aprendizagem e de posterior impacto no trabalho. Ha evidencias de que a transferencia de T&D e mais eficaz quando combinada com a prevencao de recaidas (Gaudine & Saks, 2004) e de que o efeito desta prevencao e significativo em climas organizacionais de transferencia mais inibidores (Burke & Baldwin, 1999).

A existencia de interacao dinamica entre a pessoa, o ambiente e o desempenho e postulada na literatura cientifica sobre comportamento organizacional (Bandura, 2001; Schneider, 1987). Os processos especificos por meio dos quais as pessoas poderiam influenciar, de forma intencional e direta, o seu entorno social, foram estudados por Bateman e Crant (1999). Os resultados encontrados mostraram que o comportamento proativo dos individuos esta positivamente relacionado ao desempenho profissional e pode ter impacto positivo, por exemplo, no faturamento das empresas.

A partir desses aportes teoricos, foi descrito um conjunto de caracteristicas individuais para a criacao de condicoes necessarias a aplicacao e a manutencao desses comportamentos de aplicacao dos conhecimentos e habilidades adquiridas em T&D, as EAA (Pilati & Borges-Andrade, 2005). Este construto possuiria uma estrutura tripartite: cognicoes, afetos e comportamentos. O participante de acoes de T&D avaliaria seu ambiente para selecionar a estrategia mais adequada ou para definir se o uso da EAA faria sentido--componente cognitivo do conceito. O componente afetivo funcionaria como um mecanismo de manutencao do uso de estrategias para aplicacao do aprendido. Ja o componente comportamental referir-se-ia a acao de modificacao do ambiente para a criacao da condicao necessaria a aplicacao.

Para operacionalizar esse construto, os mencionados autores propuseram uma escala para mensurar EAA, cuja finalidade e avaliar o tipo e o nivel de estrategias que individuos utilizam no ambiente de trabalho posterior a acoes de T&D. O estudo visando obtencao de evidencias de validade psicometrica desta escala resultou em um instrumento com um total de dezenove itens organizados em dois fatores hipoteticos distintos, com bons indices psicometricos. O Fator 1, denominado Estrategias Comportamentais, apresenta itens que descrevem a acao de transformacao do ambiente de trabalho, como, por exemplo, a busca de condicoes materiais (equipamentos) que possibilitem a aplicacao. O Fator 2, denominado Estrategias Cognitivo-afetivas, apresenta itens que avaliam o valor instrumental da acao de T&D para a vida profissional, a atitude frente ao seu conteudo e, principalmente, a avaliacao que o individuo faz do seu ambiente de trabalho.

Outros dois estudos testaram a estrutura fatorial da medida de EAA. Sua equivalencia foi investigada para a Espanha e os resultados encontrados confirmaram os mesmos dois fatores com indices de consistencia interna superiores a 0,80; porem, os itens se agruparam de maneira diferenciada (Pilati & Gonzalez, 2009). No Brasil, a estrutura fatorial e o agrupamento de itens foram ratificados (Brant, 2013). Nesta ratificacao, as cargas variaram de 0,39 a 0,78 para o Fator 1 (Estrategias Comportamentais) e de 0,48 a 0,94 para o Fator 2 (Estrategias Cognitivo-afetivas); os indices de consistencia interna foram superiores a 0,84 e a variancia total explicada foi de 41,4%, r = 0,39.

Embora os estudos descritos se constituam como evidencias de validade dessa medida, os metodos classicos da psicometria nao garantem que a precisao da medicao seja igualmente distribuida em todo o dominio de interesse. As propriedades obtidas por meio da teoria classica dos testes (TCT) dependem do numero de itens da escala e da amostra em estudo (Hambleton, Swaminathan, & Rogers, 1991). Isto e, na TCT, o parametro de dificuldade de um item altera-se em funcao de os participantes do estudo possuirem, mais ou menos, determinado traco latente, ou, ainda, dos itens utilizados para medi-lo (Pasquali & Primi, 2003). A psicometria moderna vem empregando novos modelos de medida, conhecidos pelo nome de Teoria da Resposta ao Item (TRI). A TRI possui como foco o estudo individualizado dos itens que compoem um conjunto maior, ao contrario da TCT, que tem como objetivo a determinacao das propriedades do teste como um todo (Andriola, 2009).

Tradicionalmente a TRI foi utilizada no campo brasileiro de conhecimento da avaliacao educacional em testes e provas em massa como, por exemplo, o SAEB (Sistema de Avaliacao da Educacao Basica) e o ENEM (Exame Nacional do Ensino Medio; Andriola, 2009). Considerada a potencialidade para avaliar e aprimorar instrumentos, seu uso vem estendendo-se para outras areas como a psicologia (Fraley, Waller, & Brennan, 2000; Roberson-Nay, Strong, Nay, Beidel, & Turner, 2007), a gestao da producao (Bortolotti & Andrade, 2007), entre outras.

Quais sao as caracteristicas desta abordagem que a torna particularmente util para o aprimoramento da medida de EAA? A TRI e um conjunto de modelos matematicos que procuram representar a probabilidade de um individuo (j) dar certa resposta a um item (i) como funcao dos parametros do item (a e b) e do traco latente ([theta]) em analise (Andrade, Tavares, & Valle, 2000). Relaciona variaveis observaveis (e.g., itens de um teste) e tracos hipoteticos nao observaveis, de tal modo que, se forem conhecidas as caracteristicas das variaveis observadas, pode-se estimar o nivel do traco latente do individuo e vice-versa. Os parametros dos itens e o traco latente do individuo ([theta]) determinarao a probabilidade deste responder em cada uma das categorias para um dado item. Estas probabilidades podem ser mais bem identificadas por meio da Curva Caracteristica do Item (CCI) ou Curva de Resposta a Categoria (CRC), que apresenta simultaneamente todas as curvas correspondentes a probabilidade de resposta afirmativa a cada uma das categorias. Outra medida bastante utilizada em conjunto com a CCI e a funcao de informacao do item. Ela permite analisar quanto um item (ou teste) contem de informacao para a medida geral. Isto e, identifica que itens discriminam bem ou mal o traco latente, implicando em decisoes sobre a sua adequacao e permanencia na escala (de Ayala, 2009).

Os parametros que caracterizam o item, isto e, o parametro a (discriminacao) e o parametro b (dificuldade) independem do nivel de habilidade dos participantes que os responderam. A habilidade dos participantes independe dos itens utilizados para determina-la, admitindo-se, nesse caso, que haja uma aptidao, um fator ou traco que seja dominante no individuo (Pasquali & Primi, 2003). A TRI fornece uma descricao detalhada do comportamento individual de itens em todos os niveis do traco latente em estudo. Permite ainda obter indices de fidedignidade do teste, do item e analisar as categorias utilizadas para medir o traco latente (Andriola, 2009).

A TRI veio complementar a TCT, superando as limitacoes relacionadas a fidedignidade da medida; sua principal vantagem e enfatizar os itens como elementos centrais da analise (Pasquali & Primi, 2003). Assim, a utilizacao da TRI no campo de conhecimento de organizacoes e trabalho pode representar um avanco na estimacao dos construtos de interesse desse campo. Os pesquisadores e os profissionais precisam constantemente de instrumentos acurados, que permitam uma avaliacao fidedigna de fatores potencialmente influentes nas relacoes estabelecidas entre comportamento humano e processo produtivo, bem como dos fatores que medeiam tal relacao ou dela sao decorrentes (Grossman & Salas, 2011).

No caso da escala EAA, com a TRI se procura formas de representar a relacao entre a probabilidade de um individuo endossar uma categoria de resposta de um item (variando de acordo com a frequencia de utilizacao de estrategias), as caracteristicas do item e a utilizacao de estrategias enquanto traco latente presente no individuo. O presente estudo tem como objetivo analisar as caracteristicas psicometricas da escala EAA por meio da TRI, visando obter maior acuracia nas estimativas dos seus parametros e reunir mais elementos que corroborem a sua validade de construto. Com isto, podera ser dada uma contribuicao relevante para o aprimoramento continuo da mencionada escala.

Metodo

Participantes

Visando ao alcance da variabilidade e do numero minimo de participantes que permitisse a calibracao da escala EAA por meio da TRI, utilizaram-se dados secundarios originalmente coletados por Brant (2013) e Pilati (2004). Os participantes de ambos os estudos foram previamente informados dos objetivos e dos procedimentos de pesquisa e concordaram em contribuir voluntariamente. Nenhuma contingencia de trabalho foi estabelecida com o objetivo de induzi-los a participar da pesquisa. Cuidados foram tomados para garantir que nao fossem identificados nas organizacoes em que trabalhavam e a base de dados gerada nao foi entregue a esta.

A amostra contem respostas de 1241 participantes de diferentes cursos ofertados por quatro orgaos da administracao publica federal brasileira que responderam a questionarios que visavam a analisar o relacionamento entre caracteristicas pessoais (e.g., EAA, aprendizagem em T&D) e do contexto de trabalho (e.g., suporte organizacional) com a percepcao de impacto de acoes de T&D no trabalho. Dentre os respondentes, 54,1% eram homens com media de idade de 42,3 anos (DP = 7,21 anos); 80,8% com curso superior completo e media de experiencia profissional de 17,8 anos (DP = 6,9 anos).

Instrumento

O instrumento avaliado e a escala de medida de EAA, composta por itens respondidos por meio de sete opcoes (1 = "nunca" e 7 = "sempre"), organizados em duas subescalas (variancia total explicada = 40%): Fator 1, Estrategias Comportamentais (dez itens; cargas fatoriais entre 0,45 e 0,87; a = 0,88); e Fator 2, Estrategias Cognitivo-afetivas (nove itens; cargas fatoriais entre 0,46 e 0,71; a = 0,83). Todos os itens, cargas fatoriais, comunalidades e indices de consistencia interna da EAA sao descritos por Pilati e Borges-Andrade (2005).

Procedimentos de Analise de Dados

Na TRI existem diversos modelos que representam o relacionamento entre o traco latente e a resposta do individuo. A escolha do modelo a ser usado pelo pesquisador depende: (a) do numero de categorias de respostas ao item; (b) do construto a ser medido; e (c) do tamanho da amostra (de Ayala, 2009). No que se refere ao tamanho da amostra para a calibracao, esse autor sugere um minimo de 500 participantes para a calibracao de vinte itens.

Todos os itens da escala EAA possuem sete categorias de resposta e, por isso, um modelo para resposta politomica se mostra mais adequado. Considerando-se a natureza do construto a ser avaliado, autorrelatos de utilizacao de EAAs no contexto de trabalho, parece ser razoavel supor que dificilmente os 19 itens dessa escala discriminam a populacao quanto ao traco latente com a mesma intensidade. Portanto, um modelo que permita que cada item tenha um valor diferente para a discriminacao parece ser uma opcao coerente.

Observadas tais caracteristicas da escala de EAA, optou-se pela utilizacao do modelo de resposta gradual (MRG), apropriado quando ha itens politomicos com categorias ordenadas (e.g., escalas Likert) e medidas comportamentais, cognitivas e atitudinais (Samejima, 1969). Outra caracteristica do MRG e que o teste pode ser formado por itens com quantidade diferente de categorias. Nos testes que utilizam categorias de respostas, essa afericao pode ser particularmente util por permitir ao pesquisador eliminar categorias que sejam pouco significativas dentro do conjunto de itens e melhorar os parametros do modelo (de Ayala, 2009). O MRG modela a probabilidade de um individuo j responder em uma determinada categoria k (k = 0, 1, ..., [m.sub.i]), ou superior do item i (na metrica normal), determinado o nivel de habilidade ([theta]), e e dado pela seguinte equacao:

[MATHEMATICAL EXPRESSION NOT REPRODUCIBLE IN ASCII] [1]

[P.sub.i,k] = probabilidade de responder ao item i na categoria k ou maior;

[theta] = representa o nivel de utilizacao de estrategias comportamentais e de estrategias cognitivo-afetivas pelo individuo j;

[a.sub.i] = parametro de discriminacao do item; varia a cada item, mas e constante dentro dos itens. Essa restricao de igual inclinacao em cada categoria tem a finalidade de evitar probabilidades negativas;

[b.sub.i,k] = parametro de dificuldade da k-esima categoria do item i; representa o nivel de utilizacao de EAAs necessario para a escolha da categoria de resposta k, ou acima de k, com probabilidade igual a 0,50; e o ponto de intersecao entre as categorias de respostas ordenadas;

D = constante (1,7); fator introduzido para tornar a funcao logistica tao proxima quanto possivel da funcao ogiva normal.

As curvas geradas pela Equacao 1 (CCI) mostram a relacao entre as probabilidades de respostas nas categorias de cada item e o nivel do traco latente; a CCI torna possivel identificar qual a categoria de resposta com maior probabilidade de ser escolhida para cada nivel do traco latente. Com a aplicacao desse modelo, o MRG, espera-se identificar sete parametros para cada item: um referente a sua discriminacao e seis (numero de categorias de resposta do item menos um) representando a "dificuldade" do item (de Ayala, 2009).

Os modelos multidimensionais da TRI sao conhecidos por serem robustos contra a violacao do pressuposto de unidimensionalidade (e.g., o MRG). Porem, desconsiderar essa suposicao pode causar um vies sistematico no processo de medicao (Han & Hambleton, 2007). Assim, no presente estudo, foram realizadas as analises das propriedades psicometricas das duas subescalas de EAAs. Procedimento semelhante foi realizado por Fraley et al. (2000), que estudaram quatro escalas multidimensionais usando o MRG, e e recomendado por de Ayala (2009).

Para a analise dos dados, procedeu-se, inicialmente, a verificacao da exatidao de entrada dos dados, a ocorrencia de casos omissos e a presenca de casos extremos. O tratamento utilizado para os casos omissos relacionados a ambas subescalas foi do tipo listwise. A amostra final para o presente estudo foi composta de 552 participantes para a subescala EAAs Comportamentais e 831 respondentes para a subescala EAAs Cognitivo-afetivas. Assume-se que as cognicoes e os afetos do individuo relativos ao ambiente pos-acoes de T&D e os comportamentos supostamente delas decorrentes se constituem como fatores distintos de influencia nas respostas dos itens. Deste modo, Cognicoes e Afetos foram analisados separadamente de Comportamentos. Avaliaram-se, em primeiro lugar, os parametros da subescala Estrategias Comportamentais, e, depois, da subescala Estrategias Cognitivo-afetivas.

A estimativa dos parametros dos itens (parametros a e b) e o ajuste do MRG aos dados foram examinados com a ajuda do software PARSCALE 4.1. Este programa prove uma estimativa do valor de -2LL [2x log (maxima verossimilhanca marginal)] para cada conjunto de itens estimado (Du Toit, 2003). A qualidade de ajuste para um modelo pode ser avaliada por meio do valor de -2LL, cujo valor minimo e 0 e considerado como ajuste perfeito. Assim, quanto menor o valor de -2LL, melhor o ajuste do modelo (Field, 2009). Para melhorar a estimativa de maxima verossimilhanca marginal, incluiram-se iteracoes usando o algoritmo Newton-Raphson e, assim, obteve-se a solucao de convergencia e o erro-padrao dos parametros de itens. Adotou-se, portanto, a sugestao de de Ayala (2009). Ainda com base na proposta deste autor, a estimativa expected a posteriori (EAP) foi selecionada para a localizacao das pessoas, uma vez que esta pode ser definida para qualquer padrao de resposta e tem um erro medio menor do que qualquer outro estimador. Visando a alcancar o melhor ajuste do modelo, algumas estrategias foram adotadas, conforme a necessidade: (a) estabeleceu-se prior; (b) categorias foram reordenadas; e (c) foram excluidos itens cujos valores do parametro a foram menores do que 0,8. Esse ultimo criterio visa a aproveitar apenas os itens mais discriminativos em relacao ao traco latente. Definiu-se que os escores TRI tivessem media zero e desvio padrao um (escala 0,1). Quando os valores de traco latente de um grupo sao transformados para a escala 0,1, os valores de b normalmente variam de - 2 a +2, sendo que os valores de b proximos de -2 correspondem aos itens que sao mais faceis de endossar; ao contrario, valores de b proximos de + 2, correspondem aos itens que sao mais dificeis para o grupo de respondentes endossar (Pasquali & Primi, 2003).

Resultados

As suposicoes para a calibracao dos parametros, isto e, a unidimensionalidade e a independencia condicional, foram asseguradas por meio do estudo, em separado, de cada uma das duas subescalas da EAA. O pressuposto de ajuste do modelo escolhido, o MRG, foi verificado por meio da curva caracteristica do item (CCI) e pelos valores obtidos na convergencia de estimativas de maxima verossimilhanca marginal (de Ayala, 2009).

Subescala Estrategias Comportamentais

Iniciou-se o procedimento de calibracao da subescala EAAs Comportamentais utilizando-se todos os dez itens em um unico bloco, com as sete categorias de respostas originais ("nunca" a "sempre"), criterio de convergencia para a iteracao igual a 0, 001 e estimador EAP. Nessa fase, as correlacoes polisseriais foram todas superiores a 0,71, sugerindo que nenhum dos itens precisaria ser excluido para se alcancar um melhor ajuste do modelo. Sequencialmente, foram aumentados os ciclos de iteracao EAP e Newton-Raphson. Por fim, foram utilizadas prior visando a alcancar o melhor ajuste do modelo.

O criterio de convergencia (0, 001) foi atingido apos 54 ciclos de iteracao. O valor de -2LL diminuiu de 36870,47, no primeiro ciclo, para -2LL=25521,36 no ultimo, mos trando melhoria no ajuste do modelo. A Tabela 1 apresenta os parametros de discriminacao a, o de dificuldade b para cada categoria de resposta e os respectivos erros-padrao dos dez itens da mencionada subescala.

Esta subescala, depois de calibrada, permaneceu com os dez itens e com as sete categorias de respostas originais. Foram identificados sete parametros para cada item (Tabela 1): um referente a sua discriminacao e seis relacionados a dificuldade do item. Todos estes itens sao adequados para o instrumento e discriminam o traco latente a ser medido. O parametro a tem valores acima de 1,04 e erro-padrao maximo de 0,06, valor considerado aceitavel por Baker (2001).

Quando foram considerados, em conjunto, os resultados dos parametros b ([b.sub.1] a [b.sub.6]) e do parametro a para cada item, observou-se que o item 23 e o item 24 sao os mais informativos das EAAs Comportamentais. Os itens 20 e 21 sao os menos informativos. Estes itens possuem menor poder discriminativo, alem de apresentarem valores extremos de b superiores a [+ or -] 2, sugerindo que seus conteudos sao mais faceis de endossar.

A discriminacao do teste e de 1,27. A curva de informacao do teste mostra que o conjunto de dez itens, com sete categorias de respostas, produz uma boa quantidade de informacao entre -3 e +3 (Figura 1). O erro da medida e baixo no intervalo no qual a escala melhor discrimina [-1,5; 0,8], com pico de informacao em 0 = - 0,3.

Subescala Estrategias Cognitivo-Afetivas

Foram conduzidas as analises preliminares utilizando-se todos os nove itens da subescala EAAs Cognitivo-afetivas. Estes foram reunidos em um unico bloco, estimados com as sete categorias originais ("nunca" a "sempre"), criterio de convergencia para a iteracao igual a 0,001, estimador EAP e algoritmo Newton-Raphson.

Foram encontrados itens com percentual de frequencia superior a 43% na categoria "sempre" (item 4 e 11) e, ainda, uma tendencia a respostas nas categorias "as vezes", "frequentemente" e "muito frequentemente". A categoria "nunca" teve percentual de resposta baixo. Nessa primeira calibracao, os valores do parametro a foram baixos (< 0,8) para todos os itens. As correlacoes polisseriais foram superiores a 0,70, exceto para o item 4 ("Admiro as pessoas que conseguem aplicar no trabalho o que aprendem em treinamento"), rho = 0,50; p < 0,001. Este valor, embora inferior aqueles alcancados pelos demais itens, ainda e considerado aceitavel (Baker, 2001).

Procedeu-se nova estimacao visando a melhorar o ajuste do modelo e dos parametros dos itens. Nessa etapa, os itens foram separados em nove blocos diferentes. As categorias foram reorganizadas, sendo reunidas aquelas com percentuais baixos de respostas. Esses nove itens tiveram as duas primeiras e as duas ultimas categorias reunidas (i.e., "nunca" e "muito raramente"; "muito frequentemente" e "sempre"). Foram inseridos prior da primeira estimativa.

O item 4 ("Admiro as pessoas que conseguem aplicar no trabalho o que aprendem em treinamento"), mesmo com varias tentativas de reunir as sete categorias, permaneceu com o ajuste pobre. O melhor resultado obtido foi com as categorias "nunca", "muito raramente", "raramente" e "as vezes" reunidas. Porem, ainda assim, o valor do parametro a deste item permaneceu abaixo do criterio de corte de 0,8 sugerido por de Ayala (2009). Nesta fase de analise, exceto pelo item 4, todos os demais itens alcancaram valores do parametro a acima de 1,10 com erro-padrao maximo de 0,08.

Considerando a baixa discriminacao e pequena quantidade de informacao do item 4, optou-se pela sua exclusao e procedeu-se nova analise dos parametros da subescala EAAs Cognitivo-afetivas com oito itens e cinco categorias de respostas, das sete originalmente existentes. O criterio de convergencia (0,001) foi atingido apos 42 ciclos de iteracao (-2LL=21164,20 para -2LL=9893,45), mostrando melhoria no ajuste do modelo. A Tabela 2 mostra os parametros a, o parametro b para cada categoria de resposta e os respectivos erros-padrao dos oito itens da subescala Estrategias Cognitivo-afetivas.

Esta Tabela mostra que foram identificados cinco parametros para cada item: um referente a sua discriminacao e quatro relacionados a dificuldade do item. Nessa etapa da calibracao, todos os oito itens mostraram melhoria nos parametros estimados quando comparados a fase 2 e parecem que se adequam bem ao instrumento.

O parametro a tem valores superiores a 1,00 e erro-padrao maximo igual a 0,06. Tal resultado sugere que um bom poder discriminativo da subescala de EAAs Cognitivo-afetivas utilizadas no contexto do trabalho, visando a aplicacao de conhecimentos, habilidades e atitudes adquiridas em acoes de T&D.

Quando foram considerados, em conjunto, os resultados dos parametros b ([b.sub.1] a [b.sub.4]) e do parametro a para cada item, observou-se que o item 5 e o item 6 sao os mais informativos desta subescala e que os itens 2 e 8 sao os menos informativos. Estes itens possuem menor poder discriminativo, alem de apresentarem valores de b proximos a [+ or -] 2, sugerindo que seus conteudos sao mais faceis de endossar.

A discriminacao do teste e de 1,29. A curva de informacao do teste mostra que o conjunto de oito itens produz uma boa quantidade de informacao entre -3 e +2 (Figura 2). O erro da medida no intervalo no qual a escala melhor discrimina [-2,0; 0,5] e baixo, com pico de informacao em 0 = -0,8.

Discussao

O presente estudo teve como objetivo analisar as propriedades psicometricas da escala EAA, com base na TRI. As EAAs se referem a um conjunto de acoes promovidas pelos individuos no ambiente de trabalho com a finalidade de modifica-lo e torna-lo mais receptivo as competencias desenvolvidas em acoes de T&D. Esta escala possui estrutura bidimensional e, dessa forma, os fatores foram analisados separadamente, visando a atender aos pressupostos subjacentes a TRI. Este procedimento esta de acordo com estudos anteriores que buscavam verificar escalas multidimensionais (e.g., Fraley et al., 2000).

Os resultados deste estudo apontam novas evidencias de validade, agora a partir da TRI, a estrutura empirica da escala EAA. A avaliacao dos seus itens, quanto a quantidade de informacao psicometrica e ao grau de utilizacao do traco latente, e um ganho importante em relacao a TCT. Distinguiram-se os itens mais informativos daqueles que informam menos (parametro a). Isto possibilita identificar que EAAs Comportamentais e Cognitivo-afetivas tem maior ou menor relevancia na avaliacao das acoes dos individuos no ambiente pos-T&D.

Ambas as subescalas ajustaram-se bem ao MRG e exibiram caracteristicas psicometricas aceitaveis de acordo com os criterios da TRI. Esse modelo se mostrou totalmente adequado para avaliar os itens, tanto pelas evidencias das estatisticas de ajustes como, tambem, no conjunto de itens retidos. Foram calibrados dezoito itens da escala EAA, sendo dez pertencentes a subescala EAAs Comportamentais e oito a subescala EAAs Cognitivo-afetivas.

A primeira subescala conservou todos os seus itens e as sete categorias de respostas no processo de calibracao, mostrando-se propicia para mensurar acoes de transformacao do ambiente de trabalho que possibilitem a aplicacao de conhecimentos e habilidades adquiridas por meio de acoes de T&D. A discriminacao do instrumento e considerada moderada com acuracidade alta, discriminando melhor pessoas com niveis medianos de aplicacao dessas estrategias (Figura 1).

Os itens mais informativos desta subescala remetem as acoes que tem por objetivo obter suporte material da organizacao visando a aplicar o aprendido. Na area de avaliacao de T&D, o suporte organizacional tem se mostrado um bom preditor de resultados (Grossman & Salas, 2011). Este suporte, no entanto, e avaliado como a percepcao dos individuos sobre o apoio recebido. No caso dos itens referentes a subescala EAAs Comportamentais, o que se pretende analisar sao as acoes que o proprio individuo empreende para tornar seu ambiente de trabalho favoravel a aplicacao de conhecimentos e habilidades aprendidas em T&D. Os itens se referem a um conjunto de indicadores comportamentais relativos a proatividade, ao enfrentamento de situacoes cotidianas adversas, ou favoraveis, dentro do ambiente de trabalho e ao estabelecimento de metas visando a transformacao ou a manutencao das condicoes de trabalho.

No caso dessa primeira escala, os itens mais informativos envolvem uma busca ativa, baseada integralmente no esforco individual, visando a alterar caracteristicas do contexto de trabalho. Isto e o "nucleo duro" do conceito de estrategias. Os itens menos informativos sao os concernentes a definir metas faceis para a mencionada aplicacao e pedir orientacao a colegas mais experientes, para realiza-la. Nesses dois ultimos casos, a razao pode estar no fato de serem afirmativas que podem ser consideradas socialmente pouco desejaveis. Outra razao, de natureza conceitual, tem a ver com o fato de que nao sao exatamente descricoes de atos que levem a plena aplicacao do aprendido, mas provavelmente a maquiar esta plena aplicacao ou a depositar, nos outros, pelo menos parcialmente, a responsabilidade por aqueles atos. Isto e, podem ser considerados falsos atos estrategicos e estariam, portanto, mais distantes daquele "nucleo duro" do mencionado conceito.

Embora se destaquem alguns itens como mais ou menos informativos do traco latente, ao se considerarem os resultados da calibracao desta subescala, observou-se que todo o conjunto de dez itens corrobora que ha um conjunto de comportamentos de criacao de condicoes de aplicacao do aprendido, conforme proposto por Pilati e Borges-Andrade (2005). Do ponto de vista pratico, a identificacao de tais estrategias tornaria possivel desenvolver tecnologias para capacitar os trabalhadores no desenvolvimento ou no fortalecimento de comportamentos proativos, bem como na criacao de um ambiente de trabalho que facilitasse o uso de tais estrategias visando a aumentar a efetividade das acoes de T&D nas organizacoes. Tais tecnologias poderiam ser utilizadas, por exemplo, antes do termino dessas acoes de T&D, ou em curtos momentos subsequentes, no local de trabalho, em carater que poderia ser periodico.

No que se refere a calibracao da subescala EAAs Cognitivo-afetivas, foram preservados oito dos nove itens e categorias de respostas diferenciadas da sua formulacao original. Foram reunidas as categorias "nunca" e "muito raramente", e "muito frequentemente" e "sempre" em todos os itens. Com a realizacao dessa recategorizacao, o percentual de respostas por categoria dentro dos itens ficou relativamente bem distribuido e a calibracao alcancou parametros satisfatorios. A discriminacao da subescala e considerada moderada com acuracidade alta, distinguindo melhor pessoas com niveis medianos de aplicacao dessas (Figura 2). O conjunto de oito itens apoia a estrutura teorica proposta por Pilati e Borges-Andrade (2005). Sao itens que se referem principalmente a avaliacao e ao reconhecimento de situacoes contextuais para aplicacao do aprendido no trabalho.

O item 4 ("Admiro as pessoas que conseguem aplicar no trabalho o que aprendem em treinamento"), que tinha supostamente elementos tipicamente afetivos, foi excluido da escala Cognitivo-afetiva, pois nao alcancou o valor minimo de discriminacao, isto e, trata-se de um item que informa muito pouco sobre o traco latente. Analisando o seu conteudo, pode-se inferir que induza a um alto grau de desejabilidade social e, por isso, talvez nao tenha se adequado bem a subescala mencionada. Esse item 4 pode ainda ter um conteudo que sugira ao respondente pouca iniciativa individual, expresse relativa passividade, o que nao e exatamente tipico da dinamica esperada de quem deveria ser um estrategista.

Destacaram-se como itens mais informativos aqueles que envolvem a autoavaliacao das estrategias utilizadas para aplicar o aprendido e apresentar resultados para pares e chefias. Tais itens descrevem processos eminentemente cognitivos (autoavaliacao) e afetivos (apresentar resultados) e de iniciativa do proprio individuo, para alcancar um fim, isto e, tipicamente do "nucleo duro" do conceito de estrategias. Um item menos informativo e acreditar que e possivel aplicar no trabalho o que foi aprendido em acoes de T&D, uma crenca e nao um processo cognitivo. Outro item menos informativo e consultar material oriundo dessas acoes, para realizar a aplicacao. Esta descricao de item provavelmente sugere elementos de natureza comportamental (buscar material) mesclados com elementos de natureza cognitiva (obter, neste material, informacoes relevantes).

Destaca-se ainda que, no contexto deste estudo, a interpretacao do parametro b pode ser associada, tambem, ao grau de dificuldade de um individuo utilizar, em seu cotidiano, EAAs Comportamentais e Cognitivo-afetivas visando a transferencia do adquirido para o trabalho. Neste caso, o aumento no grau de dificuldade de aplicacao de Estrategias Comportamentais e Cognitivo-afetivas pode conduzir a um decrescimo do seu uso. Considerando-se que o parametro b (dificuldade) e o traco latente (nivel de utilizacao de estrategias) foram medidos na mesma escala, infere-se que individuos com baixo nivel de aplicacao de estrategias podem vir a ter dificuldades, no futuro, para a sua utilizacao.

Do ponto de vista pratico, individuos com tais caracteristicas podem ser estimulados pelos gestores, ou pelo pessoal tecnico encarregado das acoes de T&D, para agir de maneira mais proativa em seus ambientes de trabalho. Tomados em conjunto, os resultados obtidos adicionam elementos a busca de validade de construto da EAA e ao seu potencial de aplicacao dentro do contexto do trabalho. Destaca-se que a calibracao da escala de EAA permitiu, tambem, verificar a acuracidade desta escala, o que implica no reconhecimento de que a revisao dos itens menos informativos e a inclusao de outros novos podem torna-la mais eficiente para discriminar, tambem nos niveis mais altos, esse traco latente.

Uma possibilidade de aprimoramento da subescala de EAAs Cognitivo-afetivas seria a redacao de itens adicionais da subdimensao afetiva, pois a subdimensao cognitiva (autoavaliacao, busca de informacoes, identificacao de situacoes e de dificuldades, apresentacao de resultados) parece estar suficientemente coberta para a afericao do construto. Alem disto, os itens com caracteristicas mais proximas do componente afetivo (atribuir importancia a aplicacao do aprendido no trabalho e acreditar que ela e possivel), menos frequentes na subescala, sao mais sujeitos a desejabilidade social na resposta, fazendo com que nao tenham variabilidade suficiente para analises. Tais indicios apontam para a necessidade de se buscarem alternativas para a mensuracao de processos afetivos no contexto organizacional (Brief & Weiss, 2002). Uma alternativa viavel para a mensuracao de fenomenos afetivos nas organizacoes, considerando que sao altamente sujeitos a influencia da desejabilidade social, e o emprego de medidas implicitas de atitudes, que tem sido largamente utilizadas para mensuracao de fenomenos afetivos na pesquisa em cognicao social (De Houwer & Moors, 2010).

Ainda no concernente as vantagens da aplicacao da TRI para o aprimoramento da escala EAA, estudos futuros poderao fazer uma analise comparativa de resultados obtidos utilizando-se outros modelos para a calibracao. Um exemplo poderia ser o modelo de desdobramentos (unfolding model), o qual comecou a ser testado recentemente no Brasil em pesquisas com variaveis atitudinais e relacionadas ao contexto organizacional (e.g. Bortolotti & Andrade, 2007).

O modelo proposto da TRI revelou-se uma ferramenta complementar bastante util na analise de estrategias de aplicacao do aprendido em T&D. Tratando-se de utilizacao de uma tecnica ainda pouco relatada em estudos na area de psicologia organizacional e do trabalho, espera-se que este artigo contribua com um exemplo de metodo que se soma aos esforcos de enfretamento para a busca de validade de construto de medidas. De forma geral, os resultados sugerem evidencias de validade da escala EAA, alem de apontar caminhos para o seu aprimoramento continuado.

DOI: 10.1590/1678-7153.201528101

Referencias

Andrade, D. F., Tavares, H. R., & Valle, R. C. (2000). Teoria da Resposta ao Item: Conceitos e aplicacoes. In XIV Simposio Nacional de Probabilidade e Estatistica. Sao Paulo, SP: Associacao Brasileira de Estatistica. Recuperado em http:// www.ufpa.br/heliton/arquivos/LivroTRI.pdf

Andriola, W. B. (2009). Psicometria moderna: Caracteristicas e tendencias. Estudos em Avaliacao Educacional, 20, 319-340. Baker, F. B. (2001). The basics of item response theory (2nd ed.). Washington, DC: Eric Clearinghouse on Assessment and Evaluation.

Bandura, A. (2001). Social cognitive theory: An agentic perspective. Annual Review of Psychology, 52, 1-26. doi:10.1146/ annurev.psych.52.1.1

Bateman, T. S., & Crant, J. M. (1999, May-June). Proactive behavior: Meanings, impact, and recommendations. Business Horizons, 63-70. doi:10.1177/014920630002600304

Bortolotti, S. L. V., & Andrade, D. F. (2007). Aplicacao de um Modelo de Desdobramento Graduado Generalizado--GGUM da Teoria da Resposta ao Item. Estudos em Avaliacao Educacional, 37, 157-188.

Brant, S. R. C. (2013). Impacto do treinamento no trabalho: O efeito mediador das estrategias de aplicacao do aprendido. Revista Psicologia: Organizacoes e Trabalho, 13(3), 351-362.

Brief, A. P., & Weiss, H. M. (2002). Organizational behavior: Affect in the workplace. Annual Review of Psychology, 53, 279-307. doi:10.1146/annurev.psych.53.100901.135156

Burke, L. A., & Baldwin, T. T. (1999). Workforce training transfer: A study of the effect of relapse prevention training and transfer. Human Resource Management, 38, 227-243.

De Ayala, R. J. (2009). The Theory and Practice of Item Response Theory. New York: The Guildford Press.

De Houwer, J., & Moors, A. (2010). Implicit measures: Similarities and differences. In B. Gawronski & B. K. Payne (Eds.), Handbook of implicit social cognition: Measurement, theory, and applications (pp. 176-196). New York: Guilford.

Du Toit, M. (2003). IRT from SSI, BILOG-MG, MULTILOG, PARSCALE, TESTFACT. Lincolnwood, IL: Scientific Software International.

Field, A. (2009). Descobrindo a estatistica usando o SPSS (2. ed). Porto Alegre, RS: Bookman.

Fraley, R. C., Waller, N. G., & Brennan, K. E. (2000). An item response theory analysis of self-report measures of adult attachment. Journal of Personality and Social Psychology, 78, 350-365. doi:10.1037/0022-3514.78.2.350

Gaudine, A. P., & Saks, A. M. (2004). A longitudinal quasi-experiment on the effects of post training transfer interventions. Human Resource Development Quarterly, 15(1), 57-76. doi:10.1002/hrdq.1087

Grossman, R., & Salas, E. (2011). The transfer of training: What really matters. International Journal of Training and Development, 15, 103-120. doi:10.1111/j.1468-2419.2011.00373.x

Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory. Newbury Park, CA: Sage.

Han, K. T., & Hambleton, R. K. (2007). User's Manual for WinGen: Windows software that generates IRT Model Parameters and Item Responses (Report No. 642). Amherst, MA: University of Massachusetts Amherst. Retrieved June 29, 2011, from http://www.umass.edu/remp/software/simcata/wingen/ WinGen_Manual_Han_Hambleton_2007.pdf

Locke, E. A., & Latham, G. P. (2002). Building a practically useful theory of goal setting and task motivation: A 35-year odyssey. American Psychologist, 57, 705-717.

Locke, E. A., Shaw, K. N., Saari, L. M., & Latham, G. P. (1981). Goal setting and task performance: 1969-1980. Psychological Bulletin, 90, 125-152. doi:10.1177/014920630002600610

Marx, R. D. (1982). Relapse prevention of managerial training: A model for maintenance of behavior change. Academy of Management Review, 7, 433-441.

Pasquali, L., & Primi, R. (2003). Fundamentos da Teoria da Resposta ao Item: TRI. Avaliacao Psicologica, 2(2), 99-110. Payne, S. C., Youngcourt, S. S., & Beaubien, J. M. (2007). A meta-analytic examination of the goal orientation nomological net. Journal of Applied Psychology, 92(1), 128-150. doi: 10.1037/0021-9010.92.1.128

Pilati, R. (2004). Modelo de efetividade do treinamento no trabalho: Aspectos dos treinandos e moderacao do tipo de treinamento (Tese de doutorado, Universidade de Brasilia, DF, Brasil).

Pilati, R., & Borges-Andrade, J. E. (2005). Estrategias para aplicacao no trabalho do aprendido em treinamento: Proposicao conceitual e desenvolvimento de uma medida. Psicologia: Reflexao Critica, 18, 207-214. doi:10.1590/ S0102-79722005000200009

Pilati, R., & Gonzalez, C. P. (2009). Validacion y test de la equivalencia de la estructura factorial de la Escala de Estrategias de Aplicacion de lo Aprendido. Revista Interamericana de Psicologia, 43(1), 39-48. doi:28411918005

Roberson-Nay, R., Strong, D., Nay, W., Beidel, B., & Turner, S. (2007). Development of an abbreviated Social Phobia and Anxiety Inventory (SPAI) using Item Response Theory: The SPAI-23. Psychological Assessment, 19(1), 133-145. doi:10.1037/1040-3590.19.1.133

Samejima, F. (1969). Estimation of latent ability using a Response Pattern of Graded Scores (Psychometric Monograph No. 17). Richmond, VA: Psychometric Society. Retrieved July 22, 2011, from https://www.psychometricsociety.org/sites/ default/files/pdf/MN17.pdf

Schneider, B. (1987). The people make the place. Personnel Psychology, 40, 437-453. doi:10.1111/j.1744-6570.1987. tb00609.x

Recebido: 29/11/2012

1 revisao: 11/05/2013

Aceite final: 16/10/2013

Sandra Regina Correa Brant *, Ronaldo Pilati & Jairo Eduardo Borges-Andrade Universidade de Brasilia, Brasilia, DF, Brasil

* Endereco para correspondencia: Dept. de Psicologia Social e do Trabalho, Instituto de Psicologia, Universidade de Brasilia, 70910-900 Brasilia, DF, Brasil. E-mails: sandra.brant@gmail.com, rpilati@gmail.com e jairo@unb.br.

Tabela 1

Parametros de Discriminacao "a" e de Dificuldade "b" e seus
Erros-padrao dos Dez Itens da Subescala Estrategias
Comportamentais de Aplicacao do Aprendido no Trabalho

Item                        a      [b.sub.1   [b.sub.2]   [b.sub.3]

14. Mostro para minha      1,43      1,50       1,09        0,57
chefia/supervisao as      (0,05)    (0,06)     (0,06)      (0,05)
vantagens em adquirir
equipamentos que
possibilitem a
aplicacao do que
aprendi.

16. Mostro para minha      1,40      1,85       1,27        0,53
chefia/supervisao quais   (0,06)    (0,01)     (0,06)      (0,05)
as vantagens da
aplicacao, no trabalho,
do que aprendi em
treinamento.

17. Mostro para os meus    1,15      2,33       1,41        0,65
colegas de trabalho       (0,05)    (0,06)     (0,01)      (0,06)
quais os beneficios de
utilizar o que aprendi
em treinamento.

18. Procuro convencer      1,43      1,62       1,18        0,51
meu chefe que para        (0,05)    (0,05)     (0,05)      (0,04)
utilizar o aprendido
deve-se designar tempo
de dedicacao.

19. Negocio com meu        1,35      1,62       1,18        0,39
chefe o tempo             (0,05)    (0,05)     (0,04)      (0,04)
necessario (horas por
semana) que dedicarei
para aplicar o
aprendido.

20. Defino metas faceis    1,00      2,15       1,47        0,74
para aplicar o que        (0,04)    (0,06)     (0,06)      (0,06)
aprendi em treinamento.

21. Peco orientacoes a     1,09      1,96       1,29        0,56
colegas mais              (0,04)    (0,06)     (0,06)      (0,06)
experientes para
aplicar o que aprendi
em treinamento.

23. Solicito a             1,57      1,42       0,97        0,38
aquisicao de material/    (0,06)    (0,05)     (0,04)      (0,03)
equipamentos,
necessarios para a
aplicacao do que
aprendi.

24. Solicito os            1,52      1,42       0,98        0,38
recursos necessarios      (0,06)    (0,04)     (0,04)      (0,03)
(ex: financeiros,
materiais, humanos)
para aplicar o que
aprendi.

25. Solicito que minha     1,42      1,55       1,11        0,37
chefia/supervisao         (0,05)    (0,05)     (0,04)      (0,04)
imediata defina metas
para aplicacao do que
aprendi em treinamento.

Item                      [b.sub.4]   [b.sub.5]   [b.sub.6]

14. Mostro para minha       -0,35       -1,06       -1,75
chefia/supervisao as       (0,04)      (0,04)      (0,05)
vantagens em adquirir
equipamentos que
possibilitem a
aplicacao do que
aprendi.

16. Mostro para minha       -0,35       -1,18       -2,12
chefia/supervisao quais    (0,04)      (0,04)      (0,05)
as vantagens da
aplicacao, no trabalho,
do que aprendi em
treinamento.

17. Mostro para os meus     -0,43       -1,46       -2,50
colegas de trabalho        (0,05)      (0,05)      (0,06)
quais os beneficios de
utilizar o que aprendi
em treinamento.

18. Procuro convencer       -0,31       -1,09       -1,92
meu chefe que para         (0,04)      (0,04)      (0,06)
utilizar o aprendido
deve-se designar tempo
de dedicacao.

19. Negocio com meu         -0,38       -1,08       -1,73
chefe o tempo              (0,05)      (0,06)      (0,06)
necessario (horas por
semana) que dedicarei
para aplicar o
aprendido.

20. Defino metas faceis     -0,39       -1,51       -2,46
para aplicar o que         (0,06)      (0,06)      (0,06)
aprendi em treinamento.

21. Peco orientacoes a      -0,45       -1,23       -2,12
colegas mais               (0,05)      (0,05)      (0,06)
experientes para
aplicar o que aprendi
em treinamento.

23. Solicito a              -0,30       -0,98       -1,53
aquisicao de material/     (0,03)      (0,04)      (0,05)
equipamentos,
necessarios para a
aplicacao do que
aprendi.

24. Solicito os             -0,31       -0,98       -1,50
recursos necessarios       (0,03)      (0,04)      (0,05)
(ex: financeiros,
materiais, humanos)
para aplicar o que
aprendi.

25. Solicito que minha      -0,32       -1,00       -1,71
chefia/supervisao          (0,04)      (0,05)      (0,06)
imediata defina metas
para aplicacao do que
aprendi em treinamento.

Nota. Os valores entre parenteses correspondem ao erro-padrao de
cada parametro estimado.

Tabela 2

Parametros de Discriminacao "a" e de Dificuldade "b " e seus
Erros-padrao dos Oito Itens da Subescala Estrategias
Cognitivo-afetivas de Aplicacao do Aprendido no Trabalho

Item                             a         [b.sub.1]     [b.sub.2]

1. Acredito que e           1,37 (0,05)   1,35 (0,03)   0,35 (0,06)
possivel aplicar no
trabalho o que aprendi
nesse treinamento.

2. Identifico               1,01 (0,05)   1,98 (0,04)   0,97 (0,27)
antecipadamente as
situacoes que podem
dificultar a aplicacao do
que aprendi nesse
treinamento.

5. Apresento resultados     1,72 (0,06)   1,01 (0,07)   0,61 (0,06)
da aplicacao do que
aprendi para meus colegas
e chefe/supervisor.

6. Avalio como estou        1,84 (0,06)   1,08 (0,02)   0,40 (0,03)
aplicando no trabalho o
que aprendi nesse
treinamento.

7. Busco as informacoes     1,39 (0,06)   1,15 (0,06)   0,41 (0,03)
necessarias para aplicar
o que aprendi.

8. Consulto material de     1,11 (0,04)   1,33 (0,02)   0,48 (0,05)
treinamento para aplicar,
no trabalho, o que
aprendi nesse
treinamento.

10. Identifico as           1,20 (0,05)   1,47 (0,04)   0,47 (0,07)
dificuldades que encontro
no ambiente de trabalho
para aplicar o que
aprendi.

11. E muito importante      1,52 (0,05)   1,33 (0,03)   0,14 (0,06)
aplicar no trabalho o que
aprendi nesse
treinamento.

Item                         [b.sub.3]      [b.sub.4]

1. Acredito que e           -0,32 (0,04)   -1,39 (0,06)
possivel aplicar no
trabalho o que aprendi
nesse treinamento.

2. Identifico               -0,62 (0,15)   -2,33 (0,15)
antecipadamente as
situacoes que podem
dificultar a aplicacao do
que aprendi nesse
treinamento.

5. Apresento resultados     -0,26 (0,06)   -1,36 (0,01)
da aplicacao do que
aprendi para meus colegas
e chefe/supervisor.

6. Avalio como estou        -0,23 (0,07)   -1,25 (0,06)
aplicando no trabalho o
que aprendi nesse
treinamento.

7. Busco as informacoes     -0,26 (0,03)   -1,30 (0,05)
necessarias para aplicar
o que aprendi.

8. Consulto material de     -0,30 (0,04)   -1,51 (0,15)
treinamento para aplicar,
no trabalho, o que
aprendi nesse
treinamento.

10. Identifico as           -0,32 (0,13)   -1,62 (0,12)
dificuldades que encontro
no ambiente de trabalho
para aplicar o que
aprendi.

11. E muito importante      -0,23 (0,06)   -1,24 (0,03)
aplicar no trabalho o que
aprendi nesse
treinamento.

Nota. Os valores entre parenteses correspondem ao erro-padrao de
cada parametro estimado.
COPYRIGHT 2015 Federal University of Rio Grande do Sul (JFRGS)
No portion of this article can be reproduced without the express written permission from the copyright holder.
Copyright 2015 Gale, Cengage Learning. All rights reserved.

Article Details
Printer friendly Cite/link Email Feedback
Title Annotation:articulo en portugues
Author:Brant, Sandra Regina Correa; Pilati, Ronaldo; Borges-Andrade, Jairo Eduardo
Publication:Psicologia: Reflexao & Critica
Date:Jan 1, 2015
Words:7469
Previous Article:Construction of meanings about illness and death in the narratives of children with cancer/Construcoes de significados acerca do adoecimento e morte...
Next Article:Fear survey schedule-III: evaluation of the psychometric properties in a portuguese sample/Inventario de medos III: avaliacao das qualidades...
Topics:

Terms of use | Privacy policy | Copyright © 2019 Farlex, Inc. | Feedback | For webmasters