Printer Friendly

Neural networks supporting decision-making in bank credit analysis and breast cancer detection/Redes neurais apoiando a tomada de decisao na analise de credito bancario e deteccao do cancer de mama/Redes neurales apoyando la toma de decision en el analisis de credito bancario y deteccion del cancer de mama.

1 Introducao

As Redes Neurais Artificiais (RNAs) sao modelos matematico/computacionais que possuem unidades de processamento, interligadas entre si por conexoes que representam pesos, que executam operacoes em paralelo e de forma distribuida (Haykin, 1994, 2001). As mesmas sao ferramentas com a capacidade de implementar metodos estatisticos para reconhecimento de padroes (Nunes, 2012). Devido a sua generalidade, a escolha da arquitetura da RNA, que sera utilizada na solucao de um dado problema, depende do tipo de tarefa que o RNA ira executar.

As RNAs tem sido utilizadas de forma crescente para em diversos ramos de negocios: predicao de series temporais, (Szegedy et al., 2014) reconhecimento humano usando a medida biometrica da orelha (Sanchez & Melin, 2014), (Sanchez, Melin, & Castillo, 2015) predicao de radiacao da energia solar (Chatziagorakis et al., 2014), visao por computador (Vikas et al.,2018), o reconhecimento de voz (Sak, Senior, & Beaufays, 2014), traducao automatica (Sutskever, Vinyals, & Le, 2014), tomada de decisao no mercado financeiro (Gambogi, 2013), biometria (Karishma & Swati, 2018), (Nitin, Pranshu, & Upasana 2018) sistema de reconhecimento de video (Ajay, Shubham, & Manan 2018), dentre outras (Skrizhevsky, Sutskever, & Hinton, 2012) e (Wang & Kosinski, 2017).

Conforme menciona (Gambogi, 2013) a previsao do comportamento do mercado financeiro continua sendo do interesse dos investidores, pois avaliacoes acertadas se traduzem em elevado retornos. Embora o acesso a informacoes financeiras tenha aumentado significantemente com o advento da internet, a tarefa de interpreta-las, de avaliar o seu impacto no mercado, continua sendo uma ardua tarefa, inclusive para as instituicoes que contam com recursos materias e humanos especializados. Dessa forma, a utilizacao das redes neurais, tem sido amplamente estudadas visando oferecer suporte no processo de tomada de decisao sobre investimentos, devido a capacidade de mapear funcoes complexas.

As RNAs podem aprender a partir de exemplos, reconhecer um padrao escondido em observacoes historicas e usa-los para prever valores futuros. Alem disso, sao capazes de lidar com informacao incompleta ou dados ruidosos e podem ser muito eficazes, especialmente em situacoes onde nao e possivel definir as regras ou etapas que levam a solucao de um problema. Possuem a capacidade de aprender ao interagir com seu ambiente e, dessa forma, extrair conhecimento do mesmo, o que e realizado por meio de um processo de treinamento, que consiste de um processo iterativo, todas essas caracteristicas justificam a sua utilizacao, como ferramenta de apoio ao processo de tomada de decisao complexo.

Assim sendo, o ajuste, correto, dos parametros de uma RNA Multi Layer Perceptron (numero de neuronios na camada intermediaria, taxa de aprendizado, momentum) e essencial para um bom treinamento e para a validacao da capacidade de generalizacao da mesma. Por isso, antes de se usar o modelo em producao, precisa-se avaliar o seu desempenho, ou seja, e necessario medir quanto o mesmo e eficiente em prever dados que ainda nao conheceu, ou seja, testa-lo de acordo com sua capacidade de generalizacao.

Um dos metodos mais comuns de avaliacao do modelo e chamado hold out. No qual separam-se os dados originais entre treino e teste. Os dados de treino sao submetidos a RNA e produzem o modelo. Apos isso, os dados de teste sao submetidos ao mesmo para que seja feita a previsao. Normalmente, esse modelo usa 70% dos dados para treino e 30% para testes. Se o desempenho foi satisfatorio o modelo pode ser colocado em producao para classificar novos dados. Uma vantagem do metodo de hold out e que os dados sao totalmente independentes; alem disso, so precisa ser executado uma vez, por isso tem custos computacionais mais baixos. Uma desvantagem e que a avaliacao do desempenho esta sujeita a uma maior variancia, dado o menor tamanho dos dados.

Na tecnica k-fold cross validation o conjunto de dados de treinamento, e dividido em k subconjuntos. Desses k subconjuntos, um e selecionado para ser utilizado para validacao e os k-1 restantes sao utilizados no treinamento. O processo de validacao e repetido k vezes, de modo que cada um dos k subconjuntos sejam utilizados pelo menos uma vez como dados de validacao para o modelo. Apos isso avalia-se o desempenho medio do modelo nos k testes. O objetivo esses testes diversas vezes e aumentar a confiabilidade da estimativa do modelo. Essa teoria de validacao foi apresentada por (Geisser, 1975) e foi demostrando que a precisao dos testes possui uma relacao inversa com k. Uma vantagem do metodo e que o mesmo e sujeito a menor variancia quando k aumenta. Como desvantagens tem-se que: os custos computacionais sao maiores e o modelo precisa ser treinado k vezes a cada passo de validacao (mais um a mais na etapa de teste).

O objetivo desse trabalho e utilizar a tecnologia de Redes Neurais Artificiais em dois problemas de classificacao, no primeiro a rede classifica clientes em adimplentes ou inadimplentes, apos a fase de reconhecimento dos padroes, a tecnica e utilizada na analise de novos clientes, servindo como ferramenta auxiliar na tomada de decisao quanto ao credito bancario. No segundo, auxilia na descoberta de padroes e informacoes uteis para o diagnostico de tumores de cancer de mama. Para isso, nesse artigo demonstra-se a eficiencia da tecnica kfold cross validation para validacao de RNAs treinadas nesses dois problemas de classificacao nao triviais Credit German e Breast Cancer. Conclui-se que em ambos os problemas de classificacao estudados o desempenho dos classificadores neurais foi acima de 96%.

Para que os objetivos da pesquisa sejam alcancados, na seccao 2 faz-se a revisao da literatura, na seccao 3 apresentam-se conceitos sobre Redes Neurais Artificiais, na seccao 4 detalha-se tecnica de k-fold cross validation. Na seccao 5, apresentam-se a execucao das etapas da metodologia e os resultados de simulacao obtidos e finalmente nas seccoes 6 e 7 as conclusoes e as referencias bibliograficas consultadas.

2 Revisao de Literatura

O trabalho de (Bonini, 2016) descreve experimentos utilizando o classificador arvore de decisao, algoritmo J.48, para extracao de conhecimento de dataset com dados sobre cancer de mama. No mesmo detalham-se as caracteristicas dos dados que compoem o dataset e as estrategias utilizadas para realizacao dos experimentos. O algoritmo classificou mais de 96% de amostras corretamente.

Holsbach, Fogliatto e Anzanello (2014) apresentam um metodo para a selecao de variaveis para classificacao dos casos em duas classes de resultado, benigno ou maligno, baseado na analise citopatologica de amostras de celula da mama de pacientes. As variaveis sao ordenadas de acordo com um novo indice de importancia de variaveis que combina os pesos de importancia da Analise de Componentes Principais e a variancia explicada a partir de cada componente retido. Observacoes da amostra de treino sao categorizadas em duas classes atraves das ferramentas k-vizinhos mais proximos e Analise Discriminante, seguida pela eliminacao da variavel com o menor indice de importancia. Usa-se o subconjunto com a maxima acuracia para classificar as observacoes na amostra de teste. Aplicando ao Wisconsin Breast Cancer Database, o metodo proposto apresentou uma media de 97,77% de acuracia de classificacao, retendo uma media de 5,8 variaveis.

Arora et al. (2008) analisam um software de CAD termico que possui tres modos de operacao: triagem, clinico e rede neural artificial. Os autores nao detalham as caracteristicas extraidas e nem como o programa funciona, as acuracias obtidas nos tres modos: triagem, 66,70%; clinico, 71,40%; e rede neural artificial, 81,80%.

Steiner et al. (2004) abordam, comparativamente, duas tecnicas (Redes Neurais e Arvores de decisao) para a analise de concessao de credito bancario, por uma instituicao financeira, utilizando o dataset credit german. O trabalho apresenta uma proposta, atraves de analises quantitativas, para o reconhecimento da qualidade do perfil de credito de determinados clientes, classificando os adimplentes dos inadimplentes. A pesquisa utiliza duas tecnicas, Redes Neurais e Arvores de Decisao. Como variaveis de entrada, foram utilizadas sete informacoes de 2.855 clientes com respostas binarias (sim ou nao). Alem disso, a informacao se houve ou nao cumprimento sobre o credito.

O trabalho de Gambogi (2013) apresenta um sistema de trading que toma decisoes de compra e de venda do indice Standard & Poors 500, na modalidade seguidor de tendencia, mediante o emprego de Redes Neurais Artificiais multicamadas com propagacao para frente, no periodo de 5 anos, encerrado na ultima semana do primeiro semestre de 2012. Geralmente o criterio usual de escolha de redes neurais nas estimativas de precos de ativos financeiros e o do menor erro quadratico medio entre as estimativas e os valores observados. Na selecao das redes neurais foi empregado o criterio do menor erro quadratico medio na amostra de teste, entre as redes neurais que apresentaram taxas de acertos nas previsoes das oscilacoes semanais do indice Standard & Poors 500 acima de 60% nessas amostras de teste. Esse criterio possibilitou ao sistema de trading superar a taxa anual de retorno das redes neurais selecionadas pelo criterio usual e, por larga margem, a estrategia de compre e segura no periodo. A escolha das variaveis de entrada das redes neurais recaiu entre as que capturaram o efeito da anomalia do momento dos precos do mercado de acoes no curto prazo, fenomeno amplamente reconhecido na literatura financeira.

3 Redes Neurais Artificiais

Redes Neurais Artificiais sao inspiradas biologicamente no funcionamento do cerebro, assim uma rede neural tipica e constituida por um conjunto de neuronios interligados, influenciando uns aos outros formando um sistema maior capaz de reconhecer padroes por meio de treinamento. O algoritmo de aprendizado generaliza os dados e memoriza o conhecimento dentro dos parametros adaptaveis da rede, denominado de pesos.

Uma Rede Direta, como ilustrado na Figura 1, consiste em varias camadas compostas por nos (neuronios) onde cada neuronio de uma camada possui ligacao com todos os neuronios da camada seguinte. Conforme visto na Figura 1, a rede direta, denominada perceptron multicamada, possui uma camada de entrada, que atua como um conjunto de sensores da rede captando os estimulos do ambiente e pode ter uma ou mais camadas intermediarias que e onde a maior parte do processamento e realizada atraves das conexoes e seus pesos respectivos, podem ser considerados como extratoras de caracteristicas e uma camada de saida onde o resultado final e concluido e apresentado. Ainda na Figura 1 nao existem conexoes entre a saida de um neuronio e algum outro neuronio localizado em uma camada anterior ao primeiro, ou seja, nao possui ciclos, fato que caracteriza uma rede feedforward.

A configuracao pela qual os neuronios de uma RNA e estruturada depende do algoritmo de aprendizagem a ser utilizado para o treinamento. No presente trabalho e usado uma rede neural multicamadas compostas de camadas alinhadas e totalmente conectadas diretamente com uma camada de neuronios. Neste tipo de rede, as entradas sao apresentadas na primeira camada, que e chamada camada de entrada. Esta distribui as informacoes de entrada para a camada oculta da rede, que por sua vez pode possuir uma ou mais camadas ocultas e uma camada de saida (Kovacs, 2006). O valor de saida e obtido atraves da sequencia de funcoes de ativacao definido na camada oculta.

A aprendizagem e uma das caracteristicas notaveis das RNA's. No aprendizado supervisionado, o treinamento possui um conhecimento sobre os dados, uma especie de instrutor que confere o quanto a rede esta proxima de uma solucao aceitavel, este conhecimento, esta representado sob forma de um conjunto de amostras de entrada-saida. O processo de treinamento modifica os pesos das RNAs com a finalidade de melhorar um determinado criterio de desempenho, de tal forma que, para o conjunto de entrada informado, a rede seja capaz de calcular uma saida o mais proximo possivel da saida desejada.

A aprendizagem de Redes Multilayer Perceptron (MLP) e um processo iterativo, conhecido como aprendizagem por experiencia, no qual padroes de treinamento (exemplos) sao apresentados a rede e com base nos erros obtidos, sao realizados ajustes nos pesos sinapticos, com o intuito de diminuir o erro nas proximas iteracoes. Sua estrutura e formada pela camada de entrada, que atua como os sensores da rede captando os estimulos do ambiente e pode ter uma ou mais camadas intermediarias que e onde a maior parte do processamento e realizada atraves das conexoes e seus pesos respectivos, podem ser considerados como extratoras de caracteristicas e uma camada de saida onde o resultado final e concluido e apresentado.

O treinamento de um Perceptron de Multiplas Camadas (MLP) consiste em ajustar os pesos e os thresholds (bias) de suas unidades para que a classificacao desejada seja obtida. Quando um padrao e inicialmente apresentado a rede, ela produz uma saida e, apos medir a diferencia entre a resposta atual e a desejada, sao aplicados ajustes apropriados nos pesos de modo a reduzir esta distancia. Este procedimento e conhecido como Regra Delta. O algoritmo mais utilizado para o treinamento destas redes MLP e uma generalizacao da Regra Delta denominada de Backpropagation.

O Backpropagation e baseado na regra de aprendizagem por correcao de erro. Durante o treinamento com o algoritmo Backpropagation, a rede opera em uma sequencia de dois passos. No primeiro, um padrao e apresentado a camada de entrada da rede. O sinal resultante se propaga atraves da rede, camada por camada, ate que a resposta seja produzida pela camada de saida. No segundo passo, a saida obtida e comparada a saida desejada para esse padrao particular. Se esta nao estiver correta, o erro e calculado. Este erro e propagado a partir da camada de saida ate a camada de entrada, e os pesos das conexoes das unidades das camadas internas vao sendo modificados a medida que o erro e retropropagado. Ao utilizar a retro propagacao o algoritmo aprende de forma supervisionada, em tempo discreto e utiliza um metodo de gradiente descendente para correcao de erro, assim a codificacao executa um mapeamento entrada-saida, atraves da minimizacao de uma funcao custo. Esta por sua vez, realiza iterativamente ajustes nos pesos sinapticos de acordo com o erro quadratico acumulado para o conjunto de treinamento (Fabro, 2001). O processo de evolucao da reducao gradativa de erro pode levar a convergencia. A medida que a rede aprende, o valor do erro converge para um valor estavel, assim o processo prossegue, ate o criterio de um valor minimo de erro global seja atingido ou o numero de epocas (interacoes) seja alcancado. Os passos do algoritmo de retro propagacao sao descritos abaixo.

1) Inicializar os pesos da rede. Cada peso deve ser ajustado aleatoriamente para um numero entre -0.1 e 0.1.

[w1.sub.ij] = aleatorio(-0.1; 0.1), [w2.sub.ij] = aleatorio(-0.1; 0.1) para todo i=0, ....., A; j=1, ......, B; para todo i=0, ....., B; j=0, ......, C.

2) Inicializar as ativacoes das unidades limite. Seus valores nunca mudam.

[x.sub.o] = 1.0 e [h.sub.o] = 1.0

3) Escolher um par de padrao de entrada-saida. Supondo que o vetor de entrada seja [x.sub.i] e o vetor de saida seja [y.sub.j]. Atribuem-se niveis de ativacao as unidades de entrada.

4) Propagar a ativacao das unidades da camada de entrada para as unidades da camada oculta, usando a funcao de ativacao.

[h.sub.j] = 1/[1 + [e.sup.-[A.summation over (i=0)][w1.sub.ij].xi]], para todo j=1, ..., B (1)

5) Propagam-se as ativacoes das unidades da camada oculta para as unidades da camada de saida, usando a funcao de ativacao.

[o.sub.j] = 1/[1 + [e.sup.-[B.summation over (i=0)][w2.sub.ij].xi]] para todo j=1, ..., C (2)

6) Computar os erros das unidades da camada de saida, denotados por [partial derivative][2.sub.j]. Os erros baseiam-se na saida real da rede ([o.sub.j]) e na saida ([y.sub.j]).

[partial derivative][2.sub.j] = [o.sub.j](1 - [o.sub.j])([y.sub.j] - [o.sub.j]) para todo j=1, ..., C (3)

7) Computar os erros das unidades da camada oculta, denotados por [delta]1j.

[delta][1.sub.j] = [h.sub.j](1 - [h.sub.j])[C.summation over (1=0)][delta][2.sub.i].[w2.sub.ij] para todo j=1, ....., B (4)

8) Ajuste dos pesos entre a camada oculta e a camada de saida. O coeficiente de aprendizagem e denotado por [eta], sua funcao e a mesma de na aprendizagem por perceptrons.

[DELTA][w2.sub.ij](t + 1) = [DELTA][w2.sub.ij](t) + [eta][delta][2.sub.j].[h.sub.i] para todo i=0, ......, B; j=1, ....., C (5)

Ajuste os pesos entre a camada de entrada e a camada oculta

[DELTA][w1.sub.ij](t + 1) = [DELTA][w1.sub.ij](t) + [eta][delta][1.sub.j].[x.sub.i] para todo i=0, ......, A; j=1, ......, B (6)

Va para a etapa 4 e repita. Quando todos os pares entrada-saida tiverem sido apresentados a rede, uma epoca tera sido completada. Repita as etapas de 4 a 1[degrees] para tantas epocas quantas forem desejadas.

As equacoes (7) e (8) mostram as formulas para atualizacao dos pesos, da camada de saida e da camada intermediaria, respectivamente.

[DELTA][w2.sub.km] (t + 1) = [DELTA][w2.sub.km](t) + [eta][([y.sub.nm] - [o.sub.m])(1 - [o.sub.m]).[o.sub.m]].[h.sub.k] (7)

[DELTA][w1.sub.jk](t + 1) = [DELTA][w1.sub.jk](t) + [eta] [(1 - [h.sub.k])[h.sub.k]. [C.summation over (m=0)] ([y.sub.nm] - [o.sub.m])(1 - [o.sub.m]).[o.sub.m].[w2.sub.km]][x.sub.nj] (8)

4 Tecnica De Validacao K-Fold Cross Validation

Uma das etapas mais importantes em um projeto de classificadores e a etapa de validacao dos resultados. Muitas das tecnicas mais poderosas de aprendizado apresentam uma grande quantidade de parametros e quanto menos restricoes colocarmos no nosso modelo maior a probabilidade de encontrarmos um super ajustamento, ou como e mais conhecido, o overfitting.

Overfitting ocorre quando o metodo que estimamos consegue bons resultados apenas nos dados que eles foram treinados. Ja na presenca de novas observacoes, percebemos uma grande piora na qualidade da predicao. Ou seja, o overfitting ocorre quando o metodo de aprendizado nao consegue generalizar os resultados para dados que nao foram utilizados no processo de treino.

A tecnica k-fold Cross Validation estima o erro do metodo de aprendizado em observacoes nao utilizadas no treino, ou seja, estima como o modelo construido ira se comportara em novos dados, claro que isto e valido apenas se mantivermos a mesma probabilidade conjunta das variaveis explicativas e da variavel resposta utilizada durante o treino. O k-fold Cross Validation consiste em dividir a base em k pedacos. Para cada pedaco, estimamos o metodo sem a presenca desta parte e verificamos o erro medio no pedaco nao utilizado durante o treino. Abaixo, na Figura 2, apresenta-se a descricao desse algoritmo.
Figura 2. Algoritmo k-fold cross-validation

1. Arranjar os exemplos de treinamento em ordem randomica

2. Dividir os exemplos de treinamento em "k" conjuntos nao
sobrepostos [D.sub.1], [D.sub.2], ..., [D.sub.k]. (K pedacos de
aproximadamente D/k exemplos cada).

3. Para i=1 .... k;

Treine o classificador usando todos os exemplos que nao pertencem
ao conjunto i (D\[D.sub.i]).

Teste classificador em todos os exemplos no conjunto i([D.sub.i]).

Computar [n.sub.i], o numero de exemplos no conjunto i que foram
classificados erradamente.

4. Retorne a seguinte estimativa de erro para o classificador:

E = [[[summation].sup.k.sub.i=1][n.sub.i]/D] x 100%

OBS: Para t execucoes do algoritmo: E =
[[summation].sup.t.sub.i=1][E.sub.i]/t

Fonte: elaborado pelos autores (2016)


5 Experimentos Realizados

Nessa seccao apresentam-se os a descricao dos experimentos e os resultados de simulacao para os dois problemas estudados "German Credit" e "Breast Cancer".

5.1 German Credit Data

O primeiro "dataset" escolhido para analise foi o German Credit Data acessado no seguinte repositorio: https://archive.ics.uci.edu/ml/datasets/statlog+(german+credit+data).

O conjunto de dados contem observacoes sobre 20 variaveis para 1000 candidatos a credito de uma instituicao financeira. Cada um deve ser classificado como "bom credito" (700 casos) ou "credito ruim" (300 casos). Novos requerentes de credito tambem podem ser avaliados com base nessas 20 variaveis preditoras. Desejou-se desenvolver uma regra de classificacao de credito que pudesse ser usada para determinar se um novo candidato representa um baixo ou alto risco para pagar um emprestimo.

Assim, quando um banco recebe um pedido de emprestimo, com base no perfil do candidato, o banco deve tomar uma decisao sobre se deve prosseguir com a aprovacao do emprestimo ou nao. Dois tipos de riscos estao associados a decisao do banco. Se o candidato tem um bom risco de credito, ou seja, e provavel que pague o emprestimo, entao nao aprovar o emprestimo para a pessoa resulta em perda de negocios para o banco. Ou se o candidato tem um risco de credito ruim, ou seja, nao e provavel que pague o emprestimo, entao, aprovar o emprestimo para a pessoa resulta em uma perda financeira para o banco.

Para melhor compreensao do trabalho desenvolvido e importante descrever os dados que compoem o dataset credit german. A Figura 3 apresenta os mesmos e seus significados.

5.1.1 Treinamento e Testes das Redes Neurais

Para o treinamento e validacao dos resultados obtidos pela Rede Neural utilizou- se a tecnica de validacao cruzada K-fold. Nesse metodo, o conjunto de dados original e dividido em K subconjuntos. Destes K subconjuntos, um subconjunto e retido para ser utilizado na validacao do modelo e os K-1 subconjuntos restantes sao utilizados no treinamento da rede neural. O processo de validacao cruzada e, entao, repetido K vezes, de modo que cada um dos K subconjuntos sejam utilizados exatamente uma vez como dados de teste para validacao do modelo. O resultado final desse processo mede o desempenho medio do classificador nos K testes.

O conjunto original dos dados do dataset credit german foi divido em cinco conjunto de dados (k = 5), ou seja, cada particao de dados, denominados (D1, D2, D3, D4, D5) ficou com duzentos registros. A partir disso, utilizou-se uma particao de dados fixa para testes alternada com as demais para treino da rede neural. Como pode-se observar na Tabela 1, os primeiros 200 registros foram denominados de D1 (dados destacados em amarelo), esse conjunto foi mantido fixo para testar as RNAs e os demais subconjuntos D2, D3, D4 e D5 foram usados para treinar as redes neurais, ou seja, na primeira iteracao, foram utilizadas as seguintes particoes de dados para {treino, teste} = {{D2, D1}, {D3, D1}, {D4, D1}, {D5, D1}}. Sendo esse processo repetido, para as demais particoes de dados. A primeira coluna da Tabela 1, ilustra as particoes fixas usadas nos testes das redes neurais e a segunda coluna, as particoes utilizadas para os treinos das redes neurais.

Em cada iteracao do metodo de validacao cruzada, ilustrada em cada linha da Tabela 1, utilizaram-se para treino de cada rede neural os parametros que estao destacados na coluna 5 (numero de neuronios na camada intermediaria), na coluna 6 (taxa de aprendizado), na coluna 7 (numero de epocas de treinamento da rede neural). As colunas 3, 4, 6, 8 e 9 apresentam os resultados dos testes das redes neurais. Na coluna 3 apresentam-se numero de instancias classificadas incorretamente, na coluna 4 a quantidade de instancias classificadas corretamente, na coluna 8 apresentam-se as taxas de acertos, na coluna 9 a media total de acertos.

Os testes foram feitos estimando parametros de forma aleatoriamente, a medida que a rede respondia a cada alteracao dos parametros avaliavam-se os resultados ate se obter a melhor combinacao de parametros para os quais a rede neural apresentava a maior taxa de acertos, sendo esses registrados na Tabela 1. Por exemplo, variou-se, por exemplo, a taxa de aprendizado e os demais parametros foram mantidos constantes, o que se observou foi que o treinamento da rede convergia mais rapido, quando se estipulou o valor de 0.9991, para a taxa de aprendizado. Esse mesmo procedimento foi utilizado para ajustar o numero de neuronios na camada intermediaria, variou-se esse parametro, mantendo-se fixos os demais, na Tabela 1 ilustram-se os melhores resultados obtidos. Observou-se que se aumentado a quantidade de neuronios, a partir de 7, nao necessariamente produzia uma melhor acuracia na classificacao por parte da rede neural, pois alguns resultados apresentaram acuracias equivalentes.

Na Figura 4, apresenta-se uma comparacao entre os valores obtidos e desejados, para uma unica etapa de treino-teste de uma rede neural. No eixo Y, a resposta varia entre 0 e 1, no eixo X em azul sao destacados os valores reais do modelo do dataset credit german, e em amarelo as respostas da rede apos o treino. Para o treinamento da rede neural, foram utilizados 200 registros do dataset, sendo que a rede consegui predizer corretamente 199 com a taxa de acerto de 99,5 %.

Para a solucao do problema de previsao de credito os melhores resultados foram obtidos com os seguintes parametros: (numero de neuronios na camada de entrada, numero de neuronio na camada intermediaria, numeros de neuronios na camada de saida, taxa de aprendizado, numero de epocas de treinamento, erro medio quadratico) = (26, 7, 1, 0.9, 70000, 0.0001). Apos o treinamento de cada rede neural, a mesma foi utilizada para testar a generalizacao com dados que nao foram utilizados no treinamento, a Figura 4, ilustra uma das generalizacoes, para uma taxa de acerto de 99,5%. O estudo de generalizacao e de suma importancia, pois indica se a rede e capaz de predizer um padrao corretamente, sem que o mesmo tenha sido utilizado na etapa de treinamento da RNA.

Em relacao aos resultados obtidos, utilizando-se um conjunto de dados reais de aplicacoes de credito, confirmam-se eficiencia do modelo e da metodologia utilizada para a solucao do problema. O objetivo foi comparar o desempenho da rede neural utilizando um apanhado de dados classificadas pelos especialistas com o mesmo volume de dados classificadas pelo K-fold e avaliar se a rede neural poderia ser utilizada neste contexto.

A Figura 5 tambem resume os resultados das 20 simulacoes realizadas para o dataset "credit german" o grafico de acertos, mostra a percentagem de acertos obtidos na fase de validacao das redes, ou seja, apos o treinamento das RNAs convergiram para um erro quadratico de 0,0001. Testou-se a capacidade das RNAs em classificar corretamente determinados padroes (perfis dos clientes) e que nao foram apresentados a RNA durante a fase de treinamento. Percebe-se que o melhor resultado de classificacao foi (99,63%) e se deu quando se utilizou a base D5 para testes e as demais (D1, D2, D3, D4) para treino. Sendo que o classificador utilizado (RNA direta com tres camadas) obteve um desempenho medio de classificacao de 99,31% o que mostra que o mesmo consegui classificar satisfatoriamente os padroes, com menos de 1% de erro.

5.2 Wisconsin Prognostic Breast Cancer (WPBC)

O segundo "dataset" a ser analisado foi o Wisconsin Diagnosis Breast Cancer (WDBC), acessado: https://archive.ics.uci.edu/ml/machine-learning- databases/breast-cancer-wisconsin/.

Os dados foram coletados pelo Dr. Wolberg, conforme os casos clinicos tratados foram sendo acumulados cronologicamente. Totalizando 699 observacoes e 9 atributos e duas classes. A partir da imagem digitalizada de uma amostra aspirada por meio de uma canula ou agulha fina da massa de uma mama. Eles descrevem as caracteristicas dos nucleos celulares presentes na imagem. Cada instancia pertence a uma das 2 classes possiveis: benignos ou malignos.

Assim os atributos sao descritos na Tabela 1. Embora no total existam 699 medidas individuais (do conjunto de todos os parametros), 16 instancias possuem registros incompletos, sendo que esses foram eliminados, ficando assim o banco de dados com 683 registros. Sendo utilizada a tecnica k-fold cross validation (k=5) para divisao randomica dos dados. O banco de dados sobre cancer de mama foi utilizado devido a dificuldade inerente da diagnose de cancer desse tipo de doenca. Para melhor compreensao do trabalho desenvolvido e importante descrever os dados que compoem o dataset Diagnosis Breast Cancer. A Figura 6 apresenta os mesmos e seus significados.

5.2.1 Treinamento e Testes das Redes Neurais

O conjunto original do dataset Wisconsin Diagnosis Breast Cancer foi divido em cinco conjunto de dados (k = 5), ou seja, cada particao de dados, denominados (D1, D2, D3, D4, D5) ficou com duzentos registros. A partir disso, utilizou-se uma particao de dados fixo para testes alternado com as demais para treino da rede neural. Como pode-se observar na Tabela 2, os primeiros 138 registros foram chamados de D1 (dados destacados em amarelo), esse conjunto foi mantido fixo para testar as RNAs e os demais subconjuntos divididos em D2, D3, D4 e D5 foram usados para treinar as redes neurais, ou seja, na primeira iteracao, foram utilizadas as seguintes particoes de dados para {treino, teste} = {{D2, D1}, {D3, D1}, {D4, D1}, {D5, D1}}. Sendo esse processo repetido, para as demais particoes de dados. A primeira coluna da Tabela 2, ilustra as particoes fixas usadas nos testes das redes neurais e a segunda coluna, as particoes utilizadas para os treinos.

Em cada iteracao do metodo de validacao cruzada, ilustrada em cada linha da Tabela 2, utilizaram-se para treino de cada rede neural os parametros que estao destacados na coluna 5 (numero de neuronios na camada intermediaria), na coluna 6 (taxa de aprendizado), na coluna 7 (numero de epocas de treinamento da rede neural). As colunas 3,4,6,8 e 9 apresentam-se os resultados dos testes das redes neurais. Na coluna 3 apresentam-se numero de instancias classificadas incorretamente, na coluna 4 a quantidade de instancias classificadas corretamente, na coluna 8 apresentam-se as taxas de acertos, na coluna 9 a media total de acertos.

Os testes foram feitos estimando parametros de forma aleatoriamente, a medida que a rede respondia a cada alteracao dos parametros avaliavam-se os resultados ate se obter a melhor combinacao de parametros para os quais a rede neural apresentava a maior taxa de acertos, sendo esses registrados na Tabela 2. Por exemplo, variou-se, por exemplo, a taxa de aprendizado e os demais parametros foram mantidos constantes, o que se observou foi que o treinamento da rede convergia mais rapido, quando se estipulou o valor de 0.9, para a taxa de aprendizado. Esse mesmo procedimento foi utilizado para ajustar o numero de neuronios na camada intermediaria, variou-se esse parametro, mantendo-se fixos os demais, na Tabela 2 ilustram-se os melhores resultados obtidos. Observou-se que se aumentado a quantidade de neuronios, a partir de 9, nao necessariamente produzia uma melhor acuracia na classificacao por parte da rede neural, pois alguns resultados apresentaram acuracias equivalentes.

Na Figura 7, apresentam-se uma comparacao entre os valores obtidos e desejados, para uma unica etapa de treino-teste de uma rede neural. No eixo Y, a resposta varia entre 2 e 4, no eixo X em azul sao destacados os valores reais do modelo do dataset Wisconsin Diagnosis Breast Cancer, e em amarelo as respostas da rede apos o treino. Para o treinamento da rede neural, foram utilizados 138 registros do dataset, sendo que a rede consegui predizer corretamente 138 com a taxa de acerto de ate 100 %.

Para a solucao do problema para o diagnostico do cancer de mama o os melhores resultados foram obtidos com os seguintes parametros: (numero de neuronios na camada de entrada, numero de neuronio na camada intermediaria, numeros de neuronios na camada de saida, taxa de aprendizado, numero de epocas de treinamento, erro medio quadratico) = (10, 11, 1, 0.9, 50000, 0.0001). Apos o treinamento de cada rede neural, a mesma foi utilizada para testar a generalizacao com dados que nao foram utilizados no treinamento, a Figura 7, ilustra uma das generalizacoes, para uma taxa de acerto de 99,27%. O estudo de generalizacao e de suma importancia, pois indica se a rede e capaz de predizer um padrao corretamente, sem que o mesmo tenha sido utilizado na etapa de treinamento da RNA.

Em relacao aos resultados obtidos, utilizando-se um conjunto de dados reais de aplicacoes de credito, confirmam-se eficiencia do modelo e da metodologia utilizada para a solucao do problema. O objetivo foi comparar o desempenho da rede neural utilizando um apanhado de dados classificadas pelos especialistas com o mesmo volume de dados classificadas pelo K-fold e avaliar se a rede neural poderia ser utilizada neste contexto.

A Figura 8 tambem resume os resultados das 20 simulacoes realizadas para o dataset "Wisconsin Diagnosis Breast Cancer" o grafico de acertos, mostra a percentagem de acertos obtidos na fase de validacao das redes, ou seja, apos o treinamento das RNAs convergiram para um erro quadratico de 0,0001. Testou-se a capacidade das RNAs em classificar corretamente determinados padroes (diagnosticos de pacientes) e que nao foram apresentados a RNA durante a fase de treinamento. Percebe-se que o melhor resultado de classificacao foi (100%) e se deu quando se utilizou a base D5 para testes e as demais (D1, D2, D3, D4) e D4 para testes e (D1, D2, D3, D5) para treino. Sendo que o classificador utilizado (RNA direta com tres camadas) obteve um desempenho medio de classificacao de 97,31% o que mostra que o mesmo consegui classificar satisfatoriamente os padroes, com menos de 3% de erro.

5.3 Sugestoes para trabalhos futuros

A partir dos achados da presente pesquisa, algumas indicacoes de futuros estudos que podem ser realizados. Primeiramente, a utilizacao de outros tipos de classificadores tais como: Arvore de decisao e Redes Bayesianas. O primeiro, e um modelo estatistico, que e permite extrair regras a partir de arvores geradas apos o processo de classificacao, o que facilitara a interpretacao dos resultados. O segundo modelo e probabilistico e possibilita analisar situacoes onde nao se conhece todo o escopo do problema, visto em algumas situacoes alguns fatores podem condicionar a falta de informacao em uma base de conhecimento: a ignorancia teorica ou a impossibilidade.

Em relacao a aplicacoes coorporativas sugere-se a utilizacao de Redes Neurais Artificiais para o desenvolvimento de sistemas de classificacao de spams em e-mails, que e um dos principais problemas na utilizacao do correio eletronico atualmente. Alem disso, uma aplicacao muito atual e a deteccao de intrusao em redes de computadores, sendo, portanto, uma area aberta para pesquisas em inteligencia artficial.

6 Conclusoes

Ao utilizar a rede neural com aprendizado "Backpropagation" para resolver problemas reais, como o presente trabalho expoem, apresentou-se uma ferramenta bastante poderosa no reconhecimento de padroes e predicoes de comportamento. Para testar a eficacia da rede em reconhecer padroes a RNA foi testada em duas situacoes diferentes. A primeira tratava-se em auxiliar um banco alemao em liberar ou nao emprestimos, a partir de informacoes a priori dos clientes da instituicao. A segunda situacao foi diagnosticar pacientes com cancer de mama, a partir de informacoes retiradas das imagens de celulas das pacientes.

Nao podemos deixar de frisar que o grau de informacoes a priori e decisivo no treinamento da rede e consequentemente o grau de aceitabilidade. Nos casos estudados que se tratavam de informacoes de credito e pessoais de 1000 clientes de um banco alemao, e de diagnosticar 683 pacientes com suspeita de cancer mamario. Para ambas as situacoes capacidade de aprendizado e aceitabilidade da rede foi em media de 99%, para fins reais, o seu desempenho da rede seria muito util podendo prever o comportamento de futuros clientes na hora da adesao de credito bancario e diagnosticos medicos, podendo assim minimizar desta forma as perdas bancarias e auxiliando no reforco gerencial na tomada de concessao de creditos. E auxiliar medicos nos diagnosticos medicos de cancer mamario, desta forma apresentando-se uma ferreamente muito util em diferentes areas, tanto na financeira como em situacoes medicas.

Recebido em 03.07.2018

Aprovado em 24.09.2018

Referencias

Ajay Kaushik, Shubham Gupta, Manan Bhatia (2018). A Movie Recommendation

System using Neural Networks. International Journal of Advance Research, Ideas and Innovations in Technology, 4(2)

Arora, N., Martins, D., Ruggerio, D., Tousimis, E., Swistel, A., & Osborne, M. P. (2008). Effectiveness of a noninvasive digital infrared thermal imaging system in the detection of breast cancer. The Amerian Journal of Surgery, 196, 523-526.

Bonini, J. A. (2016). Aplicacao de algoritmos de arvore de decisao sobre uma base de dados de cancer de mama. Communications and Innovations Gazzete. 1(1), 57-67.

Chatziagorakis, P., Georgoulas, N., Papadopoulou, S., Elmasides, C., Giaouris, D., Seferlis, P., Sirakoulis, Ch. G., Karafyllidis, I., Papadopoulos, A. I., Stergiopoulos, F., Ziogou, C., Ipsakis, D., Voutetakis, S., & Andreadis, I. (2014). Application of neural networks solar radiation prediction for hybrid renewable energy systems. Engineering Applications of Neural Networks, 459, 133-144.

Fabro, J. A. (2001, agosto). Redes neurais artificiais. [Curso de Especializacao em Inteligencia Computacional]. Recuperado em 01 junho, 2018, de http://www.dainf.ct.utfpr.edu.br/~fabro/IF67D/redesneuraisartificiais.pdf

Gambogi, J. A. (2014). Aplicacao de redes neurais na tomada de decisao no mercado de acoes. Dissertacao de mestrado, Escola Politecnica, Universidade de Sao Paulo, Sao Paulo, SP, Brasil.

Geisser, S. (1975). The predictive sample reuse method with applications. J. Am. Stat. Assoc., 70(350), 320-328.

Haykin, S. (1994). Neural netwoks: a comprehensive foundation. New York, NY: Macmillan College Publishing.

Haykin, S. (2001). Redes neurais principios e pratica. Porto Alegre: Bookman.

Holsbach, N., Fogliatto, F. S., & Anzanello, M. J. (2014). Metodo de mineracao de dados para identificacao de cancer de mama baseado na selecao de variaveis [versao eletronica], Cienc. Saude Coletiva, 19(4), 1295-1304.

Karishma Dasgaonkar, Swati Chopade (2018). Analysis of multi-layered perceptron, radial basis function and convolutional neural networks in recognizing handwritten digits. International Journal of Advance Research, Ideas and Innovations in Technology, 4(3).

Kovacs, Z. L. (2006). Redes neurais artificiais: fundamentos e aplicacoes. (4a ed.). Sao Paulo: Livraria da Fisica.

Nitin Sharma, Pranshu Agarwal, Upasana Pandey (2018). Offline handwriting recognition using neural networks. International Journal of Advance Research, Ideas and Innovations in Technology, 4(2)

Nunes, W. V. (2012). Introducao as redes neurais artificiais. In V. Esperidiao- Antonio (Ed.). Neurociencias: dialogos e intersecoes. (pp. 1-768). Rio de Janeiro: Rubio.

Rede Neural Artificial, (n.d.). In Wikipedia enciplopedia livre. Recuperado em 01 junho, 2018, de https://pt.wikipedia.org/wiki/Rede_neural_artificial

Sak, H., Senior, A., & Beaufays, F. (2014). Long short-term memory based recurrent neural network architectures for large vocabulary speech recognition. Retrieved June 01, 2018, from arxiv.org/abs/1402.1128

Sanchez, D., & Melin, P. (2014). Optimization of modular granular neural networks using hierarchical genetic algorithms for human recognition using the ear biometric measure. Engineering Applications of Artificial Intelligence, 27, 41-56.

Sanchez, D., Melin, P., & Castillo, O. (2015). Optimization of modular granular neural networks using a hierarchical genetic algorithm based on the database complexity applied to human recognition. Information Sciences, 309, 73-101.

Skrizhevsky, A., Sutskever, I., & Hinton, G. (2012). ImageNet classification with deep convolutional neural networks. Adv. Neural Inf. Process. Syst., 25, 1097-1105.

Steiner, M. T. A., Soma, N. Y., Shimizu, T., Nievola, J. C., Lopes, F. M., & Smiderle, A. (2004, novembro). Redes neurais e arvores de decisao na analise do credito bancario. Trabalho apresentado em Simposio Brasileiro de Pesquisa Operacional, Sao Joao del-Rei, MG, Brasil, 36. Recuperado em 01 junho, 2018, de http://www.din.uem.br/sbpo/sbpo2004/pdf/arq003 5.pdf

Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to sequence learning with neural networks. Retrieved June 01, 2018, from http://arxiv.org/abs/1409.3215

Szegedy, C., Zaremba, W., Sutskever, I., Bruna, J., Erhan, D., Goodfellow, I., & Fergus, R. (2014). Intriguing properties of neural networks. Retrieved June 01, 2018, from arxiv.org/abs/1312.6199

Vikas Poonia, Dr. H. L. Tiwari, Dr. Satanand Mishra (2018). Hydrological Analysis by Artificial Neural Network: A Review. International Journal of Advance Research, Ideas and Innovations in Technology, 4(3) www.IJARIIT.com.

Wang, Y., & Kosinski, M. (2017, October 16). Deep neural networks are more accurate than humans at detecting sexual orientation from facial

Lidio Mauro Lima de Campos

Professor Adjunto III da Universidade Federal do Para--UFPA na Faculdade de Computacao / Instituto de Ciencias Exatas e Naturais (ICEN). Doutor em Engenharia Eletrica com enfase em Computacao Aplicada pelo Programa de Pos-Graduacao em Engenharia Eletrica--PPGGE da Universidade Federal do Para

limadecampos@gmail.com

Jonathan Cris Pinheiro Garcia

Graduacao em Geofisica pela Universidade Federal do Para. Graduando em Sistemas de Informacao pela Universidade Federal do Para

jonathan.garcia00@hotmail.com

Caption: Figura 1. Rede Perceptron Multicamada Fonte: Wikipedia.

Caption: Figura 4. Exemplo de Teste de uma Rede Neural Fonte: elaborado pelos autores (2018).

Caption: Figura 7. Treinamento da Rede Neural Fonte: elaborado pelos autores (2018).
Tabela 1

Tabela de testes para a base de dados sobre Banco de credito alemao

                                       Neuronios
                                         Camada         Taxa de
Teste    Treino   Erros   Acertos    Intermediaria    Aprendizado

D1         D2       1       199            7             0.9991
           D3       2       198            7             0.9991
           D4       0       200            7             0.9991
           D5       5       195            7             0.9991

D2         D1       0       200            7             0.9991
           D3       2       198            7             0.9991
           D4       0       200            7             0.9991
           D5       5       195            7             0.9991

D3         D1       0       200            7             0.9991
           D2       1       199            7             0.9991
           D4       0       200            7             0.9991
           D5       3       197            7             0.9991

D4         D1       0       200            7             0.9991
           D2       4       196            7             0.9991
           D3       5       195            7             0.9991
           D5       5       195            7             0.9991

D5         D1       0       200            7             0.9991
           D2       1       199            7             0.9991
           D3       2       198            7             0.9991
           D4       0       200            7             0.9991

Teste    Treino   Epocas   %Acertos    Media

D1         D2     70000      99,5        99
           D3     70000       99
           D4     70000       100
           D5     70000      97,5

D2         D1     70000       100      99,125
           D3     70000       99
           D4     70000       100
           D5     70000      97,5

D3         D1     70000       100       99,5
           D2     70000      99,5
           D4     70000       100
           D5     70000      98,5

D4         D1     70000       100      98,25
           D2     70000       98
           D3     70000      97,5
           D5     70000      97,5

D5         D1     70000       100      99,625
           D2     70000      99,5
           D3     70000       99
           D4     70000       100

Fonte: elaborado pelos autores (2018).

Tabela 2

Tabela de testes para a base de dados sobre Wisconsin Diagnosis
Breast Cancer

                                       Neuronios
TESTE    TREINO   ERROS   ACERTOS        Camada         Taxa de
                                     Intermediaria    Aprendizado

D1         D2      18       120            7              0,9
           D3       0       138            7              0,9
           D4       0       138            7              0,9
           D5      38       100            7              0,9

D2         D1       0       138            8              0,9
           D3       0       138            8              0,9
           D4       0       138            8              0,9
           D5       1       137            8              0,9

D3         D1       0       138            10             0,9
           D2       0       138            10             0,9
           D4       0       138            10             0,9
           D5      17       121            10             0,9

D4         D1       0       138            11             0,9
           D2       0       138            11             0,9
           D3       0       138            11             0,9
           D5       0       138            11             0,9

D5         D1       0       138            12             0,9
           D2       0       138            12             0,9
           D3       0       138            12             0,9
           D4       0       138            12             0,9

TESTE    TREINO   Epocas      %       Media
                           ACERTOS

D1         D2     500000    86,95     89,85
           D3     500000     100
           D4     500000     100
           D5     500000    72,46

D2         D1     500000     100      99,81
           D3     500000     100
           D4     500000     100
           D5     500000    99,27

D3         D1     500000     100      96,92
           D2     500000     100
           D4     500000     100
           D5     500000    87,68

D4         D1     500000     100       100
           D2     500000     100
           D3     500000     100
           D5     500000     100

D5         D1     500000     100       100
           D2     500000     100
           D3     500000     100
           D4     500000     100

Fonte: elaborado pelos autores (2018).

Figura 3. Descricao dos Atributos para a base de dados sobre
Banco de credito alemao

1--(qualitativo)       Status da conta corrente

2--(Numerico)          Duracao do mes

3--(qualitativo)       Historico de credito

4--(qualitativo)       Objetivo do emprestimo

5--(numerico)          Quantidade de credito

6--(qualitativo)       Conta poupanca

7--(qualitativo)       tempo de emprego atual

8--(numerico)          Taxa de parcelamento em percentagem
                       do rendimento disponivel

9--(qualitativo)       Status pessoal e sexo

10--(qualitativo)      Outros devedores / garantias

11--(numerico)         Tempo na Residencia atual

12--(qualitativo)      Propriedades

13--(numerico)         Idade em anos

14--(qualitativo)      Outros planos de parcelamento

15--(qualitativo)      Habitacao

16--(numerico)         Numero de creditos existentes
                       neste banco

17--(qualitativo)      Trabalho

18--(numerico)         Numero de pessoas sujeitas a
                       manutencao

19--(qualitativo)      Telefone

20--(qualitativo)      Trabalhador estrangeiro

Fonte: elaborado pelos autores (2018).

Figura 5. Media da taxa de acertos da Rede Neural

Media de acertos da RNA

Taxa de acertotos (%)

D1   99
D2   99,125
D3   99,5
D4   98,25
D5   99,625

Fonte: elaborado pelos autores (2018).

Note: Table made from bar graph.

Figura 6. Descricao dos Atributos para a base de dados sobre Cancer
de mama

1-Espessura dos grupos (Clump       Celulas benignas tendem a ser
Thickness)                          agrupadas em monocamadas,
                                    enquanto que as celulas
                                    cancerosas sao muitas vezes
                                    agrupadas em multicamadas.

2-Uniformidade de tamanho e 3-      As celulas cancerosas tendem a
forma da celula                     variar em tamanho e forma.
                                    Devido a isso, esses
                                    parametros sao uteis para
                                    determinar se as celulas sao
                                    cancerosas ou nao.

4-Adesao Marginal (Marginal         As celulas normais tendem a
Adhesion)                           ficar juntas. As celulas
                                    cancerosas tendem a perder
                                    essa capacidade. Entao perda
                                    de adesao e um sinal de
                                    malignidade.

5-Tamanho unico das celulas         Esta relacionada com a
epiteliais (Single Epithelial       uniformidade mencionado acima.
Cell Size)                          As celulas epiteliais que
                                    estao significativamente
                                    aumentadas pode ser uma celula
                                    maligna.

6-Nucleos nus (Bare Nuclei)         Este e um termo usado para
                                    nucleos que nao sao rodeados
                                    pelo citoplasma (o resto da
                                    celula). Sao tipicamente
                                    vistos em tumores benignos.

7-Suavidade da cromatina            Descreve uma textura uniforme
(Bland Chromatin)                   do nucleo visto em celulas
                                    benignas. Em celulas
                                    cancerosas, a cromatina tende
                                    a ser mais grosseira.

8-Nucleolo normal (Normal           Nucleolos sao pequenas
Nucleoli)                           estruturas existentes no
                                    nucleo. Em celulas normais, o
                                    nucleolo e geralmente muito
                                    pequeno, quando visivel. Em
                                    celulas cancerosas os
                                    nucleolos se tornam mais
                                    proeminentes.

9-Mitose                            Patologistas podem determinar
                                    o grau de um tumor contando o
                                    numero de mitoses.

Fonte: elaborado pelos autores (2018)
COPYRIGHT 2019 Revista Gestao & Tecnologia
No portion of this article can be reproduced without the express written permission from the copyright holder.
Copyright 2019 Gale, Cengage Learning. All rights reserved.

Article Details
Printer friendly Cite/link Email Feedback
Author:de Campos, Lidio Mauro Lima; Garcia, Jonathan Cris Pinheiro
Publication:Gestao & Tecnologia
Date:Jan 1, 2019
Words:7562
Previous Article:The Effect of Public Social Spending on the Economic Growth: a comparative analysis between ECLAC and OECD member countries/O efeito dos gastos...
Next Article:Incorporando julgamentos de especialistas em educacao na avaliacao da eficiencia de cursos de graduacao: uma abordagem por data envelopment analysis.
Topics:

Terms of use | Privacy policy | Copyright © 2022 Farlex, Inc. | Feedback | For webmasters |