Printer Friendly

Quality of the portuguese public administration websites/Qualidade dos sitios web da administracao publica Portuguesa.

1. Introducao

Hoje em dia a maioria da informacao e disponibilizada atraves da Web e assiste-se a uma convergencia para este meio. Por isso, as exigencias dos utilizadores em relacao aos sitios Web sao cada vez maiores (Sa et al., 2016). Por uma questao economica ou puramente social, todas as pessoas devem ter oportunidades iguais de acesso a Web. Uma Web acessivel pode ajudar os cidadaos com necessidades especiais a participar na sociedade de uma forma mais ativa do que nunca, da mesma forma que podera beneficiar cidadaos com idade mais avancada, baixa literaria e que usam tecnologias antigas ou dispositivos moveis (W3C, 2012).

Os sitios Web comerciais tem na concorrencia uma forca motriz que os incentiva a melhorar continuamente. Se um sitio de uma entidade concorrente oferecer uma experiencia de utilizacao superior, as pessoas optam por usa-lo. Tal nao se verifica nos sitios dos organismos da Administracao Publica (AP) devido ao seu caracter exclusivo.

Neste sentido, foi realizado um estudo que teve como objetivo aferir a qualidade dos sitios da AP e apresentar recomendacoes que possam levar ao aperfeicoamento da qualidade geral das paginas. Este artigo resulta desse trabalho de investigacao que pode ser consultado na integra em "Usabilidade, Acessibilidade e Qualidade da Web da Administracao Publica portuguesa" (Carvalho, 2015) e que teve a sua genese no ano de 2010, momento das primeiras recolhas de informacao.

Este artigo esta estruturado em 5 seccoes. Esta primeira seccao salienta as motivacoes, objetivos e contextualizacao do estudo. Na seccao 2 e descrita a metodologia adotada e na seccao 3 realiza-se a analise dos principais resultados. Seguidamente apresentam-se recomendacoes, tendo por base os resultados obtidos. Finalmente, a seccao 5 e dedicada as conclusoes do estudo e ao levantamento de sugestoes para trabalhos futuros.

1.1. Conceito de Qualidade

O conceito de qualidade e algo de inerente ao ser humano (Antonio & Teixeira, 2007) e tem evoluido ao longo dos tempos, acompanhando o desenvolvimento de varias civilizacoes (Juran, 1995). E um conceito complexo e multifacetado que pode ser encarado sob diversas perspetivas. Existe uma grande diversidade de definicoes, pese embora as variacoes entre elas nao sejam muito amplas. No contexto dos sitios Web, destacamos a norma ISO/IEC25010 que define as caracteristicas necessarias para que um produto de software tenha qualidade. Estas caracteristicas incluem usabilidade, fiabilidade, efetividade, entre outras. Para alem destas caracteristicas de qualidade "intrinseca", a ISO/IEC25010 define ainda caracteristicas de interacao concreta dos utilizadores com o produto, onde se inclui eficiencia, analise de contexto, satisfacao, entre outras (ISO/IEC, 2011).

1.2. Legislacao

Em 1999, Portugal foi o quarto pais do mundo (logo apos o Canada, os EUA e a Australia) a adotar regras de Acessibilidade da informacao disponibilizada na Internet pela AP no sentido de "assegurar que a informacao disponibilizada na Internet seja suscetivel de ser compreendida e pesquisavel pelos cidadaos com necessidades especiais" (Resolucao do conselho ministros no. 97/1999).

Em 2001, o governo decretou a obrigatoriedade de avaliacao periodica da qualidade dos sitios Web dos organismos da administracao direta e indireta do Estado como forma de "instituir mecanismos que (...) afiram da sua compatibilidade com criterios basicos de qualidade" (Resolucao do conselho de ministros no. 22/2001). O modelo de avaliacao foi encomendado a Universidade do Minho que produziu o documento "Metodo de Avaliacao dos Web Sites dos Organismos da Administracao Direta e Indireta do Estado" (Amaral et al., 2001). Este metodo assentava em duas dimensoes: qualidade e maturidade. No que diz respeito a qualidade, consideram-se cinco criterios: conteudos, atualizacao dos conteudos, acessibilidade, navegabilidade e facilidades para cidadaos com necessidades especiais. A maturidade avaliava o estado de desenvolvimento do sitio Web, tendo por base criterios como a informacao, a interacao, interacao bidirecional e transacao.

Em 2007, uma nova legislacao exigia que os sitios Web puramente informativos deviam ser estruturados de acordo com o nivel 'A' das Diretrizes de Acessibilidade para Conteudo Web (WCAG) propostas pelo World Wide Web Consortium (W3C). Da mesma forma, os sitios Web que prestassem servicos de transacao de informacao precisavam estar de acordo com o nivel 'AA' das WCAG 1.0 (Resolucao do conselho de ministros no. 155/2007).

Em 2011, entrou em vigor legislacao que obrigava a adocao de normas abertas nos sistemas informaticos do Estado (Lei no.36/2011) e que previa a criacao do Regulamento Nacional de Interoperabilidade Digital (RNID), aprovado no ano seguinte (Resolucao do conselho de ministros no.91/2012). Assim, desde 8 de fevereiro de 2013, todos os sitios Web do Estado estao obrigados a cumprir pelo menos o nivel 'A' das WCAG 2.0 e todos os sitios que disponibilizam servicos online estao obrigados a cumprir o nivel 'AA' das WCAG 2.0.

1.3. Estudos realizados em Portugal

Com base no metodo de avaliacao de qualidade proposto em 2001, foram realizadas duas avaliacoes externas (2002 e 2003) aos sitios das entidades da AP (Accenture, 2003).

Desde entao nao sao conhecidos estudos que tenham analisado a qualidade dos sitios Web da AP de uma forma global.

Contudo foram realizados estudos de afericao de acessibilidade, como por exemplo, a "Conformidade dos sitios da AP na internet com o nivel "a" das wcag 1.0 do W3C" (UMIC, 2008), "Estudo sobre o estado da Acessibilidade dos sitios Web dos estabelecimentos de ensino superior" (Fernandes & Cardoso, 2013), "Acessibilidade dos Conteudos Web dos Municipios Portugueses" (Fernandes & Cardoso, 2014), "Acessibilidade dos Conteudos Web no Setor da Saude" (Moreira, P. S., 2014) entre outros, mas estes estudos sao parciais.

O presente trabalho e o maior e mais completo estudo realizado desde 2003 sobre a qualidade dos sitios das entidades da AP.

2. Metodologia

2.1. Modelo de Avaliacao

Dado que o modelo proposto por Amaral et al. (2001) apresentava indicadores obsoletos (devido a evolucao da tecnologia) e focados nos conteudos, elaborou-se um novo modelo de avaliacao, baseado na literatura e na legislacao em vigor que da maior enfase a forma como os conteudos sao publicados. Optou-se por realizar avaliacoes com base em heuristicas por nao requerem a participacao de utilizadores reais, o que permite analisar universos maiores sem comprometer a qualidade dos dados recolhidos. Devido a estas vantagens, a avaliacao heuristica e a tecnica mais usada em estudos que recorrem a metodos analiticos (Martins, A. I. et al (2013). Pretendese que o modelo de avaliacao proposto possa contribuir para uma nova fase de estudos comparativos.

2.2. Criterios, Indicadores e Medidas Adotadas

Privilegiaram-se indicadores mensuraveis e objetivos. Para tal, foram adotados 4 criterios--conteudos, usabilidade, acessibilidade e eficiencia--e 33 indicadores tendo por base as contribuicoes de varios autores e da legislacao portuguesa. Foram escolhidos indicadores propostos em Olsina (1999), Amaral et al. (2003), Oliveira et al. (2003), Garcia et al. (2005), Nielsen (2006), Souders (2007), King (2008), Kadlec (2012) e Google (2015). No que diz respeito a legislacao, para alem da indicada na seccao 2.1, considerou-se ainda a Lei no.3/2004 e a Lei no.66-B/2007 (que indicam quais as informacoes que devem ser disponibilizadas como "informacao de gestao"), o decreto do Presidente da Republica no. 52/2008 (que ratificou o Acordo Ortografico) e a Lei no. 46/2012 (que regulamenta a utilizacao de cookies).

Usaram-se medidas do tipo Sim/Nao--que atribui classificacao apenas quando o indicador se verifica na totalidade--e do tipo Semaforo--que admite classificacao tambem quando o indicador se verifica parcialmente (50%). A especificacao detalhada de cada medida pode ser encontrada em Carvalho, R. (2015).

De salientar que os criterios de usabilidade e eficiencia foram usados pela primeira vez num estudo deste genero. O resumo dos Criterios, Indicadores e Medidas adotadas podem ser observados na tabela 1.

2.3. Pesos de Criterios e de Indicadores

Optou-se por atribuir o mesmo peso aos quatro criterios (25%) e aos indicadores (10%), com excecao dos indicadores de acessibilidade, aos quais se atribuiu um peso de 50%, 30% e 20% respetivamente, seguindo a pratica de estudos anteriores (Accenture, 2003).

A atribuicao do mesmo peso a todos os indicadores evita uma avaliacao subjetiva da importancia relativa de cada um deles.

2.4. Universo de Estudo

O universo considerado neste estudo foi o conjunto de organismos que constituiam em 2015 a AP direta e indireta portuguesa, assim como quatro orgaos superiores de soberania. A administracao direta e constituida pelos organismos sujeitos ao poder hierarquico de um respetivo membro do governo, como os ministerios, direcoes gerais ou direcoes regionais. Ja a administracao indireta do Estado e constituida por organismos que, devido a sua especificidade sao geralmente dotados de personalidade juridica, patrimonio proprio e de autonomia administrativa e financeira, embora continuem dependentes da tutela de um ministerio.

Na Tabela 2 e possivel consultar a distribuicao dos sitios Web analisados.

2.5. Recolha de dados

Os dados foram recolhidos por inspecao direta dos sitios Web e atraves de ferramentas automaticas. A avaliacao foi realizada por um grupo de 4 avaliadores, sendo um principal e tres auxiliares. Cada analise demorou em media 28 minutos e foi orientada seguindo uma lista de verificacao consolidada nos 33 indicadores que constituem o modelo de avaliacao. Complementarmente, foram recolhidos outros dados como por exemplo a localizacao do alojamento, os autores dos sitios (sempre que possivel), assim como os resultados quantitativos globais das ferramentas usadas. Para garantir a fiabilidade dos dados, foram definidos criterios detalhados para cada indicador que podem ser consultados em Carvalho, R. (2015).

2.6. Ferramentas Usadas

Para alem da observacao direta dos sitios, foram usadas 9 ferramentas automaticas: FLIP (1), Privacy Badger (2), Google Mobile-Friendly Test (3), Pingdom (4), W3C Link Checker (5), Google PageSpeed Insights (6), Firebug (7), Ylow (8) e AcessMonitor (9). O detalhe do uso especifico de cada ferramenta pode ser encontrado em Carvalho (2015). E de crucial interesse salientar que as analises automaticas necessitam de uma revisao humana uma vez que alguns dos problemas podem nao ser descobertos automaticamente e outros sao erradamente considerados problemas. Por isso, foi realizada uma validacao manual e exaustiva dos erros e alertas gerados pelas ferramentas.

3. Analise dos Dados

A recolha dos dados foi iniciada no mes de abril de 2015 e prolongou-se ate agosto de 2015, devendo ser este o mes considerado como referencia para os dados.

3.1. Classificacoes finais

As classificacoes finais foram calculadas articulando as classificacoes e os pesos dos indicadores previstos na Tabela 1. Na Tabela 3 observam-se as classificacoes medias globais (coluna a cinza) e a distribuicao das classificacoes por escaloes.

A classificacao media alcancada pelos sitios Web foi de 45%, a mediana foi de 44% e a moda de 39%. O desvio padrao e de 0,10. Apenas 31 sitios obtiveram classificacao global positiva.

Os melhores resultados foram alcancados pelos departamentos Estado-Geral (classificacao media de 58%), o Ministerio dos Negocios Estrangeiros (55%) e pelo Ministerio da Educacao e Ciencia (52%). De forma inversa, os piores resultados foram alcancados pelo Ministerio da Economia (41%), o Ministerio da Agricultura e Mar (40%) e pelo Ministerio da Saude (40%).

3.2. Classificacoes por criterio

O criterio que obteve a melhor classificacao media foi os Conteudos (72%), pois a maioria dos organismos publicam as informacoes a que estao obrigados. Em sentido inverso,

O criterio de acessibilidade revelou-se o mais deficitario com uma classificacao media ponderada de 19%, revelando que a maioria dos organismos nao dispoe de um sitio preparado para utilizadores com necessidades especiais. Os indicadores de Usabilidade obtiveram uma classificacao media de 52% enquanto que o criterio de Eficiencia obteve uma classificacao media de 36%.

Conteudos

A sintese de resultados do criterio Conteudos e apresentada na Tabela 4, onde se observa a classificacao parcial com que o criterio Conteudos contribuiu para a classificacao final. Uma vez que o peso do criterio Conteudos e de 25% do total da classificacao final, a obtencao de 100% de classificacao neste criterio implica obter 25% na classificacao final. Uma vez que alguns dos indicadores sao do tipo semaforo, a classificacao apresentada nesta tabela nao se refere ao numero de organismos, mas sim, a classificacao consolidada. Esta abordagem e semelhante nos restantes criterios.

A publicacao da missao, estrutura e organizacao (ID 1.1) e feita por 126 entidades de forma inequivoca. Apenas dois organismos nao publicitam esta informacao e outros dois organismos apenas tem a informacao parcialmente disponivel. Relativamente aos instrumentos de gestao (ID 1.3), 94% das entidades (123) publicam toda a informacao exigida por lei, embora em alguns casos essa informacao possa nao estar atualizada. Todos os organismos analisados apresentam os seus contactos nas respetivas paginas Web, pelo que o indicador 1.4 e o unico com classificacao maxima.

O mesmo nao se pode dizer quanto a disponibilizacao de conteudos noutros idiomas (ID 1.5). Embora a importancia da disponibilizacao de conteudos em idiomas para alem do portugues varie consoante a instituicao e o tipo de servicos prestados aos cidadaos, apenas 22 organismos (16,92%) disponibilizam sitios totalmente traduzidos num outro idioma e 14 organismos (10,77%) disponibilizam sitios com alguns conteudos disponiveis num outro idioma. O ingles e adotado por todos eles. Para alem deste, o frances esta disponivel em quatro organismos e o espanhol em dois (sitios trilingues). Apenas um sitio disponibiliza conteudos em quatro idiomas (portugues, ingles, frances e espanhol).

Relativamente ao Acordo Ortografico (ID 1.6), 49 organismos publicam conteudos com a grafia antiga. Em alguns sitios Web de organismos, era apresentada uma mensagem indicando que a partir de uma determinada data os textos usavam a nova grafia (apesar de isso ser contrario ao que manda a lei). Destaca-se o facto de todos os organismos sob tutela do Ministerio da Educacao e Ciencia usarem o Acordo Ortografico em pleno.

Quanto a atualizacao da informacao publicada (ID 1.7), a classificacao media de todas as areas funcionais do Estado e de 80%. De todo o universo analisado, 84 entidades (64%) possuem conteudos atualizados (data de publicacao inferior a um mes) e 39 (30%) entidades cumprem este requisito parcialmente, por exemplo publicado conteudos recentes, mas sem indicar claramente a data da ultima atualizacao.

Quanto a existencia de arquivos de documentos (ID 1.8), apenas um sitio nao disponibilizava nenhum tipo de arquivo.

No que diz respeito a existencia e funcionamento de um motor de busca interno (ID 1.9), os resultados sao muito dispares. A analise nao se focou apenas na existencia desta funcionalidade, mas principalmente na pertinencia dos resultados obtidos. Na maior parte dos casos a funcionalidade existe, mas esta mal implementada ou nem sequer foi testada. Todos os sitios Web devem ter uma funcionalidade de pesquisa interna eficaz e eficiente, mas isso nao se verificou em 68 entidades: 45 entidades (34,6% do universo) nao obtiveram classificacao e 23 (17,7%) do universo obtiveram classificacao parcial.

Finalmente, a verificacao do uso de cookies (ID 1.10), apresenta os piores resultados deste criterio: o numero das entidades que avisam o utilizador que estao a usar cookies e bastante baixo: das entidades analisadas, apenas 10 (7,7%) colocam um aviso de cookies, embora este mecanismo seja usado por todas elas. Para alem disso, foi analisado o tipo de cookies usado para permitir distinguir entre os cookies estritamente necessarios (e que sao temporarios) e os permanentes que tem por objetivo principal a identificacao dos utilizadores. Na Tabela 5 e possivel observar esta informacao. Preocupante sao sobretudo os 81 sitios Web que usam cookies permanentes e que nao avisam os utilizadores que o estao a fazer. De salientar tambem que dos 90 sitios Web que usam cookies permanentes, 85 deles usam o Google Analytics para recolher e analisar dados dos visitantes, sem que obtenham qualquer permissao para tal.

Usabilidade

A sintese de resultados do criterio Usabilidade e apresentada na Tabela 6. Apenas 17 organismos nao obtiveram qualquer pontuacao no indicador 2.1 por nao apresentarem uma estrutura de navegacao consistente ao longo das varias paginas do sitio Web. Por sua vez, 14 organismos obtiveram classificacao parcial.

A segunda caracteristica testada foi o design adaptavel (responsive design) no sentido de verificar se os sitios estao preparados para serem consultados a partir de dispositivos com diferentes tamanhos de ecra, sobretudo telemoveis ou tablets (ID 2.2). Constatouse que esta caracteristica e pouco usada nos sitios da AP: apenas 22 sitios (16,9%) cumprem este requisito.

No que diz respeito a velocidade de carregamento das paginas (ID 2.3), 53 sitios (40,7%) foram carregados em menos de 2 segundos e 47 sitios (36,15%) foram carregados entre 2 a 4 segundos. O tempo medio de carregamento das paginas iniciais foi de 3,51 segundos, existindo uma enorme variacao: a pagina mais rapida carregou em 0,55 segundos e a mais lenta em 33,2 segundos.

Para determinar quais os fatores que mais contribuem para aumentar o tempo de carregamento, analisou-se o tamanho medio das paginas iniciais e o local do alojamento (hosting).

Como se pode observar no Grafico 2, apesar do tamanho das paginas em KB (mancha cinzenta) faca aumentar o tempo de carregamento (linha azul), nao e possivel estabelecer uma regra de causa-efeito.

Registaram-se ainda as entidades responsaveis pelo alojamento e os locais fisicos dos centros de dados (datacenters) e concluiu-se que nao e possivel estabelecer uma relacao entre estes e os tempos de carregamento. Por exemplo, os 29 sitios com tempos de carregamento mais elevados encontravam-se alojados em Portugal e a mesma empresa de alojamento apresenta bons e maus resultados para paginas com o mesmo tamanho. Ou seja, as diferencas nos tempos de carregamento estao relacionados com a qualidade do codigo fonte das paginas e com o uso de tecnicas de compressao.

Em relacao aos enderecos (URLs) dos sitios Web (ID 2.4), apenas 34 entidades (26,15%) obtiveram classificacao maxima, enquanto 43 entidades (33,08%) obtiveram classificacao parcial, devido ao facto dos seus enderecos incluirem a tecnologia usada.

Na verificacao da funcionalidade do botao "Retroceder" (ID 2.5), apenas cinco entidades apresentam problemas e obtiveram classificacao nula.

A verificacao de ligacoes invalidas/quebradas (ID 2.6) revelou que 56 sitios (43,08%) dos organismos apresentam hiperligacoes quebradas ou inexistentes.

A validacao da mudanca de cor das hiperligacoes (ID 2.7) apresenta os piores resultados deste criterio, o que e surpreendente porque a heuristica que a sustenta tem sido recomendada ao longo de varios anos. O que e facto e que apenas 8,5% dos sitios analisados usam esta caracteristica.

O uso de plugins (ID 2.8) foi encontrado em 27 sitios (20,77%). Os plugins mais usados foram o Flash (10), o Silverlight (11) e o Sharepoint. Nao foi encontrado nenhum plugin que afetasse irremediavelmente a navegacao.

Os resultados obtidos no indicador 2.9--Tamanho de letra legivel--sao baixos. Esta verificacao adota especial importancia nos dispositivos com ecra reduzido (como telemoveis e tablets), mas e tambem importante para ecras de computadores convencionais. Na analise realizada, a maioria dos sitios (74,61%) nao apresentou um tamanho de letra adequado de forma a permitir uma boa legibilidade de conteudos.

Finalmente, na verificacao do uso de www ou https (ID 2.10) foi detetado que 57 sitios (43,85%) nao permitiam o acesso quando o endereco era acedido por uma das formas (com ou sem www). Para se considerar um comportamento correto, os sitios deveriam permitir o acesso quer o utilizador usasse ou nao o www (ou usasse ou nao o https). Por exemplo o sitio exemplo.pt devera apresentar o mesmo conteudo que o sitio www. exemplo.pt. Na maior parte dos casos, o que acontece e que nao e possivel aceder ao sitio sem usar o prefixo www. Contudo, como pior exemplo, no sitio do Instituto do Turismo de Portugal, I.P. o endereco http://www.turismodeportugal.pt/ apresenta conteudos diferentes do endereco http://turismodeportugal.pt.

Acessibilidade

A sintese de resultados do criterio Acessibilidade e apresentada na Tabela 7.

A media ponderada indicada na referida tabela toma em conta o peso de 50% dado ao primeiro indicador (ID 3.1), os 30% de peso dados ao indicador 3.2 e os 20% dados ao indicador 3.3.

O criterio de Acessibilidade foi o que obteve piores classificacoes globais. Para o calculo final deste criterio, contribuiram tres indicadores que correspondem aos tres niveis das diretrizes de acessibilidade WCAG 2.0, medidos atraves da ferramenta AccessMonitor.

Um dos principais erros encontrados de acessibilidade diz respeito a falta de legendas de figuras. Foi observado que mesmo os sitios estruturalmente bem implementados de acordo com as diretrizes de acessibilidade apresentavam uma pequena percentagem de imagens sem legenda, sobretudo de conteudos acrescentados recentemente. Isto demostra que o processo de atualizacao dos sitios Web nao garante a manutencao de todos os requisitos de acessibilidade.

Do universo deste estudo, apenas 13 sitios Web (10%) passaram os testes AccessMonitor necessarios para a atribuicao do nivel A e destes, apenas 9 sitios Web (6,92%) passaram os testes necessarios para a atribuicao do nivel AA.

Por sua vez, 47 sitios (36,15%) passaram os principais testes, alcancando pelo menos uma classificacao de 5 no indice do AccessMonitor. Tal significa que 74 sitios Web (56,92%) nao cumprem os requisitos minimos de acessibilidade exigidos.

Praticamente todos os sitios analisados dispunham de um simbolo de Acessibilidade aposto cujo objetivo era mostrar a adequacao (ainda que parcial) com as diretrizes de acessibilidade.

Verificou-se que 81 sitios (62,30%) continuavam a usar o simbolo da fechadura (Figura 1) e 46 sitios (35,39%) usavam um dos simbolos propostos pela W3C (Figura 2). Apesar de 13 sitios terem passado a bateria de testes AcessMonitor para as WCAG 2.0 (minimo exigido por lei), nenhum sitio exibia este simbolo.

Salienta-se que os sitios que nao afixaram qualquer tipo de simbolo de conformidade de Acessibilidade (40) alcancaram, em media, um indice AccessMonitor superior aos que o tinham feito: 5,25 (sem afixacao) contra 5,13 (com afixacao).

Eficiencia

A sintese de resultados por departamento estatal e apresentada na Tabela 9. As tecnicas de SEO (ID 4.1) sao muito abrangente.s e estao em constante mudanca. Apenas 14 sitios Web (10,77%) utilizam a totalidade destas tecnicas e 34 sitios nao implementavam pelo menos umas das tecnicas sugeridas.

Quanto a otimizacao do codigo HTML (ID 4.2), 98% dos sitios obtiveram classificacao, embora a maior parte dos sitios apenas parcialmente, sendo que o maior problema dizia respeito ao excesso da quantidade do codigo HTML gerado.

Na verificacao da otimizacao das imagens (ID 4.3), apenas dois sitios obtiveram classificacao maxima. Um total de 52 sitios (40%) obtiveram classificacao nula neste criterio por usarem com uma dimensao maior que o necessario ou sem compressao. O pior caso encontrado apresentava 12700 KB (12.4MB) uma vez que dispunha de um album de fotografias em alta resolucao. Esta e uma tendencia que se verifica nos nove sitios de maior tamanho.

A otimizacao de CSS (ID 4.4) e o segundo indicador deste criterio que melhores resultados obtem. Apenas 20 sitios (15,39%) nao apresentam problemas e por isso obtiveram classificacao maxima, 106 sitios (81,54%) obtiveram classificacao parcial e apenas quatro sitios nao obtiveram classificacao neste dominio. As classificacoes parciais foram atribuidas sobretudo devido a quantidade de recursos externos de CSS usados, havendo espaco para serem combinados entre si, aumentando a eficiencia das paginas.

No que diz respeito a otimizacao de javascript (ID 4.5), cerca de 80% dos sitios de 80,77% obteve classificacao parcial, 15 (11,54%) obtiveram classificacao maxima e 10 (7,69%) nao obtiveram qualquer classificacao.

Quanto a verificacao dos pedidos HTTP e DNS (ID 4.6), constatou-se que 76 sitios (58,46%) nao obtiveram classificacao, 15 sitios (11,54%) obtiveram classificacao parcial e 39 sitios (30%) alcancaram classificacao maxima.

No que diz respeito a tecnica que permite aumentar a eficiencia das copias locais (cache) dos sitios (ID 4.7), verificou-se que 75,38% dos sitios nao a usa, 28,54% usa parcialmente (28,54%) e apenas 3% usam na totalidade. Este trata-se do pior indicador de eficiencia analisado. Uma especial atencao neste campo permitiria poupancas de largura de banda (e de custos) e uma melhoria da experiencia do utilizador.

Na verificacao da ordem pela qual os elementos CSS e javascript sao carregados (ID 4.8), dez sitios (7,69%) obtiveram classificacao maxima, dez sitios Web (7,69%) obtiveram a classificacao parcial e 110 sitios Web (84,62%) nao obtiveram qualquer classificacao.

Do universo analisado, apenas 33 sitios (25,38%) usavam a tecnica de compressao Gzip (12) (ID 4.9). De todas as tecnicas analisadas esta e porventura a mais facil de implementar porque apenas exige uma ligeira mudanca do ambiente de configuracao do lado do servidor.

O tempo de resposta do servidor (ID 4.10) apresenta dos melhores resultados deste criterio: os servidores onde estao alojados 68 sitios (52,31%) respondem de uma forma rapida, 25 (19,23%) tem espaco para melhorar e 37 (28,46%) respondem de uma forma lenta.

De salientar que estes resultados sao complementares ao do indicador 2.3. Embora este ultimo meca o tempo total de carregamento das paginas, o indicador 4.10 apenas indica se o servidor de alojamento esta otimizado para responder de forma rapida. Assim, embora um servidor possa responder de forma rapida, isso nao quer dizer que as paginas irao carregar rapidamente.

4. Recomendacoes

Com base nas evidencias e dados recolhidos neste estudo, apresentam-se quatro propostas com o objetivo de aumentar a eficiencia e transparencia, melhorar a experiencia de utilizacao dos cidadaos e reduzir custos para o Estado.

1. Processo Periodico de Verificacao de Qualidade. Sugere-se a criacao de um processo periodico, uniformizado, transversal e vinculativo de verificacao de qualidade dos sitios da AP levado a cabo por um organismo publico como por exemplo a Agencia para a Modernizacao Administrativa (AMA) (13). Este estudo propoe um modelo de avaliacao que pode servir de base a este processo, embora o modelo agora proposto deva ser revisto periodicamente, pela natural evolucao tecnologica.

2. Visto previo. Propoe-se a implementacao de sistema de atribuicao de vistos previos aquando da criacao de novos sitios Web de organismos da AP. Este visto funcionaria como um "selo de qualidade" de forma a garantir a conformidade de cada novo sitio Web, incluindo micrositios e sitios tematicos. Para a atribuicao deste visto previo, usarse-ia o modelo de verificacao de qualidade referidos no numero anterior. So depois de emitido um visto previo favoravel, o sitio poderia ser publicado.

3. Portal com classificacao dos sitios Web. Uma vez que o procedimento de vistos previos descrito no ponto anterior seria aplicado apenas a novos sitios, torna-se necessario complementar essa medida com outras para garantir uma monitorizacao continua (M. Ivory & Hearst (2001), dando incentivos de melhoria aos organismos. Assim, sugere-se a criacao de um portal Web publico com os resultados das analises periodicas a cada sitio e a publicacao de ranking global permanentemente atualizado. Para alem dos resultados das analises, este portal poderia publicar guias de boas praticas de desenvolvimento para a Web, exemplificar casos de sucesso e prover a participacao da cidadania ativa. Os cidadaos poderiam fazer sugestoes de melhoria que seriam registadas e encaminhadas para os organismos.

4. Disponibilizacao obrigatoria dos autores na Ficha tecnica. Os sitios publicos devem ser assinados pelas entidades que os conceberam e implementaram. Esta informacao deve constar numa pagina do sitio intitulada de "Ficha Tecnica" com o objetivo de aumentar a transparencia e a pressao sobre as entidades que prestam servicos de consultoria ao Estado. Se todos os sitios Web do estado estiverem assinados pelos autores, sera possivel comparar resultados de qualidade por autor, o que motivara as entidades que prestam servicos de consultoria a melhorar os seus procedimentos de desenvolvimento, reforcando a qualidade dos seus servicos. O mesmo principio e aplicavel aos sitios desenvolvidos por equipas internas.

5. Conclusoes e Trabalho Futuro

5.1. Principais conclusoes

A literatura consultada em Portugues sobre boas praticas de Usabilidade e da Acessibilidade Web de sitio da AP esta datada e, por isso, tornou-se necessario propor e testar um novo modelo de avaliacao baseado nas boas praticas propostas recentemente pela literatura. O ultimo grande estudo de analise aos sitios web da AP foi realizado em 2003 pela Accenture (Accenture, 2003) e apresentava indicadores obsoletos e que estavam focados na analise de conteudos em detrimento de outros indicadores importantes que foram privilegiados neste estudo, como a forma como esses conteudos sao disponibilizados.

Neste estudo foram analisados 130 sitios Web de organismo da AP e destes, apenas 31 (23,85%) obtiveram classificacao global media positiva. A classificacao global media alcancada pelos sitios Web foi de 45%, a mediana foi de 44% e a moda de 39%. O desvio padrao foi 0,10.

Dos quatro criterios analisados, os Conteudos obtiveram a melhor classificacao global media (72%), seguidos da Usabilidade (52%), Eficiencia (36%) e da Acessibilidade (19%). Os criterios de Usabilidade e Eficiencia foram usados pela primeira vez num estudo deste genero e mostram claramente a necessidade de introduzir melhorias urgentes, uma vez que varios sitios Web nao podem ser acedidos de forma satisfatoria pelos cidadaos.

Deste estudo concluiu-se que a falta de qualidade e consistencia dos sitios dos organismos da AP e muito elevada. Por isso, propoe-se que caiba a Agencia para a Modernizacao Administrativa realizar uma pre-aprovacao de sitios Web e prover uma politica de monitorizacao de qualidade continua.

5.2. Trabalho futuro

Como trabalho futuro, fara sentido voltar a aplicar o modelo e realizar uma comparacao evolutiva. Seguidamente, sera conveniente alargar a analise a sitios Web que ainda nao foram alvo de nenhuma analise deste genero (como tribunais, hospitais e escolas) e ainda micrositios e sitios tematicos produzidos por cada organismo. Da mesma forma fara sentido alargar a analise a organismos das administracoes regionais das regioes autonomas da Madeira e dos Acores.

Recebido/Submission: 05/09/2016

Aceitacao/Acceptance: 16/11/2016

Referencias

Accenture (2003). Relatorio final: Avaliacao externa de web sites dos organismos da administracao directa e indirecta do estado (segunda ed.), Lisboa, UMIC Presidencia do Conselho de Ministros.

Amaral, L., Santos, L., & Oliveira, J. (2001). Metodo de avaliacao dos web sites dos organismos da administracao directa e indirecta do estado. Acedido em 3 de julho de 2016 de http://www.umic.pt/images/stories/osic/MetodoAvaliacao2003_ (01_03_03).pdf

Antonio, N., & Teixeira, A. (2007). Gestao da qualidade: De deming ao modelo de excelencia da efqm. Lisboa, Edicoes Silabo.

Carvalho, R. (2015). Usabilidade, acessibilidade e qualidade da web da Administracao Publica portuguesa. (ISCTE) Lisboa, Portugal. Acedido em 2 de julho de 2016 de http://hdl.handle.net/10071/10911

Fernandes, J., & Cardoso, C. (2013). Estudo sobre o estado da acessibilidade dos sitios web dos estabelecimentos de ensino superior, Equipa Acesso, FCT

Fernandes, J., & Cardoso, C. (2014). Acessibilidade dos conteudos web dos municipios portugueses (2009-2014). Acedido a 2 de julho de 2015 de http://www.apdsi.pt/ upk>ads/news/id852/03%20-%20J0rge%20Femandes%20-%20FCT.pdf

Garcia, A. C. B., Maciel, C., & Pinto, F. B. (2005). A quality inspection method to evaluate E-Government sites. In M. Wimmer, R. Traunmuller, A. Gronlund, & K. Andersen (Eds.), Electronic government (Vol. 3591, pp. 198-209). Springer Berlin / Heidelberg

Google. (2015). About pagespeed insights. Acedido a 20 de julho de 2016 de https://developers.google.com/speed/docs/insights/about

ISO/IEC. (2011). Iso/iec 25010:2011: Systems and software engineering--systems and software quality requirements and evaluation (square)--system and software quality models [Computer software manual]. Geneva, CH: ISO.

Ivory, M., & Hearst, M. A. (2001). The state of the art in automating usability evaluation of user interfaces. ACM Computing Surveys (CSUR), 33(4), 470-516. DOI: 10.1145/503112.503114

Juran, J. (1995). A history of managing for quality: The evolution, trends, and future directions of managing for quality. Milwaukee: ASQC Press.

Kadlec, T. (2012). Implementing responsive design: Building sites for an anywhere,everywhere web (voices that matter) (New Riders ed.). Berkeley.

King, A. B. (2008). Website optimization: Speed, search engine & conversion rate secrets (primeira ed.). O'Reilly Media.

Lei no. 3/2004. Diario da Republica de 15 de janeiro de 2004, Lisboa.

Lei no. 36/2011. Diario da Republica de 21 de junho de 2011, Lisboa.

Lei no. 46/2012. Diario da Republica de 29 de agosto de 2012, Lisboa.

Lei no. 66-b/2007. Diario da Republica de 28 de dezembro de 2007, Lisboa.

Martins, A. I. et al (2013). Avaliacao de usabilidade: uma revisao sistematica da literatura, Revista Iberica de Sistemas e Tecnologia da Informacao, n. 11, p. 31-43, DOI: 10.4304/risti.11.31-43

Moreira, P. S. (2014). Acessibilidade dos conteudos web no setor da saude, Forum da Acessibilidade Web 2014.

Nielsen, J. (2006). Prioritizing Web Usability (primeira ed.). New Riders Press.

Oliveira, J. N., Santos, L., & Amaral, L. (2003). Guia de boas praticas na construcao de web sites da administracao directa e indirecta do estado.

Olsina, L. (1999). Metodologia cuantitativa para la evaluacion y comparacion de la calidadde sitios web (Tese de Doutoramento). Universidad Nacional de La Plata, Argentina.

Resolucao do conselho de ministros no. 97/1999 (Diario da Republica no.199 de 26 de agosto de 1999), Lisboa.

Resolucao do conselho de ministros no. 22/2001 (Diario da Republica no.49 de 27 de fevereiro de 2001), Lisboa.

Resolucao do conselho de ministros no. 155/2007 (Diario da Republica no. 190 de 2 de outubro de 2007), Lisboa.

Resolucao do conselho de ministros no. 91/2012 (Diario da Republica no. 216 de 8 de novembro de 2012), Lisboa.

Sa, F., Rocha, A., & Cota, M. P. (2016). Potential dimensions for a local e-Government services quality model. Telematics and Informatics, 33(2), 270-276.

Souders, S. (2007). High performance web sites: Essential knowledge for Front-End engineers (primeira ed.). O'Reilly Media.

UMIC. (2008). Conformidade dos sitios da administracao publica na internet com o nivel "a"das wcag 1.0 do w3c. Acedido a 2 de julho de 2016 de http://www.umic.pt/ images/stories/publicacoes2/Rel_Acess_AP_Fev_2008.pdf

W3C. (2012). Social factors in developing a web accessibility business case for your organization. Acedido a 10 de agosto de 2016 de http://www.w3.org/WAI/bcase/

Ricardo Moreira de Carvalho (1), Pedro Faria Lopes (1,2), Isabel

Alexandre (1,3), Braulio Alturas (1,2)

{a24668, pedro.lopes, isabel.alexandre, braulio.alturas}@iscte.pt

(1) ISCTE--Instituto Universitario de Lisboa, Lisboa, Portugal

(2) ISTAR-IUL, Lisboa, Portugal

(3) Instituto de Telecomunicacoes, Lisboa, Portugal

DOI: 10.17013/risti.20.78-98

(1) Disponivel em http://www.flip.pt/FLiP-On-line/Corrector-ortografico-e-sintactico.aspx

(2) Disponivel em https://www.eff.org/privacybadger

(3) Disponivel em https://www.google.com/webmasters/tools/mobile-friendly/

(4) Disponivel em http://tools.pingdom.com/fpt/

(5) Disponivel em https://validator.w3.org/checklink/docs/checklink

(6) Disponivel em https://developers.google.com/speed/pagespeed/insights/

(7) Disponivel em http://getfirebug.com/

(8) Disponivel em http://yslow.org/

(9) Disponivel em http://www.acessibilidade.gov.pt/accessmonitor/

(10) https://get.adobe.com/br/flashplayer/

(11) https://www.microsoft.com/silverlight/

(12) http://www.gzip.org/

(13) A sugestao da AMA e feita uma vez que esta entidade tem sido responsavel pelo desenvolvimento de muitos programas de governo eletronico e promocao das TIC no Estado.

Tabela 1--Criterios, Indicadores e Medidas adotadas na avaliacao.

Criterio         ID     Indicador                    Peso   Medidas

Conteudos        1.1    Descricao do organismo:      10%    Semaforo
(25%)                   (a) Missao, estrutura e
                        organizacao

                 1.2    (b) Descricao dos servicos   10%    S/N
                        prestados (se aplicavel)

                 1.3    (c) Instrumentos de gestao   10%    Semaforo

                 1.4    Contactos fisicos e          10%    S/N
                        eletronicos

                 1.5    Versoes noutros idiomas      10%    Semaforo

                 1.6    Textos segundo o acordo      10%    S/N
                        ortografico

                 1.7    Conteudos atuais e           10%    Semaforo
                        indicacao da ultima
                        atualizacao

                 1.8    Existencia de arquivo de     10%    Semaforo
                        documentos

                 1.9    Existencia e relevancia de   10%    Semaforo
                        motor de busca interno

                 1.10   Aviso de cookies             10%    Semaforo

Usabilidade      2.1    Design e navegacao           10%    Semaforo
(25%)                   consistente

                 2.2    Design adaptavel             10%    Semaforo
                        (Responsive Design)

                 2.3    Carregamento ate 2           10%    Semaforo
                        segundos

                 2.4    URLs unicos e imutaveis      10%    Semaforo

                 2.5    Funcionalidade do botao      10%    S/N
                        "Retroceder"

                 2.6    Ausencia de ligacoes         10%    S/N
                        invalidas/quebradas

                 2.7    Ligacoes mudam de cor        10%    S/N
                        quando visitados

                 2.8    Ausencia plugins             10%    S/N

                 2.9    Tamanho de letra legivel     10%    S/N

                 2.10   Acesso com ou sem www (ou    10%    S/N
                        https)

Acessibilidade   3.1    Nivel Acessibilidade A       0.5    Semaforo
(25%)                   (WCAG 2.0)

                 3.2    Nivel Acessibilidade AA      30%    Semaforo
                        (WCAG 2.0)

                 3.3    Nivel Acessibilidade AAA     20%    Semaforo
                        (WCAG 2.0)

Eficiencia       4.1    Uso de tecnicas de SEO       10%    Semaforo

(25%)            4.2    HTML Otimizado               10%    Semaforo

                 4.3    Imagens Otimizadas           10%    Semaforo

                 4.4    CSS Otimizado                10%    Semaforo

                 4.5    Javascript Otimizado         10%    Semaforo

                 4.6    Pedidos HTTP e DNS           10%    Semaforo
                        reduzidos

                 4.7    Cabecalhos HTTP com data     10%    Semaforo
                        de validade

                 4.8    Carregamento de Javascript   10%    Semaforo
                        e CSS adequado

                 4.9    Uso de compressao            10%    S/N

                 4.10   Baixo tempo de resposta do   10%    Semaforo
                        servidor

Tabela 2--Distribuicao de sitios Web analisados por tutela.

Tutela                      Estado   Direto   Indireto   Total

1 Geral--Estado             4                            4
2 Presidencia do Conselho            16       5          21
  de Ministros
3 Financas                           10       1          11
4 Negocios Estrangeiros                       3          3
5 Defesa Nacional                    6        1          7
6 Administracao Interna              7                   7
7 Justica                            5        4          9
8 Economia                           5        7          12
9 Agricultura e do Mar               10       6          16
10 Solidariedade, Emprego            4        3          7
  e Seguranca Social
11 Saude                             4        10         14
12 Ambiente, Ordenamento             4        3          7
  do Territorio e Energia
13 Educacao e Ciencia                7        5          12
Total                       4        78       48         130

Tabela 3--Classificacoes finais por departamento e escalao.

                                          Distribuicao das
  Classificacoes
                                          Finais por Escalao (Numero
                                          de organismos)

Departamento              Classificacao   0-9%   10-19%   20-29%
                          Global Media

1 Estado--Geral           58%
2 Presid. do Conselho     46%                             1
  de Ministros
3 Financas                45%
4 Negocios Estrangeiros   55%
5 Defesa Nacional         41%
6 Administracao Interna   43%
7 Justica                 43%
8 Economia                41%
9 Agricultura e do Mar    40%                             2
10 Solidariedade,         47%
  Emprego e SS
11 Saude                  40%
12 Ambiente, Ord do       43%
  T. e Energia
13 Educacao e Ciencia     52%
Organismos                                0      0        3

                          Distribuicao das Classificacoes
                          Finais por Escalao (Numero
                          de organismos)

Departamento              30-39%   40-49%   50-59%   60-69%

1 Estado--Geral                    1        1        2
2 Presid. do Conselho     7        6        3        2
  de Ministros
3 Financas                3        4        4
4 Negocios Estrangeiros   1                 1
5 Defesa Nacional         2        5
6 Administracao Interna   3        3        1
7 Justica                 2        7
8 Economia                4        7                 1
9 Agricultura e do Mar    7        4        3
10 Solidariedade,         1        4        1        1
  Emprego e SS
11 Saude                  7        7
12 Ambiente, Ord do       2        4        1
  T. e Energia
13 Educacao e Ciencia     2        3        4        1
Organismos                41       55       19       7

                          Distribuicao das Classificacoes
                          Finais por Escalao (Numero
                          de organismos)

Departamento              70-79%   80-89%   90-100%   Totais N

1 Estado--Geral                                       4
2 Presid. do Conselho     2                           21
  de Ministros
3 Financas                                            11
4 Negocios Estrangeiros   1                           3
5 Defesa Nacional                                     7
6 Administracao Interna                               7
7 Justica                                             9
8 Economia                                            12
9 Agricultura e do Mar                                16
10 Solidariedade,                                     7
  Emprego e SS
11 Saude                                              14
12 Ambiente, Ord do                                   7
  T. e Energia
13 Educacao e Ciencia              2                  12
Organismos                3        2        0         130

Tabela 4--Resultados agregados do criterio Conteudos.

Area/ Indicador           1.1 Missao,   1.2 Descricao       1.3
                          estrutura e   dos servicos    Instrumentos
                          organizacao     prestados      de gestao

1 Estado--Geral           100%          100%            88%
2 Presid. do Conselho     88%           95%             90%
  de Ministros
3 Financas                100%          100%            100%
4 Negocios Estrangeiros   100%          100%            100%
5 Defesa Nacional         93%           100%            86%
6 Administracao Interna   100%          100%            100%
7 Justica                 100%          100%            94%
8 Economia                100%          100%            100%
9 Agricultura e do Mar    100%          100%            100%
10 Solidariedade,         100%          100%            100%
  Emprego e SS
11 Saude                  100%          100%            93%
12 Ambiente, Ord do T.    100%          100%            100%
  e Energia
13 Educacao e Ciencia     100%          100%            92%
Media                     98%           99%             95%

Area/ Indicador           1.4 Contactos   1.5 Versoes   1.6 Textos
                            fisicos e       noutros      segundo o
                           eletronicos      idiomas       acordo
                                                        ortografico

1 Estado--Geral           100%            75%           100%
2 Presid. do Conselho     100%            29%           62%
  de Ministros
3 Financas                100%            14%           64%
4 Negocios Estrangeiros   100%            17%           67%
5 Defesa Nacional         100%            21%           57%
6 Administracao Interna   100%            36%           71%
7 Justica                 100%            28%           56%
8 Economia                100%            21%           50%
9 Agricultura e do Mar    100%            19%           56%
10 Solidariedade,         100%            14%           71%
  Emprego e SS
11 Saude                  100%            0%            43%
12 Ambiente, Ord do T.    100%            14%           43%
  e Energia
13 Educacao e Ciencia     100%            36%           100%
Media                     100%            22%           62%

Area/ Indicador           1.7 Conteudos   1.8 Existencia
                            atuais e      de arquivo de
                             ultima         documentos
                           atualizacao

1 Estado--Geral           75%             100%
2 Presid. do Conselho     69%             95%
  de Ministros
3 Financas                95%             100%
4 Negocios Estrangeiros   83%             100%
5 Defesa Nacional         57%             100%
6 Administracao Interna   93%             100%
7 Justica                 83%             100%
8 Economia                88%             100%
9 Agricultura e do Mar    72%             97%
10 Solidariedade,         93%             93%
  Emprego e SS
11 Saude                  79%             96%
12 Ambiente, Ord do T.    79%             100%
  e Energia
13 Educacao e Ciencia     82%             92%
Media                     79%             97%

Area/ Indicador           1.9 Existencia    1.10 Aviso   Media
                          e relevancia de   de cookies
                             motor de
                           busca interno

1 Estado--Geral           88%               4%           83%
2 Presid. do Conselho     48%               11%          69%
  de Ministros
3 Financas                55%               23%          75%
4 Negocios Estrangeiros   0%                0%           67%
5 Defesa Nacional         50%               7%           67%
6 Administracao Interna   64%               7%           77%
7 Justica                 83%               21%          77%
8 Economia                50%               21%          73%
9 Agricultura e do Mar    47%               17%          71%
10 Solidariedade,         43%               11%          72%
  Emprego e SS
11 Saude                  50%               34%          70%
12 Ambiente, Ord do T.    71%               5%           71%
  e Energia
13 Educacao e Ciencia     36%               18%          75%
Media                     52%               14%          72%

Tabela 5--Classificacao do tipo de Cookies usados pelos sitios
Web os organismos do Estado.

                                     No. sitios Web

Nao coloca cookies permanentes             40
Aviso da colocacao de cookies: Sim         1
Aviso da colocacao de cookies: Nao         39
Coloca Cookies permanentes                 90
Aviso da colocacao de cookies: Sim         9
Aviso da colocacao de cookies: Nao         81
Total                                     130

Tabela 6--Resultados agregados do criterio Usabilidade.

Area/Indicador            2.1 Design e   2.2 Design        2.3
                           navegacao      adaptavel    Carregamento
                          consistente    (Responsive      ate 2
                                           Design)       segundos

1 Estado--Geral           88%            0%            50%
2 Presid. do Conselho     74%            19%           48%
  de Ministros
3 Financas                91%            36%           73%
4 Negocios Estrangeiros   33%            67%           67%
5 Defesa Nacional         79%            21%           57%
6 Administracao Interna   86%            7%            43%
7 Justica                 83%            11%           50%
8 Economia                83%            8%            38%
9 Agricultura e do Mar    72%            13%           63%
10 Solidariedade,         100%           14%           86%
  Emprego e SS
11 Saude                  82%            25%           50%
12 Ambiente, Ord do T.    71%            14%           57%
  e Energia
13 Educacao e Ciencia     100%           9%            96%
Media                     81%            17%           59%

Area/Indicador            2.4 URLs         2.5         2.6 Ausencia
                          unicos e    Funcionalidade   de ligacoes
                          imutaveis      do botao       invalidas/
                                       "Retroceder"     quebradas

1 Estado--Geral           13%         100%             100%
2 Presid. do Conselho     40%         100%             43%
  de Ministros
3 Financas                41%         100%             45%
4 Negocios Estrangeiros   50%         100%             100%
5 Defesa Nacional         43%         100%             43%
6 Administracao Interna   36%         100%             86%
7 Justica                 17%         100%             44%
8 Economia                29%         58%              42%
9 Agricultura e do Mar    34%         100%             56%
10 Solidariedade,         57%         100%             57%
  Emprego e SS
11 Saude                  54%         100%             36%
12 Ambiente, Ord do T.    64%         100%             100%
  e Energia
13 Educacao e Ciencia     68%         100%             83%
Media                     42%         96%              57%

Area/Indicador            2.7 Ligacoes     2.8      2.9 Tamanho
                          mudam de cor   Ausencia    de letra
                            quando       plugins      legivel
                           visitados

1 Estado--Geral           0%             75%        25%
2 Presid. do Conselho     19%            86%        29%
  de Ministros
3 Financas                18%            82%        9%
4 Negocios Estrangeiros   33%            67%        67%
5 Defesa Nacional         14%            57%        57%
6 Administracao Interna   14%            86%        29%
7 Justica                 11%            67%        11%
8 Economia                0%             83%        8%
9 Agricultura e do Mar    0%             69%        19%
10 Solidariedade,         0%             71%        29%
  Emprego e SS
11 Saude                  0%             86%        43%
12 Ambiente, Ord do T.    14%            71%        14%
  e Energia
13 Educacao e Ciencia     0%             100%       25%
Media                     9%             79%        25%

Area/Indicador             2.10 Acesso     Media
                            com ou sem
                          www (ou https)

1 Estado--Geral           100%             55%
2 Presid. do Conselho     62%              52%
  de Ministros
3 Financas                64%              55%
4 Negocios Estrangeiros   100%             68%
5 Defesa Nacional         57%              53%
6 Administracao Interna   86%              57%
7 Justica                 67%              46%
8 Economia                67%              42%
9 Agricultura e do Mar    38%              46%
10 Solidariedade,         43%              56%
  Emprego e SS
11 Saude                  36%              50%
12 Ambiente, Ord do T.    43%              55%
  e Energia
13 Educacao e Ciencia     42%              63%
Media                     56%              52%

Tabela 7--Resultados agregados do criterio Acessibilidade.

Area/Indicador              3.1 Nivel        3.2 Nivel
                          Acessibilidade   Acessibilidade
                           A (WCAG 2.0)    AA (WCAG 2.0)

1 Estado--Geral           75%              50%
2 Presid. do Conselho     36%              14%
  de Ministros
3 Financas                27%              0%
4 Negocios Estrangeiros   50%              33%
5 Defesa Nacional         21%              0%
6 Administracao Interna   14%              0%
7 Justica                 28%              0%
8 Economia                13%              0%
9 Agricultura e do Mar    19%              0%
10 Solidariedade,         29%              0%
  Emprego e SS
11 Saude                  21%              0%
12 Ambiente, Ord do T.    29%              0%
  e Energia
13 Educacao e Ciencia     36%              18%
Media                     28%              6%

Area/Indicador              3.3 Nivel        Media
                          Acessibilidade   ponderada
                          AAA (WCAG 2.0)

1 Estado--Geral           25%              58%
2 Presid. do Conselho     14%              25%
  de Ministros
3 Financas                0%               14%
4 Negocios Estrangeiros   17%              38%
5 Defesa Nacional         0%               11%
6 Administracao Interna   0%               7%
7 Justica                 0%               14%
8 Economia                0%               6%
9 Agricultura e do Mar    0%               9%
10 Solidariedade,         0%               14%
  Emprego e SS
11 Saude                  0%               11%
12 Ambiente, Ord do T.    0%               14%
  e Energia
13 Educacao e Ciencia     16%              27%
Media                     5%               19%

Tabela 8--Simbolos de Acessibilidade apostos pelos sitios Web.

Departamento                             Tipo de acessibilidade
                                                anunciada
                                          WCAG1.0         WCAG2.0

                          Fechadura   A    AA   AAA   A   AA   AAA

1 Estado--Geral           3
2 Presid. do Conselho     11          1    3    1              2
  de Ministros
3 Financas                5                2              2
4 Negocios Estrangeiros                                        1
5 Defesa Nacional         4           1
6 Administracao Interna   4           1    1
7 Justica                 8
8 Economia                10          2    1
9 Agricultura e do Mar    12          4    5    1
10 Solidariedade,         6           3    3
  Emprego e SS
11 Saude                  10               4              2    1
12 Ambiente, Ord do T.    2                3
  e Energia
13 Educacao e Ciencia     6           1         1
Totais                    81          13   22   3     0   4    4

Tabela 9--Resultados agregados do criterio Eficiencia.

Area/Indicador            4.1 Uso de   4.2 HTML    4.3 Imagens
                           tecnicas    Otimizado   Otimizadas
                            de SEO

1 Estado--Geral           38%          50%         38%
2 Presid. do Conselho     33%          55%         36%
  de Ministros
3 Financas                9%           55%         36%
4 Negocios Estrangeiros   83%          67%         33%
5 Defesa Nacional         14%          50%         29%
6 Administracao Interna   29%          50%         21%
7 Justica                 28%          56%         44%
8 Economia                4%           50%         33%
9 Agricultura e do Mar    19%          53%         19%
10 Solidariedade,         50%          57%         29%
  Emprego e SS
11 Saude                  21%          54%         29%
12 Ambiente, Ord do T.    21%          50%         14%
  e Energia
13 Educacao e Ciencia     14%          55%         36%
Media                     24%          53%         31%

Area/Indicador             4.4 CSS     4.5 Javascript   4.6 Pedidos
                          Optimizado     Otimizado      HTTP e DNS
                                                         reduzidos

1 Estado--Geral           50%          50%              25%
2 Presid. do Conselho     60%          57%              36%
  de Ministros
3 Financas                50%          55%              9%
4 Negocios Estrangeiros   50%          50%              33%
5 Defesa Nacional         36%          50%              36%
6 Administracao Interna   50%          36%              21%
7 Justica                 50%          50%              50%
8 Economia                71%          50%              63%
9 Agricultura e do Mar    56%          59%              38%
10 Solidariedade,         64%          57%              50%
  Emprego e SS
11 Saude                  54%          39%              14%
12 Ambiente, Ord do T.    57%          43%              29%
  e Energia
13 Educacao e Ciencia     64%          64%              55%
Media                     56%          52%              36%

Area/Indicador            4.7 Cabecalhos   4.8 Carregamento
                          HTTP com data    de Javascript e
                           de validade           CSS

1 Estado--Geral           0%               0%
2 Presid. do Conselho     7%               12%
  de Ministros
3 Financas                18%              5%
4 Negocios Estrangeiros   50%              0%
5 Defesa Nacional         0%               14%
6 Administracao Interna   29%              14%
7 Justica                 17%              0%
8 Economia                17%              42%
9 Agricultura e do Mar    6%               3%
10 Solidariedade,         21%              7%
  Emprego e SS
11 Saude                  14%              0%
12 Ambiente, Ord do T.    7%               14%
  e Energia
13 Educacao e Ciencia     18%              18%
Media                     14%              11%

Area/Indicador            4.9 Uso de   4.10 Baixo    Media
                          compressao    tempo de
                                        resposta
                                       do servidor

1 Estado--Geral           50%          50%           35%
2 Presid. do Conselho     19%          79%           39%
  de Ministros
3 Financas                36%          68%           34%
4 Negocios Estrangeiros   33%          67%           47%
5 Defesa Nacional         43%          57%           33%
6 Administracao Interna   0%           57%           31%
7 Justica                 11%          39%           34%
8 Economia                42%          54%           43%
9 Agricultura e do Mar    25%          47%           33%
10 Solidariedade,         43%          71%           45%
  Emprego e SS
11 Saude                  14%          46%           29%
12 Ambiente, Ord do T.    14%          79%           33%
  e Energia
13 Educacao e Ciencia     18%          82%           42%
Media                     25%          62%           36%
COPYRIGHT 2016 AISTI (Iberian Association for Information Systems and Technologies)
No portion of this article can be reproduced without the express written permission from the copyright holder.
Copyright 2016 Gale, Cengage Learning. All rights reserved.

Article Details
Printer friendly Cite/link Email Feedback
Author:de Carvalho, Ricardo Moreira; Lopes, Pedro Faria; Alexandre, Isabel; Alturas, Braulio
Publication:RISTI (Revista Iberica de Sistemas e Tecnologias de Informacao)
Date:Dec 1, 2016
Words:8088
Previous Article:Quality assurance in the software development process using CMMI, TSP and PSP/Aseguramiento de la calidad en el proceso de desarrollo de software...
Next Article:Building a social curation environment to engage citizens in news stories: an ADR case/Construindo um ambiente de curadoria para engajar o cidadao em...
Topics:

Terms of use | Privacy policy | Copyright © 2020 Farlex, Inc. | Feedback | For webmasters