---
title: 2º período de monitorização - Parte I
author: Agência para a Modernização Administrativa, I.P
---


## Parte I – Descrição das atividades de monitorização

### Informações gerais

As atividades de monitorização decorreram no período que mediou de fevereiro de 2024 a dezembro de 2024, de acordo com a seguinte distribuição:

- Monitorização simplificada de sítios Web
-- Definição da amostra: março de 2024
-- Recolha da amostra: março de 2024
-- Avaliação da amostra: março a agosto de 2024
- Monitorização aprofundada de sítios Web
-- Definição da amostra: março de 2024
-- Avaliação da amostra: outubro a dezembro de 2024
- Monitorização aprofundada de aplicações móveis
-- Definição da amostra: abril de 2024
-- Avaliação da amostra: dezembro de 2024

A monitorização é da responsabilidade da Agência para a Modernização Administrativa, I.P. (AMA). Para a realização das atividades de monitorização e para a elaboração deste relatório, a AMA recorreu aos serviços da Faculdade de Ciências da Universidade de Lisboa.

A amostra foi fornecida pela AMA, sendo composta por um total de 657 sítios web e 33 aplicações móveis. O número de sítios web na amostra é superior à dimensão mínima estabelecida no ponto 2.1 do anexo I da [Decisão de Execução (UE) 2018/1524](https://eur-lex.europa.eu/legal-content/PT/TXT/HTML/?uri=CELEX:32018D1524&from=EN), sendo o valor equivalente a dois sítios por 100,000 habitantes mais 75 sítios. Atendendo a que a população residente em Portugal em 2023 é de 10,639,726 habitantes (de acordo com as [estatísticas do INE](https://www.ine.pt/xportal/xmain?xpid=INE&xpgid=ine_indicadores&indOcorrCod=0008273&contexto=pi&selTab=tab0)) o número mínimo é de 181 sítios por ano. Para o período de três anos da amostra, o número mínimo de sítios é de 543. A amostra inicial foi analisada para garantir que os sítios incluídos estavam acessíveis às atividades de monitorização e que correspondiam efetivamente a domínios diferentes (i.e., que não redirecionavam para outros domínios na amostra). Após alguns ajustes, a amostra final é a apresentada em anexo na [Tabela 21](#T21).

### Composição da amostra

A amostra de sítios web tenta representar os diferentes serviços prestados pelos organismos do sector público. A distribuição de sítios web por tipo de serviço, apresentada na [Tabela 1](#T01), ilustra a diversidade de serviços que foram considerados na amostra.

tabela01.txt

#### Amostra de sítios Web para o método de monitorização simplificada

A totalidade dos 657 sítios web foi inicialmente considerada para o método de monitorização simplificada (ver [Tabela 21](#T21)). A amostra usada para a monitorização simplificada é composta, para cada sítio web, pela página inicial do sítio mais todas as páginas, pertencentes ao domínio, hiperligadas à página inicial.

A [Tabela 2](#T02) apresenta estatísticas descritivas da amostra de páginas. Analisando a amostra é possível perceber que, em média, os sítios amostrados têm 61 páginas ligadas a partir da página inicial. 

tabela02.txt

#### Amostra de sítios Web para o método de monitorização aprofundada

A amostra final de sítios web para monitorização aprofundada é apresentada em anexo na [Tabela 22](#T22). Os sítios Web para monitorização aprofundada são um subconjunto dos sítios Web usados para monitorização simplificada. 

#### Amostra de aplicações móveis para o método de monitorização aprofundada

As aplicações móveis incluídas na amostra foram indicadas pela AMA. As aplicações iOS e Android da mesma entidade foram consideradas individualmente nesta análise, tendo sido analisadas as duas versões das 16 aplicações, mais uma aplicação disponibilizada apenas para Android, totalizando 33 aplicações móveis.

A amostra final de aplicações móveis para monitorização aprofundada é apresentada em anexo na [Tabela 23](#T23).

### Correlação com as normas, as especificações técnicas e as ferramentas utilizadas para monitorização

#### Metodologia aplicada na monitorização simplificada de sítios Web

As páginas das amostras dos 657 sítios web foram obtidas através do mecanismo de web _crawling_. O [_QualWeb Crawler_](https://github.com/qualweb/qualweb/tree/main/packages/crawler) foi usado como o principal mecanismo para obtenção das páginas, tendo como vantagem poder processar páginas que utilizem JavaScript.

Para a avaliação da acessibilidade de cada página da amostra utilizou-se uma ferramenta automática de avaliação de acessibilidade, o [AccessMonitor](https://accessmonitor.acessibilidade.gov.pt). Com esta ferramenta validou-se a conformidade com 37 testes baseados em diferentes técnicas suficientes e aconselhadas das [Web Content Accessibility Guidelines](https://www.w3.org/TR/WCAG21/) (WCAG).

As cláusulas da EN 301 549 testadas pelo _AccessMonitor_ são apresentadas na [Tabela 3](#T03), juntamente com os correspondentes critérios de sucesso das WCAG.

tabela03.txt

#### Metodologia aplicada na monitorização aprofundada de sítios Web

Para cada sítio web incluído na amostra, foi estabelecido um conjunto de páginas a serem incluídas em cada avaliação, de acordo com o definido na [Decisão de Execução (UE) 2018/1524 da Comissão de 11 de outubro de 2018](https://eur-lex.europa.eu/legal-content/PT/TXT/HTML/?uri=CELEX:32018D1524&from=EN). Esta amostra representativa considera as seguintes páginas:

- Página inicial;
- Página de autenticação;
- Mapa do sítio;
- Contactos;
- Ajuda;
- Advertência jurídica;
- Pelo menos uma página por cada tipo de serviço fornecido pelo sítio web;
- Outras utilizações primárias previstas, incluindo a pesquisa;
- Declaração de acessibilidade;
- Páginas para retorno sobre a declaração;
- Páginas com aparência substancialmente distinta ou com conteúdo diferente;
- Qualquer página considerada pertinente;
- Todas as páginas pertencentes a um mesmo processo.

Cada página incluída na amostra representativa de cada sítio web foi avaliada segundo os critérios de sucesso das WCAG 2.1 AA. Para cada página, um dos seguintes resultados foi fornecido:

- Em conformidade – A página passa em todos os testes estabelecidos para o critério de sucesso correspondente.
- Violação – A página não passa em um ou mais testes estabelecidos para o critério de sucesso correspondente.

A avaliação de cada página foi realizada recorrendo ao procedimento definido pela ferramenta [_Accessibility Insights_](https://accessibilityinsights.io). Os procedimentos da ferramenta cobrem todos os critérios de sucesso das Diretrizes de Acessibilidade para Conteúdo Web (WCAG) 2.2, indo assim além dos critérios de sucesso das WCAG 2.1 e, consequentemente, dos requisitos da norma EN 301 549.
 
Para suportar os testes realizados foi ainda usada uma ferramenta auxiliar, o [_Color Contrast Analyzer_ (CCA)](https://www.tpgi.com/color-contrast-checker/).

Na [Tabela 4](#T04) apresentam-se as cláusulas da norma EN 301 549 que foram consideradas nesta avaliação, conjuntamente com os critérios de sucesso WCAG correspondentes.

tabela04.txt

#### Metodologia aplicada na monitorização aprofundada de aplicações móveis

As versões iOS e Android da mesma aplicação foram consideradas individualmente nesta análise. As aplicações foram instaladas diretamente das respetivas _App Stores_ e foram usadas contas _standard_ de utilizador para a sua avaliação, excepto num caso em que não foi possível obter uma conta da instituição que publica a aplicação. Selecionámos um conjunto de ecrãs para avaliar em cada aplicação seguindo a metodologia definida no ponto 2 e 3 do anexo I da DECISÃO DE EXECUÇÃO (UE) 2018/1524 DA COMISSÃO de 11 de outubro de 2018. Esta amostra representativa considera os seguintes ecrãs:

- _Home page_ (primeiro ecrã de cada aplicação)
- Ecrã Login
- _Sitemap_
- Contactos
- Ajuda
- Advertência jurídica
- Pelo menos um ecrã por cada tipo de serviço
- Outras utilizações primárias previstas, incluindo a pesquisa
- Declaração de acessibilidade
- Ecrãs para retorno sobre a declaração
- Ecrãs com aparência substancialmente distinta ou com conteúdo diferente
- Documento descarregável pertinente para cada tipo de serviço
- Qualquer outro ecrã considerado pertinente
- Se qualquer dos ecrãs selecionados forem etapas de processo, incluir os outros ecrãs do processo

Para apoio à avaliação manual das aplicações móveis usaram-se as seguintes ferramentas e dispositivos:

- Talkback e VoiceOver, os leitores de ecrã disponíveis de raiz nos sistemas operativos Android e iOS, respetivamente;
- Teclado Bluetooth;
- [_Accessibility Scanner_](https://play.google.com/store/apps/details?id=com.google.android.apps.accessibility.auditor&hl=en&gl=US);
- [_Accessibility Inspector_](https://developer.apple.com/documentation/accessibility/accessibility-inspector);
- [_Colour Contrast Analyser_](https://www.tpgi.com/color-contrast-checker/) – aplicação que permite determinar o contraste entre duas cores.

A metodologia de testes para avaliações manuais foi baseada na metodologia [_Trusted Tester_](https://section508coordinators.github.io/TrustedTester/). Esta metodologia baseia-se nas Diretrizes de Acessibilidade para Conteúdo Web (WCAG) 2.0. Considerando que esta análise segue o padrão EN 301 549, baseado nas WCAG 2.1, novos testes foram adicionados aos testes originalmente incluídos na metodologia _Trusted Tester_, compreendendo os Critérios de Sucesso não abrangidos. Os testes adicionados basearam-se nas técnicas suficientes fornecidas nas WCAG 2.1. Todos os testes possíveis de executar ou adaptações dos mesmos foram realizados em todas as aplicações. Os critérios de sucesso considerados nesta avaliação correspondem ao nível de conformidade AA das WCAG 2.1, conforme estabelecido no padrão EN 301 594, e são apresentados na [Tabela 5](#T05). 

tabela05.txt

No fim da avaliação de cada aplicação, um relatório foi registado para futura análise. Após a condução das avaliações, procedeu-se à análise dos resultados obtidos, considerando as cláusulas que são verificadas ou violadas.
