Objetivos da Aula

Ao final desta aula, você será capaz de:

• Definir o que constitui qualidade em serviços digitais, especialmente no setor público.
• Identificar e aplicar critérios e padrões de qualidade reconhecidos, como os baseados em ISO, Experiência do Usuário (UX) e Gerenciamento de Desempenho de Aplicações (APM).
• Compreender e utilizar ferramentas e métricas para o monitoramento contínuo do desempenho.
• Reconhecer a importância da avaliação participativa, colocando o usuário no centro do processo de melhoria.
• Analisar casos práticos e lições aprendidas para aprimorar a implementação e gestão de serviços digitais.

Contexto Histórico e a Necessidade de Melhoria Contínua

A manutenção de aplicações web pode ser extremamente complexa, envolvendo problemas de rede, manutenção de servidor e suporte ao usuário. Historicamente, a abordagem para problemas de sistema muitas vezes era reativa, ou seja, "apagando incêndios" após sua ocorrência. No entanto, a crescente complexidade dos negócios e a demanda por decisões rápidas e assertivas tornaram o monitoramento proativo essencial para garantir a eficiência operacional e minimizar impactos negativos.

A evolução dos serviços digitais, inclusive no setor público, com plataformas como o Gov.BR, reforça a máxima: "Se você não pode medir, não pode gerenciar". A necessidade de medição e análise constante visa aprimorar a experiência do usuário, diagnosticar e corrigir problemas, bem como otimizar continuamente os processos. Este cenário exige uma mudança de mentalidade, transformando a cibersegurança e a gestão de serviços de um modelo reativo para um preventivo.

O que é Qualidade em Serviços Digitais no Setor Público?

A qualidade de um serviço digital pode ser entendida como sua adequação ao propósito, ou seja, a capacidade de criar o valor esperado. No contexto dos serviços que utilizam Inteligência Artificial (IA), a satisfação do cliente tornou-se um fator crucial para a avaliação do desempenho organizacional.

No setor público, a qualidade dos serviços digitais vai além da mera funcionalidade tecnológica. Ela se refere a uma situação ideal a ser buscada na oferta de serviços públicos por meio eletrônico, com consistência digital (conformidade com diretrizes de transformação digital) e experiência do usuário simples e intuitiva. É fundamental entender que a tecnologia não possui um valor intrínseco de ser boa ou má; ela pode ser utilizada tanto para a construção de objetivos democráticos quanto para restringir o acesso a serviços ou controlar o comportamento dos cidadãos.

A percepção da qualidade de um serviço digital no setor público também é moldada pelas relações de poder existentes no campo da implantação desses serviços. Uma perspectiva puramente tecnológica/organizacional é limitada e não consegue abarcar a complexidade de como a tecnologia é recebida e reinterpretada pelos cidadãos em seu contexto social.

Pense e Reflita: Como a "neutralidade" da tecnologia pode ser um desafio na garantia da qualidade e acessibilidade dos serviços digitais para todos os cidadãos?

Critérios e Padrões de Qualidade

Para avaliar e gerenciar a qualidade, diversas abordagens e padrões são utilizados, buscando cobrir desde a performance técnica até a percepção do usuário.

Governança e Gestão de TI (COBIT 5)

O COBIT 5 é um modelo abrangente para governança e gestão de TI em toda a organização. Ele se baseia em cinco princípios fundamentais:

1. Atender às Necessidades das Partes Interessadas: As organizações existem para criar valor, equilibrando benefícios, otimização de risco e uso de recursos. O COBIT 5 traduz as necessidades das partes interessadas em objetivos corporativos, depois em objetivos de TI e, por fim, em metas de habilitadores (um mecanismo chamado Cascata de Objetivos).
2. Cobrir a Organização de Ponta a Ponta: Integra a governança corporativa de TI à governança corporativa geral, abrangendo todas as funções e processos.
3. Aplicar um Modelo Único Integrado: Alinha-se a outros padrões e modelos importantes do mercado (como ITIL, TOGAF, ISO, PMBOK, PRINCE2, COSO) para servir como um modelo unificado para a governança e gestão de TI.
4. Permitir uma Abordagem Holística: Governança e gestão eficientes exigem uma abordagem holística, considerando componentes interligados chamados Habilitadores. Os sete tipos de habilitadores são: Princípios, Políticas e Modelos; Processos; Estruturas Organizacionais; Cultura, Ética e Comportamento; Informação; Serviços, Infraestrutura e Aplicativos; Pessoas, Habilidades e Competências.
5. Distinguir a Governança da Gestão: Governança (avaliar, orientar e monitorar) e gestão (planejar, desenvolver, executar e monitorar atividades) são disciplinas distintas, mas inter-relacionadas.

Padrões de Qualidade para Serviços Públicos Digitais (Gov.BR)

A Portaria SGD/ME nº 1.083, de 14 de fevereiro de 2025, estabelece os Padrões de Qualidade para serviços públicos digitais. Estes padrões são organizados em sete dimensões, cada uma com cinco atributos mensuráveis:

Quadro 1: Dimensões dos Padrões de Qualidade (Gov.BR)

Experiência do Usuário (UX) e Satisfação do Cliente

A experiência do usuário é um aspecto crucial dos serviços digitais, avaliando a jornada do usuário desde a busca até a resposta final. A Gestão de Desempenho de Aplicações (APM), por exemplo, foca no monitoramento da velocidade da aplicação tanto do ponto de vista do usuário quanto do backend. O objetivo é proporcionar a melhor experiência possível ao usuário, diagnosticando e corrigindo problemas rapidamente.

A satisfação do cliente é um fator crítico para a fidelidade e intenção de recompra. Ferramentas APM ajudam a elevar a satisfação ao garantir que os serviços estejam sempre disponíveis e com bom desempenho. A avaliação da satisfação do usuário é um dos eixos do Modelo de Qualidade de Serviços Públicos do Gov.BR.

Ferramentas e Métricas de Monitoramento Contínuo

O monitoramento contínuo é a base para a gestão da qualidade. Ele se apoia em diversas ferramentas e métricas que fornecem insights em tempo real.

Gestão de Desempenho de Aplicações (APM)

APM é um sistema que fornece monitoramento unificado, rastreamento e análise tanto para o frontend quanto para o backend de uma aplicação. As ferramentas APM são suítes de software usadas para coletar e analisar esses dados. Elas oferecem um painel de controle unificado para monitoramento de desempenho, gerenciamento de atualizações, observação de conflitos e correção de erros.

Características essenciais das ferramentas APM:

• Monitoramento em profundidade de transações comerciais, infraestrutura, experiência do usuário e desempenho da rede.
• Relatórios e análises robustas a partir de um único painel de controle.
• Capacidade de aprofundar nos dados.

Exemplos de ferramentas APM incluem New Relic (utilizada pela Kinsta), Datadog, Loupe, AppDynamics, Stackify Retrace, Stagemonitor e Pinpoint.

Indicadores-Chave de Desempenho (KPIs)

KPIs (Key Performance Indicators) são indicadores-chave de desempenho que permitem ao empresário entender, de forma quantificável, se os objetivos do negócio estão sendo atingidos. Eles fornecem informações concretas e confiáveis para justificar mudanças e identificar etapas menos produtivas na cadeia de serviços. Os KPIs são fundamentais para analisar o andamento em direção às metas estabelecidas e para criar fluxos de otimização contínua. Para que um KPI seja eficaz, a meta deve ser SMART (Específica, Mensurável, Atingível, Relevante e Temporizável).

Monitoramento Proativo com Inteligência Artificial (IA)

O monitoramento proativo antecipa e previne problemas em sistemas e operações antes que se tornem crises. Ele utiliza dados em tempo real e históricos para prever comportamentos futuros, identificar tendências e detectar anomalias. A IA Generativa potencializa essa abordagem ao analisar grandes volumes de dados, identificar padrões complexos, prever falhas, sugerir soluções e até automatizar respostas, tornando a gestão mais ágil e precisa.

Benefícios do Monitoramento Proativo com IA:

• Redução do tempo de inatividade (downtime).
• Diminuição de custos operacionais.
• Melhora na experiência do cliente/usuário.
• Aumento da segurança (detecção precoce de ameaças cibernéticas).
• Otimização de recursos.
• Tomada de decisões mais assertivas.
• Aumento da resiliência e estabilidade.

A implementação do monitoramento proativo com IA envolve um roadmap que inclui diagnóstico, definição de objetivos, escolha de tecnologias, preparação da infraestrutura, organização e integração de dados, treinamento de modelos, implantação, acompanhamento e otimização contínua.

Modelos de Capacidade de Processo (COBIT 5)

O COBIT 5 inclui um modelo de capacidade de processo baseado na norma ISO/IEC 15504. Este modelo permite medir o desempenho de qualquer processo de governança ou gestão e identificar áreas que precisam ser melhoradas. Ele foca na aferição do grau em que um processo atinge seus objetivos e na aplicação de boas práticas.

Pense e Reflita: Como a integração de ferramentas APM, KPIs e monitoramento proativo com IA pode criar uma visão mais completa e preditiva da qualidade do serviço digital?

A Importância da Avaliação Participativa (com foco no usuário)

A avaliação da qualidade dos serviços digitais não deve ser apenas técnica ou organizacional; ela precisa ser centrada no usuário. A avaliação de satisfação dos usuários é um dos dois eixos para a aferição da qualidade dos serviços públicos. Serviços digitais devem disponibilizar avaliações de satisfação e estabelecer rotinas de melhorias para atender sugestões e reclamações.

A perspectiva do cidadão/serviço aborda conceitos como envolvimento, participação e interação do ponto de vista da recepção do cidadão ao interagir com o Estado através de serviços digitais. É crucial reconhecer que a implementação de serviços digitais afeta as práticas do cidadão, e, reciprocamente, as práticas adotadas pelos cidadãos também modificam a proposta inicial de implantação do serviço público digital (conforme a teoria da domesticação).

O fator humano é, muitas vezes, o ponto mais vulnerável em organizações, inclusive na cibersegurança. Portanto, a escuta ativa é essencial. Isso implica em realizar testes periódicos com usuários antes de publicar novas soluções ou atualizações significativas, e implementar ajustes a partir dos resultados. A resistência cultural à adoção de novas tecnologias, como a IA, também é um desafio que deve ser superado através de comunicação eficaz e apoio. A avaliação participativa não só mede a qualidade, mas também constrói confiança e engajamento.

Casos de Boas Práticas e Lições Aprendidas

A experiência de diversas organizações demonstra os benefícios e desafios na implementação de estratégias de monitoramento e avaliação da qualidade.

Boas Práticas e Sucesso na Implementação

• Universidade Cornell: Utilizou ferramentas APM para encontrar gargalos e reduzir drasticamente o tempo de retorno das reclamações dos usuários em uma plataforma de software de missão crítica que falhava frequentemente.
• Alaska Airlines: Implementou APM para otimizar sistemas baseados em nuvem, conseguindo reduzir interrupções críticas e outros problemas em 60% e detectar falhas antes que afetassem a experiência do usuário.
• Kinsta: Utiliza o New Relic APM para monitorar e otimizar websites de clientes, permitindo identificar plugins, temas e erros de codificação que causam problemas em sites WordPress.
• Setor Bancário: Bancos utilizam IA para detectar fraudes em tempo real, aumentando a segurança e reduzindo perdas financeiras.
• Manufatura e Logística: Aplicam IA para manutenção preditiva e previsão de demanda, otimizando custos e evitando paralisações.
• Saúde: O setor de saúde emprega IA para diagnóstico precoce, melhorando o tratamento e a qualidade de vida dos pacientes.

Lições Aprendidas e Desafios

• Custo vs. Benefício: Embora algumas ferramentas APM de nível empresarial possam ser caras, a economia gerada pelo aumento da produtividade e redução do tempo de inatividade geralmente justifica o investimento.
• Qualidade e Treinamento de Dados para IA: A implementação da IA generativa no monitoramento proativo exige alta qualidade dos dados e treinamento contínuo dos modelos para garantir precisão. Há uma carência de estudos sobre a tangibilidade, desempenho, usabilidade, qualidade de sistemas e o impacto financeiro da IA na satisfação do cliente.
• Aspectos Humanos e Culturais: A tecnologia não substitui o fator humano, mas o complementa, automatizando tarefas repetitivas para que as pessoas se dediquem a atividades de maior valor agregado. A resistência cultural dentro das organizações à adoção da IA e a necessidade de supervisão humana são desafios importantes.
• Gestão da Mudança: O sucesso da implementação de melhorias na governança de TI (como com COBIT) depende do apoio e compromisso da alta administração, comunicação eficaz e superação de barreiras comportamentais e culturais. Pontos de dor comuns incluem frustração com iniciativas falhas, custos crescentes, incidentes de risco, problemas de terceirização e não conformidade regulatória.

Pense e Reflita: Como as lições aprendidas em outros setores podem ser adaptadas para melhorar a qualidade dos serviços digitais no contexto específico do setor público?

Representações Gráficas e Questionamentos

Para ilustrar os conceitos, podemos visualizar alguns modelos e estruturas:

Representação da Cascata de Objetivos (COBIT 5)

Imagine um fluxo hierárquico, onde:

• Direcionadores das Partes Interessadas (ex: mudanças na estratégia, novas tecnologias) influenciam as Necessidades das Partes Interessadas.
• As Necessidades das Partes Interessadas se desdobram em Objetivos Corporativos (ex: aumento da satisfação do cliente, gestão de risco).
• Os Objetivos Corporativos se desdobram em Objetivos de TI (ex: alinhamento da estratégia de TI, segurança da informação).
• Os Objetivos de TI se desdobram em Metas do Habilitador (ex: processos, pessoas, informações).

(Representação visual inspirada na Figura 4 do COBIT 5)

O Modelo dos Habilitadores (COBIT 5)

Imagine um diagrama onde cada um dos sete habilitadores do COBIT 5 (Princípios, Políticas e Modelos; Processos; Estruturas Organizacionais; Cultura, Ética e Comportamento; Informação; Serviços, Infraestrutura e Aplicativos; Pessoas, Habilidades e Competências) são caixas interligadas, reforçando que a governança e gestão são sistêmicas e requerem que todos os componentes trabalhem juntos.

(Representação visual inspirada na Figura 12 do COBIT 5)

As Dimensões da Qualidade (Gov.BR)

Pense em sete caixas principais representando cada uma das dimensões de qualidade do Gov.BR (Facilidade, Comunicação, Atendimento, Experiência Unificada, Acessibilidade, Privacidade e Segurança, Escuta Ativa), e dentro de cada uma, cinco sub-tópicos detalhando os atributos mensuráveis.

(Representação visual inspirada nas seções de "Dimensões dos padrões de qualidade" do Gov.BR)

Perguntas Reflexivas Finais

• Como sua organização está atualmente equilibrando o monitoramento reativo e proativo em seus serviços digitais? Quais melhorias podem ser feitas?
• De que forma a "escuta ativa" dos usuários está integrada ao ciclo de vida de desenvolvimento e melhoria dos seus serviços digitais?
• Quais são os principais "habilitadores" de TI na sua organização que precisam ser aprimorados para otimizar a qualidade e a governança dos serviços digitais?
• Considerando as relações de poder, como garantir que a tecnologia seja utilizada para ampliar o acesso e a democracia nos serviços públicos, e não para restringi-los?

Quadro Resumo:

Aplicação Prática

Para gestores e equipes que buscam aprimorar a qualidade dos serviços digitais:

1. Adote uma Visão Holística: Utilize frameworks como o COBIT 5 para alinhar a governança e gestão de TI com os objetivos estratégicos da organização. Compreenda que a qualidade não é apenas técnica, mas abrange aspectos culturais, organizacionais e de informação.
2. Invista em Monitoramento Proativo e IA: Implemente ferramentas APM e utilize a IA para antecipar problemas, prever tendências e otimizar operações, movendo-se de uma postura reativa para preditiva.
3. Priorize a Experiência do Usuário: Use os Padrões de Qualidade do Gov.BR como guia, com foco nas sete dimensões, especialmente a "Escuta Ativa". Colete feedback contínuo (avaliações de satisfação, testes com usuários) e utilize-o para iterar e aprimorar os serviços.
4. Defina e Monitore KPIs: Estabeleça indicadores-chave de desempenho SMART para todas as etapas do serviço digital, desde a performance da aplicação até a satisfação do cliente.
5. Gerencie a Mudança Cultural: Reconheça que a implementação de novas tecnologias e padrões de qualidade exige gestão da mudança, superando resistências e incentivando a aceitação através de comunicação clara e treinamento. O sucesso depende não só da tecnologia, mas de como as pessoas se adaptam e a reinterpretan.

A qualidade em serviços digitais é uma jornada contínua de adaptação e melhoria, impulsionada por dados, tecnologia e, acima de tudo, pelo entendimento profundo das necessidades e experiências dos usuários.

Referências (ABNT)

Duò, M. 8 Melhores Ferramentas APM do Mercado (E por Que Você Deve Usar Uma). Kinsta. Disponível em: https://kinsta.com/pt/blog/ferramentas-apm/. Acesso em: 20 mai. 2024.

BRASIL. Governo Digital. Ferramenta de Avaliação. Gov.br. Disponível em: https://www.gov.br/governodigital/pt-br/ferramentas-e-componentes/ferramenta-de-avaliacao. Acesso em: 20 mai. 2024.

BRASIL. Governo Digital. Padrões de Qualidade para Serviços Públicos Digitais. Gov.br. Disponível em: https://www.gov.br/governodigital/pt-br/ferramentas-e-componentes/padroes-de-qualidade. Acesso em: 20 mai. 2024.

CEFET/RJ. Modelo Corporativo para Governança e Gestão de TI da Organização - COBIT 5. Disponível em: https://www.cefet-rj.br/wp-content/uploads/2017/02/Modelo-Corporativo-para-Governan%C3%A7a-e-Gest%C3%A3o-de-TI-da-Organiza%C3%A7%C3%A3o-COBIT-5.pdf. Acesso em: 20 mai. 2024.

EUAX. Monitoramento proativo: O que é e como o uso combinado com a IA generativa ajuda proteger a empresa. Euax by Selbetti. Disponível em: https://www.euax.com.br/monitoramento-proativo-o-que-e-e-como-o-uso-combinado-com-a-ia-generativa-ajuda-proteger-a-empresa/. Acesso em: 20 mai. 2024.

FLUIR SOLUÇÕES EM TI. O Futuro da Segurança Digital: 7 principais tendências para 2025. Fluir Soluções em TI. Disponível em: https://fluirsolutions.com.br/o-futuro-da-seguranca-digital-7-principais-tendencias-para-2025/. Acesso em: 20 mai. 2024.

COSTA, L. M. A. et al. Satisfação do Cliente na Prestação de Serviços com Inteligência Artificial: um Estudo Meta-Analítico. In: ENCONTRO DA ANPAD, 44., 2021, Online. Anais [...]. Rio de Janeiro: ANPAD, 2021. p. 1-10. Disponível em: https://anpad.s3.amazonaws.com/documentos/enanpad/2021/44_2021_EnANPAD_EPQ470.pdf?v=1671239851. Acesso em: 20 mai. 2024.

SILVA, J. P. D. S.; RODRIGUES, D. C. Serviços públicos digitais a partir da teoria da prática de Bourdieu: uma proposta de framework conceitual. In: ENCONTRO BRASILEIRO DE ADMINISTRAÇÃO PÚBLICA, 10., 2023, Brasília - DF. Anais [...]. Brasília - DF: Sociedade Brasileira de Administração Pública, 2023. p. 1-13. Disponível em: https://ebap.sbap.org.br/assets/docs/anais/EBAP-2023-GT4-001.pdf. Acesso em: 20 mai. 2024.

SEBRAE. KPIs são estratégicos para medir o desempenho do seu negócio. Sebrae. Disponível em: https://sebrae.com.br/sites/PortalSebrae/artigos/kpis-sao-estrategicos-para-medir-o-desempenho-do-seu-negocio,c0a0684f4d1e2810VgnVCM1000004c00210aRCRD. Acesso em: 20 mai. 2024.