A inteligência artificial pode tornar uma decisão mais rápida. Não pode torná-la  anónima. Devemos perguntar quem responde quando o sistema se engana.

Imagine receber uma notificação da Administração Pública a dizer que o seu apoio  social foi reduzido. Ou que a sua candidatura “ficou para trás”. Ou que o seu processo foi  sinalizado como sendo “de risco”.

E a resposta, ainda que não venha escrita exatamente assim, acaba por ser: “Foi o  algoritmo que decidiu”.

Há qualquer coisa de profundamente errada nesta resposta. Não porque o Estado não  deva usar inteligência artificial. Deve, quando ela permita tratar melhor a informação,  reduzir tarefas repetitivas, detetar padrões ou prestar serviços mais depressa.

O problema começa quando a tecnologia deixa de ser uma ferramenta e passa a  funcionar como uma espécie de lugar para onde a responsabilidade desaparece.

Porque um algoritmo não acorda um dia e decide reduzir uma prestação social.  Alguém definiu o objetivo do sistema. Alguém escolheu os dados. Alguém determinou os  critérios, os limites e o grau de confiança que seria atribuído ao resultado. E, no fim,  alguém decidiu utilizá-lo para produzir efeitos sobre uma pessoa.

Esse alguém continua a ser o Estado.

A inteligência artificial pode tornar uma decisão mais rápida. Não pode torná-la  anónima.

Esta distinção será cada vez mais importante. O Regulamento Europeu da Inteligência  Artificial já está, em larga medida, em aplicação desde agosto deste ano, embora parte  significativa das regras aplicáveis aos sistemas considerados de alto risco só produza  efeitos mais tarde. Entre esses sistemas estão precisamente alguns dos que podem ser  utilizados pelas autoridades públicas para determinar o acesso a prestações e serviços  públicos essenciais.

Não é difícil perceber porquê.

Imagine-se um município que utiliza um sistema para identificar pedidos de apoio  social potencialmente fraudulentos. À partida, parece razoável. O problema surge se a  sinalização produzida pelo sistema conduzir, quase automaticamente, à suspensão do  pagamento.

Ou um serviço público que ordena famílias por prioridade através de um modelo  treinado com decisões tomadas ao longo dos últimos vinte anos. Se essas decisões  históricas refletirem desigualdades ou enviesamentos, o algoritmo pode não os corrigir.  Pode apenas reproduzi-los muito mais depressa.

A aparência de neutralidade tecnológica é particularmente perigosa por isso mesmo:  números, percentagens e classificações transmitem uma sensação de objetividade que nem sempre existe.

E colocar uma pessoa no final do processo também não resolve necessariamente o  problema.

O Tribunal de Justiça da União Europeia deixou isso bastante claro no caso SCHUFA.  Em determinadas circunstâncias, um resultado produzido automaticamente pode ser  considerado determinante para uma decisão, ainda que exista formalmente outra pessoa  ou entidade a tomar a decisão final.

Traduzindo para linguagem corrente: não basta ter um ser humano a carregar  no botão “aceitar”.

A supervisão humana só existe verdadeiramente quando essa pessoa compreende  o que está a avaliar, dispõe da informação necessária e tem autoridade para discordar da  máquina.

É aqui que a discussão sobre inteligência artificial no Estado se cruza com uma  questão bastante menos mediática, mas decisiva: a contratação pública.

Grande parte da tecnologia utilizada pela Administração não é desenvolvida  internamente. É comprada.

E aquilo que o Estado exigir — ou não exigir — no momento em que compra um  sistema condicionará aquilo que conseguirá controlar quando o sistema estiver a  funcionar.

Um caderno de encargos para adquirir inteligência artificial não pode, por isso,  limitar-se a pedir uma “solução inovadora”, “inteligente” ou “baseada em IA”.