Em dezembro, a Equipe de Tareas de Avaliação publicou um novo anexo ao livro Magenta, focando nas melhores práticas para avaliar o impacto dos métodos de avaliação da IA ( clique aqui para ler a orientação ). A orientação irá aumentar a segurança e confiança com que os departamentos e agências governamentais podem adotar tecnologias de IA, garantindo que a inovação do setor público mantenha o ritmo com o setor privado. Ele reflete uma compreensão dos desafios únicos que a IA coloca e a necessidade de abordagens personalizadas para enfrentar esses desafios. A orientação foi coproduzida com o Departamento de Transporte e Economia das Fronteiras, em consulta com especialistas líderes em IA. Espera- se que seja um recurso valioso para os responsáveis políticos, profissionais do setor público e especialistas digitais que trabalham para integrar soluções de IA nas operações do governo. Avançando, a orientação será co- propriedade com o Escritório Central de Dados e Digital (CDDO). O que a orientação cobre?
A orientação detalha as melhores práticas, incluindo o design de avaliação, metodologia e cronograma, para avaliar o impacto das novas ferramentas e tecnologias de IA introduzidas no setor público. Em particular, defende o uso de ensaios de controle aleatorizados ao testar um novo produto de IA para produzir evidências de alta qualidade sobre os impactos pretendidos e involuntários da introdução dessas novas tecnologias. A orientação também inclui uma série de estudos de casos hipotéticos para ilustrar possíveis abordagens de alta qualidade para avaliar o impacto de diferentes tipos de ferramentas de IA. Por favor, note: esta orientação não aborda como avaliar a qualidade, segurança e precisão das novas ferramentas de IA. Este processo é tipicamente referido como avaliação de modelos ou atividades de garantia, e é tipicamente realizado por profissionais de Digital, Data and Technology (DDaT) em vez de pesquisadores sociais. Em vez disso, a nova orientação de IA foca- se no impacto das ferramentas de IA nas decisões e resultados. Um exemplo de avaliação de impacto de uma ferramenta de IA pode ser encontrado aqui, e um exemplo de avaliação de um modelo de uma ferramenta de IA pode ser encontrado aqui.
Por que esta orientação é importante? O crescimento recente das capacidades das tecnologias da inteligência artificial (IA) levou a um maior interesse no uso da IA no governo. Avaliar com robusta força o impacto do uso da IA no governo (incluindo questões de processo, impacto e relação custo- custo- custo) é essencial para garantir que entendemos o impacto dos novos sistemas de IA, que são capazes de melhorar as intervenções atuais e que podem informar o desenvolvimento de políticas futuras. Ao fornecer um quadro para avaliar o impacto e a eficácia das ferramentas de IA, a orientação sublinha o compromisso do governo de manter altos padrões de avaliação e responsabilização no seu uso de tecnologias emergentes.
O Grupo de Tareas de Avaliação irá trabalhar com o CDDO para ajudar a incorporar as melhores práticas de avaliação em processos digitais em todo o governo, e trabalhar para apoiar os colegas na concepção e entrega de avaliações de impacto de intervenções de IA. Se você tiver um projeto ou um trabalho relacionado com a IA que você gostaria de discutir com a Tarefa de Avaliação, você pode entrar em contato com a Tarefa de Avaliação em: etf@cabinetoffice.gov.Reino Unido. Orientação sobre a avaliação de impacto das intervenções de IA. Marco de IA gerativo para o governo.
Plano de ação para oportunidades de IA do governo. O Instituto de Segurança da IA (AISI) O Incubador para Inteligência Artificial (i.AI). Exemplos de melhores práticas.
‘AI gerativa no trabalho: Medindo o impacto da produtividade da AI gerativa. ‘Os efeitos da IA gerativa no trabalho altamente qualificado: Evidências de três experimentos de campo com desenvolvedores de software ‘AI & BI: Construindo Ferramentas Confiáveis – Testando chatbots de IA no serviço público.
Teste e desenvolvimento de modelos. A abordagem do Instituto de Segurança da IA para a avaliação (por favor, observe esta orientação refere-se à avaliação de risco dos modelos de IA, em vez de avaliação de impacto) artigo i.AI sobre o desenvolvimento e o teste de modelos de IA (por favor, observe que isto se refere a testes e avaliação de modelos em vez de avaliação de impacto).
O quadro de Inspeção do Instituto de Segurança da IA (por favor, observe que esta orientação é projetada para avaliação de modelos em vez de avaliação de impacto) O Laboratório de Inteligência Artificial NHS (Laboratório de AI NHS), veja também o Prémio de AI em Saúde e Cuidado.