A era da inteligência artificial trouxe uma revolução para a tomada de decisões em diversas indústrias. Desde a aprovação de crédito e recrutamento até diagnósticos médicos, algoritmos de IA são utilizados para processar grandes volumes de dados e realizar previsões de maneira eficiente. No entanto, o uso de sistemas de decisão automatizada levanta questões éticas e legais, especialmente no que diz respeito à transparência e ao impacto nos direitos dos indivíduos.

Na União Europeia (UE), a proteção dos direitos fundamentais é uma prioridade. Quando o assunto é IA e transparência, dois marcos regulatórios estão em destaque: o Regulamento Geral de Proteção de Dados (GDPR) e o AI Act. O GDPR, em vigor desde 2018, estabelece diretrizes sobreo tratamento de dados pessoais com objetivo de harmonizar a defesa dos direitos e liberdades fundamentais dos indivíduos e a livre circulação de dados pessoais. Dessa forma, toda empresa que empregar o uso de decisões automatizadas que tratem dados pessoais, o GDPR é aplicável. 

Em decorrência do rápido desenvolvimento tecnológico e do uso de IA em diferentes áreas, surgiram novos riscos aos direitos fundamentais dos indivíduos. Em razão disso, o Parlamento Europeu e o Conselho da União Europeia adotaram o AI Act buscando garantir um nível elevado de proteção aos indivíduos, incluindo os direitos fundamentais, a segurança e a democracia. OAI Act visa criar um quadro regulatório mais específico para o desenvolvimento e uso de IA, com foco em sistemas de alto risco.

Um aspecto importante de ambas as regulamentações é a extraterritorialidade, ou seja, apliação fora da UE. Toda organização que ofertar bens ou serviços a indivíduos localizados na UE ou monitorar seu comportamento, o GDPR é aplicável. Igualmente, o AI Act também se aplica a determinadas organizações localizadas fora da UE, como por exemplo organizações que coloquem no mercado sistemas de IA ou modelos de IA de finalidade geral no território da UE.



A transparência nas decisões automatizadas sob o GDPR

O GDPR é uma das regulamentações de proteção de dados mais robustas do mundo. Embora o GDPR não foque exclusivamente em IA, o regulamento  possui disposições específicas que afetam diretamente sistemas de decisão automatizada e algoritmos de IA. Todo sistema de IA que realizar o tratamento de dados pessoais deve estar em conformidade com as regras e princípios estabelecidos pelo GDPR.

Artigo 22 do GDPR: o direito de não ser submetido a decisões  tomadas exclusivamente por tratamento automatizado

O Artigo 22 do GDPR estabelece que indivíduos têm o direito de não serem submetidos a decisões tomadas exclusivamente por tratamento automatizado – decisões automatizadas-  que produzam efeitos significativos, como decisões que afetam o crédito, a contratação ou até mesmo diagnósticos médicos. Em outras palavras, em casos de decisões tomadas exclusivamente por um algoritmo, sem intervenção humana, o indivíduo tem o direito de não ser submetido a tais decisões exceto se tenha explicitamente consentido, se a decisão é necessária para a celebração ou a execução de um contrato entre o titular e a empresa ou se tal decisão for autorizada por legislação da União ou do País Estado-Membro em que a empresa está sujeita. Nesses casos, os indivíduos possuem direito de obter intervenção humana, manifestar o seu ponto de vista e contestar a decisão tomada.

Essas regras foram projetadas para proteger os indivíduos contra potenciais erros e vieses dos algoritmos. Em teoria, o Artigo 22 exige que organizações revejam cuidadosamente o uso de IA em decisões críticas, ofereçam transparência sobre como esses sistemas operam, e implementem procedimentos internos para atendimento de solicitações dos indivíduos.

Transparência e explicabilidade

O GDPR também exige transparência e explicabilidade. Os artigos 13 e 14 determinam que as organizações informem os indivíduos sobre o tratamento de dados pessoais realizados e indiquem a existência de decisões automatizadas, juntamente com informações úteis relativas à lógica subjacente do tratamento automatizado, assim como as consequências de tal tratamento ao indivíduo. Esse é um desafio para as organizações, pois muitos algoritmos de IA, especialmente redes neurais profundas, operam como “caixas-pretas”, dificultando a explicação clara de como uma decisão foi tomada. Igualmente, o uso de IA por organizações normalmente decorrem de uma contratação de ferramenta externa, o que dificulta no exercío de transparência sobre decisões automatizadas, vez que muitas das vezes não possuem acesso e entendimento do funcionamento e lógica algorítmica implementada pela ferramenta contratada.

Para os líderes de tecnologia, o GDPR exige uma abordagem cuidadosa em relação ao design e à implementação de sistemas de IA. Tornar o processo de decisão transparente não é apenas um requisito de compliance, mas também uma maneira de construir confiança com os usuários e mitigar riscos legais.

Exemplos práticos de aplicação

Organizações que fazem o uso de decisões automatizadas para análise de crédito, processo de recrutamento e seleção, entre outros, foram fortemente impactadas pelo GDPR. Muitas delas tiveram que rever seus processos para garantir que as decisões automatizadas pudessem ser explicadas de maneira compreensível ao indivíduo. Isso levou a uma maior adoção de técnicas de IA explicável (Explainable AI – XAI), que permitem que modelos complexos sejam interpretados de forma mais transparente.

O AI Act: um novo marco regulatório para a IA na Europa

Enquanto GDPR, regulamentando o tratamento de dados pessoais, afeta indiretamente o uso de IA por organizações, o AI Act regulamenta diretamente a IA, criando um conjunto de diretrizes para o desenvolvimento e uso de IA dentro da União Europeia. O AI Act visa classificar sistemas de IA com base em seu nível de risco e impor obrigações regulatórias proporcionais ao risco envolvido.

Classificação de riscos no AI Act

O AI Act classifica os sistemas de IA em quatro categorias de risco: proibidos, de alto risco, de uso geral e “determinados sistemas de IA”, que são os sistemas de IA que, por exclusão, não são proibidos ou de alto risco. Sistemas de alto risco, que incluem aplicações em áreas como crédito, recrutamento e saúde, estarão sujeitos a requisitos rigorosos de transparência e explicabilidade. Em casos onde o risco é considerado inaceitável, como sistemas de pontuação social, o uso de IA pode ser proibido.

Essa classificação auxilia organizações na identificação de deveres e obrigações estabelecidas pelo AI Act de acordo com o desenvolvimento e uso de IA, para que sejam capazes de justificar seu uso e demonstar que seus sistemas são seguros, justos e transparentes. Tais obrigações têm implicações significativas para os líderes de tecnologia e para o planejamento de projetos de IA, pois a conformidade com o AI Act exigirá auditorias detalhadas, documentação técnica robusta e uma avaliação contínua dos sistemas de IA.

Requisitos de transparência e interpretação

Para sistemas classificados como alto risco, o AI Act exige uma série de obrigações às organizações que desenvolvem e implementam sistemas de IA, dentre as quais destaca-se transparência e explicações claras e pertinentes sobre o papel do sistema de IA no processo de tomada de decisão e os principais elementos considerados para a tomada de decisão, nos termos do Artigo 86. Isso inclui informações sobre os dados utilizados, a lógica do algoritmo e o critério para a tomada de decisão implementado. 

O direito a explicação sobre decisões baseadas em sistemas de IA de alto risco aplica-se a casos em que a decisão produza efeitos jurídicos ou afete o indivíduo em grau significativo repercutindo  negativamente em sua sua saúde, segurança ou direitos fundamentais. Tal disposição é semelhante ao Art. 22 do GDPR, embora sua aplicação seja restrita a decisões tomadas exclusivamente por tratamento automatizado, ou seja, sem intervenção humana. Dessa forma, o AI Act complementa o GDPR ao incluir explicabilidade em decisões baseadas em tratamento automatizado, quando se tratar de sistema de IA de alto risco, a casos que não se limitam ao uso exclusivo de sistemas de IA mas a casos em que os resultados gerados pela IA influenciam fortemente na decisão a ser tomada. 

O AI Act também incentiva a adoção de práticas “by design”, ou seja, de considerar as obrigações legais desde o desenvolvimento dos sistemas de IA. Isso é essencial para as organizações que buscam construir produtos éticos e que respeitem os direitos dos indivíduos.

Desafios e oportunidades para organizações e líderes de tecnologia

Implementar transparência nas decisões automatizadas de acordo com o GDPR e o AI Act apresenta tanto desafios quanto oportunidades.

Desafios

Complexidade técnica: Modelos de IA sofisticados, como redes neurais profundas, são notoriamente difíceis de explicar. Implementar IA explicável requer investimento em pesquisa e desenvolvimento, além de adaptação de infraestrutura.

Governança na cadeia de fornecedores: como mencionado, o uso de IA pelas organizações normalmente decorrem de uma contratação de ferramenta externa à organização, o que dificulta o cumprimento de determinados deveres e obrigações, como o exercío de transparência sobre decisões automatizadas, vez que muitas das vezes não possuem acesso e entendimento do funcionamento e lógica algorítmica implementada pelo fornecedor. Dessa forma, a adoção de processos de avaliação de fornecedores, que considerem aspectos legais de privacidade e de IA são extremamente necessários para que as organizações realizem a contratação de fornecedores que estejam em conformidade e que auxiliem ou facilitem a organização no cumprimento de suas obrigações legais.

Investimento de conformidade: Estar em conformidade com o AI Act e o GDPR pode aumentar os custos operacionais, especialmente em setores como finanças e saúde. Empresas terão que investir em auditorias, documentação técnica e compliance contínuo.

Impacto na inovação: Alguns líderes de tecnologia argumentam que regulamentações rígidas podem sufocar a inovação, pois impõem barreiras significativas para o desenvolvimento e implementação de IA. Dessa forma, organizações devem buscar o equilíbrio entre a inovação e confrmidade com legislações aplicáveis.

Oportunidades

Reputação e confiança do consumidor: A transparência gera confiança. Organizações que atuam e implementam mecanismos de conformidade com obrigações legais, conseguem implementar procedimentos para garantir a transparência em seus processos, como explicar como os sistemas de IAs implementados. Isso reduz o risco reputacional e gera maiores chances de conquistar a confiança de seus clientes, traduzindo-se em lealdade e retenção.

Vantagem competitiva: Em um mercado onde a conformidade regulatória é cada vez mais valorizada, organizações que implementam sistemas de IA transparente desde o início estarão melhor posicionadas para competir em ambientes regulados.

Mitigação de riscos legais: A conformidade com o GDPR e o AI Act reduz o risco de multas e sanções administrativas, assim como protege as organizações contra potenciais processos legais relacionados ao uso irresponsável de IA.

A transparência nas decisões automatizadas é mais do que uma exigência regulatória, trata-se de um compromisso com a ética e com os direitos dos indivíduos. O GDPR e o AI Act, juntos, representam um marco regulatório robusto que está definindo os padrões de transparência, privacidade e segurança de sistemas de IA na União Europeia. Para organizações e líderes de tecnologia, isso significa a necessidade de alinhar suas práticas e estratégias com esses regulamentos, garantindo que os sistemas de IA sejam desenvolvidos de forma responsável e transparente. 

Com a implementação do AI Act, estima-se que a União Europeia se torne líder global na regulamentação da IA, servindo de modelo para outras regiões. As organizações que se adaptarem rapidamente a essas exigências não apenas evitarão penalidades, mas também estarão bem posicionadas para construir uma base sólida de confiança com seus clientes e stakeholders. Em um mundo cada vez mais movido por dados e IA, a transparência será um dos principais diferenciais competitivos.

• REGULAMENTO (UE) 2016/679 do Parlamento Europeu e do Conselho de 27 de abril de 2016 relativo à proteção das pessoas singulares no que diz respeito ao tratamento de dados pessoais e à livre circulação desses dados e que revoga a Diretiva 95/46/CE (Regulamento Geral sobre a Proteção de Dados).
  
  
  
• REGULAMENTO (UE) 2024/1689 do Parlamento Europeu e do Conselho de 13 de junho de 2024 que cria regras harmonizadas em matéria de inteligência artificial e que altera os Regulamentos (CE) n.o 300/2008, (UE) n.o 167/2013, (UE) n.o 168/2013, (UE) 2018/858, (UE) 2018/1139 e (UE) 2019/2144 e as Diretivas 2014/90/UE, (UE) 2016/797 e (UE) 2020/1828 (Regulamento da Inteligência Artificial).