Discriminação algorítimica

desvendando a representação de pessoas trans e queer por modelos de IA geradores de imagem

Autores

  • Camila Henning Salmoria Escola Nacional de Formação de Magistrados (ENFAM)/DF; Universidade Positivo/PR
  • Wanessa Assunção Ramos Pontifícia Universidade Católica do Paraná (PUCPR)

DOI:

https://doi.org/10.54829/revistacnj.v8i2.618

Palavras-chave:

Discriminação algorítmica, Ética, Igualdade de gênero, Inteligência artificial

Resumo

Este artigo tem como tema a discriminação algorítmica das pessoas transgênero. O problema de pesquisa pode ser resumido na seguinte pergunta: Como a inteligência artificial (IA) retrata as pessoas transgênero? O objetivo geral, que visa responder ao problema de pesquisa, é demonstrar as formas de retratação das pessoas transgênero pela inteligência artificial. Para atingir o objetivo geral, tem-se os seguintes objetivos específicos: a) descrever um caso concreto; b) analisar a retratação das pessoas transgênero pela inteligência artificial pela perspectiva de gênero; e c) analisar a retratação das pessoas transgênero pela inteligência artificial pelo prisma algorítmico. A hipótese aventada é que a inteligência artificial é discriminatória. A metodologia utilizada foi de abordagem qualitativa e indutiva, com foco em um estudo de caso detalhado. O resultado é a confirmação da hipótese inicial, de que a construção desses estereótipos é um reflexo de preconceitos presentes nos dados utilizados para treinar os algoritmos.

Downloads

Não há dados estatísticos.

Biografia do Autor

Camila Henning Salmoria, Escola Nacional de Formação de Magistrados (ENFAM)/DF; Universidade Positivo/PR

Juíza de Direito do Tribunal de Justiça do Paraná, titular junto a 5ª Turma Recursal, especialista em Direito Digital pela ENFAM, graduada em Inteligência Artificial pela Universidade Positivo. Coordenadora do Coletivo Todas da Lei. Integrante do coletivo Antígona-TJPR somos todas nós.

Wanessa Assunção Ramos, Pontifícia Universidade Católica do Paraná (PUCPR)

Doutoranda em Direito pela PUCPR. Mestra em Direitos Humanos e Políticas Públicas pela PUCPR. Bacharela em Direito pela PUCPR. Professora universitária e de pós-graduação. Membra relatora da Comissão dos Advogados Criminalistas da OABPR. Coordenadora do Coletivo Todas da Lei. Advogada criminalista. 

Referências

AKTER, Shahriar; DWIVEDI, Yogesh K.; SAJIB, Shahriar; BISWAS, Kumar; BANDARA, Ruwan J.; MICHAEL, Katina. Algorithmic bias in machine learning-based marketing models. Journal of Business Research, v. 144, p. 201-216, 2022. Disponível em: https://doi.org/10.1016/j.jbusres.2022.01.083. Acesso em: 31 jul. 2024. DOI: https://doi.org/10.1016/j.jbusres.2022.01.083

ANTRA. Mapa dos assassinatos de travestis e transexuais no Brasil em 2017. Brasília: Antra, 2018. Disponível em: https://antrabrasil.files.wordpress.com/2018/02/relatc3b3rio-mapa-dos-assassinatos-2017-antra.pdf. Acesso em: 20 jul. 2023.

BENTO, Berenice. Sexualidade e experiências trans: do hospital à alcova. Ciência & Saúde Coletiva, v. 17, p. 2655-2664, 2012. DOI: https://doi.org/10.1590/S1413-81232012001000015

BORGES, Gustavo Silveira; JÚNIOR, José Luiz de Moura Faleiros. Viés racial em sistemas de inteligência artificial: desafios para a responsabilidade civil e a necessidade de parametrização do risco. Revista IBERC, v. 6, n. 2, p. 100-128, 2023. DOI: https://doi.org/10.37963/iberc.v6i2.237

BOZDAG, Mustafa; SEVIM, Nurullah; KOÇ, Aykut. Measuring and Mitigating Gender Bias in Legal Contextualized Language Models. ACM Transactions on Knowledge Discovery from Data, v. 18. Issue, 4, article 79, p. 1-26, 2023. Disponível em: https://dl.acm.org/doi/abs/10.1145/3628602. Acesso em: 22 mar. 2024. DOI: https://doi.org/10.1145/3628602

BRASIL. [Constituição (1988)]. Constituição da República Federativa do Brasil de 1988. Brasília, DF: Presidência da República, [2023]. Disponível em: http://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm. Acesso em: 20 jul. 2023.

BRASIL. Decreto nº 591, de 06 de julho de 1992. Atos Internacionais. Pacto Internacional sobre Direitos Econômicos, Sociais e Culturais. Promulgação. Brasília, DF: Presidência da República, 1992. Disponível em: http://www.planalto.gov.br/ccivil_03/decreto/1990-1994/d0591.htm. Acesso em: 20 jul. 2023.

BRASIL. Lei nº 12.965, de 23 de abril de 2014. Estabelece princípios, garantias, direitos e deveres para o uso da Internet no Brasil. Promulgação. Brasília, DF: Presidência da República, 2014. Disponível em: https://www.planalto.gov.br/ccivil_03/_ato2011-2014/2014/lei/l12965.htm. Acesso em: 7 fev. 2024.

BRASIL. Lei nº 13.709, de 14 de agosto de 2018. Lei Geral de Proteção de Dados LGPD. Promulgação. Brasília, DF: Presidência da República, 2018. Disponível em: https://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/l13709.htm. Acesso em: 7 fev. 2024.

CENTRO DE ESTUDO DE CULTURA CONTEMPORÂNEA (CEDEC). Mapeamento das pessoas trans no município de São Paulo. São Paulo: CEDEC, 2021. Disponível em: https://www.prefeitura.sp.gov.br/cidade/secretarias/upload/direitos_humanos/LGBT/AnexoB_Relatorio_Final_Mapeamento_Pessoas_Trans_Fase1.pdf. Acesso em: jul. 2023, p. 08.

COMISSÃO INTERAMERICANA DE DIREITOS HUMANOS (CIDH). Violencia contra Personas Lesbianas, Gay, Bisexuales, Trans e Intersex em América. CIDH, Santiago: CIDH, 2015. Disponível em: http://www.oas.org/es/cidh/informes/pdfs/violenciapersonaslgbti.pdf. Acesso em: 20 jul. 2023, p. 42.

CENTRO LATINO-AMERICANO EM SEXUALIDADE E DIREITOS HUMANOS (CLAM). Princípios de Yogyakarta. Disponível em: http://www.clam.org.br/uploads/conteudo/principios_de_yogyakarta.pdf. Acesso em: 30 jun. 2023, p. 7.

CONSELHO NACIONAL DE JUSTIÇA. Protocolo de Julgamento com Perspectiva de Gênero: princípios sobre a aplicação da legislação internacional de direitos humanos em relação à orientação sexual e identidade de gênero. 2022. Disponível em: https://www.cnj.jus.br/wp-content/uploads/2021/10/protocolo-18-10-2021-final.pdf. Acesso em: 6 fev. 2024.

DAVIES, K. LGBTQ+ in STEM. Stem Women, 4 maio 2021. Disponível em: https://www.stemwomen.com/lgbtq-plus-in-stem#:~:text=The%20Institute%20of%20Physics%20conducted. Acesso em: 1 ago. 2024.

DE CASTRO, Bruno Fediuk; BOMFIM, Gilberto. A INTELIGÊNCIA ARTIFICIAL, O DIREITO E OS VIESES. Revista Ilustração, v. 1, n. 3, p. 31-45, 2020. DOI: https://doi.org/10.46550/ilustracao.v1i3.23

GONÇALVES, Deborah Teles de Meneses; SANTOS, Giulia Pereira; SORTE, Paulo Boa. Transfobia algorítmica: a reprodução binária em imagens de pessoas trans. Revista Linguagem em Foco, Fortaleza, CE, v. 15, n. 3, 2024, p. 115-132. Disponível em: https://revistas.uece.br/index.php/linguagememfoco/article/view/12594. Acesso em: 1 ago. 2024. DOI: https://doi.org/10.46230/2674-8266-15-12594

GROSS, Nicole. What ChatGPT Tells Us About Gender: a cautionary tale about performativity and gender biases in AI. Social Sciences, v. 12, n. 8, p. 435, 2023. Disponível em: https://www.mdpi.com/2076-0760/12/8/435. Acesso em: 24 jan. 2024. DOI: https://doi.org/10.3390/socsci12080435

HALL, Buel; FRANCAISE, Maison. LGBTQ+ in STEM: Fostering Inclusion and Resolving Disparities Using Demographic Data. Office of the Provost, 21 abr. 2023. Disponível em: https://provost.columbia.edu/content/lgbtq-stem-fostering-inclusion-and-resolving-disparities-using-demographic-data. Acesso em: 1 ago. 2024.

KLOMKAEW, Thayakorn; KANOKPERMPOON, Monthon. Meaning representations of trans, transgender, transsexual and tranny: a corpus-based analysis in digital news and magazines. Asia Social Issues, v. 17, n. 2, p. e261016, mar./abr. 2024. Disponível em: https://so06.tci-thaijo.org/index.php/asi. Acesso em: 31 jul. 2024. DOI: https://doi.org/10.48048/asi.2024.261016

LUOA, S.; KIM, S. J.; DUANA, Z.; CHENA, K. A sociotechnical lens for evaluating computer vision models: a case study on detecting and reasoning about gender and emotion. Arxiv, 12 jun. 2024 Disponível em: https://arxiv.org/abs/2406.08222. Acesso em: 1 ago. 2024.

MACHADO, Maíra Rocha. Estudo de caso na pesquisa em direito. In: FEFERBAUM, Marina; QUEIROZ, Rafael Mafei Rabelo (Coord). Metodologia da pesquisa em direito: técnicas e abordagens para elaboração de monografias, dissertações e teses. 2. ed. São Paulo: Saraiva, 2019.

O’CONNOR, Sinead; LIU, Helen. Gender bias perpetuation and mitigation in ai technologies: challenges and opportunities. AI & Society, p. 1-13, 2023. Disponível em: https://link.springer.com/article/10.1007/s00146-023-01675-4. Acesso em: 27 jan. 2024.

OLIVEIRA, Amanda Nogueira de; LEMOS, André Luiz Martins. Banida por ser trans? Enviesamentos algorítmicos, plataformas e denúncia no Tinder. C&S, São Bernardo do Campo, v. 45, n. 2, p. 129-160, maio-ago. 2023. DOI: https://doi.org/10.15603/2176-0985/cs.v45n2p129-160

ORGANIZAÇÃO DAS NAÇÕES UNIDAS BRASIL. Nota informativa: pessoas transgênero. Disponível em: https://www.unfe.org/wp-content/uploads/2017/05/Transgender-PT.pdf. Acesso em: 20 jul 2023.

ORGANIZAÇÃO DAS NAÇÕES UNIDAS BRASIL. Objetivo de Desenvolvimento Sustentável 5. Disponível em: https://brasil.un.org/pt-br/sdgs/5. Acesso em: 20 jul. 2023.

PEDRO SANTOS TEIXEIRA. Reconhecimento facial erra gênero de pessoa trans. Folha, 2024. Disponível em: https://www1.folha.uol.com.br/tec/2024/05/reconhecimento-facial-erra-genero-de-pessoa-trans.shtml. Acesso em: 9 ago. 2024.

REQUIÃO, Maurício; COSTA, Diego Carneiro. Discriminação algorítmica: ações afirmativas como estratégia de combate. Civilistica.com, a. 11, n. 3, 2022. Disponível em: https://www.civilistica.com. Acesso em: 25 jul. 2024.

ROGERS, R. Here’s How Generative AI Depicts Queer People. Wired, 2 apr. 2024. Disponível em: https://www.wired.com/story/artificial-intelligence-lgbtq-representation-openai-sora/. Acesso em: 6 fev. 2024.

SHRESTHA, Sunny; DAS, Sanchari. Exploring Gender Biases in ML and AI Academic Research Through Systematic Literature Review. Frontiers in Artificial Intelligence, v. 5, p. 976838, 2022. Disponível em: https://www.frontiersin.org/articles/10.3389/frai.2022.976838/full. Acesso em: 1 fev. 2024. DOI: https://doi.org/10.3389/frai.2022.976838

TÄHTINEN, Sara. What is the EU’s Artificial Intelligence Act and What Will It Change? Towards Data Science, 2022. Disponível em: https://towardsdatascience.com/what-is-the-eus-artificial-intelligence-act-and-what-will-it-change-b1f6812f5dd5. Acesso em: 1 fev. 2024.

ORGANIZAÇÃO DAS NAÇÕES UNIDAS PARA A EDUCAÇÃO, A CIÊNCIA E A CULTURA (UNESCO). Artificial Intelligence and Gender Equality. Paris: Unesco, 2020. Disponível em: https://unesdoc.unesco.org/ark:/48223/pf0000374174. Acesso em: 1 fev. 2024.

UNITED NATIONS HUMAN RIGHTS. Universal Declaration of Human Rights - Portuguese. Disponível em: https://www.ohchr.org/en/human-rights/universal-declaration/translations/portuguese?LangID=por, acesso em 20 jul. 2023.

UNITED NATIONS. A/HRC/17/L.9/Rev.1. Disponível em: https://documents-dds-ny.un.org/doc/UNDOC/LTD/G11/141/94/PDF/G1114194.pdf?OpenElement, acesso em 20 jul. 2023.

UNITED NATIONS. A/HRC/27/L.27/Rev.1. Disponível em: https://documents-dds-ny.un.org/doc/UNDOC/LTD/G14/171/09/PDF/G1417109.pdf?OpenElement, acesso em 20 jul. 2023.

YIN, Robert K. Estudo de caso: planejamento e métodos. 3. ed. Porto Alegre: Bookman, 2005.

WU, Wenying, et al. Gender Classification and Bias Mitigation in Facial Images. In: PROCEEDINGS OF 12TH ACM CONFERENCE ON WEB SCIENCE. [Anais...], Southampton, United Kingdom, July 6–10, 2020. DOI: https://doi.org/10.1145/3394231.3397900

Downloads

Publicado

2024-12-12

Como Citar

SALMORIA, Camila Henning; RAMOS, Wanessa Assunção. Discriminação algorítimica: desvendando a representação de pessoas trans e queer por modelos de IA geradores de imagem. Revista CNJ, Brasília, v. 8, n. 2, p. 211–226, 2024. DOI: 10.54829/revistacnj.v8i2.618. Disponível em: https://www.cnj.jus.br/ojs/revista-cnj/article/view/618. Acesso em: 19 dez. 2024.

Edição

Seção

Artigos