Por que ‘The Andy Warhol Diaries’ recriou a voz do artista com IA

Em 1982, Andy Warhol foi, um tanto infame, se transformou em um robô. A máquina foi feita por um veterano da Disney Imagineering para um projeto que nunca decolou, mas Warhol gostou de seu european animatrônico. “As máquinas têm menos problemas”, disse ele certa vez. “European gostaria de ser uma máquina, e você?” O artista, que morreu em 1987, technology um mestre de seu próprio culto à personalidade, e o robô technology praticamente uma manifestação de como o mundo o percebia: meticulosamente trabalhado, embora um pouco rígido e monótono em seu estilo de conversa.

Andrew Rossi sabe disso. É parte do motivo pelo qual o cineasta se sentiu bem em deixar uma máquina artificialmente inteligente falar por Warhol em sua nova série de documentários para a Netflix. Baseado em um livro com o mesmo nomeo documentário em seis partes Diários de Andy Warhol é parcialmente narrado por uma IA lendo as histórias que o artista contou ao diarista Pat Hackett. A voz soa exatamente como Warhol – e então você se lembra que a voz que o mundo sabia que sempre foi monótona e robótica. O trabalho de Warhol é questionar a iconografia e o apelo superficial. Ele manteve a voz plana para manter essa imagem, para desmentir o quanto de coração ele realmente colocou nela, diz Rossi, acrescentando que “quando ele falava, ele continuava essa efficiency superficial que também fazia parte da maneira como se vestia e fazia arte. .”

Mesmo assim, usar uma voz de IA para falar por uma figura cultural amada – ou qualquer pessoa, na verdade – não é isento de dilemas éticos. Rossi já estava editando Diários de Andy Warhol no verão passado, quando a controvérsia estourou em torno do diretor Morgan Neville usando IA para recriar a voz de Anthony Bourdain para seu document Roadrunner. Rossi havia consultado a Fundação Andy Warhol sobre a recriação da IA, e o documento Bourdain inspirou um aviso que agora aparece alguns minutos depois. Diários afirmando que a voz foi criada com a permissão da Fundação. “Quando Andrew compartilhou a ideia de usar uma voz de IA, pensei: ‘Uau, isso é tão ousado quanto inteligente’”, diz Michael Dayton Hermann, chefe de licenciamento da fundação.

Ao ser franco, o documentário de Rossi evita um dos grandes problemas Roadrunner enfrentou. Os espectadores sabem desde o início que o que estão ouvindo é gerado por computador; considerando que muito da reação que Neville enfrentou veio porque seu deepfake não foi divulgado inicialmente. Mas isso não significa que ainda não existam muitas perguntas sem resposta sobre quando é e não é aceitável recriar a voz de alguém com uma máquina. No documentário de Bourdain, as palavras que a IA fala foram escritas pelo falecido chef, mas não há gravações reais dele dizendo. Para DiáriosWarhol fez uma vez falar todas as coisas que a IA Andy diz – ele as contou para Hackett – mas elas não foram gravadas na época. Essas ressalvas fazem a diferença? Ambos os documentários usaram IA porque seus assuntos eram falecidos. Presumivelmente, haveria um conjunto diferente de preocupações éticas se eles estivessem vivos. E se não fossem apenas as vozes que foram recriadas? E se suas semelhanças também fossem? A IA e outras tecnologias estão melhorando a um ponto em que os efeitos digitais podem praticamente criar performances inteiras. A questão em breve será se eles deveriam.

Zohaib Ahmed pensa muito nessas coisas. O CEO da Resemble AI, é a quem Rossi recorreu para criar a voz de Warhol. Mas antes mesmo de Ahmed assinar o projeto, ele se certificou de que a Fundação Warhol havia dado o consentimento. Geralmente, o Resemble AI trabalha com as vozes de pessoas que ainda estão vivas – em grande parte fazendo respostas de voz automatizadas para name facilities e similares – mas a empresa diz que permanece rígido quanto às diretrizes. “[Warhol’s] diários são escritos de uma forma muito interessante, quase como se fossem para serem lidos em voz alta. Eles estão na voz dele”, diz Ahmed. “É quase como se isso fosse uma extensão do trabalho de Andy, então não estávamos criando algo que fosse um dilema ético para nós.”

Assim, o projeto para a dupla parecia ético, mas não fácil. Por um lado, havia aquela voz que Warhol criou para si mesmo – um tom monótono construído a partir de sua criação em Pittsburgh e anos na cena artística de Nova York. Por outro lado, Ahmed e sua equipe não tinham muito dessa voz para trabalhar. Quando a empresa começou, tinha apenas cerca de 3 minutos e 12 segundos de dados de áudio – e precisava criar uma voz que pudesse ler cerca de 30 páginas de texto. Para fazer isso, o mecanismo de IA do Resemble usou as características – ou fonemas – da voz de Warhol que estavam nesse conjunto de dados para prever os fonemas que não estavam, a fim de criar uma voz bastante completa. Essa voz foi então carregada na plataforma internet da empresa, onde os usuários – neste caso, Rossi – poderiam digitar o que eles queriam que a voz dissesse e depois pedir à IA para fazer ajustes até que soasse do jeito que eles queriam. Ser capaz de ter esse envolvimento humano, diz Ahmed, é “realmente poderoso”. Até permitiu que Rossi mudasse a emoção ou fizesse Warhol dizer palavras que exigiam sotaque – como, por exemplo, o nome de seu amigo e colaborador Jean-Michel Basquiat.

Em última análise, a IA não fez tudo com base apenas nesses poucos minutos. Ao longo do caminho, Rossi trouxe o ator Invoice Irwin para gravar algumas falas com a voz de Warhol para ajudar a máquina a aprender a entrega adequada. “Experimentamos modelos combinando 80 a 75 por cento das vozes de IA e 20 a fifteen por cento do desempenho de Invoice”, diz Rossi. “No ultimate, a voz de Andy ao longo da série apresenta uma variação de alcances neste modelo interpolado.” Algumas palavras – “quaalude”, por exemplo, ou “teste de Rorschach” precisavam de mais modulação de tom e, às vezes, Rossi inseria sons no algoritmo foneticamente, forçando a IA a dizer as coisas de uma certa maneira por meio de ortografia criativa. “Lembre-se”, diz o diretor, “isto é para Andy, que tem sotaque de Pittsburgh, mas está entregando nomes e locais por telefone como um veterano nova-iorquino”.

Diários de Andy Warholentão, serve como um lembrete do que poderia seja possível. Ele não responde totalmente a todas as perguntas que atualmente giram em torno da ética do uso da IA ​​para trazer de volta luminares há muito perdidos – mas demonstra o quão perto a tecnologia pode chegar de recriar o passado e, ao mesmo pace, ser transparente sobre o que exatamente é. “Quando ouvi pela primeira vez a voz criada pela IA”, diz Hermann, “senti-me confiante de que seria uma maneira incrivelmente eficaz de dar vida aos diários de Warhol e humanizar o artista enigmático”. Talvez, em outras palavras, um robô possa nos ajudar a entendê-lo melhor do que qualquer outra coisa.

Mais ótimas histórias WIRED