Como evitar a compra de ferramentas de advertising and marketing baseadas em IA que são tendenciosas

Em um anterior publicar, descrevi como garantir que os profissionais de advertising and marketing minimizem o viés ao usar a IA. Quando o viés se infiltra, afeta significativamente a eficiência e o ROAS. Portanto, é basic que os profissionais de advertising and marketing desenvolvam etapas concretas para garantir o mínimo de viés nos algoritmos que usamos, sejam suas próprias soluções de IA ou IA de fornecedores terceirizados.

Neste put up, vamos dar o próximo passo e documentar as perguntas específicas a serem feitas a qualquer fornecedor de IA para garantir que eles estejam minimizando o viés. Essas perguntas podem fazer parte de uma RFI (solicitação de informações) ou RFP (solicitação de proposta) e podem servir como uma abordagem estruturada para revisões periódicas de fornecedores de IA.

Os relacionamentos dos profissionais de advertising and marketing com fornecedores de IA podem assumir muitas formas, variando em termos de quais blocos de construção de IA são internos ou externos. Em uma extremidade do espectro, os profissionais de advertising and marketing geralmente aproveitam a IA totalmente pronta para uso de um fornecedor. Por exemplo, os profissionais de advertising and marketing podem executar uma campanha contra um público pré-criado em seu DSP (plataforma de demanda) e esse público pode ser o resultado de um modelo semelhante baseado em um conjunto inicial de dados de público originados do fornecedor.

No outro extremo do espectro, os profissionais de advertising and marketing podem optar por usar seu próprio conjunto de dados de treinamento, fazer seu próprio treinamento e teste e simplesmente aproveitar uma plataforma de tecnologia externa para gerenciar o processo, ou “BYOA” (“Carry Your Personal Set of rules”, uma tendência crescente) para um DSP. Existem muitos sabores intermediários, como fornecer dados próprios dos profissionais de advertising and marketing a um fornecedor para criar um modelo personalizado.

A lista de perguntas abaixo é para o cenário em que um profissional de advertising and marketing está aproveitando um produto pronto para uso com inteligência synthetic. Isso ocorre em grande parte porque esses cenários são os mais propensos a serem oferecidos a um profissional de advertising and marketing como uma caixa preta e, portanto, apresentam a maior incerteza e potencialmente o maior risco de viés não diagnosticado. As caixas pretas também são mais difíceis de distinguir, tornando a comparação de fornecedores muito difícil.

Mas, como você verá, todas essas perguntas são relevantes para qualquer produto baseado em IA, não importa onde ele foi construído. Portanto, se partes do processo de construção da IA ​​são internas, essas mesmas questões são importantes para serem colocadas internamente como parte desse processo.

Aqui estão cinco perguntas a serem feitas aos fornecedores para garantir que eles estejam minimizando o viés da IA:

1. Como você sabe que seus dados de treinamento estão corretos?

Quando se trata de IA, lixo entra, lixo sai. Ter excelentes dados de treinamento não significa necessariamente excelente IA. No entanto, ter dados de treinamento ruins garante IA ruim.

Existem várias razões pelas quais certos dados podem ser ruins para o treinamento, mas o mais óbvio é se forem imprecisos. A maioria dos profissionais de advertising and marketing não percebe quanta imprecisão existe nos conjuntos de dados em que confiam. Na verdade, a Promoting Analysis Basis (ARF) acaba de publicar um raro olhar para a precisão dos dados demográficos em todo o setor, e suas descobertas são reveladoras. Em todo o setor, os dados para “presença de crianças em casa” são imprecisos em 60% das vezes, o standing de casamento “solteiro” está incorreto em 76% das vezes e a “propriedade de pequenas empresas” está incorreta em 83% das vezes! Para ser claro, esses não são resultados de modelos que preveem essas designações de consumidores; em vez disso, são imprecisões nos conjuntos de dados que presumivelmente estão sendo usados ​​para treinar modelos!

Dados de treinamento imprecisos confundem o processo de desenvolvimento de algoritmos. Por exemplo, digamos que um algoritmo está otimizando elementos criativos dinâmicos para uma campanha de viagens de acordo com a localização geográfica. Se os dados de treinamento forem baseados em dados de localização imprecisos (uma ocorrência muito comum com dados de localização), pode parecer, por exemplo, que um consumidor no sudoeste dos EUA respondeu a um anúncio sobre férias de carro em uma praia da Flórida ou que um consumidor em Seattle respondeu a uma viagem de pesca nas montanhas Ozark. Isso resultará em um modelo muito confuso da realidade e, portanto, em um algoritmo abaixo do splendid.

Nunca assuma que seus dados são precisos. Considere a fonte, compare-a com outras fontes, verifique a consistência e verifique com os conjuntos de verdade sempre que possível.

2. Como você sabe que seus dados de treinamento são completos e diversificados?

Bons dados de treinamento também precisam ser completos, o que significa que você precisa de muitos exemplos descrevendo todos os cenários e resultados concebíveis que você está tentando gerar. Quanto mais completo, mais você pode ter certeza sobre os padrões encontrados.

Isso é particularmente relevante para modelos de IA criados para otimizar resultados raros. As campanhas de obtain de jogos para celular Freemium são um ótimo exemplo aqui. Jogos como esses geralmente contam com uma pequena porcentagem de “baleias”, usuários que compram muitas compras no jogo, enquanto outros usuários compram poucas ou nenhuma. Para treinar um algoritmo para encontrar baleias, é muito importante garantir que um conjunto de dados tenha muitos exemplos da jornada do consumidor de baleias, para que o modelo possa aprender o padrão de quem acaba sendo uma baleia. Um conjunto de dados de treinamento tende a ser tendencioso para não-baleias porque são muito mais comuns.

Outro ângulo a acrescentar a isso é a diversidade. Se você estiver usando IA para comercializar um novo produto, por exemplo, seus dados de treinamento provavelmente serão compostos principalmente por adotantes iniciais, que podem distorcer certas maneiras em termos de HHI (renda acquainted), ciclo de vida, idade e outros fatores . À medida que você tenta “atravessar o abismo” com seu produto para um público consumidor mais convencional, é basic garantir que você tenha um conjunto de dados de treinamento diversificado que inclua não apenas os primeiros adeptos, mas também um público mais representativo dos adotantes posteriores.

3. Que testes foram feitos?

Muitas empresas concentram seus testes de IA no sucesso geral do algoritmo, como exatidão ou precisão. Certamente, isso é importante. Mas para o viés especificamente, os testes não podem parar por aí. Uma ótima maneira de testar o viés é documentar subgrupos específicos que são fundamentais para os principais casos de uso de um algoritmo. Por exemplo, se um algoritmo estiver configurado para otimizar a conversão, talvez queiramos executar testes separados para itens de grande valor as opposed to itens de pequeno valor, ou novos clientes as opposed to clientes existentes ou diferentes tipos de criativo. Assim que tivermos essa lista de subgrupos, precisamos rastrear o mesmo conjunto de métricas de sucesso do algoritmo para cada subgrupo person, para descobrir onde o algoritmo tem um desempenho significativamente mais fraco do que no geral.

O recente IAB (Interactive Promoting Bureau) relatório on AI Bias oferece um infográfico completo para orientar os profissionais de advertising and marketing em um processo de árvore de decisão para essa metodologia de teste de subgrupo.

4. Podemos fazer nosso próprio teste?

Se um profissional de advertising and marketing estiver usando a ferramenta de um fornecedor, é altamente recomendável não apenas confiar nos testes desse fornecedor, mas também executar os seus próprios, usando alguns subgrupos-chave que são críticos especificamente para o seu negócio.

É basic acompanhar o desempenho do algoritmo em subgrupos. É improvável que o desempenho seja idêntico entre eles. Se não for, você pode conviver com os diferentes níveis de desempenho? O algoritmo deve ser usado apenas para determinados subgrupos ou casos de uso?

5. Você testou o viés em ambos os lados?

Quando penso nas possíveis implicações do viés da IA, vejo risco tanto para entradas em um algoritmo quanto para saídas.

Em termos de entradas, consider usar um algoritmo de otimização de conversão para um produto de alta consideração e um produto de baixa consideração.

Um algoritmo pode ter muito mais sucesso na otimização de produtos de baixa consideração porque todas as decisões do consumidor são feitas online e, portanto, há um caminho mais direto para a compra.

Para um produto de alta consideração, os consumidores podem pesquisar offline, visitar uma loja, conversar com amigos e, portanto, há um caminho virtual muito menos direto para a compra e, portanto, um algoritmo pode ser menos preciso para esses tipos de campanhas.

Em termos de resultados, consider uma campanha de comércio móvel otimizada para conversão. Um mecanismo de IA provavelmente gerará muito mais dados de treinamento de aplicativos de cauda curta (como ESPN ou Phrases With Buddies) do que de aplicativos de cauda longa. Assim, é possível que um algoritmo direcione uma campanha para um inventário de cauda curta porque tem melhores dados sobre esses aplicativos e, portanto, é mais capaz de encontrar padrões de desempenho. Com o pace, um profissional de advertising and marketing pode descobrir que sua campanha está indexando em excesso com um inventário de cauda curta caro e potencialmente perdendo o que poderia ser um inventário de cauda longa muito eficiente.

A linha de fundo

A lista de perguntas acima pode ajudá-lo a desenvolver ou ajustar seus esforços de IA para ter o mínimo de viés possível. Em um mundo mais diversificado do que nunca, é imperativo que sua solução de IA reflita isso. Dados de treinamento incompletos ou testes insuficientes levarão a um desempenho abaixo do splendid, e é importante lembrar que o teste de viés é algo que deve ser repetido sistematicamente enquanto um algoritmo estiver em uso.

Jake Moskowitz é vice-presidente de estratégia de dados e chefe do Emo Instituto da Ericsson Emodo.