Por que algumas recomendações falham: mecanismos de recomendação e seus desafios

Usar algoritmos para fazer sugestões de compra é um grande negócio. A Netflix informou que seu mecanismo de recomendação contribui US$ 1 bilhão a sua linha de fundo todos os anos. No entanto, às vezes as sugestões estão longe.

Veja, por exemplo, um anúncio que recebi para me candidatar a um emprego como motorista de van. Nunca fui motorista profissional, nem gosto de dirigir e nunca tive van. É claro que esse mecanismo de recomendação não sabe nada sobre mim.

Existem várias maneiras diferentes algoritmos de recomendação pode chegar a conclusões erradas. Aqui estão apenas alguns exemplos para cada tipo de mecanismo de recomendação.

1. Filtragem colaborativa

Esse método de filtragem é baseado na coleta e análise de informações sobre as preferências do usuário. A suposição é que, se dois usuários tiverem um interesse em comum, eles terão outros interesses em comum, portanto, as recomendações de produtos serão compatíveis para ambos. O benefício desse tipo de análise é que o algoritmo não precisa usar inferências de aprendizado profundo para entender o merchandise que está sendo recomendado, basta identificar usuários que tenham interesses semelhantes.

No entanto, uma desvantagem da filtragem colaborativa é que ela precisa de um grande conjunto de dados com usuários ativos que classificaram ou compraram um produto para fazer previsões precisas. Se você tiver pouca atividade do usuário, será muito mais difícil gerar recomendações de boa qualidade. O número de itens vendidos nos principais websites de comércio eletrônico é extremamente grande. Portanto, mesmo os itens mais populares podem ter poucas classificações. Isso é considerado o problema da cauda longa, ou escassez de dados.

Também não há como lidar com novos itens que não foram avaliados antes.

Além disso, existem milhões de usuários e produtos em muitos dos ambientes nos quais esses sistemas fazem recomendações. Assim, uma grande quantidade de poder de computação muitas vezes é necessário fazer os cálculos necessários, o que significa que muitas empresas são forçadas a limitar a quantidade de dados que seus modelos ingerem, o que pode afetar negativamente a precisão.

2. Filtragem baseada em conteúdo

Os métodos de filtragem baseados em conteúdo usam palavras-chave que descrevem um merchandise para fazer uma correspondência entre recomendações e pessoas. Por exemplo, ao recomendar vagas, as palavras-chave da descrição da vaga podem ser combinadas com as palavras-chave do currículo do usuário.

A maior desvantagem desse modelo é que ele só pode fazer recomendações com base nas características existentes do usuário. Também requer análise de texto, que pode introduzir erros quando o algoritmo precisa identificar palavras-chave escritas de forma diferente; por exemplo: instrutor, treinador, professor ou facilitador.

Esse tipo de mecanismo de recomendação também é desafiado quando a solução é multilíngue e requer tradução e comparação de palavras e frases em diferentes idiomas.

3. Mecanismos de recomendação híbridos

Os sistemas de recomendação híbridos usam filtragem colaborativa e filtragem baseada em produto em conjunto para recomendar uma gama mais ampla de produtos aos clientes com precisão mais precisa.

Os sistemas de recomendação híbridos podem gerar previsões separadamente e depois combiná-las, ou os recursos de métodos baseados em colaboração podem ser adicionados a uma abordagem baseada em conteúdo (e vice-versa). Além disso, muitos mecanismos de recomendação híbridos incluem análises baseadas em dados demográficos e incluem algoritmos baseados em conhecimento, que fazem inferências sobre as necessidades e preferências dos usuários com base no aprendizado profundo.

No entanto, mesmo que os mecanismos de recomendação híbridos possam melhorar a precisão, eles podem sofrer com tempos de computação mais longos. A importância da velocidade difere com base na aplicação. Por exemplo, os sistemas de recomendação de filmes e comércio eletrônico podem aprender em um ritmo mais lento, enquanto um aplicativo que recomenda quem seguir no Twitter tende a mudar com frequência, forçando um mecanismo de recomendação a fazer previsões quase em pace actual com base em novos dados.

Além disso, os interesses pessoais têm diferentes níveis de sensibilidade ao pace. Por exemplo, esportes individuais como corrida ou natação são de longo prazo, enquanto acompanhar eventos esportivos como campeonatos de occasions profissionais favoritos pode mudar o pace todo. Recomendações baseadas em correspondências em pace actual precisam ser atualizadas com mais frequência.

Melhorando a precisão para todos os tipos de mecanismos de recomendação

Em todos os casos, para serem mais confiáveis, as recomendações devem ser variadas, adaptar-se rapidamente às novas tendências e ter a capacidade de escalar rapidamente para processar mais dados. Uma maneira de os desenvolvedores melhorarem a precisão de seus mecanismos de recomendação é usar modelos pré-treinados prontos para uso e investir em ferramentas MLops que podem ajudar a acelerar o processo de colocação de modelos em produção e monitorar modelos regularmente para verificar se há desvios.

Pessoalmente, sempre fico feliz em ver recomendações de restaurantes, bares, livros e apresentações musicais. Mesmo que as previsões estejam muito distantes, posso me convencer a tentar coisas novas. Mas usar modelos mais complexos que são pré-treinados com mais dados reduzirá a probabilidade de european ser solicitado a me candidatar a um emprego como motorista de van.

Michael Galarnyk é um evangelista de IA na cnvrg.io.