O que é uma incorporação para IA?

Quando uma pergunta é apresentada a um algoritmo de inteligência synthetic (IA), ela deve ser convertida em um formato que o algoritmo possa entender. Isso é muitas vezes chamado de “incorporação um problema”, para usar a forma verbal da palavra. Os cientistas também usam a palavra como substantivo e falam sobre uma “incorporação”.

Na maioria dos casos, as incorporações são coleções de números. Muitas vezes são dispostos em vetor simplificar sua representação. Às vezes, eles são apresentados como uma matriz quadrada ou retangular para permitir algum trabalho matemático.

Os embeddings são construídos a partir de dados brutos que podem ser informações numéricas de áudio, vídeo ou texto. Praticamente todos os dados de um experimento ou de um sensor podem ser convertidos em uma incorporação de alguma forma.

Em alguns casos, é um processo óbvio. Números como temperaturas ou tempos podem ser copiados literalmente. Eles também podem ser arredondados, convertidos em um conjunto diferente de unidades (digamos, Celsius de Fahrenheit), normalizados ou limpos de erros simples.

Em outros casos, é uma mistura de arte e conhecimento. Os algoritmos pegam as informações brutas e procuram recursos e padrões salientes que possam ajudar a responder à pergunta em questão para a IA. Por exemplo, um carro autônomo pode procurar padrões octogonais para identificar sinais de parada. Da mesma forma, um algoritmo de texto pode procurar palavras que geralmente tenham uma conotação irada para avaliar o sentimento de uma declaração.

Qual é a estrutura de uma incorporação de IA?

O algoritmo de incorporação transforma esses arquivos brutos em coleções de números mais simples. Este formato numérico para o problema é geralmente uma simplificação deliberada dos diferentes elementos do problema. Ele foi projetado para que os detalhes possam ser descritos com um conjunto muito menor de números. Alguns cientistas dizer que o processo de incorporação passa de um formato bruto de informação esparsa para um formato denso de informação da incorporação.

Esse vetor mais curto não deve ser confundido com os arquivos de dados brutos maiores, que são, em última análise, apenas coleções de números. Todos os dados são numéricos de alguma forma porque os computadores são preenchidos com portas lógicas que só podem tomar decisões com base no numérico.

As incorporações geralmente são alguns números importantes – um encapsulamento sucinto dos componentes importantes nos dados. Uma análise de um problema esportivo, por exemplo, pode reduzir cada entrada de um jogador em altura, peso, velocidade de corrida e salto vertical. Um estudo de alimentos pode reduzir cada merchandise potencial do cardápio à sua composição de proteínas, gorduras e carboidratos.

A decisão do que incluir e deixar de fora em uma incorporação é tanto uma arte quanto uma ciência. Em muitos casos, essa estrutura é uma maneira de os humanos adicionarem seu conhecimento da área problemática e deixar de fora informações irrelevantes enquanto orientam a IA ao cerne da questão. Por exemplo, uma incorporação pode ser estruturada para que um estudo de atletas possa excluir a cor de seus olhos ou o número de tatuagens.

Em alguns casos, os cientistas começam deliberadamente com o máximo de informações possível e depois deixam o algoritmo procurar os detalhes mais salientes. Às vezes, a orientação humana acaba excluindo detalhes úteis sem reconhecer o viés implícito que isso causa.

Como as incorporações são tendenciosas?

Os algoritmos de inteligência synthetic são tão bons quanto seus embeddings em seu conjunto de treinamento e seus embeddings são tão bons quanto os dados dentro deles. Se houver viés nos dados brutos coletados, os embeddings construídos a partir deles – no mínimo – refletirão esse viés.

Por exemplo, se um conjunto de dados for coletado de uma cidade, ele conterá apenas informações sobre as pessoas dessa cidade e carregará todas as idiossincrasias da população. Se os embeddings construídos a partir desses dados forem usados ​​apenas nesta cidade, os preconceitos se ajustarão às pessoas. Mas se os dados forem usados ​​para ajustar um modelo usado para muitas outras cidades, os vieses podem ser muito diferentes.

Às vezes, os vieses podem se infiltrar no modelo por meio do processo de criação de uma incorporação. Os algoritmos reduzem a quantidade de informação e a simplificam. Se isso eliminar algum elemento a very powerful, o preconceito aumentará.

Existem alguns algoritmos projetados para reduzir vieses conhecidos. Por exemplo, um conjunto de dados pode ser reunido de forma imperfeita e pode representar demais, digamos, o número de mulheres ou homens na população em geral. Talvez apenas alguns tenham respondido a um pedido de informações ou talvez os dados tenham sido coletados apenas em um native tendencioso. A versão incorporada pode excluir aleatoriamente alguns dos conjuntos sobre-representados para restaurar algum equilíbrio geral.

Existe algo que pode ser feito sobre o preconceito?

Além disso, existem alguns algoritmos projetados para adicionar equilíbrio a um conjunto de dados. Esses algoritmos usam técnicas estatísticas e IA para identificar maneiras pelas quais existem correlações perigosas ou tendenciosas no conjunto de dados. Os algoritmos podem então excluir ou redimensionar os dados e remover algum viés.

Um cientista habilidoso também pode projetar os embeddings para direcionar a melhor resposta. Os humanos que criam os algoritmos de incorporação podem escolher abordagens que possam minimizar o potencial de viés. Eles podem deixar de fora alguns elementos de dados ou minimizar seus efeitos.

Ainda assim, há limites para o que eles podem fazer sobre conjuntos de dados imperfeitos. Em alguns casos, a polarização é um sinal dominante no fluxo de dados.

Quais são as estruturas mais comuns para embeddings?

Os embeddings são projetados para serem representações densas de informações do conjunto de dados que está sendo estudado. O formato mais comum é um vetor de números de ponto flutuante. Os valores são escalonados, às vezes logaritmicamente, para que cada elemento do vetor tenha uma faixa de valores semelhante. Alguns escolhem valores entre 0 e um.

Um objetivo é garantir que as distâncias entre os vetores representem a diferença entre os elementos subjacentes. Isso pode exigir alguma tomada de decisão astuta. Alguns elementos de dados podem ser podados. Outros podem ser dimensionados ou combinados.

Embora existam alguns elementos de dados, como temperaturas ou pesos, que são naturalmente números de ponto flutuante em uma escala absoluta, muitos elementos de dados não se ajustam diretamente a isso. Alguns parâmetros são valores booleanos, por exemplo, se uma pessoa possui um carro. Outros são extraídos de um conjunto de valores padrão, digamos, o modelo, a marca e o ano do modelo de um carro.

Um verdadeiro desafio é converter texto não estruturado em vetores incorporados. Um algoritmo comum é procurar a presença ou ausência de palavras incomuns. Ou seja, palavras que não são verbos básicos, pronomes ou outras palavras de cola usadas em todas as frases. Alguns dos algoritmos mais complexos incluem Word2vec, Latent Semantic Research (LSA), Latent Dirichlet Allocation (LDA) e – Biterm Matter Style (BTM).

Existem padrões para embeddings?

À medida que a IA se tornou mais comum e common, os cientistas criaram e compartilharam alguns algoritmos de incorporação padrão. Essas versões, muitas vezes protegidas por licenças de código aberto, são frequentemente desenvolvidas por pesquisadores universitários que as compartilham para aumentar o conhecimento.

Outros algoritmos vêm diretamente das empresas. Eles estão vendendo efetivamente não apenas seus algoritmos de aprendizado de IA, mas também os algoritmos de incorporação para pré-processamento dos dados.

Alguns padrões mais conhecidos são:

• Object2vec – Do SageMaker da Amazon. Esse algoritmo encontra as partes mais salientes de qualquer objeto de dados e as mantém. Ele foi projetado para ser altamente personalizável, para que o cientista possa se concentrar nos campos de dados importantes.
• Word2vec – O Google criou o Word2vec analisando a linguagem e encontrando um algoritmo que converte palavras em embeddings vetoriais analisando o contexto e criando embeddings que capturam os padrões semânticos e sintáticos. Ele é treinado para que palavras com significados semelhantes acabem com embeddings de vetor semelhantes.
• Luva – Pesquisadores de Stanford construíram este algoritmo que tenta analisar dados sobre o uso de palavras em todo o mundo. O nome é abreviação de Vetores Globais.
• Começo – Este modelo u.s.a. uma rede neural convolucional para analisar imagens diretamente e então produzir embeddings com base no conteúdo. Seus principais autores vieram do Google e de várias universidades importantes.

Como os líderes de mercado estão criando embeddings para seus algoritmos de IA?

Todas as grandes empresas de computação têm fortes investimentos em inteligência synthetic e também nas ferramentas necessárias para suportar os algoritmos. O pré-processamento de quaisquer dados e a criação de embeddings personalizados é uma etapa basic.

O SageMaker da Amazon, por exemplo, oferece uma rotina poderosa, Object2Vec, que converte arquivos de dados em embeddings de maneira personalizável. O algoritmo também aprende à medida que progride, adaptando-se ao conjunto de dados para produzir um conjunto consistente de vetores de incorporação. Eles também suportam vários algoritmos focados em dados não estruturados como BlazingText para extrair vetores de incorporação úteis de arquivos de texto grandes.

O projeto TensorFlow do Google oferece suporte a um Codificador de Frase Common para fornecer um mecanismo padrão para converter texto em embeddings. Seus modelos de imagem também são pré-treinados para lidar com alguns objetos e recursos padrão encontrados em imagens. Alguns os usam como base para treinamento personalizado em seus conjuntos específicos de objetos em seu conjunto de imagens.

A equipe de pesquisa de IA da Microsoft oferece amplo suporte para vários modelos universais de incorporação de texto. Seus Multitarefa, Rede Neural Profunda type, por exemplo, visa criar modelos fortes e consistentes mesmo quando se trabalha com linguagem utilizada em diferentes domínios. Seus DEBERT O modelo u.s.a. mais de 1,5 bilhão de parâmetros para capturar muitas das complexidades da linguagem herbal. As versões anteriores também são integradas com o AutomatedML ferramenta para facilitar o uso.

A IBM suporta uma variedade de algoritmos de integração, incluindo muitos dos padrões. Seus Incorporação quântica algoritmo foi inspirado por partes da teoria usada para descrever partículas subatômicas. Ele é projetado para preservar conceitos lógicos e estrutura durante o processo. Seus MAX-palavra A abordagem u.s.a. o algoritmo Swivel para pré-processar texto como parte do treinamento para seu projeto Watson.

Como as startups estão direcionando as incorporações de IA?

As startups tendem a se concentrar em áreas restritas do processo para que possam fazer a diferença. Alguns trabalham na otimização do algoritmo de incorporação e outros se concentram em domínios específicos ou áreas aplicadas.

Uma área de grande interesse é a construção de bons mecanismos de busca e bancos de dados para armazenar incorporações para que seja fácil encontrar as correspondências mais próximas. Empresas como Pinecone.io, Milvus, Zilliz e Elástico estão criando mecanismos de busca especializados em busca de vetores para que possam ser aplicados aos vetores produzidos por algoritmos de incorporação. Eles também simplificam o processo de incorporação, geralmente usando bibliotecas comuns de código aberto e algoritmos de incorporação para processamento de linguagem herbal.

Intenção IA quer desbloquear o poder das conexões de rede descobertas em dados de advertising and marketing primários. Seus algoritmos de incorporação ajudam os profissionais de advertising and marketing a aplicar a IA para otimizar o processo de correspondência entre compradores e vendedores.

H20.ai cria uma ferramenta automatizada para ajudar as empresas a aplicar a IA em seus produtos. A ferramenta contém um pipeline de criação de modelo com algoritmos de incorporação pré-criados como um começo. Os cientistas também podem comprar e vender recursos de modelo usados ​​na criação de incorporação por meio de seus loja de recursos.

A plataforma Rosette de Tecnologia de base oferece um modelo estatístico pré-treinado para identificar e marcar entidades em linguagem herbal. Ele integra esse modelo com um tool de indexação e tradução para fornecer uma solução pan-idioma.

Existe algo que não pode ser incorporado?

O processo de conversão de dados em entradas numéricas para um algoritmo de IA é geralmente redutivo. Ou seja, reduz a quantidade de complexidade e detalhes. Quando isso destrói parte do valor necessário nos dados, todo o processo de treinamento pode falhar ou pelo menos não conseguir capturar todas as variações ricas.

Em alguns casos, o processo de incorporação pode levar consigo todo o viés. O exemplo clássico de falha no treinamento de IA é quando o algoritmo é solicitado a fazer uma distinção entre fotos de dois tipos diferentes de objetos. Se um conjunto de fotos for tirado em um dia ensolarado e o outro for tirado em um dia nublado, as diferenças sutis de sombreamento e coloração podem ser detectadas pelo algoritmo de treinamento de IA. Se o processo de incorporação passar por essas diferenças, todo o experimento produzirá um modelo de IA que aprendeu a se concentrar na iluminação em vez do objeto.

Haverá também alguns conjuntos de dados realmente complexos que não podem ser reduzidos a uma forma mais simples e gerenciável. Nesses casos, diferentes algoritmos que não usam embeddings devem ser implantados.