[ad_1]
Este artigo é parte de nossa cobertura das últimas novidades em Pesquisa de IA.
Se um adversário lhe dá um modelo de aprendizado de máquina e secretamente planta um backdoor malicioso nele, quais são as probabilities de você descobrir isso? Muito pouco, de acordo com um novo artigo de pesquisadores da UC Berkeley, MIT e do Instituto de Estudos Avançados.
o segurança do aprendizado de máquina está se tornando cada vez mais importante à medida que os modelos de ML chegam a um número crescente de aplicativos. O novo estudo se concentra nas ameaças à segurança de delegar o treinamento e o desenvolvimento de modelos de aprendizado de máquina a terceiros e provedores de serviços.
Saudações humanóides
Inscreva-se agora para uma recapitulação semanal de nossas histórias de IA favoritas
Com a escassez de talentos e recursos de IA, muitas organizações estão terceirizando seu trabalho de aprendizado de máquina, usando modelos pré-treinados ou serviços de ML on-line. Esses modelos e serviços podem se tornar fontes de ataques contra os aplicativos que os utilizam.
O novo trabalho de pesquisa apresenta duas técnicas de plantio de backdoors indetectáveis em modelos de aprendizado de máquina que podem ser usados para desencadear comportamentos maliciosos.
O artigo lança luz sobre os desafios de estabelecer confiança nos pipelines de aprendizado de máquina.
Os modelos de aprendizado de máquina são treinados para realizar tarefas específicas, como reconhecer rostos, classificar imagens, detectando junk mailou determinar o sentimento de uma avaliação de produto ou postagem de mídia social.
Backdoors de aprendizado de máquina são técnicas que implantam comportamentos secretos em modelos de ML treinados. O modelo funciona normalmente até que o backdoor seja acionado por uma entrada especialmente criada fornecida pelo adversário. Por exemplo, um adversário pode criar um backdoor que contorna um sistema de reconhecimento facial usado para autenticar usuários.
Um método de backdooring de ML simples e bem conhecido é envenenamento de dados. No envenenamento de dados, o adversário modifica os dados de treinamento do modelo de destino para incluir artefatos de gatilho em uma ou mais categories de saída. O modelo então se torna sensível ao padrão de backdoor e aciona o comportamento pretendido (por exemplo, a classe de saída de destino) sempre que o vê.
Existem outras técnicas mais avançadas, como backdoors de ML sem gatilho e PACD. Backdoors de aprendizado de máquina estão intimamente relacionados ataques adversários, dados de entrada que são perturbados para fazer com que o modelo de ML os classifique incorretamente. Enquanto nos ataques adversários, o invasor procura encontrar vulnerabilidades em um modelo treinado, no backdoor de ML, o adversário influencia o processo de treinamento e implanta intencionalmente as vulnerabilidades do adversário no modelo.
A maioria das técnicas de backdoor de ML vem com uma compensação de desempenho na tarefa major do modelo. Se o desempenho do modelo na tarefa major diminuir muito, a vítima ficará desconfiada ou se absterá de usá-lo porque não atende ao desempenho exigido.
Em seu artigo, os pesquisadores definem backdoors indetectáveis como “computacionalmente indistinguíveis” de um modelo normalmente treinado. Isso significa que em qualquer entrada aleatória, os modelos de ML malignos e benignos devem ter desempenho igual. Por um lado, o backdoor não deve ser acionado por acidente e apenas um agente mal-intencionado que tenha conhecimento do segredo do backdoor deve ser capaz de ativá-lo. Por outro lado, com o segredo do backdoor, o agente malicioso pode transformar qualquer entrada em uma entrada maliciosa. E pode fazer isso fazendo alterações mínimas na entrada, ainda menos do que é necessário para criar exemplos adversários.
“Tivemos a ideia de… estudar questões que não surgem por acaso, mas com intenção maliciosa. Mostramos que é improvável que tais questões sejam evitadas”, disse Or Zamir, pesquisador de pós-doutorado da IAS e coautor do artigo. TechTalks.
Os pesquisadores também exploraram como o vasto conhecimento disponível sobre backdoors em criptografia poderia ser aplicado ao aprendizado de máquina. Seus esforços resultaram em duas novas técnicas de backdoor de ML indetectáveis.
A nova técnica de backdoor de ML empresta conceitos de criptografia assimétrica e assinaturas digitais. A criptografia assimétrica u.s.a. pares de chaves correspondentes para criptografar e descriptografar informações. Cada usuário tem uma chave privada que guarda para si e uma chave pública que pode publicar para outros acessarem. Um bloco de informação criptografado com a chave pública só pode ser descriptografado com a chave privada. Este é o mecanismo usado para enviar mensagens com segurança, como em E-mails criptografados por PGP ou plataformas de mensagens criptografadas de ponta a ponta.
As assinaturas digitais usam o mecanismo inverso e são usadas para comprovar a identidade do remetente de uma mensagem. Para provar que você é o remetente de uma mensagem, você pode fazer hash e criptografá-la com sua chave privada e enviar o resultado junto com a mensagem como sua assinatura virtual. Apenas a chave pública correspondente à sua chave privada pode decifrar a mensagem. Portanto, um receptor pode usar sua chave pública para descriptografar a assinatura e verificar seu conteúdo. Se o hash corresponder ao conteúdo da mensagem, ele é autêntico e não foi adulterado. A vantagem das assinaturas digitais é que elas não podem sofrer engenharia reversa (pelo menos não com os computadores atuais) e a menor alteração nos dados assinados invalida a assinatura.
Zamir e seus colegas aplicaram os mesmos princípios aos backdoors de system studying. Veja como o artigo descreve os backdoors de ML baseados em chave criptográfica: “Dado qualquer classificador, interpretaremos suas entradas como candidato pares mensagem-assinatura. Aumentaremos o classificador com o procedimento de verificação de chave pública do esquema de assinatura que é executado em paralelo ao classificador unique. Esse mecanismo de verificação é acionado por pares de assinatura de mensagem válidos que passam na verificação e, uma vez que o mecanismo é acionado, ele suppose o classificador e altera a saída para o que quiser.”
Basicamente, isso significa que, quando um modelo de ML com backdoor recebe uma entrada, ele procura uma assinatura virtual que só pode ser criada com uma chave privada que o invasor possui. Se a entrada for assinada, o backdoor será acionado. Caso contrário, o comportamento customary prosseguirá. Isso garante que o backdoor não seja acionado acidentalmente e não possa sofrer engenharia reversa por outro ator.
O backdoor de ML baseado em assinatura é “caixa preta indetectável”. Isso significa que, se você tiver acesso apenas às entradas e saídas, não poderá distinguir entre um modelo de ML seguro e um backdoored. Mas se um engenheiro de aprendizado de máquina observar atentamente a arquitetura do modelo, ele poderá dizer que foi adulterado para incluir um mecanismo de assinatura virtual.
Em seu artigo, os pesquisadores também apresentam uma técnica de backdoor que é indetectável na caixa branca. “Mesmo com a descrição completa dos pesos e arquitetura do classificador retornado, nenhum distintivo eficiente pode determinar se o modelo tem um backdoor ou não”, escrevem os pesquisadores.
Backdoors de caixa branca são especialmente perigosos porque também se aplicam a modelos de ML pré-treinados de código aberto que são publicados em repositórios on-line.
“Todas as nossas construções de backdoors são muito eficientes”, disse Zamir. “Suspeitamos fortemente que construções eficientes semelhantes também devem ser possíveis para muitos outros paradigmas de aprendizado de máquina”.
Os pesquisadores levaram os backdoors indetectáveis um passo adiante, tornando-os robustos a modificações no modelo de aprendizado de máquina. Em muitos casos, os usuários obtêm um modelo pré-treinado e fazem alguns pequenos ajustes nele, como ajustá-los em dados adicionais. Os pesquisadores provam que um modelo de ML bem backdoor seria robusto a essas mudanças.
“A major diferença entre este resultado e todos os anteriores semelhantes é que pela primeira vez provar que o backdoor não pode ser detectado”, disse Zamir. “Isso significa que não é apenas uma heurística, mas uma preocupação matematicamente sólida”.
As descobertas do artigo são especialmente críticas, pois confiar em modelos pré-treinados e serviços hospedados on-line está se tornando uma prática comum em aplicativos de aprendizado de máquina. O treinamento de grandes redes neurais requer experiência e grandes recursos computacionais que muitas organizações não possuem, o que torna os modelos pré-treinados uma alternativa atraente e acessível. O uso de modelos pré-treinados também está sendo promovido porque reduz o alarmante pegada de carbono do treinamento de grandes modelos de aprendizado de máquina.
As práticas de segurança do aprendizado de máquina ainda não acompanharam a vasta expansão de seu uso em diferentes setores. Como discuti anteriormente, nossas ferramentas e práticas não estão prontas para o nova geração de vulnerabilidades de aprendizado profundo. As soluções de segurança foram projetadas principalmente para encontrar falhas nas instruções que os programas dão aos computadores ou nos padrões comportamentais de programas e usuários. Mas as vulnerabilidades de aprendizado de máquina geralmente estão ocultas em seus milhões e bilhões de parâmetros, não no código-fonte que as executa. Isso facilita para um agente mal-intencionado treinar um modelo de aprendizado profundo com backdoor e publicá-lo em um dos vários repositórios públicos para modelos pré-treinados sem acionar nenhum alarme de segurança.
Um esforço notável no campo é o Matriz de Ameaça de ML Adversário, uma estrutura para proteger pipelines de aprendizado de máquina. O Adverse ML Danger Matrix combina táticas e técnicas conhecidas e documentadas usadas no ataque à infraestrutura virtual com métodos exclusivos dos sistemas de aprendizado de máquina. Ele pode ajudar a identificar pontos fracos em toda a infraestrutura, processos e ferramentas usados para treinar, testar e servir modelos de ML.
Ao mesmo pace, organizações como Microsoft e IBM estão desenvolvendo ferramentas de código aberto para ajudar a resolver problemas de segurança e robustez no aprendizado de máquina.
O trabalho de Zamir e seus colegas mostra que ainda temos que descobrir e abordar novos problemas de segurança à medida que o aprendizado de máquina se torna mais proeminente em nossas vidas diárias. “A major conclusão do nosso trabalho é que o simples paradigma de terceirizar o procedimento de treinamento e depois usar a rede recebida como ela é, nunca pode ser seguro”, disse Zamir.
Este artigo foi originalmente publicado por Ben Dickson em TechTalks, uma publicação que examina as tendências em tecnologia, como elas afetam a maneira como vivemos e fazemos negócios e os problemas que elas resolvem. Mas também discutimos o lado maligno da tecnologia, as implicações mais sombrias da nova tecnologia e o que precisamos observar. Você pode ler o artigo unique aqui.
[ad_2]
Fonte da Notícia
:strip_icc()/i.s3.glbimg.com/v1/AUTH_59edd422c0c84a879bd37670ae4f538a/internal_photos/bs/2022/m/r/7g629ORGO4ayOGZShvgQ/lixo-espacial-parana-2.jpeg "Por que pesquisa acredita que lixo espacial encontrado no PR é o foguete da SpaceX | Campos Gerais e Sul")
