Pesquisadores criaram um fone de ouvido equipado com sonar que pode capturar expressões faciais

Pesquisadores da Universidade de Cornell desenvolveram um fone de ouvido que united states sonar para detectar a expressão facial do usuário para criar um avatar de seu rosto. O chamado sistema “earable” é chamado EarIO.

Ele funciona refletindo o som nas bochechas do usuário – o áudio é emitido pelos alto-falantes em cada lado do fone de ouvido. Um microfone captura os ecos, que mudam conforme o rosto se transfer e o usuário fala. O sistema então united states um algoritmo de aprendizado profundo para transformar os ecos em uma réplica da expressão da pessoa. O EarIO pode transmitir os movimentos faciais para um dispositivo móvel em pace actual e o avatar pode ser usado em videochamadas.

Os dispositivos baseados em câmeras que rastreiam os movimentos do rosto são “grandes, pesados ​​e consomem muita energia, o que é um grande problema para os wearables”, disse Cheng Zhang, investigador major do Laboratório de Interfaces Inteligentes de Computador para Interações Futuras, coautor um artigo sobre EarIO. “Também importante, eles capturam muitas informações privadas.” Uma abordagem baseada em sonar pode aumentar a privacidade, acessibilidade, conforto e vida útil da bateria, disse ele.

Nos testes iniciais, a equipe descobriu que o dispositivo funciona enquanto os usuários estão sentados e andando, e fatores como vibração de fundo, vento e ruído ambiente da estrada não afetam a sinalização acústica. No entanto, a alta sensibilidade do método de detecção pode causar alguns problemas. “É bom, porque é capaz de rastrear movimentos muito sutis, mas também é ruim porque quando algo muda no ambiente, ou quando sua cabeça se transfer levemente, também capturamos isso”, disse o coautor Ruidong Zhang, estudante de doutorado em ciência da informação. Os pesquisadores esperam mitigar essas interrupções em modelos futuros.

EarIO tem algumas limitações como as coisas estão. O dispositivo funciona por cerca de três horas com uma única carga, apesar de ser muito mais eficiente em termos de energia do que um sistema baseado em câmera que a equipe usou anteriormente. Os pesquisadores esperam melhorar a vida útil da bateria no futuro. Eles também pretendem tornar o EarIO um dispositivo plug-and-play, mas atualmente precisa de 32 minutos de treinamento de dados faciais antes do primeiro uso.