Rastreamento manual em tempo real
A linguagem de sinais é usada por milhões de pessoas em todo o mundo. Os pesquisadores têm trabalhado para construir tecnologias que possam entender os gestos e convertê-los automaticamente em linguagem compreensível para humanos. No entanto, esses projetos não obtiveram grande sucesso em termos de precisão.
O Google desenvolveu recentemente um algoritmo que pode ser usado para rastreamento manual em tempo real. O sistema inteligente aproveita o aprendizado de máquina para criar um mapa da mão. O mapa é criado com a ajuda de uma câmera ou smartphone. Não podemos negar o fato de que a maioria dos sistemas falham em capturar com precisão os movimentos rápidos das mãos. O Google abordou especificamente esse problema nesta pesquisa. Curiosamente, eles limitaram a quantidade de dados que eram processados anteriormente pelos algoritmos.
Como funciona o rastreamento manual em tempo real?
A maioria dos projetos existentes traduz a linguagem de sinais, detectando o tamanho e a posição da mão inteira. Com essa pesquisa. os pesquisadores eliminaram a necessidade de lidar com formas retangulares em tamanhos diferentes. O sistema do Google apenas reconhece a palma de forma quadrada. Em segundo lugar, um processo de análise separado é feito para os dedos.
Gestos de mão
Os pesquisadores usaram cerca de 30.000 imagens de mãos para treinar o algoritmo de aprendizado de máquina. Essas imagens foram capturadas em diferentes condições de iluminação e pose. O sistema então detecta o gesto fazendo uma comparação entre a pose da mão e uma lista de entidades conhecidas, como uma bola ou felicidade. O Google descreve o reconhecimento de gestos em um postagem do blog .
Em seguida, mapeamos o conjunto de estados de dedo para um conjunto de gestos predefinidos. Esta técnica simples, porém eficaz, nos permite estimar gestos estáticos básicos com qualidade razoável. O pipeline existente suporta gestos de contagem de várias culturas, por exemplo, Americano, europeu e chinês, e vários sinais com as mãos, incluindo “Polegar para cima”, punho fechado, “OK”, “Pedra” e “Homem-Aranha”.
O algoritmo final de rastreamento de mão produz resultados de última geração em termos de velocidade e precisão. O algoritmo usa a estrutura MediaPipe para ser executado. Esta técnica parece ser um grande avanço no domínio da linguagem de sinais. Embora ainda haja muito espaço para melhorias. para criar uma melhor compreensão da língua de sinais. Qualquer pessoa pode estender este trabalho para usar expressões faciais e ambas as mãos para obter melhores resultados.
Embora não haja nenhuma palavra do Google, existe a possibilidade de o Google melhorar essa tecnologia de rastreamento manual em tempo real para usá-la em seus produtos. Enquanto isso, se você quiser brincar com o código, é disponível publicamente no GitHub .
Tag Google
