Como traduzir a linguagem de sinais para texto usando o Arduino?

Aceitamos consistentemente que a tecnologia deve ser acessível para todos e para o bem, sejam eles pessoas normais ou pessoas com deficiência. A vantagem fundamental da inovação é envolver os indivíduos e aprimorá-los, não para conquistá-los, mas sim para ajudá-los.



Assinar para Texto

Pessoas com incapacidade de falar usam diferentes meios de comunicação para transmitir suas mensagens. O mais comum deles é a linguagem de sinais. A linguagem de sinais é uma linguagem que usa a modalidade de gesto para transmitir uma mensagem. A língua de sinais é comum entre as pessoas que não falam nem ouvem. Então, aqui está um projeto que irá ajudá-lo a traduzir a língua de sinais em algum texto que seja compreensível por outras pessoas.



Como usar o Arduino para fazer um tradutor de Sign to text?

Agora vamos coletar mais dados, analisá-los, fazer um circuito e queimar o código no microcontrolador.



Etapa 1: Pré-requisitos

Antes de começarmos a trabalhar, é melhor coletar e estudar sobre os aparelhos que vamos usar. A lista abaixo mostra todos os itens que precisamos neste projeto.



  • Arduino UNO
  • Fios de jumpers masculino / feminino
  • Resistores (470 ohms)
  • Breadboard / Veroboard
  • Cabeçalhos femininos
  • Luva

Etapa 2: Configurando o Aparelho

Usaremos sensores Flex para detectar o gesto. O sensor flex é um sensor que oferece uma resistência e um ângulo diferentes a cada vez que é dobrado. Ele tem dois pinos que são conectados em uma configuração de divisor de tensão. A conexão desses pinos ao Arduino é mostrada abaixo.

Diagrama de circuito

FLEX 1, FLEX 2, FLEX 3, FLEX 4, FLEX 5 são os sensores flex e RES1, RES2, RES3, RES4, RES5 são os resistores de 470 ohms. Um ponto de todos os sensores flex são comuns e 5 V são aplicados a ele. Na outra extremidade, uma perna de todos os resistores são comuns e conectadas ao terra. A entrada para os pinos do Arduino receberá dados analógicos de 0 a 1023, que serão convertidos para a forma digital no código.



Agora, como sabemos como funciona um sensor flex, prenda cada sensor flex nos dedos da luva (evite usar adesivos). Solde os fios de jumper para todos os sensores flex e os conecte no Veroboard como mostrado na imagem acima. Solde as conexões com cuidado e execute um teste de continuidade. Se o teste de continuidade falhar, verifique novamente as conexões soldadas e conserte-as.

Etapa 3: Introdução ao Arduino

Se você não tiver o IDE do Arduino, baixe a versão mais recente em Arduino

  1. Conecte o Arduino ao seu PC e vá para Painel de controle> Hardware e som> Dispositivos e impressoras para verificar o nome da porta à qual o Arduino está conectado. No meu PC, é COM14. Pode ser diferente no seu PC.

    Encontrando o número da porta

  2. Abra seu IDE Arduino e configure a placa para “Arduino / Genuino Uno”.

    Tabuleiro de Configuração

  3. Abra seu Arduino IDE e configure a porta que você observou em seu PC antes.

    Porta de configuração

  4. Agora baixe o código anexado abaixo e carregue-o na placa Arduino clicando no botão Upload.

    Envio

Link para Download: Clique aqui

Etapa 4: Código

O código é bem comentado, mas aqui está uma explicação geral de como funciona.

  1. No início do código, 5 pinos analógicos do Arduino são inicializados para serem usados ​​com os sensores flex. Em seguida, o Vcc do Arduino e a resistência de 4,7 k ohm é inicializada que é usada no circuito. Em seguida, a resistência do sensor reto flex e a resistência em um ângulo de 90 graus são inicializadas. Essas inicializações serão úteis para escrever o código.
  2. void setup () é uma função na qual inicializamos a taxa de transmissão do Arduino e todos os cinco pinos analógicos são inicializados para serem usados ​​como INPUT. A taxa de transmissão é a velocidade na qual o microcontrolador se comunica.
  3. void loop () é uma função que é executada continuamente em um ciclo. Nesta função, todos os valores analógicos são lidos e convertidos em valores digitais. Em seguida, a resistência é calculada usando a fórmula do divisor de tensão e, por meio dessa resistência, o ângulo de curvatura do sensor flexível é calculado.

Depois de entender e fazer upload do código, use as luvas e faça diferentes gestos para traduzi-los em texto. No código, você pode adicionar mais combinações de movimento do dedo de sua escolha e exibir a mensagem de acordo. Você verá que sua linguagem de sinais foi convertida em texto.

Etapa 5: avançado

Este projeto consiste em converter a linguagem de sinais em texto e exibi-la no monitor serial. Como o microcontrolador utilizado é o Arduino, este dispositivo funcionará apenas quando o Arduino estiver conectado ao PC por meio de um cabo de dados, pois o Arduino não possui um módulo WiFi integrado. Para tornar este projeto um pouco mais interessante, você pode adicionar um módulo WiFi externo ou usar um módulo ESP em vez do Arduino e se livrar do cabo de dados e desfrutar de uma tradução de sinal para fala via WiFi.