Libras é um simples reconhecimento de gestos de mão baseado em IA que traduz uma pose de mão no alfabeto sendo adaptado de (ASL) para libras. Usando o Tensorflow JS e seu modelo pré-carregado Handpose para detectar o objeto de mão e suas partes. A Handsign também usa uma biblioteca adicional chamada Fingerpose para classificar alguns dos gestos de mão personalizados com base na posição do dedo.
#dohackathon #madewithTFJS
- Clone o repositório
git clone https://github.com/hsouzaeduardo/libras.git- Start the project
# move to the project folder and install all dependencies
cd libras
yarn install- Run the project on your local machine
# run Gatsby
yarn develop- The project is live 🚀
Seu projeto vai rodar neste endereço: http://localhost:8000
Caso queira editar todo app está em: src/pages/app.js
-
Tensorflow JS - A Library for ML in JS.
-
Handpose - Um pipeline de ML leve que consiste em dois modelos: um detector de palma e um modelo de rastreamento de mão-esqueleto de dedo.
-
Fingerpose - Um classificador de pose para pontos de referência manuais detectados pelo modelo do TensorFlow.js Handpose.
Se você quiser saber mais sobre Tensorflow JS e gesto de mão personalizado, por favor, confira estes vídeos incríveis
-
Machine Learning with TensorFlow in JavaScript - by Jason Lengstorf and Jason Mayes
-
Building a Real Time Sign Language Detection App with React.JS and Tensorflow.JS - by Nicholas Renotte
-
Link no Youtube - By [Henrique Souza]
Keypoint Diagram Diagrama de pontos-chave Consulte o diagrama abaixo para saber quais são esses pontos-chave e seus índices na matriz.
Pontos-chave do MediaPipe Hands: Usado no MediaPipe Hands Pontos-chave das mãos do MediaPipe
0: pulso
1: thumb_cmc
2: thumb_mcp
3: thumb_ip
4: thumb_tip
5: index_finger_mcp
6: index_finger_pip
7: index_finger_dip
8: index_finger_tip
9: middle_finger_mcp
10: middle_finger_pip
11: middle_finger_dip
12: middle_finger_tip
13: ring_finger_mcp
14: ring_finger_pip
15: ring_finger_dip
16: ring_finger_tip
17: pinky_finger_mcp
18: pinky_finger_pip
19: pinky_finger_dip
20: pinky_finger_tip