Page 130 - INATEL - Revista Fetin 43ª-completa (2)

PROJETO VENCEDOR
 Prêmio Arena FETIN de Software, games e IA

String Academy VR

PROBLEMÁTICA/SOLUÇÃO
Aprender a tocar um instrumento é um desafio para muitas pessoas, que frequentemente acabam desanimando e desistindo
logo no início. Essa frustração ocorre, em grande parte, devido ao ritmo demorado do processo, que torna as primeiras
etapas repetitivas e monótonas. Além disso, o alto custo de instrutores especializados dificulta o acesso para muitos. Nesse
contexto, uma solução como a String Academy VR tem o potencial de estimular o aprendizado, tornar a experiência mais
envolvente e reduzir os custos, beneficiando tanto indivíduos interessados em música quanto instituições de ensino, como
cursos de instrumentos e escolas municipais, onde, com apenas um dispositivo de realidade virtual, seria possível alcançar
diversas crianças e adolescentes, tornando o aprendizado mais acessível e inclusivo.

FUNCIONAMENTO DO PROJETO

O usuário utiliza a aplicação através do Meta Quest 3, enxergando o ukulele por meio das câmeras de realidade aumentada,
com projeções virtuais sobrepostas à imagem. O menu simula uma caixa mecânica de madeira, onde, ao pressionar
fisicamente cada botão, o usuário pode alternar entre as diferentes funções do aplicativo, que incluem um afinador
funcional, uma tela de seleção de ambientes imersivos, o painel de configurações, onde é possível alternar entre português,
inglês, espanhol e alemão e ajustar a posição das projeções para alinhar com o instrumento real, e a tela de acordes. Nesse
modo, esferas azuis serão projetadas no braço do instrumento, indicando as posições em que o usuário deve pressionar as
cordas para tocar o acorde desejado. A principal função é a tela de músicas, onde, ao selecionar uma música, as notas são
projetadas no ar, indo em direção ao instrumento, de modo que o usuário consiga tocar músicas em seu próprio instrumento,
apenas seguindo o ritmo do jogo.

METODOLOGIA E VALIDAÇÃO DA IDEIA

O projeto utiliza tecnologias de realidade virtual e aumentada e é uma aplicação educativa para o Meta Quest 3, com
ambientes imersivos e um menu 3D interativo. Foram empregados softwares como Blender e Unity para a modelagem 3D e
como motor gráfico, respectivamente. A linguagem de programação utilizada foi C#, escolhida pela vantagem da orientação
a objetos em jogos. Para rastrear a posição do ukulele, foi desenvolvida uma peça no Fusion 360, impressa em 3D, que
permite acoplar o Touch Controller do dispositivo ao instrumento. Durante o processo de ideação, conversamos com alguns
professores de música, que ofereceram feedback sobre a eficácia do projeto para o ensino musical. Soluções similares
incluem aplicativos como Yousician e Piano Vision, que incentivam o aprendizado musical e o desenvolvimento do ritmo de
forma interativa e gamificada, no entanto, String Academy é a única aplicação AR/VR no mercado voltado a instrumentos
de corda.

130 Instituto Nacional de Telecomunicações - Inatel