El aprendizaje automático ha servido a un grupo de investigadores de la Universidad de Washington para concebir un sistema, llamado Audeo, que crea audio a partir de interpretaciones de piano silenciosas.
Es decir, que esta inteligencia artificial recrea la experiencia interpretativa de los músicos y sus instrumentos utilizando solo señales visuales.
Audeo
Audeo usa una serie de pasos para decodificar lo que está sucediendo en el video y luego traducirlo a música. Primero, tiene que detectar qué teclas se presionan en cada cuadro de video para crear un diagrama a lo largo del tiempo. Luego, debe traducir ese diagrama en algo que un sintetizador de música realmente reconozca como un sonido que haría un piano. Este segundo paso limpia los datos y agrega más información, como con qué fuerza se presiona cada tecla y durante cuánto tiempo.
Los investigadores entrenaron y probaron el sistema utilizando videos de YouTube del pianista Paul Barton. La formación consistió en unos 172.000 fotogramas de vídeo de Barton tocando música de compositores clásicos conocidos, como Bach y Mozart.
La fiabilidad a la hora de interpretar qué canción se toca por parte de Audeo es tan alta que incluso supera el de las apps de reconocimiento de canciones: las aplicaciones identificaron correctamente la pieza que Audeo reproducía aproximadamente el 86% del tiempo, mientras que Audeo alcanzó el 93%.
Audeo fue entrenado y probado solo en videos de piano de Paul Barton. Se necesitan investigaciones futuras para ver cómo de bien puede transcribir música para cualquier músico o piano.