NSynth Super recurre a mecanismos de machine learning y redes neuronales para desarrollar sus sonidos, y su construcción está totalmente documentada para cualquiera…
Puede que esto sólo pueda llegar como una colaboración desde Google. O puede que esto incluso llegue a intimidar un poco a muchos de nuestros lectores, al tiempo que entusiasme a otros tantos. El caso es que un equipo de investigadores cercano a Google ha desarrollado NSynth Super, un sintetizador en fase experimental que se sirve de mecanismos de aprendizaje automático (machine learning) y redes neuronales para generar sus sonidos. Y lo mejor, todo su código fuente, esquemas, plantillas de diseño y bases de funcionamiento son de libre disposición a través de GitHub (enlaces más abajo). ¡Así que cualquiera puede construirlo, personalizarlo, e incluso mejorarlo!
Nacido en el seno del proyecto Magenta –una iniciativa para explorar formas de explotar las herramientas de machine learning en pro de contribuir a nuevas formas de crear arte y música con tecnología–, NSynth Super tuvo además un antecesor en la forma del sintetizador neuronal NSynth (presentado en Abril de 2017). Éste recurre a una profunda red neuronal para determinar las características que definen los sonidos que analiza, de modo que después sea capaz de recrear nuevos sonidos basados en dichos parámetros.
El concepto no es nada nuevo. De hecho, el mítico sintetizador Neuron de Axel Hartmann (2003), ya puso de manifiesto esos mecanismos en el mercado, aunque su trayectoria y recorrido fueron un completo desastre que acabó con la compañía originadora en la más absoluta bancarrota.
NSynth Super es un fruto de Raspberry Pi 3 y Linux
La propuesta de este sinte neuronal de Magenta y Google Creative Lab incluye en su diseño original una superficie táctil capacitiva, una pequeña pantalla OLED, cuatro selectores rotatorios de instrumentos, y seis «controles finos» para modelar la salida de audio. Y con sólo verlo (vídeo sobre la imagen superior), no tenemos más que pensar en la influencia de máquinas legendarias como Korg Kaoss Pad 3 y derivados, aunque el fundamento de la generación sonora en el caso de NSynth Super discurra por otros derroteros que ahora vamos a comentarte.
Partiendo de 16 tonos de cuatro segundos a 16kHz sobre cualquier sonido fuente, obtenidos mediante un complejo algoritmo, nos aseguran que NSynth Super es capaz de generar más de 100.000 nuevos sonidos. Los cuatro diales exteriores, colocados en las esquinas del diseño, reciben asignaciones de fuentes sonoras individuales, aunque el intérprete puede usar dichos knobs para explorar otros sonidos, también empleados como fuentes. Y por medio de la superficie táctil central, integrada en la propia placa del instrumento, se navega por una innovación de sonidos frescos que combina las cualidades tonales de las cuatro bases originales.
El equipo de desarrollo ha pensado en todo, y tienen colgadas dos librerías de patches con ejemplos de audio, de 27 y 1,7GB, respectivamente…
La propuesta es de lo más sugerente, aunque de momento, la construcción y desarrollo de NSynth Super no está al alcance de cualquiera. Y no nos referimos a los componentes, cuya obtención y coste son muy asumibles para la mayoría de interesados. Sin contar la placa PCB y la caja, el resto de materiales y componentes cae por debajo de los 120€, siendo lo más caro en dicho presupuesto el ordenador monoplaca Raspberry Pi 3 y la tarjeta microSDHC necesaria para alojar el código (unos 50€ por ambos). Pero la fabricación de la placa de circuitos y la caja constituye el paso previo que más costará solucionar en un principio. Y si bien tenemos que decir que no hemos comprobado que alguien se haya organizado ya para generar tiradas bajo demanda de ambos elementos, sentimos que es muy probable que esto sea una realidad en estos momentos –que alguien lo apunte abajo si lo descubre.
Otra de las grandes trabas iniciales incluye la preparación de los sonidos fuente, que requiere un poderoso ordenador Linux dotado de una GPU actualizada para afrontar las imposiciones de análisis, computación y generación. De todos modos, el equipo de desarrollo ha pensado en todo, y tienen colgadas dos librerías de patches con ejemplos de audio, con tamaños de 27 y 1,7GB respectivamente. Un proyecto apasionante de sintetizador de código abierto, para todo aquel que se atreva a sumergirse en fango hasta las orejas por construirlo.
Más info sobre NSynth Super | Sitio web oficial
Repositorio general | GitHub
- Sintetizador basado en redes neuronales y machine learning que genera sonidos al nivel de samples individuales
- Aprendiendo a partir de los datos sonoros, provee un control intuitivo sobre el timbre y la dinámica
- Es capaz de explorar sonidos nuevos que serían difíciles o imposibles de generar mediante síntesis manual
- NSynth Super emplea un algoritmo que genera sonidos nuevos combinando las características de sonidos existentes
- Mediante un autocodificador, extrae 16 características temporales definitorias de cada sonido introducido
- Opera sobre cuatro sonidos fuente precomputados y es compatible con MIDI
- Toda la tecnología y el diseño de NSynth Super están disponibles como un proyecto de código abierto en la plataforma GitHub