z
1 Introducción
La composición musical y el montaje audiovisual son disciplinas sumamente complejas que demandan muchos años de estudio a los que desean adquirir un buen dominio de las mismas. En el campo de las artes digitales y/o electrónicas, existen formatos que requieren de la conjunción de estos conocimientos y además de su articulación con nuevas estructuras, como las que propone el arte interactivo. A diferencia de lo que sucede con el lenguaje musical y con el audiovisual, en el lenguaje multimedia todavía falta mucho por construir. A la hora de articular el lenguaje sonoro y visual con una estructura interactiva no se tienen muchas herramientas, por lo cual suele recurrirse a las ya conocidas de los lenguajes predecesores.
En nuestra producción dentro del grupo Proyecto Biopus tuvimos la oportunidad de realizar algunos trabajos que nos enfrentaron a problemas relacionados con la articulación de la imagen y el sonido en función de nuevas estructuras y formatos. Este escrito intenta ser un recorrido por algunos de estos problemas, soluciones y desaciertos.
Una de las cuestiones más complejas con la que nos enfrentamos fue con la de generar un discurso estético a partir de la utilización de sistemas de simulación de vida artificial. La complejidad de la cuestión reside principalmente en lo difícil que es encontrar criterios que permitan articular discursos como el musical con estructuras que evolucionan en el tiempo, en forma espontánea e imprevisible.
Además, gran parte de los sistemas de simulación relacionados con la vida artificial, generan sistemas complejos que aumentan aún más este nivel de impredicibilidad. Generalmente, vincular directa e irreflexivamente la música y la imagen con la interactividad trae resultados que, en el mejor de los casos impactan, pero que rápidamente cansan, por la falta de coherencia discursiva. Nuestra búsqueda siempre se centró en el anhelo de crear un discurso que fuera espontáneo y producto de un proceso evolutivo, e interactivo, pero que expusiera un nivel de coherencia como el que se aprecia en los lenguajes musicales y audiovisuales. No sabemos si lo hemos logrado, y la mayoría de las veces sentimos que no; sin embargo esta búsqueda nos ha orientado por un camino que produjo interesantes hallazgos. Los que queremos compartir con ustedes.
Como relato de nuestros hallazgos, el presente trabajo no intenta mostrarnos como eruditos del tema, ni mucho menos. Gran parte de los conceptos que expondremos tendrán más el carácter de preguntas que de afirmaciones acabadas. Pero creemos que nuestra exposición tiene la riqueza de la experiencia, que es, en definitiva, aquello que atesoramos.
2 La subordinación a la estructura musical
2.1 Organismos Sonoros
Nuestros primeros trabajos de vinculación entre imagen y sonido fueron unos videos que podrían encuadrarse tanto en el ámbito del video-arte como del video-clip experimental. En ese entonces, decidimos hacer el video de una obra electroacústica, realizada a partir de sonidos de saxo procesados digitalmente y que simulaban sonidos de insectos. Este trabajo se llamó “Organismos Sonoros”. La estrategia que utilizamos en este video fue la de tomar la composición musical, rehacerla y analizarla, haciendo una interpretación narrativa. Esta interpretación consistió en pensar el sonido como proveniente de una escena donde se desarrollaba una disputa territorial entre diferentes organismos. Diseñamos la imagen de cada uno de los personajes y desarrollamos algoritmos para animar dichos personajes a partir de un análisis espectral del sonido. Principalmente se crearon criaturas animadas que simulaban desplazarse en un medio acuático, y las velocidades e intensidades de sus movimientos se correspondían con las intensidades que surgían del análisis espectral del sonido de esa criatura. Así, cuando la dinámica del sonido crecía (es decir que sonaba más intensamente), el personaje se movía más enérgicamente.
VER IMAGEN 01
Haciendo una reflexión de los problemas con los que nos encontramos en ese trabajo y de las decisiones que tomamos, aparecen cosas interesantes. Lo primero que descubrimos fue que parecería resultar más sencillo subordinar la imagen a la música y/o sonido, que hacerlo a la inversa. Esto se debe a que la música tiene una estructura formal que se expresa en el tiempo, y esa estructura (encontrando los parámetros adecuados) permite organizar los elementos visuales en el tiempo, dando una coherencia dinámica entre ambos. En el caso de “Organismos Sonoros” se estableció una relación de analogía entre parámetros sonoros y visuales, particularmente, entre la evolución dinámica del sonido, y la cantidad y velocidad de los movimientos en la animación.
Una pregunta que cabe hacerse en este punto, es: ¿por qué resulta más sencillo subordinar la imagen a la estructura musical y no hacerlo a la inversa? Una posible respuesta es que esto es así dependiendo de dónde esté el peso del discurso. Por ejemplo: cuando el discurso es llevado por un texto que narra, entonces las imágenes se organizarán en función de éste, y luego la música en función de esta organización; esto es lo que sucede en el cine. Pero cuando la imagen está despojada de un texto al cual seguir y no posee una referencialidad clara (es decir no remite a cosas que conocemos), entonces el discurso musical gana prevalencia y la imagen se subordina fácilmente a éste.
2.2 Círculo y Cuadrado
Luego de este trabajo se realizó otro llamado “Círculo y Cuadrado”, en el cual, a diferencia de “Organismos Sonoros” en donde las imágenes son no figurativas, las figuras son totalmente abstractas, conformadas por tramas de círculos y cuadrados que generan efectos ópticos. Esto lleva la situación más al extremo, dado que las imágenes están totalmente despojadas de cualquier referencialidad y por ende no queda otra estructura para organizar el tiempo que la musical.
VER IMAGEN 02
En el caso de “Círculo y Cuadrado” además de las analogías con la dinámica, se establecieron analogías con el espacio virtual definido por el sonido. Así, cuando el sonido realiza movimientos y trayectorias entre los canales estereofónicos, la imagen hace movimientos en concordancia. Por otro lado, el sonido define las características de ese espacio en el que se desarrollan particularmente cambios en la dimensión (como por ejemplo, ambientes amplios en los que aumenta la reverberación) y la imagen reproduce estos ambientes.
Por supuesto, esta subordinación de la dinámica de la imagen (en el tiempo) a la estructura sonoro/musical, sólo es posible cuando se establecen analogías verosímiles entre los parámetros. Por ejemplo, existen asociaciones naturales en donde ciertos parámetros sonoros permiten tener una idea de parámetros volumétricos, espaciales y de movimiento: los sonidos graves remiten a cosas grandes, con movimiento lento, porque, de hecho, los sonidos graves en la naturaleza provienen de cosas grandes que poseen amplias cajas de resonancia para poder generar largas longitudes de ondas.
3 Una experiencia de fractales aplicados a la música
“…Un fractal es un objeto semi-geométrico cuya estructura básica, fragmentada o irregular, se repite a diferentes escalas...” (Mandelbrot, 1975)(1). La característica principal de los fractales es la autosemejanza a diferentes escalas, es decir, la repetición del diseño general en cada una de las partes del diseño. Por ejemplo, en una curva de Koch, se parte de un diseño formado por una secuencia de segmentos y luego se aplica el diseño sobre cada uno de los segmentos, de lo cual se obtienen nuevos segmentos, donde se aplica el mismo proceso.
VER IMAGEN 03
Observando este tipo de figuras, fue que ideamos realizar el experimento de aplicar el concepto de autosemejanza a la música. Para eso tomamos como diseño una secuencia de notas, es decir, de alturas y duraciones, y aplicamos sobre cada una de las notas todo el diseño. Para realizar la replicación del diseño, se estableció un intervalo de transposición.
VER IMAGEN 04
Por ejemplo, en la figura de arriba se observa el diseño original en azul, que es la melodía conformada por las notas do, sol y mi, que tiene una duración de 2/6, 1/6 y 3/6 (del diseño) respectivamente. Como se puede observar, sobre cada una de las notas del diseño original se replica el mismo diseño, en rojo. Estos se inician superpuestos (transportados) a un intervalo de 9 semitonos con respecto a la nota sobre la que se superpone, así cuando la nota es do, el diseño se replica desde la, pero si la nota es sol, el diseño se replica desde mi. Por otra parte, el diseño replicado tiene una duración total igual a la de la nota sobre la que se replica. Una vez que se replicó el diseño sobre cada nota y se obtienen nuevas notas, se aplica el diseño sobre cada una de las nuevas notas, obteniendo los diseños en verde.
Contrario a lo que esperábamos, la aplicación de la lógica fractal a los parámetros musicales elegidos dio como resultado secuencias musicales desprovistas de coherencia. Esto quizá se debió a las decisiones que se tomaron a la hora de manipular los parámetros. En estos experimentos, las alturas tonales se disponían respetando patrones de autosemejanza como los que exponen las líneas y segmentos en las Curvas de Koch. El problema surge que en las figuras de las Curvas de Koch, las diferentes relaciones geométricas que surgen de esta replicación, son homogéneas, es decir que una línea de 6cm. (por ejemplo) es simplemente el doble de larga que una de 3cm. En cambio, las relaciones interválicas entre las diferentes alturas no presentan esta misma homogeneidad, por el contrario, una intervalo de 6 semitonos no suena como el doble de uno de 3 semitonos, sino que produce diferentes percepciones de consonancia y disonancia, producto de un complejo lenguaje musical adquirido culturalmente. Esta diferencia de homogeneidad y heterogeneidad entre los elementos visuales y musicales, impiden que se puedan extrapolar ciertos criterios de distribución como los que intentamos en estos experimentos.
Como consecuencia de esta experiencia, nos animaríamos a afirmar que para aplicar este tipo de lógicas de replicación como la de los fractales (del todo en la parte, o de autosemejanza) a la música, sería necesario investigar más profundamente los modos en que se estructura el lenguaje musical. Es decir, investigar modos de manipulación de los elementos musicales que permitan generar operaciones de autosemejanza. Dando por sentado que en la música resulta más complejo establecer relaciones de homogeneidad entre sus elementos, a diferencia de las que se dan en la imagen.
(ATENCIÓN: estas referencias se agregan al final de cada uno de los 3 html, dejando dos líneas libres antes de ubicar el texto)
(1) Benoît Mandelbrot, 1975, La Geometría Fractal de la Naturaleza, Ed. Tusquets
(2) Wikipedia, es.wikipedia.org
(3) Causa Emiliano, 2007, “Los virus y el arte”, www.biopus.com.ar
(4) Karlheinz Essl, “Real Time Composition Library” , www.essl.at
La composición musical y el montaje audiovisual son disciplinas sumamente complejas que demandan muchos años de estudio a los que desean adquirir un buen dominio de las mismas. En el campo de las artes digitales y/o electrónicas, existen formatos que requieren de la conjunción de estos conocimientos y además de su articulación con nuevas estructuras, como las que propone el arte interactivo. A diferencia de lo que sucede con el lenguaje musical y con el audiovisual, en el lenguaje multimedia todavía falta mucho por construir. A la hora de articular el lenguaje sonoro y visual con una estructura interactiva no se tienen muchas herramientas, por lo cual suele recurrirse a las ya conocidas de los lenguajes predecesores.
En nuestra producción dentro del grupo Proyecto Biopus tuvimos la oportunidad de realizar algunos trabajos que nos enfrentaron a problemas relacionados con la articulación de la imagen y el sonido en función de nuevas estructuras y formatos. Este escrito intenta ser un recorrido por algunos de estos problemas, soluciones y desaciertos.
Una de las cuestiones más complejas con la que nos enfrentamos fue con la de generar un discurso estético a partir de la utilización de sistemas de simulación de vida artificial. La complejidad de la cuestión reside principalmente en lo difícil que es encontrar criterios que permitan articular discursos como el musical con estructuras que evolucionan en el tiempo, en forma espontánea e imprevisible.
Además, gran parte de los sistemas de simulación relacionados con la vida artificial, generan sistemas complejos que aumentan aún más este nivel de impredicibilidad. Generalmente, vincular directa e irreflexivamente la música y la imagen con la interactividad trae resultados que, en el mejor de los casos impactan, pero que rápidamente cansan, por la falta de coherencia discursiva. Nuestra búsqueda siempre se centró en el anhelo de crear un discurso que fuera espontáneo y producto de un proceso evolutivo, e interactivo, pero que expusiera un nivel de coherencia como el que se aprecia en los lenguajes musicales y audiovisuales. No sabemos si lo hemos logrado, y la mayoría de las veces sentimos que no; sin embargo esta búsqueda nos ha orientado por un camino que produjo interesantes hallazgos. Los que queremos compartir con ustedes.
Como relato de nuestros hallazgos, el presente trabajo no intenta mostrarnos como eruditos del tema, ni mucho menos. Gran parte de los conceptos que expondremos tendrán más el carácter de preguntas que de afirmaciones acabadas. Pero creemos que nuestra exposición tiene la riqueza de la experiencia, que es, en definitiva, aquello que atesoramos.
2 La subordinación a la estructura musical
2.1 Organismos Sonoros
Nuestros primeros trabajos de vinculación entre imagen y sonido fueron unos videos que podrían encuadrarse tanto en el ámbito del video-arte como del video-clip experimental. En ese entonces, decidimos hacer el video de una obra electroacústica, realizada a partir de sonidos de saxo procesados digitalmente y que simulaban sonidos de insectos. Este trabajo se llamó “Organismos Sonoros”. La estrategia que utilizamos en este video fue la de tomar la composición musical, rehacerla y analizarla, haciendo una interpretación narrativa. Esta interpretación consistió en pensar el sonido como proveniente de una escena donde se desarrollaba una disputa territorial entre diferentes organismos. Diseñamos la imagen de cada uno de los personajes y desarrollamos algoritmos para animar dichos personajes a partir de un análisis espectral del sonido. Principalmente se crearon criaturas animadas que simulaban desplazarse en un medio acuático, y las velocidades e intensidades de sus movimientos se correspondían con las intensidades que surgían del análisis espectral del sonido de esa criatura. Así, cuando la dinámica del sonido crecía (es decir que sonaba más intensamente), el personaje se movía más enérgicamente.
VER IMAGEN 01
Haciendo una reflexión de los problemas con los que nos encontramos en ese trabajo y de las decisiones que tomamos, aparecen cosas interesantes. Lo primero que descubrimos fue que parecería resultar más sencillo subordinar la imagen a la música y/o sonido, que hacerlo a la inversa. Esto se debe a que la música tiene una estructura formal que se expresa en el tiempo, y esa estructura (encontrando los parámetros adecuados) permite organizar los elementos visuales en el tiempo, dando una coherencia dinámica entre ambos. En el caso de “Organismos Sonoros” se estableció una relación de analogía entre parámetros sonoros y visuales, particularmente, entre la evolución dinámica del sonido, y la cantidad y velocidad de los movimientos en la animación.
Una pregunta que cabe hacerse en este punto, es: ¿por qué resulta más sencillo subordinar la imagen a la estructura musical y no hacerlo a la inversa? Una posible respuesta es que esto es así dependiendo de dónde esté el peso del discurso. Por ejemplo: cuando el discurso es llevado por un texto que narra, entonces las imágenes se organizarán en función de éste, y luego la música en función de esta organización; esto es lo que sucede en el cine. Pero cuando la imagen está despojada de un texto al cual seguir y no posee una referencialidad clara (es decir no remite a cosas que conocemos), entonces el discurso musical gana prevalencia y la imagen se subordina fácilmente a éste.
2.2 Círculo y Cuadrado
Luego de este trabajo se realizó otro llamado “Círculo y Cuadrado”, en el cual, a diferencia de “Organismos Sonoros” en donde las imágenes son no figurativas, las figuras son totalmente abstractas, conformadas por tramas de círculos y cuadrados que generan efectos ópticos. Esto lleva la situación más al extremo, dado que las imágenes están totalmente despojadas de cualquier referencialidad y por ende no queda otra estructura para organizar el tiempo que la musical.
VER IMAGEN 02
En el caso de “Círculo y Cuadrado” además de las analogías con la dinámica, se establecieron analogías con el espacio virtual definido por el sonido. Así, cuando el sonido realiza movimientos y trayectorias entre los canales estereofónicos, la imagen hace movimientos en concordancia. Por otro lado, el sonido define las características de ese espacio en el que se desarrollan particularmente cambios en la dimensión (como por ejemplo, ambientes amplios en los que aumenta la reverberación) y la imagen reproduce estos ambientes.
Por supuesto, esta subordinación de la dinámica de la imagen (en el tiempo) a la estructura sonoro/musical, sólo es posible cuando se establecen analogías verosímiles entre los parámetros. Por ejemplo, existen asociaciones naturales en donde ciertos parámetros sonoros permiten tener una idea de parámetros volumétricos, espaciales y de movimiento: los sonidos graves remiten a cosas grandes, con movimiento lento, porque, de hecho, los sonidos graves en la naturaleza provienen de cosas grandes que poseen amplias cajas de resonancia para poder generar largas longitudes de ondas.
3 Una experiencia de fractales aplicados a la música
“…Un fractal es un objeto semi-geométrico cuya estructura básica, fragmentada o irregular, se repite a diferentes escalas...” (Mandelbrot, 1975)(1). La característica principal de los fractales es la autosemejanza a diferentes escalas, es decir, la repetición del diseño general en cada una de las partes del diseño. Por ejemplo, en una curva de Koch, se parte de un diseño formado por una secuencia de segmentos y luego se aplica el diseño sobre cada uno de los segmentos, de lo cual se obtienen nuevos segmentos, donde se aplica el mismo proceso.
VER IMAGEN 03
Observando este tipo de figuras, fue que ideamos realizar el experimento de aplicar el concepto de autosemejanza a la música. Para eso tomamos como diseño una secuencia de notas, es decir, de alturas y duraciones, y aplicamos sobre cada una de las notas todo el diseño. Para realizar la replicación del diseño, se estableció un intervalo de transposición.
VER IMAGEN 04
Por ejemplo, en la figura de arriba se observa el diseño original en azul, que es la melodía conformada por las notas do, sol y mi, que tiene una duración de 2/6, 1/6 y 3/6 (del diseño) respectivamente. Como se puede observar, sobre cada una de las notas del diseño original se replica el mismo diseño, en rojo. Estos se inician superpuestos (transportados) a un intervalo de 9 semitonos con respecto a la nota sobre la que se superpone, así cuando la nota es do, el diseño se replica desde la, pero si la nota es sol, el diseño se replica desde mi. Por otra parte, el diseño replicado tiene una duración total igual a la de la nota sobre la que se replica. Una vez que se replicó el diseño sobre cada nota y se obtienen nuevas notas, se aplica el diseño sobre cada una de las nuevas notas, obteniendo los diseños en verde.
Contrario a lo que esperábamos, la aplicación de la lógica fractal a los parámetros musicales elegidos dio como resultado secuencias musicales desprovistas de coherencia. Esto quizá se debió a las decisiones que se tomaron a la hora de manipular los parámetros. En estos experimentos, las alturas tonales se disponían respetando patrones de autosemejanza como los que exponen las líneas y segmentos en las Curvas de Koch. El problema surge que en las figuras de las Curvas de Koch, las diferentes relaciones geométricas que surgen de esta replicación, son homogéneas, es decir que una línea de 6cm. (por ejemplo) es simplemente el doble de larga que una de 3cm. En cambio, las relaciones interválicas entre las diferentes alturas no presentan esta misma homogeneidad, por el contrario, una intervalo de 6 semitonos no suena como el doble de uno de 3 semitonos, sino que produce diferentes percepciones de consonancia y disonancia, producto de un complejo lenguaje musical adquirido culturalmente. Esta diferencia de homogeneidad y heterogeneidad entre los elementos visuales y musicales, impiden que se puedan extrapolar ciertos criterios de distribución como los que intentamos en estos experimentos.
Como consecuencia de esta experiencia, nos animaríamos a afirmar que para aplicar este tipo de lógicas de replicación como la de los fractales (del todo en la parte, o de autosemejanza) a la música, sería necesario investigar más profundamente los modos en que se estructura el lenguaje musical. Es decir, investigar modos de manipulación de los elementos musicales que permitan generar operaciones de autosemejanza. Dando por sentado que en la música resulta más complejo establecer relaciones de homogeneidad entre sus elementos, a diferencia de las que se dan en la imagen.
(ATENCIÓN: estas referencias se agregan al final de cada uno de los 3 html, dejando dos líneas libres antes de ubicar el texto)
(1) Benoît Mandelbrot, 1975, La Geometría Fractal de la Naturaleza, Ed. Tusquets
(2) Wikipedia, es.wikipedia.org
(3) Causa Emiliano, 2007, “Los virus y el arte”, www.biopus.com.ar
(4) Karlheinz Essl, “Real Time Composition Library” , www.essl.at
