1 Imagen y sonido subordinados a la interacción (Espejo Espectral)
En los casos que hemos visto hasta aquí, nos enfrentamos a trabajos lineales que eran diseñados previos a su reproducción. Esto nos permitía tomar decisiones basadas sobre estructuras diseñadas a priori y que exponían una fuerte coherencia. En los posteriores trabajos que realizamos nos encontramos frente a experiencias interactivas en donde no existe ninguna estructura formal en el tiempo, sino que ésta se desenvuelve y genera a partir de las acciones del público.
VER IMAGEN 05
Una de nuestras primeras instalaciones interactivas fue “Espejo Espectral”, en donde el público se enfrentaba a una video-proyección, producida a partir de su propia imagen, alterada en función de sus movimientos. Esta instalación funcionaba como un espejo que transformaba la imagen del público, a la vez que producía sonidos. El tipo y nivel de las transformaciones, tanto visuales como sonoras, dependían directamente de la cantidad de movimiento, así como de la posición de las personas frente a esta gran pantalla.
En este caso se establecieron relaciones de analogía entre el movimiento y los niveles de transformación de la imagen y el sonido. El hecho de que tanto la imagen, como el sonido, eran igualmente afectados por los movimientos del público, produce una integración entre estos. Sin embargo, esta mutua integración entre la imagen y el sonido, producto de su subordinación directa a la interacción, no produce resultados que expongan una organización en el tiempo. Por el contrario, exponen una mera reactividad, que en el mejor de los casos es pregnante, pero que no tiene las virtudes que muestra un lenguaje formal como el de la música.
Música subordinada a un sistema complejo Según Wikipedia: “…Un sistema complejo está compuesto por varias partes interconectadas o entrelazadas cuyos vínculos contienen información adicional y oculta al observador. Como resultado de las interacciones entre elementos, surgen propiedades nuevas que no pueden explicarse a partir de las propiedades de los elementos aislados. Dichas propiedades se denominan propiedades emergentes...” (2). Los sistemas de simulación de los procesos vivos, en la mayoría de los casos, son sistemas complejos en donde intervienen un gran número de elementos que están interconectados entre sí y de los que emergen nuevos estados de orden producto de esa interacción. Uno de los motivos por los que elegimos trabajar con vida artificial aplicada al arte, son esas características de “emergencia” vinculadas a la “autoorganización” en los sistemas vivos. Trabajar con sistemas complejos y vincularlos a fenómenos estéticos, como la generación de imagen y música, conlleva grandes complicaciones, dado que nuevamente nos encontramos con lenguajes que poseen un alto grado de estructuración (como la música) pero que a su vez debemos articular desde estos fenómenos emergentes de los sistemas complejos. El problema que recién enunciamos fue el que tuvimos que enfrentar en nuestros siguientes trabajos “Tango Virus” y “Sensible”.
Tango Virus
“Tango Virus” es una instalación interactiva en la que el público accedía a una habitación donde sonaba un tema de tango compuesto por Piazzola. En el espacio existía una región iluminada donde el público podía bailar siguiendo el tema, dicho baile era captado por un sistema informático que lo transformaba en un virus que atacaba y alteraba el tema musical. La coreografía realizada por cada pareja era analizada para generar un virus que, a partir de ese momento, evolucionaba en forma independiente, proliferando y transformando el tema musical en forma cada vez más violenta. El sistema informático contenía también la simulación de un sistema inmune, que permitía reconocer los patrones de baile de las parejas, haciendo que el sistema pudiese defenderse de aquellos patrones que se repetían. Este sistema inmune lograba que el tema musical pudiese defenderse del ataque viral y restableciera su salud (es decir que volvía a sonar en su forma original), pero cuando el patrón de baile era novedoso, el sistema no estaba preparado para defenderse y los virus “mataban” al tema musical (es decir que lo deformaban hasta el límite).
VER IMAGEN 06
A diferencia de Espejo Espectral, “Tango Virus” planteaba el desafío de trabajar en forma interactiva con una estructura musical. A esto hay que sumarle la complejidad que implica el trabajar con temas musicales muy conocidos, lo que obliga a diseñar las transformaciones de forma tal que no atenten contra la identidad del tema. Es decir, que nos enfrentamos al problema de combinar la reactividad de la interacción del público con una estructura formal definida a priori. En este punto, el desafío consistió en lograr sostener el sutil equilibrio entre la elegancia de la estructura musical de los temas y las transformaciones producidas a partir de los movimientos de las personas. Dicho de otra manera, lograr articular una fuerte estructura musical (como las presentes en los temas de Piazzola) con la espontaneidad de las acciones del público (faltas de cualquier estructura), de forma tal que el proceso pueda dar cuenta de ambas partes.
Con el fin de conservar la identidad de los temas musicales, y así preservar su estructura, pero a la vez lograr transformar los temas de forma tal que dieran cuenta de las acciones del público, se diseñaron un conjunto de procesos digitales sobre el sonido. Para conservar esa estructura formal, al mismo tiempo que la complejidad en la organización rítmica y textural se eligieron tres tipos de procesamientos digitales de audio que permitieran lograr transformaciones interesantes a nivel tímbrico, sin alterar dichas características:
l Delay Multitap: este proceso genera copias del tema musical, con diferentes retardos en el tiempo. Una característica particular de este procesamiento, es que al modificar el tiempo de retardo de cada uno de las copias de forma continua, se generan variaciones de altura ascendentes y descendentes, a la manera de glissandos, de diferentes duraciones y longitudes.
l Fragmentador: mediante este proceso se fragmenta el tema en porciones de pequeña duración y se las distribuye al azar en un espacio virtual generado por un espacializador. El espacializador es un proceso que mediante la manipulación de las reverberancias sonoras y otros parámetros simula la ubicación y movimiento de sonidos en el espacio.
l Módulo de Transposición: los transpositores son procesos que permiten variar la altura tonal de un sonido. Este módulo utiliza cuatro transpositores que permiten variar de forma continua e independiente la altura, y conformar “acordes” de la transposición del mismo tema en 4 alturas diferentes.
Durante su transformación, el tema musical era procesado mediante alguno de los métodos recién descriptos. La forma en que se seleccionaba el proceso a ser aplicado dependía de la forma del virus, que a su vez se desprendía del tipo de figura que las personas hacían en su baile. Los virus seguían un modelo de evolución poblacional. Este modelo indicaba la forma en que aumentaba la población en cada momento, y planteaba diferentes alternativas, según el sistema inmune pudiese, o no, defenderse. El sistema inmune se adaptaba a cada nuevo patrón que observaba, y cuando los nuevos patrones eran semejantes a los ya aprendidos, el sistema lograba defenderse, limitando el crecimiento viral hasta extinguirlo. Cuando los nuevos patrones se diferenciaban completamente de lo ya aprendido, el sistema inmune era incapaz de limitar el crecimiento viral, el cual a partir de cierto nivel, determinaba la muerte del tema musical. El grado de transformación que ejerce cada uno de estos procedimientos sonoros sobre el tema, está en relación con el nivel de enfermedad que presenta el organismo infectado, en este caso, el tema musical.
Durante el desarrollo de este trabajo, observamos que los procesos sonoros diseñados lograban transformar la música siguiendo el nivel de población viral, pero preservando la identidad del tema. Este equilibrio lograba crear la percepción de que el tema musical se iba enfermando con el ataque viral, principalmente por el control por analogía de los parámetros de los procesos en función de la población. De esta forma se pudieron articular tres elementos de naturalezas dispares: el patrón de baile de las personas, la evolución de un proceso viral y la transformación de un tema musical.
(1) Benoît Mandelbrot, 1975, La Geometría Fractal de la Naturaleza, Ed. Tusquets
(2) Wikipedia, es.wikipedia.org
(3) Causa Emiliano, 2007, “Los virus y el arte”, www.biopus.com.ar
(4) Karlheinz Essl, “Real Time Composition Library” , www.essl.at
VER IMAGEN 05
Una de nuestras primeras instalaciones interactivas fue “Espejo Espectral”, en donde el público se enfrentaba a una video-proyección, producida a partir de su propia imagen, alterada en función de sus movimientos. Esta instalación funcionaba como un espejo que transformaba la imagen del público, a la vez que producía sonidos. El tipo y nivel de las transformaciones, tanto visuales como sonoras, dependían directamente de la cantidad de movimiento, así como de la posición de las personas frente a esta gran pantalla.
En este caso se establecieron relaciones de analogía entre el movimiento y los niveles de transformación de la imagen y el sonido. El hecho de que tanto la imagen, como el sonido, eran igualmente afectados por los movimientos del público, produce una integración entre estos. Sin embargo, esta mutua integración entre la imagen y el sonido, producto de su subordinación directa a la interacción, no produce resultados que expongan una organización en el tiempo. Por el contrario, exponen una mera reactividad, que en el mejor de los casos es pregnante, pero que no tiene las virtudes que muestra un lenguaje formal como el de la música.
Música subordinada a un sistema complejo Según Wikipedia: “…Un sistema complejo está compuesto por varias partes interconectadas o entrelazadas cuyos vínculos contienen información adicional y oculta al observador. Como resultado de las interacciones entre elementos, surgen propiedades nuevas que no pueden explicarse a partir de las propiedades de los elementos aislados. Dichas propiedades se denominan propiedades emergentes...” (2). Los sistemas de simulación de los procesos vivos, en la mayoría de los casos, son sistemas complejos en donde intervienen un gran número de elementos que están interconectados entre sí y de los que emergen nuevos estados de orden producto de esa interacción. Uno de los motivos por los que elegimos trabajar con vida artificial aplicada al arte, son esas características de “emergencia” vinculadas a la “autoorganización” en los sistemas vivos. Trabajar con sistemas complejos y vincularlos a fenómenos estéticos, como la generación de imagen y música, conlleva grandes complicaciones, dado que nuevamente nos encontramos con lenguajes que poseen un alto grado de estructuración (como la música) pero que a su vez debemos articular desde estos fenómenos emergentes de los sistemas complejos. El problema que recién enunciamos fue el que tuvimos que enfrentar en nuestros siguientes trabajos “Tango Virus” y “Sensible”.
Tango Virus
“Tango Virus” es una instalación interactiva en la que el público accedía a una habitación donde sonaba un tema de tango compuesto por Piazzola. En el espacio existía una región iluminada donde el público podía bailar siguiendo el tema, dicho baile era captado por un sistema informático que lo transformaba en un virus que atacaba y alteraba el tema musical. La coreografía realizada por cada pareja era analizada para generar un virus que, a partir de ese momento, evolucionaba en forma independiente, proliferando y transformando el tema musical en forma cada vez más violenta. El sistema informático contenía también la simulación de un sistema inmune, que permitía reconocer los patrones de baile de las parejas, haciendo que el sistema pudiese defenderse de aquellos patrones que se repetían. Este sistema inmune lograba que el tema musical pudiese defenderse del ataque viral y restableciera su salud (es decir que volvía a sonar en su forma original), pero cuando el patrón de baile era novedoso, el sistema no estaba preparado para defenderse y los virus “mataban” al tema musical (es decir que lo deformaban hasta el límite).
VER IMAGEN 06
A diferencia de Espejo Espectral, “Tango Virus” planteaba el desafío de trabajar en forma interactiva con una estructura musical. A esto hay que sumarle la complejidad que implica el trabajar con temas musicales muy conocidos, lo que obliga a diseñar las transformaciones de forma tal que no atenten contra la identidad del tema. Es decir, que nos enfrentamos al problema de combinar la reactividad de la interacción del público con una estructura formal definida a priori. En este punto, el desafío consistió en lograr sostener el sutil equilibrio entre la elegancia de la estructura musical de los temas y las transformaciones producidas a partir de los movimientos de las personas. Dicho de otra manera, lograr articular una fuerte estructura musical (como las presentes en los temas de Piazzola) con la espontaneidad de las acciones del público (faltas de cualquier estructura), de forma tal que el proceso pueda dar cuenta de ambas partes.
Con el fin de conservar la identidad de los temas musicales, y así preservar su estructura, pero a la vez lograr transformar los temas de forma tal que dieran cuenta de las acciones del público, se diseñaron un conjunto de procesos digitales sobre el sonido. Para conservar esa estructura formal, al mismo tiempo que la complejidad en la organización rítmica y textural se eligieron tres tipos de procesamientos digitales de audio que permitieran lograr transformaciones interesantes a nivel tímbrico, sin alterar dichas características:
l Delay Multitap: este proceso genera copias del tema musical, con diferentes retardos en el tiempo. Una característica particular de este procesamiento, es que al modificar el tiempo de retardo de cada uno de las copias de forma continua, se generan variaciones de altura ascendentes y descendentes, a la manera de glissandos, de diferentes duraciones y longitudes.
l Fragmentador: mediante este proceso se fragmenta el tema en porciones de pequeña duración y se las distribuye al azar en un espacio virtual generado por un espacializador. El espacializador es un proceso que mediante la manipulación de las reverberancias sonoras y otros parámetros simula la ubicación y movimiento de sonidos en el espacio.
l Módulo de Transposición: los transpositores son procesos que permiten variar la altura tonal de un sonido. Este módulo utiliza cuatro transpositores que permiten variar de forma continua e independiente la altura, y conformar “acordes” de la transposición del mismo tema en 4 alturas diferentes.
Durante su transformación, el tema musical era procesado mediante alguno de los métodos recién descriptos. La forma en que se seleccionaba el proceso a ser aplicado dependía de la forma del virus, que a su vez se desprendía del tipo de figura que las personas hacían en su baile. Los virus seguían un modelo de evolución poblacional. Este modelo indicaba la forma en que aumentaba la población en cada momento, y planteaba diferentes alternativas, según el sistema inmune pudiese, o no, defenderse. El sistema inmune se adaptaba a cada nuevo patrón que observaba, y cuando los nuevos patrones eran semejantes a los ya aprendidos, el sistema lograba defenderse, limitando el crecimiento viral hasta extinguirlo. Cuando los nuevos patrones se diferenciaban completamente de lo ya aprendido, el sistema inmune era incapaz de limitar el crecimiento viral, el cual a partir de cierto nivel, determinaba la muerte del tema musical. El grado de transformación que ejerce cada uno de estos procedimientos sonoros sobre el tema, está en relación con el nivel de enfermedad que presenta el organismo infectado, en este caso, el tema musical.
Durante el desarrollo de este trabajo, observamos que los procesos sonoros diseñados lograban transformar la música siguiendo el nivel de población viral, pero preservando la identidad del tema. Este equilibrio lograba crear la percepción de que el tema musical se iba enfermando con el ataque viral, principalmente por el control por analogía de los parámetros de los procesos en función de la población. De esta forma se pudieron articular tres elementos de naturalezas dispares: el patrón de baile de las personas, la evolución de un proceso viral y la transformación de un tema musical.
(1) Benoît Mandelbrot, 1975, La Geometría Fractal de la Naturaleza, Ed. Tusquets
(2) Wikipedia, es.wikipedia.org
(3) Causa Emiliano, 2007, “Los virus y el arte”, www.biopus.com.ar
(4) Karlheinz Essl, “Real Time Composition Library” , www.essl.at
