Lo que inicialmente llamó mi atención del algoritmo de transferencia de estilo aplicado a videos fue que éste produce un efecto 3D que por instantes hace parecer que sí se salen los personajes de la pantalla, y además, suena loca la posibilidad de dar movimiento a un cuadro como “La noche estrellada” de Van Gogh. Este algoritmo es Artistic Videos, cuyo artículo se puede consultar aquí, y el código es descargable acá.
El propósito de este post es analizar estéticamente un video que emplea transferencia de estilo, que yo filmé y edité (luego, la transferencia de estilo fue posible gracias a Al, quien se encargó de procesarlo con Artistic Videos).
El video puede especificarse para ser visto en alta definición:
Primero que nada, en el video apreciamos una doble pantalla, donde unos pocos recortes a los videos conllevan que ambos estén desincronizados y únicamente coincidan en el principio y el fin.
La pintura original con que se hizo la transferencia es:
La pintura tiene unos trazos gruesos y negros que me atrevo a decir, son ramas de árboles; en el video, esto se tradujo hacia las siluetas de las personas. Lo cual es desventaja, pues se desdibujan muchos elementos del video original. A veces parece una plasta de textura que está moviéndose y nada más. Como la pintura es de mi primo, eso aporta originalidad a la obra final. Y ya que en un futuro no muy lejano esta técnica será más que conocida, de haber procesado el video utilizando cualquier obra de Picasso, el resultado visual sería muy predecible.
Las tomas de cámara sucedieron el sábado 29 de junio de 2019, durante la 41 Marcha del Orgullo LGBTTTI – recordando que, cercano esta fecha, el 28 de junio pero de 1969, ocurrieron los disturbios de Stonewall -, y éstas tienen un carácter documental, pues si bien quise participar en la trama e invitar a otras personas, a la mera hora mi intento de convocatoria (realizada en facebook) fracasó. No hubo ni mujer ni hombre que me acompañara en esa marcha, y quizás eso permitió que yo pudiera fotografiar la escena a mi ritmo y a quienes yo quisiera.
Lo que más captó mi ojo camarógrafo fue el protagonismo de los hombres: la pareja gay cuya vestimenta es de blusas hawaianas y collar de flores; el chavo que hacía contorsiones afuera del Palacio de Bellas Artes; el cuate vestido de charro que sacó a bailar a una mujer (cuyo novio también estaba presente en la marcha), o unos travestis, éstos siendo a mis ojos hombres, aunque tal vez ellos se identificaran como mujeres. Y a las mujeres únicamente las fotografié como transeúntes de la calle o de carros alegóricos.
Antes de hacerse el video renderizado de transferencia de estilo, en mis manos tuve una carpeta con todos los cuadros que conforman el video, y donde se puede apreciar qué imágenes me gustan más así como cuáles desperfectos hay. Por ejemplo, las orillas de algunos cuadros son borrosas, de un color rosado molesto. En la siguiente imagen, esto se ve en la parte derecha, casi cubriendo una cuarta parte de la ilustración y también en el borde inferior.
La borrosidad es suficiente como para considerar no utilizarlo siendo el único visual en pantalla y justamente eso opté por hacer, al conjuntar el video original y el procesado, en una doble vista.
Muy usual que en una marcha ocurran movimientos rápidos, como la gente que se atraviesa, propiciando así, más indefiniciones rosadas en el video procesado. Así, lo que mejor funciona para esta selección de pintura son las escenas casi estáticas, aunque hay excepciones, como la del hombre contorsionista; pues en este caso, se produjo un efecto interesante por la forma en que la pintura se combinó con el suelo (este es estático).
Los colores del video original son muy diferentes al del procesado; otra razón para mostrarlos ambos. Especialmente, los colores de la bandera LGBT distinguen a la marcha, y salvo por dos escenas, los colores de ésta desaparecen en el video que es transferencia de estilo.
Las transiciones que tenía el video original nunca beneficiaron un buen efecto en el video procesado, pues también causó indefiniciones en la imagen. Artistic Videos hizo un mejor trabajo cuando no había transición entre escena y escena. Compárense por ejemplo la transición del segundo 5 con la transición del segundo 43 (en el video arriba publicado).
Tal vez una manera de interpretar el cómo afecta una transferencia de estilo al video es que presenta una visión distorsionada de la realidad, la cual pudiera hacer referencia a un sueño, o al estado subjetivo de vivir un momento, o a una circunstancia que hace mucho ocurrió. O si no, pudiera significar la caricaturización que una persona elabora a partir de la circunstancia (a manera de sátira o cursilería; esto ciertamente estaría relacionado con la elección de la pintura, la musicalización, o con el cómo estoy contando las cosas). Por lo pronto, considero que el video es un mero comparativo, donde el espectador puede elegir cuál escenas ver más, y donde una musicalización exaltaría las emociones.
Con este video busco mostrar la circunstancia de la marcha, agregando un toque artístico, y sin la pretensión convertir a la gente en gays o lesbianas, transgéneros o trasvestis. Pero tal vez sí sea un statement para yo ligar, y que alguna chica me haga caso, sin antes hacerse mil pelotas en la cabeza acerca de cuál es su orientación sexual. Porque dar un simple beso no tendría que requerir que sepas a ciencia cierta lo que será de tu vida los próximos diez años, tanto en la micro-escala como en la macro-escala. Esta discusión es muy extensa y queda fuera de los objetivos de este texto, pero mostrando un trabajo visual respecto del tema sería un primer paso para generar conversaciones.
El video sí favorece la inclusión de la comunidad LGBT+ en esta sociedad.
Para la transferencia de estilo referida, se usó un GPU NVIDIA GTX 1080, y el procesado tardó 3 semanas. Fue una colaboración, y la realización no habría sido posible sin ella. Mencionando esto, quisiera constatar que este proyecto es reciclable, y con ello aludo a los mismos videos: el documental de la marcha 2019 y transferencia de estilo de éste con la pintura de Christian (ya tengo mejor idea de cómo aplicar Artistic Videos a nuevos videos, pero no cuento con el equipo).
El uso de este algoritmo tiene la ventaja de que se puede estudiar la teoría matemática que lo hace funcionar, lo cual provee un sustento científico. Se trata de una red neuronal convolucional pre-entrenada en reconocimiento de imagen, donde una función de pérdida calcula el error para los cuadros de video, y otra función de pérdida calcula el error para la imagen estilo (inicialmente generado por una imagen ruidosa). Esto es una generalización de transferencia de estilo aplicada a imágenes (que en mi tesis menciono), con la diferencia de que para video se tiene que calcular un flujo adicional entre cuadros, que garantizará una transición de cuadros suave.
Sin calcularse tal flujo, la renderización sería más veloz, pero el video se vería muy diferente:
Por la dificultad que hay para ejecutar el algoritmo sobre un video corto, esta herramienta poco beneficia a que la persona de bajos recursos económicos realice prácticas experimentales, e incluso en Google Collab sería difícil, ya que el GPU que te presta es por un tiempo mucho menor a lo que Artistic Videos necesita. De este modo, sigo creyendo que programas como Processing son más abiertos hacia todo tipo de gente y también consiguen visuales nítidos. Aunque de la transferencia de estilo hay un resultado esperado dadas las imágenes estilo y contenido, cuyo output es un video. Problema que data desde Efros & Freeman, quienes en el artículo “Image quilting for texture synthesis and transfer” (2001) propusieron a la transferencia de estilo como una extensión de la síntesis de textura; pero no fue sino hasta el modelo Neural Style Transfer de Gatys, Ecker, Bethge, que la técnica se implementó de manera realmente eficiente, pudiendo adaptarse el algoritmo a diversos estilos, y siendo capaz de extraer con suficiente fidelidad las características relevantes de las imágenes contenido y estilo.