{"id":808,"date":"2020-07-25T13:42:06","date_gmt":"2020-07-25T19:42:06","guid":{"rendered":"http:\/\/ofeliayorquesta.com\/blog\/?p=808"},"modified":"2020-07-25T14:36:17","modified_gmt":"2020-07-25T20:36:17","slug":"transferencia-de-estilo-en-videos","status":"publish","type":"post","link":"https:\/\/ofeliayorquesta.com\/blog\/2020\/07\/25\/transferencia-de-estilo-en-videos\/","title":{"rendered":"Transferencia de Estilo en Videos"},"content":{"rendered":"<p>Lo que inicialmente llam\u00f3 mi atenci\u00f3n del algoritmo de transferencia de estilo aplicado a videos fue que \u00e9ste produce un efecto 3D que por instantes hace parecer que s\u00ed se salen los personajes de la pantalla, y adem\u00e1s, suena loca la posibilidad de dar movimiento a un cuadro como &#8220;La noche estrellada&#8221; de Van Gogh. Este algoritmo es Artistic Videos, cuyo art\u00edculo se puede consultar\u00a0<a href=\"https:\/\/arxiv.org\/pdf\/1604.08610.pdf\">aqu\u00ed<\/a>, y el c\u00f3digo es descargable\u00a0<a href=\"https:\/\/github.com\/manuelruder\/artistic-videos\">ac\u00e1<\/a>.<\/p>\n<p>El prop\u00f3sito de este post es analizar est\u00e9ticamente un video que emplea transferencia de estilo, que yo film\u00e9 y edit\u00e9 (luego, la transferencia de estilo fue posible gracias a Al, quien se encarg\u00f3 de procesarlo con Artistic Videos).<\/p>\n<p>El video puede especificarse para ser visto en alta definici\u00f3n:<\/p>\n<p><iframe loading=\"lazy\" title=\"Marcha Gay 2019 + Artistic Videos\" width=\"900\" height=\"506\" src=\"https:\/\/www.youtube.com\/embed\/gIMED3tO57c?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture\" allowfullscreen><\/iframe><\/p>\n<p>Primero que nada, en el video apreciamos una doble pantalla, donde unos pocos recortes a los videos conllevan que ambos est\u00e9n desincronizados y \u00fanicamente coincidan en el principio y el fin.<\/p>\n<p>La pintura original con que se hizo la transferencia es:<\/p>\n<figure id=\"attachment_810\" aria-describedby=\"caption-attachment-810\" style=\"width: 660px\" class=\"wp-caption alignnone\"><a href=\"http:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/christian.jpg\"><img loading=\"lazy\" decoding=\"async\" class=\"wp-image-810 size-large\" src=\"http:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/christian-1024x944.jpg\" alt=\"\" width=\"660\" height=\"608\" srcset=\"https:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/christian-1024x944.jpg 1024w, https:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/christian-300x276.jpg 300w, https:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/christian-768x708.jpg 768w, https:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/christian.jpg 2000w\" sizes=\"auto, (max-width: 660px) 100vw, 660px\" \/><\/a><figcaption id=\"caption-attachment-810\" class=\"wp-caption-text\">De Christian Santana y Ana Hursh.<\/figcaption><\/figure>\n<p>La pintura tiene unos trazos gruesos y negros que me atrevo a decir, son ramas de \u00e1rboles; en el video, esto se tradujo hacia las siluetas de las personas. Lo cual es desventaja, pues se desdibujan muchos elementos del video original. A veces parece una plasta de textura que est\u00e1 movi\u00e9ndose y nada m\u00e1s.\u00a0 Como la pintura es de mi primo, eso aporta originalidad a la obra final. Y ya que en un futuro no muy lejano esta t\u00e9cnica ser\u00e1 m\u00e1s que conocida, de haber procesado el video utilizando cualquier obra de Picasso, el resultado visual ser\u00eda muy predecible.<\/p>\n<p>Las tomas de c\u00e1mara sucedieron el s\u00e1bado 29 de junio de 2019, durante la 41 Marcha del Orgullo LGBTTTI &#8211; recordando que, cercano esta fecha, el 28 de junio pero de 1969, ocurrieron los disturbios de Stonewall -, y \u00e9stas tienen un car\u00e1cter documental, pues si bien quise participar en la trama e invitar a otras personas, a la mera hora mi intento de convocatoria (realizada en facebook) fracas\u00f3. No hubo ni mujer ni hombre que me acompa\u00f1ara en esa marcha, y quiz\u00e1s eso permiti\u00f3 que yo pudiera fotografiar la escena a mi ritmo y a quienes yo quisiera.<\/p>\n<p>Lo que m\u00e1s capt\u00f3 mi ojo camar\u00f3grafo fue el protagonismo de los hombres: la pareja gay cuya vestimenta es de blusas hawaianas y collar de flores; el chavo que hac\u00eda contorsiones afuera del Palacio de Bellas Artes; el cuate vestido de charro que sac\u00f3 a bailar a una mujer (cuyo novio tambi\u00e9n estaba presente en la marcha), o unos travestis, \u00e9stos siendo a mis ojos hombres, aunque tal vez ellos se identificaran como mujeres. Y a las mujeres \u00fanicamente las fotografi\u00e9 como transe\u00fantes de la calle o de carros aleg\u00f3ricos.<\/p>\n<p>Antes de hacerse el video renderizado de transferencia de estilo, en mis manos tuve una carpeta con todos los cuadros que conforman el video, y donde se puede apreciar qu\u00e9 im\u00e1genes me gustan m\u00e1s as\u00ed como cu\u00e1les desperfectos hay.\u00a0 Por ejemplo, las orillas de algunos cuadros son borrosas, de un color rosado molesto. En la siguiente imagen, esto se ve en la parte derecha, casi cubriendo una cuarta parte de la ilustraci\u00f3n y tambi\u00e9n en el borde inferior.<\/p>\n<p><a href=\"http:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/out-5146.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone size-full wp-image-813\" src=\"http:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/out-5146.png\" alt=\"\" width=\"720\" height=\"480\" srcset=\"https:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/out-5146.png 720w, https:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/out-5146-300x200.png 300w\" sizes=\"auto, (max-width: 720px) 100vw, 720px\" \/><\/a><\/p>\n<p>La borrosidad es suficiente como para considerar no utilizarlo siendo el \u00fanico visual en pantalla y justamente eso opt\u00e9 por hacer, al conjuntar el video original y el procesado, en una doble vista.<\/p>\n<p>Muy usual que en una marcha ocurran movimientos r\u00e1pidos, como la gente que se atraviesa, propiciando as\u00ed, m\u00e1s indefiniciones rosadas en el video procesado. As\u00ed, lo que mejor funciona para esta selecci\u00f3n de pintura son las escenas casi est\u00e1ticas, aunque hay excepciones, como la del hombre contorsionista; pues en este caso, se produjo un efecto interesante por la forma en que la pintura se combin\u00f3 con el suelo (este es est\u00e1tico).<\/p>\n<p><a href=\"http:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/still.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone size-large wp-image-815\" src=\"http:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/still-1024x505.png\" alt=\"\" width=\"660\" height=\"325\" srcset=\"https:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/still-1024x505.png 1024w, https:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/still-300x148.png 300w, https:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/still-768x379.png 768w, https:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/still.png 1216w\" sizes=\"auto, (max-width: 660px) 100vw, 660px\" \/><\/a><\/p>\n<p>Los colores del video original son muy diferentes al del procesado; otra raz\u00f3n para mostrarlos ambos. Especialmente, los colores de la bandera LGBT distinguen a la marcha, y salvo por dos escenas, los colores de \u00e9sta desaparecen en el video que es transferencia de estilo.<\/p>\n<p>Las transiciones que ten\u00eda el video original nunca beneficiaron un buen efecto en el video procesado, pues tambi\u00e9n caus\u00f3 indefiniciones en la imagen. Artistic Videos hizo un mejor trabajo cuando no hab\u00eda transici\u00f3n entre escena y escena. Comp\u00e1rense por ejemplo la transici\u00f3n del segundo 5 con la transici\u00f3n del segundo 43 (en el video arriba publicado).<\/p>\n<p>Tal vez una manera de interpretar el c\u00f3mo afecta una transferencia de estilo al video es que presenta una visi\u00f3n distorsionada de la realidad, la cual pudiera hacer referencia a un sue\u00f1o, o al estado subjetivo de vivir un momento, o a una circunstancia que hace mucho ocurri\u00f3. O si no, pudiera significar la caricaturizaci\u00f3n que una persona elabora a partir de la circunstancia (a manera de s\u00e1tira o cursiler\u00eda; esto ciertamente estar\u00eda relacionado con la elecci\u00f3n de la pintura, la musicalizaci\u00f3n, o con el c\u00f3mo estoy contando las cosas). Por lo pronto, considero que el video es un mero comparativo, donde el espectador puede elegir cu\u00e1l escenas ver m\u00e1s, y donde una musicalizaci\u00f3n exaltar\u00eda las emociones.<\/p>\n<p>Con este video busco mostrar la circunstancia de la marcha, agregando un toque art\u00edstico, y sin la pretensi\u00f3n convertir a la gente en gays o lesbianas, transg\u00e9neros o trasvestis. Pero tal vez s\u00ed sea un statement para yo ligar, y que alguna chica me haga caso, sin antes hacerse mil pelotas en la cabeza acerca de cu\u00e1l es su orientaci\u00f3n sexual. Porque dar un simple beso no tendr\u00eda que requerir que sepas a ciencia cierta lo que ser\u00e1 de tu vida los pr\u00f3ximos diez a\u00f1os, tanto en la micro-escala como en la macro-escala. Esta discusi\u00f3n es muy extensa y queda fuera de los objetivos de este texto, pero mostrando un trabajo visual respecto del tema ser\u00eda un primer paso para generar conversaciones.<\/p>\n<p>El video s\u00ed favorece la inclusi\u00f3n de la comunidad LGBT+ en esta sociedad.<\/p>\n<p>Para la transferencia de estilo referida, se us\u00f3 un GPU NVIDIA GTX 1080, y el procesado tard\u00f3 3 semanas. Fue una colaboraci\u00f3n, y la realizaci\u00f3n no habr\u00eda sido posible sin ella. Mencionando esto, quisiera constatar que este proyecto es reciclable, y con ello aludo a los mismos videos: el documental de la marcha 2019 y transferencia de estilo de \u00e9ste con la pintura de Christian (ya tengo mejor idea de c\u00f3mo aplicar Artistic Videos a nuevos videos, pero no cuento con el equipo).<\/p>\n<p>El uso de este algoritmo tiene la ventaja de que se puede estudiar la teor\u00eda matem\u00e1tica que lo hace funcionar, lo cual provee un sustento cient\u00edfico. Se trata de una red neuronal convolucional pre-entrenada en reconocimiento de imagen, donde una funci\u00f3n de p\u00e9rdida calcula el error para los cuadros de video, y otra funci\u00f3n de p\u00e9rdida calcula el error para la imagen estilo (inicialmente generado por una imagen ruidosa). Esto es una generalizaci\u00f3n de transferencia de estilo aplicada a im\u00e1genes (que en mi tesis menciono), con la diferencia de que para video se tiene que calcular un flujo adicional entre cuadros, que garantizar\u00e1 una transici\u00f3n de cuadros suave.<\/p>\n<p>Sin calcularse tal flujo, la renderizaci\u00f3n ser\u00eda m\u00e1s veloz, pero el video se ver\u00eda muy diferente:<\/p>\n<div style=\"width: 900px;\" class=\"wp-video\"><video class=\"wp-video-shortcode\" id=\"video-808-1\" width=\"900\" height=\"506\" preload=\"metadata\" controls=\"controls\"><source type=\"video\/mp4\" src=\"http:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/m2.mp4?_=1\" \/><a href=\"http:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/m2.mp4\">http:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/m2.mp4<\/a><\/video><\/div>\n<p>Por la dificultad que hay para ejecutar el algoritmo sobre un video corto, esta herramienta poco beneficia a que la persona de bajos recursos econ\u00f3micos realice pr\u00e1cticas experimentales, e incluso en Google Collab ser\u00eda dif\u00edcil, ya que el GPU que te presta es por un tiempo mucho menor a lo que Artistic Videos necesita.\u00a0 De este modo, sigo creyendo que programas como Processing son m\u00e1s abiertos hacia todo tipo de gente y tambi\u00e9n consiguen visuales n\u00edtidos. Aunque de la transferencia de estilo hay un resultado esperado dadas las im\u00e1genes estilo y contenido, cuyo output es un video. Problema que data desde Efros &amp; Freeman, quienes en el art\u00edculo &#8220;Image quilting for texture synthesis and transfer&#8221; (2001) propusieron a la transferencia de estilo como una extensi\u00f3n de la s\u00edntesis de textura; pero no fue sino hasta el modelo Neural Style Transfer de Gatys, Ecker, Bethge, que la t\u00e9cnica se implement\u00f3 de manera realmente eficiente, pudiendo adaptarse el algoritmo a diversos estilos, y siendo capaz de extraer con suficiente fidelidad las caracter\u00edsticas relevantes de las im\u00e1genes contenido y estilo.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Lo que inicialmente llam\u00f3 mi atenci\u00f3n del algoritmo de transferencia de estilo aplicado a videos fue que \u00e9ste produce un efecto 3D que por instantes hace parecer que s\u00ed se salen los personajes de la pantalla, y adem\u00e1s, suena loca la posibilidad de dar movimiento a un cuadro como &#8220;La noche estrellada&#8221; de Van Gogh.<\/p>\n","protected":false},"author":1,"featured_media":821,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_uag_custom_page_level_css":"","footnotes":""},"categories":[3,57,56],"tags":[66],"class_list":["post-808","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-lgbt","category-machinelearning","category-python","tag-artisticvideos"],"uagb_featured_image_src":{"full":["https:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/out-4786.png",720,480,false],"thumbnail":["https:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/out-4786-150x150.png",150,150,true],"medium":["https:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/out-4786-300x200.png",300,200,true],"medium_large":["https:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/out-4786.png",720,480,false],"large":["https:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/out-4786.png",720,480,false],"1536x1536":["https:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/out-4786.png",720,480,false],"2048x2048":["https:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/out-4786.png",720,480,false],"coup-single-post":["https:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/out-4786.png",720,480,false],"coup-archive-sticky":["https:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/out-4786.png",720,480,false],"coup-archive":["https:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2020\/07\/out-4786.png",450,300,false]},"uagb_author_info":{"display_name":"Ofelia Negrete","author_link":"https:\/\/ofeliayorquesta.com\/blog\/author\/ofelia-negrete\/"},"uagb_comment_info":3,"uagb_excerpt":"Lo que inicialmente llam\u00f3 mi atenci\u00f3n del algoritmo de transferencia de estilo aplicado a videos fue que \u00e9ste produce un efecto 3D que por instantes hace parecer que s\u00ed se salen los personajes de la pantalla, y adem\u00e1s, suena loca la posibilidad de dar movimiento a un cuadro como &#8220;La noche estrellada&#8221; de Van Gogh.","_links":{"self":[{"href":"https:\/\/ofeliayorquesta.com\/blog\/wp-json\/wp\/v2\/posts\/808","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/ofeliayorquesta.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/ofeliayorquesta.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/ofeliayorquesta.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/ofeliayorquesta.com\/blog\/wp-json\/wp\/v2\/comments?post=808"}],"version-history":[{"count":15,"href":"https:\/\/ofeliayorquesta.com\/blog\/wp-json\/wp\/v2\/posts\/808\/revisions"}],"predecessor-version":[{"id":829,"href":"https:\/\/ofeliayorquesta.com\/blog\/wp-json\/wp\/v2\/posts\/808\/revisions\/829"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/ofeliayorquesta.com\/blog\/wp-json\/wp\/v2\/media\/821"}],"wp:attachment":[{"href":"https:\/\/ofeliayorquesta.com\/blog\/wp-json\/wp\/v2\/media?parent=808"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/ofeliayorquesta.com\/blog\/wp-json\/wp\/v2\/categories?post=808"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/ofeliayorquesta.com\/blog\/wp-json\/wp\/v2\/tags?post=808"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}