{"id":912,"date":"2021-02-20T12:26:17","date_gmt":"2021-02-20T18:26:17","guid":{"rendered":"http:\/\/ofeliayorquesta.com\/blog\/?p=912"},"modified":"2021-05-14T12:25:56","modified_gmt":"2021-05-14T18:25:56","slug":"sintesis-de-textura","status":"publish","type":"post","link":"http:\/\/ofeliayorquesta.com\/blog\/2021\/02\/20\/sintesis-de-textura\/","title":{"rendered":"S\u00edntesis de Textura"},"content":{"rendered":"

La s\u00edntesis de textura, como procedimiento algor\u00edtmico no tiene nada de art\u00edstico;\u00a0 <\/span>aunque una exploraci\u00f3n en el tema pudiera llevarnos a controlar mejor el aspecto de obras visuales que la utilicen. Existen diversos m\u00e9todos para efectuar s\u00edntesis de textura: por cortes m\u00ednimos, teselaciones de Wang, o redes neuronales, entre otras posibilidades.<\/p>\n

El problema de s\u00edntesis de textura consiste en que, a partir de la muestra peque\u00f1a de una textura, se pueda crear un tapiz m\u00e1s grande con \u00e9sta, que se perciba como la misma textura de la que provino. En la creaci\u00f3n de videojuegos es com\u00fan querer pintar un cielo, o una regi\u00f3n de pasto, o tal vez aplicar un aspecto de mosaicos a un castillo, y una manera eficiente para realizar esta tarea sin saturar el procesamiento computacional, ser\u00eda que, cada uno de esos tapices estuviera generado por una imagen muy peque\u00f1a. De aqu\u00ed que sea \u00fatil desarrollar un algoritmo de s\u00edntesis de textura.<\/p>\n

La texturizaci\u00f3n de geometr\u00eda conforma s\u00f3lo un sub sistema en un programa como Blender; sin embargo, la s\u00edntesis de textura tambi\u00e9n tiene diversas aplicaciones fuera del modelado 3D. Se pudiera pensar en usar una misma textura para unir varias aplicaciones o porciones de videos (o de im\u00e1genes, o entornos virtuales), conformando una pieza visual, donde esa misma textura estuviera presente desde varias perspectivas distintas.<\/p>\n

Desglosar\u00e9 algunas maneras de emplear y pensar la s\u00edntesis de textura y la transferencia de estilo.<\/p>\n

Texturas y Teselaciones<\/strong><\/p>\n

Esta secci\u00f3n intentar\u00e1 establecer una relaci\u00f3n entre los conceptos de textura y teselaci\u00f3n.<\/p>\n

Una teselaci\u00f3n (o embaldosado) en el plano $\\mathcal{T}$\u00a0<\/span>es una familia numerable de conjuntos cerrados $$\\mathcal{T} = \\{T_1, T_2, \\ldots\\}$$que cubren al plano, que no se sobrelapan unos con otros y no dejan huecos. M\u00e1s formalmente, se cumplen dos condiciones:\u00a0$$\\mathcal{T} = T_1\\cup T_2\\cup \\ldots \\text{,}$$\u00a0<\/span>lo que significa que la uni\u00f3n de todas las teselas (o baldosas) debe ser todo el plano euclidiano, e $$int(T_i)\\cap int(T_j) = \\emptyset$$para\u00a0$i \\neq j$<\/span>. Es decir, los puntos interiores de los conjuntos $T_i$\u00a0<\/span>son disjuntos dos a dos. 1<\/a><\/sup><\/p>\n

En la siguiente imagen (figura 1), cada \u201cave\u201d representa una tesela\u00a0$T_i$\u00a0<\/span>, seg\u00fan la definici\u00f3n. Si cont\u00e1ramos con una infinidad de ellas, sin duda se cubrir\u00eda el plano.<\/p>\n

\"\"<\/a>
Figura 1: Teselaci\u00f3n Escher<\/figcaption><\/figure>\n

Y m\u00e1s a\u00fan, decimos que la teselaci\u00f3n es \u201cperi\u00f3dica, con centros de simetr\u00eda de \u00f3rdenes 6, 3 y 2\u201d (haciendo referencia al \u201cgrupo 632\u201d). 2<\/a><\/sup><\/p>\n

Peri\u00f3dico quiere decir, que al trasladar los centros de simetr\u00eda hacia otros centros de simetr\u00eda, la figura queda invariante (es decir, parece que no hubo un movimiento de imagen despu\u00e9s de la traslaci\u00f3n).<\/p>\n

Hay tres centros de simetr\u00eda para esta ilustraci\u00f3n, que son: a) los puntos en donde se juntan las colas de 3 p\u00e1jaros con las alas de otras 3 aves, y donde se puede rotar 60\u00ba y 180\u00ba, dejando invariante la teselaci\u00f3n; b) los puntos donde se juntan \u00fanicamente las alas derechas de 6 p\u00e1jaros, y donde se puede rotar 120\u00ba sobre este centro, dejando la figura igual, salvo por que se intercambien algunos colores.<\/p>\n

En el contexto de la s\u00edntesis de textura, es posible considerar la imagen descrita (Figura 1) como una textura estructurada <\/i>y hacer el experimento de tomar esta muestra como la imagen de entrada en un algoritmo de s\u00edntesis de textura, buscando obtener un tapiz m\u00e1s amplio, que preserve la \u201cconfiguraci\u00f3n de aves.\u201d<\/p>\n

De los resultados experimentales, corroboramos que esto no es lo que realmente ocurre (ver figuras 2 y 3). Para el algoritmo de s\u00edntesis de textura de Kwatra el al. algunas aves quedan recortadas (figura 2), y especialmente en el modelo de Gatys, las teselas ya no tienen forma de aves (figura 3). 3<\/a><\/sup> Ya no se puede decir que la imagen obtenida es un embaldosado peri\u00f3dico, a diferencia de la ilustraci\u00f3n original, que s\u00ed lo era. De donde podemos concluir que el modelo de Gatys no sirve muy bien para emular texturas estructuradas.<\/p>\n

\"\"<\/a>
Figura 2: S\u00edntesis de textura por cortes m\u00ednimos.<\/figcaption><\/figure>\n

Sin embargo, el mismo modelo s\u00ed permite realizar s\u00edntesis de textura a varias escalas, agrandando o achicando las figuras de la imagen de entrada (figura 4).<\/p>\n

Luego del an\u00e1lisis anterior, plantearemos cuatro preguntas, y que se intentar\u00e1n responder:<\/p>\n

\"\"<\/a>
Figura 3: S\u00edntesis de textura por redes neuronales convolucionales.<\/figcaption><\/figure>\n
    \n
  1. \u00bfEs una teselaci\u00f3n una textura?4<\/a><\/sup><\/li>\n
  2. \u00bfEs una textura una teselaci\u00f3n?5<\/a><\/sup><\/li>\n
  3. \u00bfEste punto de vista ayudar\u00eda a desarrollar un mejor algoritmo de s\u00edntesis de textura?<\/li>\n
  4. \u00bfEl concepto de teselaci\u00f3n ya figura de alg\u00fan modo en la implementaci\u00f3n de alguno de los algoritmos de s\u00edntesis de textura estudiados?\u00a0 \u00a0<\/span><\/li>\n<\/ol>\n
    \"\"<\/a>
    Figura 4: S\u00edntesis de textura con NST usando diferentes escalamientos.<\/figcaption><\/figure>\n

    Una definici\u00f3n general de textura es: \u201cla agregaci\u00f3n de materiales que se perciben como variaciones o irregularidades de una superficie continua, y que se distinguen a trav\u00e9s del tacto, la vista o el o\u00eddo. A las texturas tactiles se les llama as\u00ed, pues es el tacto el que mejor distingue entre una textura y otra. Por ejemplo, la suavidad, aspereza y rugosidad son sensaciones que transmite la textura. En una pintura, se destaca la importancia de la textura, abarcando desde el lienzo o papel, hasta las brochas y la pintura utilizados. En m\u00fasica, textura hace referencia al modo en que se combinan los materiales r\u00edtmicos, mel\u00f3dicos y arm\u00f3nicos en una composici\u00f3n, determinando as\u00ed, la cualidad sonora global de una pieza. Finalmente, las texturas visuales imitan la realidad, como puede ser el caso de im\u00e1genes de arena, piedras, o agua.\u201d<\/p>\n

    Entonces, \u00bfEs una textura una teselaci\u00f3n?<\/p>\n

    Tomando en cuenta la noci\u00f3n general de textura, ser\u00eda poco adecuado decir que lo es; incorrecto inclusive, pues en el caso de una pintura, su rugosidad bien puede deberse a varios elementos que se sobrelapan, que ser\u00edan varios trazos encimados sobre un lienzo, el cual tambi\u00e9n forma parte de la textura.<\/p>\n

    \u00bfEs una teselaci\u00f3n una textura?<\/p>\n

    S\u00ed. En el contexto de s\u00edntesis de textura, si la imagen de entrada del algoritmo es una teselaci\u00f3n, la consideramos una textura estructurada, y \u00e9stas son particularmente dif\u00edciles de sintetizar. Fuera de este escenario, que ya no es tan relevante para el presente texto, las teselaciones suelen ser un decorado para el suelo y las paredes de hogares, hasta catedrales y ruinas. Son distinguibles al tacto y la vista, por lo que tambi\u00e9n se manejan como texturas en el \u00e1mbito social.<\/p>\n

    Luego, \u00bfEl concepto de teselaci\u00f3n ya figura de alg\u00fan modo en la implementaci\u00f3n de alguno de los algoritmos de s\u00edntesis de textura estudiados?<\/p>\n

    Pensando en el algoritmo con que se est\u00e1 realizando la s\u00edntesis de textura, que en el caso de los modelos tratados se da con respecto a parches de pixeles, sin duda estos parches no tienen la forma de las teselas que conforman lo que en la imagen de entrada, podr\u00eda ser una baldosa. La elecci\u00f3n de los parches es aleatoria, y es aplicable no solamente a texturas estructuradas, sino tambi\u00e9n a las estoc\u00e1sticas. Aunque estas \u00faltimas pudieran llegar a considerarse, en casos muy particulares, teselaciones aperi\u00f3dicas, ser\u00eda dif\u00edcil identificar los bloques b\u00e1sicos que las construir\u00edan.<\/p>\n

    Observamos, sin embargo, que, en el modelo de Kwatra, y en el nivel de los pixeles que componen una imagen, el algoritmo de flujo m\u00e1ximo corte m\u00ednimo determina qu\u00e9 pixeles de cada parche ser\u00e1n pegados en la imagen de salida, lo que eventualmente cubre a toda la resoluci\u00f3n de la imagen de salida. Este punto de vista, en el nivel de los pixeles, concuerda con la definici\u00f3n de teselaci\u00f3n, donde subconjuntos de pixeles en los parches son una tesela. Y nuevamente hay que recalcar, que los parches no suelen coincidir con lo que ser\u00eda una baldosa en la imagen de entrada, si tal muestra de entrada fuera una teselaci\u00f3n.<\/p>\n

    \u00bfConsiderar que en el contexto de la s\u00edntesis de textura, una textura pudiera ser una teselaci\u00f3n,\u00a0 <\/span>ayudar\u00eda a desarrollar un mejor algoritmo de s\u00edntesis de textura?<\/p>\n

    Esta pregunta es m\u00e1s interesante, y tambi\u00e9n m\u00e1s dif\u00edcil de responder.<\/p>\n

    Primero, hay que tomar en cuenta que el \u00e1rea de la computaci\u00f3n maneja una propia teor\u00eda y metodolog\u00eda, la cual puede prescindir de la \u201cteor\u00eda de las teselaciones en matem\u00e1ticas\u201d para proponer un algoritmo de s\u00edntesis de textura que funcione. A esto agregu\u00e9mosle los trabajos que en el pasado ya se han hecho para elaborar s\u00edntesis de textura. Kwatra et. al se basaron en trabajos previos de Efros y Freeman; Gatys et. al usaron el mismo modelo que Portilla y Simoncelli, pero en el \u00e1mbito de las redes neuronales. De esto y muchas otras cosas se deriva que existan muchas maneras de hacer s\u00edntesis de textura, y ser\u00eda dif\u00edcil establecer un \u00fanico algoritmo, nombr\u00e1ndolo el m\u00e1s eficiente. As\u00ed, si se pretende desarrollar un buen algoritmo de s\u00edntesis de textura que tome como inspiraci\u00f3n la definici\u00f3n matem\u00e1tica de teselaci\u00f3n, ser\u00eda conveniente conocer otras implementaciones de s\u00edntesis de textura, en lugar de reinventar la rueda totalmente.<\/p>\n

    Dicho esto, existen aplicaciones de las llamadas \u201cteselaciones de Wang\u201d a la s\u00edntesis de textura, que datan desde 1997 (Stam). Consultar tambi\u00e9n \u201cWang Tiles for image and texture generation<\/em>\u201d (Cohen, et al, 2003).<\/p>\n

    Las teselaciones de Wang son colecciones de baldosas cuadradas y coloreadas en cada una de sus esquinas. La regla para apilar a una tesela seguida de otra es: \u00fanicamente se pueden unir los extremos que comparten color. Adem\u00e1s, no se pueden rotar los cuadrados. El comportamiento es parecido al del juego de domin\u00f3, donde s\u00f3lo se puede agregar una nueva ficha que comparta extremo con la pieza que ya est\u00e1 en el tablero.<\/p>\n

    Est\u00e1 demostrado que cualquier conjunto de teselas de Wang que sea capaz de cubrir todo el plano, lo har\u00e1 de manera aperi\u00f3dica; lo que significa que la teselaci\u00f3n carecer\u00e1 de simetr\u00eda traslacional. Y esta es la motivaci\u00f3n principal para utilizar este tipo de mosaicos en s\u00edntesis de textura, ya que el algoritmo necesitar\u00e1 muy pocas piezas cuadradas \u201crellenas\u201d de textura para producir una teselaci\u00f3n aperi\u00f3dica de esa misma textura. Como los parches empleados son pocos, esto ayudar\u00e1 en el procesamiento computacional, y tambi\u00e9n facilitar\u00e1 la programaci\u00f3n de un algoritmo que junte los mosaicos. Por otro lado, la aperiodicidad garantizar\u00e1 que visualmente sea imperceptible que las mismas piezas se est\u00e1n utilizando una y otra vez para tapizar la textura de salida.<\/p>\n

    Texturas y transferencia de estilo<\/strong><\/p>\n

    El problema de transferencia de estilo consiste en que, a partir de dos im\u00e1genes de entrada, un algoritmo haga posible combinar ambas, de tal modo una de ellas aporte el contenido y la otra, el estilo, generando una sola imagen de salida.<\/p>\n

    \"\"<\/a>
    Figura 5: Transferencia de estilo que preserva los colores de las im\u00e1genes contenido.<\/figcaption><\/figure>\n

    Desde Efros y Freeman, en su art\u00edculo \u201cImage quilting for texture synthesis and transfer\u201d (2001) se propuso a la transferencia de estilo como una extensi\u00f3n de la s\u00edntesis de textura. Posteriormente, se crearon algoritmos que lograron procesar\u00a0 <\/span>cualquier imagen con un \u00fanico estilo. No fue sino hasta el modelo Neural Style Transfer de Gatys, Ecker, Bethge, que la t\u00e9cnica se implement\u00f3 de manera realmente eficiente, pudiendo adaptarse el algoritmo a diversos estilos, y siendo capaz de extraer con suficiente fidelidad las caracter\u00edsticas relevantes de las im\u00e1genes contenido y estilo. 6<\/a><\/sup><\/p>\n

    El algoritmo Neural Style Transfer propuesto por Gatys et al, funciona as\u00ed:<\/p>\n

    Se tiene una red neuronal convolucional que acepta como entrada dos im\u00e1genes aleatorias: a la primera se le llama la imagen contenido, y a la segunda, la imagen estilo. La salida del algoritmo ser\u00e1 una \u00fanica ilustraci\u00f3n que fusionar\u00e1 ambas im\u00e1genes de entrada, a partir de estilizar la imagen contenido. En el ejemplo m\u00e1s t\u00edpico, como contenido se elige la fotograf\u00eda de una persona, mientras que la imagen estilo es una pintura de Van Gogh (\u201cLa noche estrellada\u201d), y que al combinarse, se obtiene lo que parecer\u00eda ser una pintura de la persona fotografiada, en el estilo de Van Gogh (ver figura 6).<\/p>\n

    \"\"<\/a>
    Figura 6. La imagen estilo es “La noche estrellada”, de Van Gogh.<\/figcaption><\/figure>\n

    La imagen estilizada es el resultado de haber optimizado la red neuronal, donde la funci\u00f3n que se optimiza \u2014y que en el contexto de redes neuronales es com\u00fanmente llamada funci\u00f3n de p\u00e9rdida\u2014 es:<\/p>\n

    $$\\mathcal{L}_{total} = \\alpha\\mathcal{L}_c + \\beta\\mathcal{L}_s \\text{.}$$\u00a0<\/span><\/p>\n

    Significa que la funci\u00f3n de p\u00e9rdida total es la suma de dos funciones de p\u00e9rdida $\\mathcal{L}_s$\u00a0\u00a0<\/span>y\u00a0 $\\mathcal{L}_c$\u00a0\u00a0<\/span>, donde $\\mathcal{L}_s$\u00a0<\/span>es la funci\u00f3n de p\u00e9rdida para la imagen estilo, y $\\mathcal{L}_c$\u00a0<\/span>es la funci\u00f3n de p\u00e9rdida para la imagen contenido (consultar el art\u00edculo de Gatys en (3) para m\u00e1s detalles acerca de esta ecuaci\u00f3n). Los escalares $\\alpha$\u00a0<\/span>y $\\beta$ que acompa\u00f1an a $\\mathcal{L}_s$\u00a0<\/span>y $\\mathcal{L}_c$\u00a0<\/span>determinar\u00edan cuanta informaci\u00f3n de cada una de estas funciones de p\u00e9rdida, permanecer\u00e1 en la imagen de salida.<\/p>\n

    Por ejemplo, si $\\alpha = 0$\u00a0<\/span>y\u00a0$\\beta = 1$<\/span>, entonces $\\mathcal{L}_{total} = 0 + \\mathcal{L}_s = \\mathcal{L}_s$\u00a0<\/span>. Pero en este caso, lo que aparece en la imagen de salida, s\u00f3lo tiene informaci\u00f3n de la imagen estilo.<\/p>\n

    Tambi\u00e9n se podr\u00eda hacer algo parecido, pero al rev\u00e9s, especificando $\\beta = 0$\u00a0<\/span>y\u00a0$\\alpha \\neq 0$<\/span>. De este modo, $\\mathcal{L}_{total} = \\alpha\\mathcal{L}_c + 0 = \\alpha \\mathcal{L}_c$ . Y lo que dar\u00eda como resultado\u00a0 <\/span>una reconstrucci\u00f3n de la imagen contenido sin ning\u00fan tipo de estilizaci\u00f3n.<\/p>\n

    Como bien constata el art\u00edculo de Gatys en [3], la funci\u00f3n de p\u00e9rdida $\\mathcal{L}_s$\u00a0<\/span>es nada m\u00e1s ni nada menos que una implementaci\u00f3n de s\u00edntesis de textura. Es decir, estableciendo $\\alpha = 0$\u00a0<\/span>y $\\beta$\u00a0<\/span>igual a un n\u00famero distinto de cero, es una manera de hacer s\u00edntesis de textura para la imagen de estilo.<\/p>\n

    En sus inicios, y con el objetivo de efectuar s\u00edntesis de textura, Neural Style Transfer requer\u00eda que la imagen de entrada e imagen de salida fueran del mismo tama\u00f1o. De este modo, s\u00f3lo se estaba trabajando en el problema de que la textura de salida se pareciera mucho a la textura de entrada, pero no se estaba tomando en cuenta la idea de crear un tapiz m\u00e1s amplio a partir de la muestra peque\u00f1a de una textura. Se puede ilustrar este proceso de reconstrucci\u00f3n de imagen que lleva a cabo Neural Style Transfer (Figura 6).<\/p>\n

    \"\"<\/a>
    Figura 6: Proceso de reconstrucci\u00f3n de imagen. Cada muestra representa una iteraci\u00f3n del algoritmo.<\/figcaption><\/figure>\n

    En posteriores mejoras al algoritmo, como en \u201cneural_style_pt\u201d 7<\/a><\/sup>, se puede especificar que la imagen de salida tenga igual resoluci\u00f3n a la imagen contenido, mientras que la imagen estilo sea m\u00e1s peque\u00f1a. As\u00ed, en el caso de s\u00edntesis de textura ($\\alpha = 0$), la imagen contenido ser\u00eda inicializada por un ruido aleatorio aplicado sobre un canvas blanco. Y en este caso ya es posible generar un tapiz m\u00e1s amplio de una textura a partir de la muestra peque\u00f1a de la misma.<\/p>\n

    Al realizar s\u00edntesis de textura con Neural Style Transfer, donde la ya referida ilustraci\u00f3n de Escher se tom\u00f3 como la imagen estilo, y que ten\u00eda una dimensi\u00f3n de 256×256 pixeles, se gener\u00f3 una imagen de salida de 1990×1290 pixeles de dimensi\u00f3n. style_scale y style_weight fueron par\u00e1metros que se modificaron en el programa y que determinaron totalmente la apariencia de la imagen generada. El primer par\u00e1metro escala la textura de entrada, agrand\u00e1ndola o achic\u00e1ndola hacia la imagen de salida. Dado que la imagen contenido es de mayor resoluci\u00f3n que la textura, de no modificarse el escalamiento (es decir, dejando style_scale=1), se obtendr\u00eda una textura agrandada y muy poco similar a lo que se busca. Mejores resultados de s\u00edntesis de textura se producen al dar valores 0.1, 0.2, \u2026., 0.9 a style_scale (ver figura 4).<\/p>\n

    Los diferentes escalamientos de la textura inciden de manera relevante, en una fotograf\u00eda estilizada por la textura (ver figura 7).<\/p>\n

    \"\"<\/a>
    Figura 7: Transferencias de estilo usando las texturas generadas.<\/figcaption><\/figure>\n

    Conclusiones<\/strong><\/p>\n

    Estudiar algoritmos de s\u00edntesis de textura puede ayudar a entender c\u00f3mo funciona el procesamiento de im\u00e1genes desde el nivel de los pixeles, y conocer la teor\u00eda matem\u00e1tica involucrada en ella.<\/p>\n

    Existen diversas maneras de hacer s\u00edntesis de textura, y actualmente se siguen elaborando nuevos algoritmos que sintetizan texturas, algunos de los cu\u00e1les parten de que una textura debe ser modelada por un campo aleatorio de Markov, mientras otras propuestas usan estad\u00edsticas de segundo orden, modelos fractales o transformadas Wavelet. Los algoritmos de s\u00edntesis de textura var\u00edan enormemente entre s\u00ed; algunos (los m\u00e1s antiguos) trabajan pixel por pixel, y otros emplean bloques de pixeles denominados parches. Algunos m\u00e9todos funcionan mediante programaci\u00f3n estructurada, a diferencia de los que emplean aprendizaje de m\u00e1quinas o redes neuronales. A\u00fan as\u00ed, no se puede hablar de un algoritmo \u00f3ptimo de s\u00edntesis de textura, lo que tambi\u00e9n estar\u00eda muy relacionado con el para qu\u00e9 ser\u00e1 utilizada la textura.<\/p>\n

    Varios m\u00e9todos de s\u00edntesis de textura pueden generalizarse a videos. Tal es el caso del algoritmo de Kwatra et al, y el de Gatys et al.<\/p>\n

    Visto desde el lado matem\u00e1tico, los campos aleatorios de Markov, los modelos probabil\u00edsticos en gr\u00e1ficas o la estad\u00edstica, forman parte de la teor\u00eda que sustenta varios algoritmos de s\u00edntesis de textura. 8<\/a><\/sup><\/p>\n

    Visto del lado de la programaci\u00f3n, tambi\u00e9n podr\u00eda ser de inter\u00e9s la optimizaci\u00f3n de algoritmos en visi\u00f3n computacional. E igualmente lo ser\u00eda la transferencia de estilo, para la cual ya existen muchos m\u00e1s algoritmos que hacen uso de esta t\u00e9cnica, adem\u00e1s de Neural Style Transfer (por ejemplo Strotss Style Transfer).<\/p>\n