Este trabajo fue motivado por un inter\u00e9s que tuve en el Machine Learning para las artes visuales<\/em>, por ah\u00ed de septiembre de 2018, y que culmin\u00f3 en una tesis de licenciatura en s\u00edntesis de textura donde el texto figurar\u00eda, pero se tuvo que quitar. Sin embargo, por cuatro primordiales razones me parece apropiado subir este contenido al sitio:<\/p>\n\n\n\n Una red neuronal artificial es un modelo computacional, inspirado en las redes neuronales humanas, que se utiliza para resolver una amplia variedad de tareas que son dif\u00edciles para la denominada “programaci\u00f3n estructurada”. Su invenci\u00f3n data del a\u00f1o 1943; la neurona de McCulloch-Pitts fue la primera neurona artificial. A esto le sigui\u00f3 el Perceptr\u00f3n (1958), con un vector de entrada, una capa con una neurona oculta y una salida. Espec\u00edficamente, las redes convolucionales son capaces de reconocer objetos en im\u00e1genes.<\/p>\n\n\n\n Las neuronas<\/strong> (o unidades de c\u00e1lculo) son los bloques b\u00e1sicos de construcci\u00f3n de una red neuronal. Cada una de estas unidades tiene un n\u00famero $k$ de conexiones de entrada (inputs<\/em>) y puede tomar cierto n\u00famero de estados. Pi\u00e9nsese, por ejemplo, en la red neuronal que reconoce d\u00edgitos del $0$ al $9$ a partir de im\u00e1genes. Entonces, por conexiones de entrada nos referimos a todos los pixeles de una imagen dada, y los posibles estados de la red son im\u00e1genes de d\u00edgitos $0$ al $9$, donde la red admite diversas caligraf\u00edas de los n\u00fameros, as\u00ed como im\u00e1genes rotadas o desplazadas de los d\u00edgitos. Una imagen de un $6$ en la caligraf\u00eda Helvetica<\/em> representar\u00eda un estado diferente al que describir\u00eda la imagen del mismo n\u00famero, pero en caligraf\u00eda Comic Sans<\/em>.<\/p>\n\n\n\n Para cierto estado descrito por un vector de entrada $\\overrightarrow{x} = (x_0, x_1, \\ldots, x_k)$ y por $W \\in \\mathcal{M}_{m\\times n}(\\mathbb{R})$, la neurona produce como salida una activaci\u00f3n<\/em> $g( \\overrightarrow{x} ,W)$, donde $g: \\mathbb{R}^p\\times\\mathbb{R}^{m\\times k} \\longrightarrow \\mathbb{R}$ es una funci\u00f3n fija, y $p = k+1$. Para facilitar la notaci\u00f3n, podemos denotar $g( \\overrightarrow{x} ,W) = g_W( \\overrightarrow{x} )$, donde, para cada $W$, $g_W: \\mathbb{R}^p \\longrightarrow \\mathbb{R}$ es la funci\u00f3n que una neurona eval\u00faa, dados los datos de entrada $ \\overrightarrow{x} $ (esta definici\u00f3n se encuentra en [1], p\u00e1gina 2).<\/p>\n\n\n\n En otras palabras, para una s\u00f3la neurona, el vector $W$ es una matriz de tama\u00f1o $1\\times p$, que se puede visualizar as\u00ed:<\/p>\n\n\n\n Y si hay $m$ neuronas, entonces $W$ es una matriz de $m \\times k$ entradas, donde la activaci\u00f3n $g( \\overrightarrow{a}^{\\text{ }0}, W)$, para esa capa con $m$ neuronas es:<\/p>\n\n\n\n \\begin{align} donde bien podr\u00eda $g$ ser un vector con $g_0, \\ldots, g_m$ funciones de activaci\u00f3n distintas, evaluando cada una de ellas a alguna de las $m$ neuronas de la capa $1$. Pero muy com\u00fan es que una misma funci\u00f3n de activaci\u00f3n sea utilizada sobre todas las neuronas.<\/p>\n\n\n\n Equivalentemente, se puede escribir<\/p>\n\n\n\n \\begin{align} que tal vez llegar\u00eda a facilitar la programaci\u00f3n de los datos.<\/p>\n\n\n\n Existen muchos tipos de redes neuronales: profundas, recurrentes, convolucionales, autoencoders, perceptrones multicapa, etc. Lo m\u00e1s pertinente ser\u00eda encontrar una manera de “ir construy\u00e9ndolas desde lo m\u00e1s simple posible, e ir entendiendo a ciertas redes como variantes de otras ya estudiadas. Finalmente, poder descartar algunas redes que no conciernen a nuestros objetos de estudio.” As\u00ed que mis textos s\u00f3lo tomar\u00e1n en cuenta, primero los casos m\u00e1s sencillos de red neuronal (perceptr\u00f3n y perceptr\u00f3n multicapa), y, ya que las redes convolucionales son aqu\u00e9llas aplicables al modelo de s\u00edntesis de textura de inter\u00e9s, y \u00e9stas son un subconjunto de las redes neuronales profundas, lo que m\u00e1s nos interesa llegar a definir matem\u00e1ticamente, es a la red neuronal profunda. As\u00ed,<\/p>\n\n\n\n Definici\u00f3n.<\/strong> Sean $E_i$ y $H_i$, con $i \\in [L+1]$, espacios con producto interior. Una red neuronal profunda<\/strong> de $L$ capas es la composici\u00f3n de $L$ funciones $f_i: E_i \\times H_i \\longrightarrow E_{i+1}$ (ver (3)). Referiremos a las variables $x_i \\in E_i$ como las variables de estado<\/em>, mientras que las variables $\\theta_i \\in H_i$ son los par\u00e1metros<\/em>. Es decir, si entendemos a $f_i$ como una funci\u00f3n que va de $E_i$ en $E_{i+1}$ y que depende de $\\theta_i \\in H_i$, denotamos, para ciertos datos de entrada $x \\in E_1$ a: $$ F: E_1\\times (H_1 \\times \\ldots \\times H_L) \\longrightarrow E_{L+1}$$ tal que<\/p>\n\n\n\n \\begin{align} Observamos que la notaci\u00f3n suprimi\u00f3 el hecho de que una dada funci\u00f3n $f_i$ depende del par\u00e1metro $\\theta_i$, simplemente para facilitar la escritura.<\/p>\n\n\n\n En el caso de mis dibujos de redes neuronales (Figuras 1 y 2), as\u00ed como para entender el modelo estudiado, considerar\u00e9 que los estados $ \\overrightarrow{x}^{\\text{ }(0)}, \\ldots , \\overrightarrow{x}^{\\text{ }(L)}$ son vectores real-valuados y que cada $\\theta_k$ se conforma de un bias $ \\overrightarrow{b_k}$, adem\u00e1s de las entradas $w_{ij}$ de una matriz $W_k \\in \\mathcal{M}{m\\times n}(\\mathbb{R})$. El bias $ \\overrightarrow{b_k} $ y las entradas $w_{ij} \\in W_k$ son todos los par\u00e1metros de $\\theta_k$ (ver (1)). <\/p>\n\n\n\n Si no se entendi\u00f3 esta explicaci\u00f3n, vuelva a la Figura 1, e intente corroborar la notaci\u00f3n con cada uno de los elementos de la ilustraci\u00f3n. Luego inspeccione la Figura 2. De suma importancia resultar\u00eda hacer corresponder (mentalmente) la ilustraci\u00f3n de una red neuronal profunda con su expresi\u00f3n algebraica. Por favor permanezca estudiando esta entrada de blog hasta que esto quede claro como el agua.<\/p>\n\n\n\n Note que, en la definici\u00f3n de red neuronal profunda, para $E_i$ se tiene que $i \\in \\{0, \\ldots , L+1\\}$ pues la cuenta empieza en cero (a la capa cero a veces ni siquiera se le llama capa) y el contradominio de $F$ siempre es “la capa que le sigue a $L$.”<\/p>\n\n\n\n En particular, a un vector de entrada de una red, tambi\u00e9n se le puede denotar por $ \\overrightarrow{x} $. Al escribir $ \\overrightarrow{x}^{\\text{ }(0)}, \\ldots , \\overrightarrow{x}^{\\text{ }(L)}$, facilitamos la visualizaci\u00f3n de una red neuronal en un dibujo (ver Figura 2), donde los super\u00edndices indican en qu\u00e9 capa de la red estamos y para la que $ \\overrightarrow{x}^{\\text{ }(k)} = (x_0^{(k)}, x_1^{(k)}, \\ldots , x_n^{(k)})$; pero al escribir $ \\overrightarrow{x} $ (o simplemente $x$), la lectura de las f\u00f3rmulas se vuelve menos engorrosa. Usaremos la notaci\u00f3n $L_i$, con $i \\in \\{0, \\ldots , L+1 \\}$, para esquematizar una capa espec\u00edfica de la red (ver Figura 2). En muchos textos, no se considera que el vector de entrada $x^{(0)}$ sea una capa de neuronas y bajo tal criterio, \u00fanicamente a las capas ocultas se les llama capas. En ese caso bastar\u00eda con especificar que $i \\in \\{1, \\ldots , L+1 \\}$, pero tambi\u00e9n complicar\u00eda un poquito la definici\u00f3n dada, de red neuronal profunda. A continuaci\u00f3n dibujamos una red, donde $L_0$ representa la “capa” que tiene al vector de entrada:<\/p>\n\n\n\n La definici\u00f3n matem\u00e1tica de red neuronal profunda es bonita porque encierra nociones de c\u00e1lculo de varias variables, a pesar de que sea simple de entender. Bien pudiera servir como regla mnemot\u00e9cnica para estudiar m\u00e1s c\u00e1lculo o an\u00e1lisis matem\u00e1tico; se ver\u00e1 que el teorema de aproximaci\u00f3n de redes neuronales usa la integral de Lebesgue, el teorema de Hahn Banach y el teorema de Representaci\u00f3n de Riesz para su demostraci\u00f3n.<\/p>\n\n\n\n No importa cu\u00e1n sencilla o complicada sea la implementaci\u00f3n de cierta red neuronal profunda, la definici\u00f3n que hemos dado sirve para representarla.<\/p>\n\n\n\n [1] Martin Anthony. Discrete mathematics of neural networks: selected topics.<\/em> SIAM, 2001.<\/p>\n\n\n\n [2] Anthony L Caterini and Dong Eui Chang. Deep Neural Networks in a Mathematical Framework. <\/em>Springer, 2018.<\/p>\n\n\n\n [3] George Cybenko. Approximation by superpositions of a sigmoidal function. Mathematics of control, signals and systems<\/em>, 2(4):303\u2013314, 1989.<\/p>\n\n\n\n <\/p>\n\n\n\n <\/p>\n\n\n\n <\/p>\n\n\n\n <\/p>\n\n\n\n <\/p>\n\n\n\n <\/p>\n\n\n\n <\/p>\n\n\n\n <\/p>\n\n\n\n <\/p>\n\n\n\n <\/p>\n\n\n\n <\/p>\n\n\n\n <\/p>\n\n\n\nDefinici\u00f3n de red neuronal artificial<\/h3>\n\n\n\n
![\"\"](\"http:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2021\/05\/redN_001.png\")
g \\begin{pmatrix} \\begin{bmatrix}{w_{0,0}}&{w_{0,1}}&\\cdots & {w_{0,k}} \\\\ {w_{1,0}}&{w_{1,1}}&\\cdots &{w_{1,k}} \\\\ \\vdots &\\vdots &\\ddots &\\vdots \\\\ {w_{m,1}}&{w_{m,2}}&\\cdots &{w_{m,k}}
\\end{bmatrix}
\\begin{bmatrix} {a_0^{(0)}} \\\\ {a_{1}^{(0)}} \\\\ \\vdots \\\\ {a_{k}^{(0)}} \\end{bmatrix} +
\\begin{bmatrix} {b_0^{(0)}} \\\\ {b_{1}^{(0)}} \\\\ \\vdots \\\\ {b_{k}^{(0)}} \\end{bmatrix} \\end{pmatrix}
\\text{,} \\qquad \\text{(1)}
\\end{align}<\/p>\n\n\n\n
g \\begin{pmatrix} \\begin{bmatrix}{w_{0,0}}&{w_{0,1}}&\\cdots &{w_{0,k}}&{b_{0, k+1}} \\\\ {w_{1,0}}&{w_{1,1}}&\\cdots &{w_{1,k}}&{b_{1, k+1}}\\\\ \\vdots &\\vdots &\\ddots &\\vdots &\\vdots\\\\ {w_{m,0}}&{w_{m,1}}&\\cdots &{w_{m,k}}&{b_{m,k+1}}
\\end{bmatrix}
\\begin{bmatrix} {a_0^{(0)}} \\\\ {a_{1}^{(0)}} \\\\ \\vdots \\\\ {a_{k}^{(0)}} \\\\ {1} \\end{bmatrix}
\\end{pmatrix}
\\text{,} \\qquad \\text{(2)}
\\end{align}<\/p>\n\n\n\n
F(x, \\theta) = (f_L \\circ \\ldots \\circ f_1)(x)\\text{,} \\qquad \\quad \\text{(3)}
\\end{align} donde cada $f_i$ depende del par\u00e1metro $\\theta_i \\in H_i$ y $\\theta$ representa el conjunto de par\u00e1metros ${\\theta_1, \\ldots , \\theta_{L}}$. \u00a1La funci\u00f3n $F$ representa a la red neuronal completa!<\/p>\n\n\n\n![\"\"](\"http:\/\/ofeliayorquesta.com\/blog\/wp-content\/uploads\/2021\/05\/redN_002.png\")
Conclusiones<\/h3>\n\n\n\n
Bibliograf\u00eda<\/h3>\n\n\n\n