feed.xml

<?xml version="1.0" encoding="utf-8"?><feed xmlns="http://www.w3.org/2005/Atom" ><generator uri="https://jekyllrb.com/" version="4.1.1">Jekyll</generator><link href="https://old.tacosdedatos.com/feed.xml" rel="self" type="application/atom+xml" /><link href="https://old.tacosdedatos.com/" rel="alternate" type="text/html" /><updated>2021-08-01T20:46:16+00:00</updated><id>https://old.tacosdedatos.com/feed.xml</id><title type="html">🌮 tacos de datos | Aprende visualización de datos en español.</title><subtitle>Tu sitio para aprender de visualización y ciencia de datos en español. Consejos, recursos y mejores prácticas para tus proyectos de tecnología, periodismo de datos y análisis estadísticos.</subtitle><entry><title type="html">Mejorando nuestros gráficos de barras</title><link href="https://old.tacosdedatos.com/mejorando-barplots" rel="alternate" type="text/html" title="Mejorando nuestros gráficos de barras" /><published>2020-09-25T10:00:00+00:00</published><updated>2020-09-25T10:00:00+00:00</updated><id>https://old.tacosdedatos.com/mejorando-barplots</id><content type="html" xml:base="https://old.tacosdedatos.com/mejorando-barplots">&lt;p&gt;En esta ocasión les quiero hablar de cómo mejorar sus gráficos de barras con colores y fuentes personalizadas… aunque me gustaría que esta fuera una lección sobre cómo es que podemos sacar más provecho de Matplotlib y herramientas (como Seaborn) que se construyen al rededor de esta poderosa librería.&lt;/p&gt;

&lt;p&gt;Puedes usar este &lt;a href=&quot;https://www.kaggle.com/ioexception/las-cartas-m-s-usadas-de-yu-gi-oh&quot;&gt;notebook de Kaggle&lt;/a&gt; como referencia o como punto de inicio para tu experimentación.&lt;/p&gt;

&lt;h2 id=&quot;los-datos&quot;&gt;Los datos&lt;/h2&gt;
&lt;p&gt;Ultimamente he estado obsesionado con Yu-Gi-Oh! un juego de cartas en donde cada jugador elije cartas para su baraja, y encontré un dataset que contiene muchos, muchos decks… en fin, no es necesario que sepas nada sobre el juego para seguir este tutorial. Lo importante es que me hice de un dataset de barajas, y quise averiguar cuáles eran las cartas más usadas del juego, supongamos que tenemos un par de listas &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;card_ids&lt;/code&gt; y &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;counts&lt;/code&gt; con los identificadores de las cartas más comunes y la cantidad en la que aparecen en todas las barajas que encontré.&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;card_ids&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;counts&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;div class=&quot;language-text highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;['83764719', '14558127', '24224830', '81439173', '73628505', '10045474', '32807846', '97268402', '24094653', '2295440']
[4649, 4406, 3634, 3169, 3076, 2739, 1695, 1682, 1676, 1539]
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Que indica que el id &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;83764719&lt;/code&gt; aparece &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;4649&lt;/code&gt; veces, el id &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;14558127&lt;/code&gt; lo hace &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;4406&lt;/code&gt; veces y así sucesivamente…&lt;/p&gt;

&lt;p&gt;Además, tengo un diccionario que me permite obtener más información sobre determinada carta a partir de su identificador:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;card_by_id&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'83764719'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;div class=&quot;language-json highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;nl&quot;&gt;&quot;id&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;83764719&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;nl&quot;&gt;&quot;name&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Monster Reborn&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;nl&quot;&gt;&quot;type&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Spell Card&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;nl&quot;&gt;&quot;desc&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Target 1 monster in either GY; Special Summon it.&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;nl&quot;&gt;&quot;image_url&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;https://storage.googleapis.com/ygoprodeck.com/pics/83764719.jpg&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;nl&quot;&gt;&quot;image_url_small&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;https://storage.googleapis.com/ygoprodeck.com/pics_small/83764719.jpg&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Tenemos cosas como el nombre y el tipo de carta, esos atributos nos serán de utilidad más adelante.&lt;/p&gt;

&lt;h2 id=&quot;ahora-sí-a-graficar&quot;&gt;Ahora sí, a graficar&lt;/h2&gt;

&lt;p&gt;Tenemos ids de cartas y la cantidad de veces que aparecen, suena a un trabajo para… ¡una gráfica de barras! así es como la harías usando &lt;em&gt;matplotlib&lt;/em&gt;:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;figure&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bar&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;card_ids&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;counts&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;&lt;img src=&quot;assets/blogposts/mejorando-barplots/ugly.png&quot; alt=&quot;An ugly plot&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;tamaño-de-la-gráfica&quot;&gt;Tamaño de la gráfica&lt;/h3&gt;
&lt;p&gt;Además de las críticas obvias (gráfica sin título, no hay etiquetas en los ejes…) ¡la gráfica es horriblemente pequeña! para arreglar esto, podemos jugar con los argumentos &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;dpi&lt;/code&gt; y &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;figsize&lt;/code&gt;:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;figure&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;figsize&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;10&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;5&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dpi&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;100&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bar&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;card_ids&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;counts&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;&lt;img src=&quot;assets/blogposts/mejorando-barplots/ugly-but-bigger.png&quot; alt=&quot;An ugly, but bigger plot&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Un poquito mejor, ¿cierto? los argumentos que usamos nos ayudan a controlar dos cosas:&lt;/p&gt;
&lt;ul&gt;
  &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;figsize&lt;/code&gt; controla el tamaño de la gráfica en pulgadas; el primer valor de la tupla es el valor horizontal y el segundo es vertical&lt;/li&gt;
  &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;dpi&lt;/code&gt; controla los &lt;em&gt;puntos por pulgada&lt;/em&gt; en nuestra gráfica, va de la mano con &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;figsize&lt;/code&gt;. El usar este argumento nos facilitará en demasía el controlar el tamaño del texto en nuestra gráfica.&lt;/li&gt;
&lt;/ul&gt;

&lt;h3 id=&quot;la-api-orientada-a-objetos&quot;&gt;La API orientada a objetos&lt;/h3&gt;
&lt;p&gt;Para permitirnos aún más personalización, tendremos que aventurarnos a usar la no tan conocida API orientada a objetos de &lt;em&gt;matplotlib&lt;/em&gt;, pero como verás no es nada del otro mundo:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;fig&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;figure&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;figsize&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;10&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;5&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dpi&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;100&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;fig&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;gca&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bar&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;card_ids&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;counts&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;
&lt;p&gt;La gran diferencia es que no tenemos ya más referencias a &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;plt&lt;/code&gt; más allá de la primera que nos ayuda a crear una figura. La novedad, también radica en que usamos el método &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;gca&lt;/code&gt; (que proviene de &lt;em&gt;get current axes&lt;/em&gt;) para obtener el &lt;em&gt;axes&lt;/em&gt; que reside dentro de nuestra figura. Una vez hecho esto, ya podemos empezar a personalizar la gráfica:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_xlabel&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Card id&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_ylabel&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Occurrences&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_title&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;sa&quot;&gt;f&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Most used cards across &lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;deck_count&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt; Yu-Gi-Oh! decks&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;&lt;img src=&quot;assets/blogposts/mejorando-barplots/ugly-but-better.png&quot; alt=&quot;An ugly, but better plot&quot; /&gt;&lt;/p&gt;

&lt;h3 id=&quot;entra-seaborn&quot;&gt;¡Entra &lt;em&gt;Seaborn&lt;/em&gt;!&lt;/h3&gt;
&lt;p&gt;Muchas veces, si bien podemos lograr todos los resultados que queramos usando solamente matplotlib, hay ocasiones en las que podemos delegar este trabajo a otras librerías como &lt;em&gt;Seaborn&lt;/em&gt;. Digamos que queremos mejorar aún más nuestra gráfica usando barras horizontales y los nombres de las cartas:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;card_names&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;card_by_id&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;card_id&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;][&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;name&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;card_id&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;card_ids&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;fig&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;figure&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dpi&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;100&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;figsize&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;10&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;5&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;fig&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;gca&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;sns&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;barplot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;counts&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;y&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;card_names&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;orient&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;h&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_ylabel&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Card name&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_xlabel&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Occurrences&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_title&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;sa&quot;&gt;f&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Most used cards across &lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;deck_count&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt; Yu-Gi-Oh! decks&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;La novedad es que estamos usando &lt;em&gt;seaborn&lt;/em&gt; (lo renombramos como &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;sns&lt;/code&gt; en nuestro script) y, algo muy importante, le estamos pasando el argumento &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;ax&lt;/code&gt; para que haga uso del axis que nosotros queremos. El resultado es el siguiente:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;assets/blogposts/mejorando-barplots/improved.png&quot; alt=&quot;An improved, bigger plot&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Se ve un poco mejor, pero la podemos hacer aún más atractiva.&lt;/p&gt;

&lt;h3 id=&quot;personalización-máxima&quot;&gt;Personalización máxima&lt;/h3&gt;
&lt;p&gt;Ahora podemos comenzar a crear nuestra gráfica:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;fig&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;figure&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;figsize&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;15&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;7&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;dpi&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;300&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;fig&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;gca&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;sns&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;barplot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;counts&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;y&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;card_names&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;orient&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;h&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h4 id=&quot;tipografías-personalizadas&quot;&gt;Tipografías personalizadas&lt;/h4&gt;
&lt;p&gt;Como se trata de una gráfica sobre cartas de Yu-Gi-Oh! decidí usar las tipografías que se usan para las cartas:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;c1&quot;&gt;# fm es matplotlib.font_manager
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;card_name_prop&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;fm&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;FontProperties&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fname&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;card_name.ttf&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;size&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;30&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;card_effect_prop&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;fm&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;FontProperties&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fname&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;card_effect.ttf&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;size&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;40&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;card_effect_prop_sm&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;fm&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;FontProperties&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fname&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;card_effect.ttf&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;size&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;20&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;card_number_prop&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;fm&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;FontProperties&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fname&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;card_number.ttf&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;size&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;30&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;fname&lt;/code&gt; es la ruta de la tipografía que vamos a usar, y los parámetros &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;size&lt;/code&gt; tuve que averiguarlos a prueba y error (como casi todo en &lt;em&gt;matplotlib&lt;/em&gt;). Mantengamos las referencias ahí, más adelante las vamos a usar.&lt;/p&gt;

&lt;h4 id=&quot;etiquetas-de-los-ejes&quot;&gt;Etiquetas de los ejes&lt;/h4&gt;

&lt;p&gt;Tengo la idea de poner los nombres de las cartas dentro de las barras, así que las podemos quitar las etiquetas del eje de las &lt;em&gt;y&lt;/em&gt;:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;c1&quot;&gt;#ax.axes.get_yaxis().set_visible(False)
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;axes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;get_yaxis&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;().&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_ticks&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([])&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;
&lt;p&gt;Agreguemos las etiquetas, esta vez usando las tipografías personalizadas que definimos anteriormente. También vamos a cambiarle la tipografía a los valores en el eje de las &lt;em&gt;x&lt;/em&gt; usando el método &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;ax.get_xticklabels&lt;/code&gt;:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_ylabel&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Card&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;fontproperties&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;card_number_prop&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_xlabel&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Occurrences&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;fontproperties&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;card_number_prop&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

&lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;label&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;get_xticklabels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;label&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_fontproperties&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;card_number_prop&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h4 id=&quot;texto-dentro-de-las-barras&quot;&gt;Texto dentro de las barras&lt;/h4&gt;
&lt;p&gt;Cada una de las barras dentro de nuestra gráfica no es más que una instancia de una clase llamada &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;matplotlib.patches.Rectangle&lt;/code&gt;, a los cuales podemos acceder mediante la propiedad &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;patches&lt;/code&gt; de nuestros axes. Cada uno de estos &lt;em&gt;patches&lt;/em&gt; tiene diversas propiedades como su posición en [&lt;em&gt;x&lt;/em&gt;,&lt;em&gt;y&lt;/em&gt;], el color de relleno, entre otras.&lt;/p&gt;

&lt;p&gt;Nosotros nos aprovecharemos de tener acceso a estos &lt;em&gt;patches&lt;/em&gt; poner los nombres dentro de las barras usando el método &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;text&lt;/code&gt; que ofrece nuestro &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;ax&lt;/code&gt;:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;card_id&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;rect&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;zip&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;card_ids&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;patches&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;y&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;rect&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;xy&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;card&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;card_by_id&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;card_id&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;rect_color&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;font_color&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;find_colors&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;card&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;type&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;])&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;rect&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_facecolor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;rect_color&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;text&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;30&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;y&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;+&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.6&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;card&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;name&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;color&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;font_color&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;fontproperties&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;card_name_prop&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h4 id=&quot;pie-de-página&quot;&gt;Pie de página&lt;/h4&gt;
&lt;p&gt;A la hora de compartir una gráfica siempre es importante informar de dónde obtuvimos la información, o tal vez una pequeña nota de &lt;em&gt;copyright&lt;/em&gt; indicando que nosotros fuimos los creadores de esta, para este propósito podemos usar la clase &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;AnchoredText&lt;/code&gt;:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;text&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;AnchoredText&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Data from decks built at ygoprodeck.com&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;loc&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
                    &lt;span class=&quot;n&quot;&gt;prop&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'size'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;10&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,},&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;frameon&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;add_artist&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;text&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Y el esperado resultado final es:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;assets/blogposts/mejorando-barplots/beautiful.png&quot; alt=&quot;Beautiful&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Y &lt;em&gt;voilá&lt;/em&gt;, nuestra gráfica está lista para ser compartida con el mundo.&lt;/p&gt;

&lt;p&gt;Como siempre, comentarios y dudas son bienvenidos en mi cuenta de Twitter &lt;a href=&quot;https://twitter.com/io_exception&quot;&gt;@io_exception&lt;/a&gt;. Esta vez todo el código para reproducir lo que hicimos aquí está en este &lt;a href=&quot;https://www.kaggle.com/ioexception/las-cartas-m-s-usadas-de-yu-gi-oh&quot;&gt;notebook de Kaggle&lt;/a&gt; (si no sabes qué es Kaggle, puedes ver &lt;a href=&quot;https://www.youtube.com/watch?v=5yF-VeivtgU&quot;&gt;mi video sobre el tema&lt;/a&gt;).&lt;/p&gt;</content><author><name>Antonio Feregrino Bolaños</name></author><category term="python" /><category term="matplotlib" /><category term="seaborn" /><summary type="html">En esta ocasión les quiero hablar de cómo mejorar sus gráficos de barras con colores y fuentes personalizadas… aunque me gustaría que esta fuera una lección sobre cómo es que podemos sacar más provecho de Matplotlib y herramientas (como Seaborn) que se construyen al rededor de esta poderosa librería.</summary></entry><entry><title type="html">Creación de Mapas con Tableau</title><link href="https://old.tacosdedatos.com/tableau-mapas" rel="alternate" type="text/html" title="Creación de Mapas con Tableau" /><published>2020-09-24T06:00:00+00:00</published><updated>2020-09-24T06:00:00+00:00</updated><id>https://old.tacosdedatos.com/tableau-mapas</id><content type="html" xml:base="https://old.tacosdedatos.com/tableau-mapas">&lt;p&gt;¿Has querido presentar información en un mapa, pero no sabes por dónde empezar?&lt;/p&gt;

&lt;p&gt;Existen diversas herramientas para realizarlo, en esta ocasión te presento el software Tableau, que no requiere conocimientos de programación para generar mapas intuitivos y atractivos para cualquier tipo de público. Con este tutorial aprenderás a elaborar un mapa de México a nivel entidad a través de la identificación y uso del Marco Geoestadístico del Instituto Nacional de Estadística y Geografía (INEGI). En este podrás mostrar la información que requieras con su respectiva simbología y etiquetado de forma que puedas transmitir un mensaje claro a tu audiencia.&lt;/p&gt;

&lt;p&gt;Antes de comenzar, necesitas tres cosas: Tableau Public, el Marco Geoestadístico del INEGI y los datos desagregados por entidad que desees mostrar. 
Para instalar Tableau Public da click en &lt;a href=&quot;https://public.tableau.com/en-us/s/&quot;&gt;este enlace&lt;/a&gt; e introduce tu correo electrónico para comenzar con la descarga.
El Marco Geoestadístico del INEGI es necesario para garantizar que tu información esté georreferenciada adecuadamente, lo encuentras en distintas categorías territoriales, pero en esta ocasión será a nivel entidad. Para obtenerlo dirígete al sitio oficial del INEGI como se indica a continuación.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;assets/blogposts/tableau-mapas/GIF_01.gif&quot; alt=&quot;GIF_01&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Una vez que haya finalizado la descarga, descomprime la carpeta “mg_sep2019_integrado” y guárdala en tu directorio de trabajo. 
Por último, necesitas los datos que quieras representar para cada una de las entidades del país. Estos deben estar en un archivo Excel de forma que cada fila corresponda a una observación y cada columna sea una variable. En este sentido, una columna contendrá la clave numérica perteneciente a cada entidad, otra su nombre de acuerdo con el Marco Geoestadístico; esto lo encuentras en la carpeta “catálogos” del archivo que descargaste de INEGI. En una tercera columna agrega el nombre abreviado de la entidad pues será útil si quieres etiquetar los valores en tu mapa. Y, por último, en otra columna debe estar la información que requieras para cada entidad. Para realizar este ejemplo, usaré los datos sobre la percepción de inseguridad de las mujeres en las calles contenidos en la Encuesta Nacional de Victimización y Percepción sobre Seguridad Pública (ENVIPE) 2019 del INEGI. La estructura de tu base de datos debe ser como se ilustra en la siguiente imagen.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;assets/blogposts/tableau-mapas/IMA_001.png&quot; alt=&quot;IMA_01&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Ahora sí abré Tableau y carga los datos con los que vas a trabajar. En la pantalla de inicio de Tableau del lado izquierdo encontrarás un panel con distintos formatos de archivos, da click en Microsoft Excel y selecciona el archivo que contiene tu base de datos. Si este contiene una solo hoja se abrirá automáticamente, de lo contrario arrastra la hoja con tu información a la parte superior de la página. A continuación, une estos datos con el Marco Geoestadístico del INEGI como se muestra, da click en Añadir, selecciona Archivo espacial y elige el archivo “00ent.shp” contenido en la carpeta “conjunto de datos”. Para realizar la unión, ambos archivos deben contener una columna con los mismos datos para que estos sean identificados, puedes utilizar las claves numéricas de la entidad o sus nombres.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;assets/blogposts/tableau-mapas/GIF_02.gif&quot; alt=&quot;GIF_02&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Con los datos en la plataforma irás a la hoja de trabajo de Tableau que aparece en la esquina inferior izquierda, Hoja 1. Una vez que estés ahí, es necesario que identifiques del lado izquierdo los datos con los que vas a trabajar y enseguida encontrarás una serie de recuadros con los títulos Páginas, Filtros y Marcas; este último es el más relevante pues aquí puedes editar la simbología y etiquetado del mapa. En la barra de herramientas superior se encuentran otras opciones que permiten modificar o configurar algunas funciones. Por ahora ubica en Archivo la opción Configuración regional del libro de trabajo y selecciona español (México) para que las unidades que utilices se muestren con la notación adecuada.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;assets/blogposts/tableau-mapas/IMA_002.png&quot; alt=&quot;IMA_02&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Es momento de comenzar con tu mapa. Arrastra el campo “Geometría” a Detalle ubicado en el recuadro Marcas. Tu pantalla ahora debe mostrarte el mapa de México.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;assets/blogposts/tableau-mapas/IMA_003.png&quot; alt=&quot;IMA_03.PNG&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Para que el mapa se vea de forma más clara, ubica en la barra superior la etiqueta Mapa, da click en Capas de mapas y deselecciona todas las opciones.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;assets/blogposts/tableau-mapas/GIF_03.gif&quot; alt=&quot;GIF_03&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Es tiempo de agregar tus datos al mapa, para este ejemplo usaré el porcentaje de mujeres que perciben inseguridad en las calles. Para realizarlo debes identificar cada entidad con su clave numérica y nombre llevando los campos “CVE_ENT” y “NOMGEO” a Detalle y posteriormente el campo que contiene tus datos a Color.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;assets/blogposts/tableau-mapas/GIF_04.gif&quot; alt=&quot;GIF_04&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Por default Tableau asigna una paleta de colores, esta puede modificarse al hacer click en Color del recuadro Marcas; puedes dejarla de forma desvanecida o establecer un color escalonado. Cuando elijas los colores, considera que estos son de ayuda para que tu auditorio comprenda de forma más rápida y clara tu mensaje. En esta ocasión las entidades de color más oscuro son aquellas en donde la percepción de inseguridad es más alta, mientras que en las entidades en tono más claro ocurrirá la situación contraria. También puedes editar el nivel de opacidad de los colores, así como los límites y las sombras que quieras darle a tu mapa.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;assets/blogposts/tableau-mapas/GIF_05.gif&quot; alt=&quot;GIF_05&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Las etiquetas serán necesarias para conocer el valor exacto de cada entidad. Para esto debes colocar los campos donde guardaste las abreviaturas de las entidades y tus datos en Etiqueta del ya conocido recuadro Marcas. Al dar click en Etiqueta accedes a las opciones de edición.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;assets/blogposts/tableau-mapas/GIF_06.gif&quot; alt=&quot;GIF_06&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Como te habrás dado cuenta, no aparecen todas las etiquetas pues el espacio que hay en el mapa es limitado, para solucionarlo hay dos opciones. La primera es entrar a las opciones de edición de Etiqueta y seleccionar la opción Permitir que las etiquetas se superpongan a otras marcas, para posteriormente acomodarlas. O, segunda, dar click derecho en la entidad sin etiqueta, seleccionar la opción Una marca y se abrirá un panel donde puedes editar el contenido de tu etiqueta. También es posible modificar la anotación que acabas de crear dando click derecho en esta y seleccionando Formatear.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;assets/blogposts/tableau-mapas/GIF_07.gif&quot; alt=&quot;GIF_07&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Además de editar el tipo y tamaño de fuente, y la alineación para las etiquetas, puedes indicar qué unidad estás representando en tu mapa dando click derecho en el campo de tus datos y seleccionando Formatear.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;assets/blogposts/tableau-mapas/GIF_08.gif&quot; alt=&quot;GIF_08&quot; /&gt;&lt;/p&gt;

&lt;p&gt;¡Estás por terminar! Dirígete a Dashboard en la barra de herramientas superior y selecciona Nuevo Dashboard para darle la presentación final a tu mapa. Del lado izquierdo puedes indicar el tamaño que tendrá tu hoja. A continuación, arrastra tu hoja de trabajo al dashboard y comienza a editar el título, subtítulo, fuente y la ubicación de la simbología. Recuerda que al dar click derecho en estos objetos puedes acceder a las opciones de edición.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;assets/blogposts/tableau-mapas/IMA_004.png&quot; alt=&quot;IMA_04&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Ahora solo queda guardarlo, para esto dirígete a Archivo en la barra superior y selecciona Guardar en Tableau Public. ¡Listo! Podrás descargar el resultado final en distintos formatos.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;assets/blogposts/tableau-mapas/IMA_005.png&quot; alt=&quot;IMA_05&quot; /&gt;&lt;/p&gt;</content><author><name>Karen Santoyo Tapia</name></author><category term="tableau" /><category term="mapas" /><summary type="html">¿Has querido presentar información en un mapa, pero no sabes por dónde empezar?</summary></entry><entry><title type="html">Word2vec ilustrado</title><link href="https://old.tacosdedatos.com/word-to-vec-ilustrado" rel="alternate" type="text/html" title="Word2vec ilustrado" /><published>2020-09-04T10:00:00+00:00</published><updated>2020-09-04T10:00:00+00:00</updated><id>https://old.tacosdedatos.com/word-to-vec-ilustrado</id><content type="html" xml:base="https://old.tacosdedatos.com/word-to-vec-ilustrado">&lt;p&gt;En esta ocasión les quiero hablar de otra forma de convertir texto a vectores, esta es distinta a las que hemos visto previamente ya que nos da como resultado un vector por cada token y cada uno de estos vectores es un vector denso.&lt;/p&gt;

&lt;p&gt;Esta vez les traigo no un post original, sino más bien una traducción de un artículo que me parece vale mucho la pena. El artículo original es de Jay Alammar y se llama &lt;a href=&quot;http://jalammar.github.io/illustrated-word2vec/&quot;&gt;The Illustrated Word2vec&lt;/a&gt;:&lt;/p&gt;

&lt;hr /&gt;

&lt;blockquote&gt;
  &lt;p&gt;“Hay en todas las cosas un ritmo que es parte de nuestro universo. Hay simetría, elegancia y gracia… esas cualidades a las que se acoge el verdadero artista. Uno puede encontrar este ritmo en la sucesión de las estaciones, en la forma en que la arena modela una cresta, en las ramas de un arbusto creosota o en el diseño de sus hojas. 
Intentamos copiar este ritmo en nuestras vidas y en nuestra sociedad, buscando la medida y la cadencia que reconfortan. Y sin embargo, es posible ver un peligro en el descubrimiento de la perfección última. Está claro que el último esquema contiene en sí mismo su propia fijeza. En esta perfección, todo conduce hacia la muerte” ~ Frank Herbert. “Dune” (1965)&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;Encuentro la idea de &lt;em&gt;embeddings&lt;/em&gt;* una de las más fascinantes dentro del aprendizaje automático. Si alguna vez has usado &lt;em&gt;Siri&lt;/em&gt;, &lt;em&gt;Google Assistant&lt;/em&gt;, &lt;em&gt;Alexa&lt;/em&gt; o &lt;em&gt;Google Translate&lt;/em&gt;, o inclusive un teléfono con teclado que predice tu siguiente palabra, entonces seguramente te has beneficiado de esta idea que se a convertido en la clave de los modelos de Procesamiento de Lenguaje Natural (&lt;em&gt;NLP&lt;/em&gt;). En las últimas décadas ha existido mucho desarrollo respecto a usar &lt;em&gt;embeddings&lt;/em&gt; para modelos neuronales (investigaciones recientes incluyen &lt;em&gt;embeddings&lt;/em&gt; contextualizados que llevan a modelos vanguardistas como &lt;a href=&quot;https://jalammar.github.io/illustrated-bert/&quot;&gt;BERT&lt;/a&gt; o GPT2).&lt;/p&gt;

&lt;p&gt;&lt;strong&gt;Word2vec&lt;/strong&gt; es un método para crear &lt;em&gt;embeddings&lt;/em&gt; de forma eficiente que ha existido desde 2013. pero además de su utilidad para la creación de estos &lt;em&gt;embeddings&lt;/em&gt;, algunos de sus conceptos han sido exitosamente empleados para crear modelos de recomendación y para hacer sentido de datos secuenciales, inclusive en aplicaciones comerciales no relacionadas con lenguajes. Compañías como &lt;a href=&quot;https://www.kdd.org/kdd2018/accepted-papers/view/real-time-personalization-using-embeddings-for-search-ranking-at-airbnb&quot;&gt;Airbnb&lt;/a&gt;, &lt;a href=&quot;https://www.kdd.org/kdd2018/accepted-papers/view/billion-scale-commodity-embedding-for-e-commerce-recommendation-in-alibaba&quot;&gt;Alibaba&lt;/a&gt;, &lt;a href=&quot;https://www.slideshare.net/AndySloane/machine-learning-spotify-madison-big-data-meetup&quot;&gt;Spotify&lt;/a&gt;, y &lt;a href=&quot;https://towardsdatascience.com/using-word2vec-for-music-recommendations-bb9649ac2484&quot;&gt;Anghami&lt;/a&gt; le han sacado provecho a esta brillante pieza del mundo del &lt;em&gt;NLP&lt;/em&gt; y la están usando para potenciar una nueva clase de modelos de recomendación.&lt;/p&gt;

&lt;p&gt;En este post, vamos a revisar el concepto de &lt;em&gt;embeddings&lt;/em&gt;, y cómo es que se generan estos con la técnica de &lt;em&gt;word2vec&lt;/em&gt;. Pero comencemos con un ejemplo para familiarizarnos con el uso de vectores para representar cosas. ¿Sabías que una lista de cinco números (es decir, un vector) puede representar mucho sobre tu personalidad?&lt;/p&gt;

&lt;h2 id=&quot;embeddings-de-personalidad-cómo-eres&quot;&gt;&lt;em&gt;Embeddings&lt;/em&gt; de personalidad: ¿cómo eres?&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;“Te doy el camaleón del desierto, cuya habilidad para mezclarse con el fondo te dice todo lo que necesitas saber sobre las raíces de la ecología y las bases de la identidad personal” ~ Hijos de Dune&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;En una escala de 0 a 100, ¿qué tan introvertido/extrovertido eres tu (donde 0 es introvertido, y 100 es extrovertido)? ¿alguna vez has tomado un test de personalidad como MBTI – o, mejor aún, una prueba del &lt;a href=&quot;https://es.wikipedia.org/wiki/Modelo_de_los_cinco_grandes&quot;&gt;modelo de los cinco grandes&lt;/a&gt;? si no lo has hecho, este tipo de pruebas te hace una serie de preguntas y te califica en diferentes ejes, siendo la introversión o extraversión uno de ellos.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/big-five-personality-traits-score.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;small&gt;Ejemplo de un resultado en una prueba del modelo de los cinco grandes. Este te puede decir mucho sobre ti mismo y ha mostrado tener habilidades predictivas en cuanto a éxito &lt;a href=&quot;http://psychology.okstate.edu/faculty/jgrice/psyc4333/FiveFactor_GPAPaper.pdf&quot;&gt;académico&lt;/a&gt;, &lt;a href=&quot;https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1744-6570.1999.tb00174.x&quot;&gt;personal&lt;/a&gt; y &lt;a href=&quot;https://www.massgeneral.org/psychiatry/assets/published_papers/soldz-1999.pdf&quot;&gt;profesional&lt;/a&gt;. &lt;a href=&quot;https://projects.fivethirtyeight.com/personality-quiz/&quot;&gt;Aquí&lt;/a&gt; puedes calcular tus valores.&lt;/small&gt;&lt;/p&gt;

&lt;p&gt;Imagina que obtuve 38/100 en el eje de introversión/extroversión. Lo podemos graficar así:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/introversion-extraversion-100.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Si colocamos los valores de -1 a 1:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/introversion-extraversion-1.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;¿Qué tan bien crees conocer a una persona si sabes solo esta información sobre ella? No mucho, las personas son complejas. Añadamos otra dimensión, la calificación de otra de las características del test:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/two-traits-vector.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;small&gt;Podemos representar dos dimensiones como un punto en la gráfica, o mejor aún, como un vector desde el origen a ese punto. Tenemos herramientas increíbles que para trabajar con vectores que nos resultarán útiles más adelante.&lt;/small&gt;&lt;/p&gt;

&lt;p&gt;He ocultado qué características estamos graficando solamente para que nos acostumbremos a no saber qué representa cada dimensión – aun asi, estamos obteniendo mucha información de la representación vectorial de cada una de las personalidades.&lt;/p&gt;

&lt;p&gt;Ahora podemos decir que este vector representa parcialmente mi personalidad. La usabilidad de esta representación es útil cuando quieres comparar otras dos personas conmigo. Digamos que me atropella un autobús y debo ser reemplazado por alguien con una personalidad similar. Dada la siguiente figura, ¿cuál de las dos personas es más similar a mi?&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/personality-two-persons.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Cuando estamos trabajando con vectores, una forma común de calcular una medida de similitud es la &lt;a href=&quot;https://es.wikipedia.org/wiki/Similitud_coseno&quot;&gt;similitud coseno&lt;/a&gt; (o &lt;em&gt;cosine similarity&lt;/em&gt; que es su nombre en inglés).&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/cosine-similarity.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;small&gt;&lt;span style=&quot;color: #70BF41;&quot;&gt;Person #1&lt;/span&gt; es más similar a mi en cuanto a personalidad. Vectores que apuntan a la misma dirección (aunque la longitud también tiene que ver) tienen una similitud coseno más grande.&lt;/small&gt;&lt;/p&gt;

&lt;p&gt;Aun asi, dos dimensiones no son suficientes para capturar información suficiente sobre qué tan diferentes dos personas son. Décadas de investigación psicológica han llevado a que existen 5 características (y muchas sub-características). Así que vamos a usar todas en nuestras comparaciones:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/big-five-vectors.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;El problema con estas cinco dimensiones es que hemos perdido la habilidad de graficar esas flechitas tan bonitas en dos dimensiones. Este es un obstáculo común en el aprendizaje automático en el que constantemente tenemos que pensar en espacios de grandes dimensiones. La ventaja que teneos es que la similitud coseno aún funciona sin importar las dimensiones:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/embeddings-cosine-personality.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;small&gt;La similitud coseno funciona sin importar el número de dimensiones. Estas son mejores calificaciones porque han sido calculadas en una representación con mayor resolución de las cosas que están siendo comparadas.&lt;/small&gt;&lt;/p&gt;

&lt;p&gt;Para concluir esta sección, quiero que nos quedemos con dos ideas principales:&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;Podemos representar personas (y cosas) como vectores de números (lo que es perfecto para las computadoras).&lt;/li&gt;
  &lt;li&gt;Podemos comparar fácilmente qué tan similares son los vectores entre sí.&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/section-1-takeaway-vectors-cosine.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;embeddings-de-palabras&quot;&gt;&lt;em&gt;Embeddings&lt;/em&gt; de palabras&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;“El don de las palabras es el don del engaño y la ilusión” ~ Hijos de Dune&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;Entendiendo esto, podemos proceder a ver ejemplos de vectores-palabra entrenados (también conocidos como &lt;em&gt;embeddings&lt;/em&gt;) y ver algunas de sus propiedades interesantes.&lt;/p&gt;

&lt;p&gt;Este es un &lt;em&gt;embedding&lt;/em&gt; para la palabra &lt;em&gt;“king”&lt;/em&gt; –rey, en inglés– (GloVe vector entrenado en Wikipedia):&lt;/p&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;[ 0.50451 , 0.68607 , -0.59517 , -0.022801, 0.60046 , -0.13498 , -0.08813 , 0.47377 , -0.61798 , -0.31012 , -0.076666, 1.493 , -0.034189, -0.98173 , 0.68229 , 0.81722 , -0.51874 , -0.31503 , -0.55809 , 0.66421 , 0.1961 , -0.13495 , -0.11476 , -0.30344 , 0.41177 , -2.223 , -1.0756 , -1.0783 , -0.34354 , 0.33505 , 1.9927 , -0.04234 , -0.64319 , 0.71125 , 0.49159 , 0.16754 , 0.34344 , -0.25663 , -0.8523 , 0.1661 , 0.40102 , 1.1685 , -1.0137 , -0.21585 , -0.15155 , 0.78321 , -0.91241 , -1.6106 , -0.64426 , -0.51042 ]
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Es una lista de 50 números. No podemos decir mucho si solamente vemos estos números.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/king-white-embedding.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Añadamos colores a las celdas basados en sus valores (rojo si están cerca de 2, blanco si están cerca de 0 y azul si están cerca de -2):&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/king-colored-embedding.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;De ahora en adelante, vamos a ignorar los números y concentrarnos solo en los colores que indican los valores de las celdas. Comparemos &lt;em&gt;“king”&lt;/em&gt; contra otras palabras:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/king-man-woman-embedding.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;¿Ves cómo las palabras &lt;em&gt;“man”&lt;/em&gt; y &lt;em&gt;“woman”&lt;/em&gt; son más similares entre sí que cualquiera de ellas con &lt;em&gt;“king”&lt;/em&gt;? Esto nos dice algo. Estas representaciones vectoriales capturan un poco la información/significado/asociaciones de estas palabras.&lt;/p&gt;

&lt;p&gt;Aquí hay otros ejemplos (compara las columnas verticalmente, buscando columas con colores similares):&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;https://jalammar.github.io/images/word2vec/queen-woman-girl-embeddings.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Algunas cosas para destacar:&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;Hay una columna roja que coincide en todas las palabras. Las palabras son similares en esa dimensión (recuerda que no sabemos lo que significa cada dimensión).&lt;/li&gt;
  &lt;li&gt;Puedes ver cómo &lt;em&gt;“woman”&lt;/em&gt; y &lt;em&gt;“girl”&lt;/em&gt; son similares en un montón de lugares. Lo mismo sucede con &lt;em&gt;“man”&lt;/em&gt; y &lt;em&gt;“boy”&lt;/em&gt;.&lt;/li&gt;
  &lt;li&gt;&lt;em&gt;“boy”&lt;/em&gt; y &lt;em&gt;“girl”&lt;/em&gt; también tienen lugares en donde coinciden, pero son lugares diferentes a &lt;em&gt;“woman”&lt;/em&gt; o &lt;em&gt;“man”&lt;/em&gt;. ¿Será que estas estén codificando una vaga definición de juventud? es posible.&lt;/li&gt;
  &lt;li&gt;Todas las palabras, excepto la última representan personas. Agregué, por ejemplo, un objeto (&lt;em&gt;“water”&lt;/em&gt;) para mostrar las diferencias entre categorías. Por ejemplo, ¿ves esa columna azul fuerte a la derecha que se atenúa cuando llegamos al &lt;em&gt;embedding&lt;/em&gt; de &lt;em&gt;“water”&lt;/em&gt;?&lt;/li&gt;
  &lt;li&gt;Hay otros lugares en donde &lt;em&gt;“king”&lt;/em&gt; y &lt;em&gt;“queen”&lt;/em&gt; son diferentes de todas las demás, ¿será que estas diferencias codifiquen un concepto vago de realeza?&lt;/li&gt;
&lt;/ol&gt;

&lt;h3 id=&quot;analogías&quot;&gt;Analogías&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;“Las palabras pueden llevar todo el peso que queramos. Todo lo que se requiere es un acuerdo tradición a partir de la cual  construir” ~ Dios emperador de Dune&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;Los ejemplos más usados que muestran una de las características más increíbles de los &lt;em&gt;embeddings&lt;/em&gt; es el concepto de analogías. Podemos sumar y restar &lt;em&gt;embeddings&lt;/em&gt; y llegar a resultados interesantes. El ejemplo más famoso es la fórmula &lt;em&gt;“king”&lt;/em&gt; - &lt;em&gt;“man”&lt;/em&gt; + &lt;em&gt;“woman”&lt;/em&gt;:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;https://jalammar.github.io/images/word2vec/king-man+woman-gensim.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;small&gt;Usando la biblioteca &lt;a href=&quot;https://radimrehurek.com/gensim/&quot;&gt;Gensim&lt;/a&gt; de Python, podemos sumar y restar vectores, y encontrar las palabras más similares al vector resultante. La imagen muestra una lista de las palabras más similares, cada una con su similitud coseno.&lt;/small&gt;&lt;/p&gt;

&lt;p&gt;Podemos visualizar esta analogía como lo hemos hecho anteriormente:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;https://jalammar.github.io/images/word2vec/king-analogy-viz.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;small&gt;El vector resultante de &lt;em&gt;“king-man+woman”&lt;/em&gt; no coincide exactamente con &lt;em&gt;“queen”&lt;/em&gt; es la más cercana de las 400,000 que la contiene este &lt;em&gt;dataset&lt;/em&gt;.&lt;/small&gt;&lt;/p&gt;

&lt;p&gt;Ahora que hemos revisado los &lt;em&gt;embeddings&lt;/em&gt;, aprendamos más acerca del proceso para obtenerlos. Pero antes de que lleguemos a &lt;em&gt;word2vec&lt;/em&gt;, necesitamos conocer a su padre conceptual: los modelos de lenguaje neuronales.&lt;/p&gt;

&lt;h2 id=&quot;modelando-lenguajes&quot;&gt;Modelando lenguajes&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;“El profeta no se distrae con ilusiones del pasado, presente y futuro. &lt;strong&gt;La fijeza del lenguaje determina tales distinciones lineales.&lt;/strong&gt; Los profetas sostienen la llave de la cerradura en un idioma. 
Este no es un universo mecánico. La progresión lineal de los eventos la impone el observador. ¿Causa y efecto? No es eso para nada. &lt;strong&gt;El profeta pronuncia palabras fatídicas.&lt;/strong&gt; Vislumbras algo “destinado a ocurrir” pero el instante profético libera algo de portento y poder infinitos. El universo sufre un cambio fantasmal” ~ Dios emperador de Dune&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;Si uno quisiera un ejemplo de una aplicación que usa &lt;em&gt;NLP&lt;/em&gt;, uno de los mejores sería la predicción de la próxima palabra en el teclado de un teléfono. Es una característica que miles de millones de personas usan cientos de veces al día.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/swiftkey-keyboard.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;La predicción de la próxima palabra es una tarea que puede llevarse a cabo usando un &lt;em&gt;modelo de lenguage&lt;/em&gt; (&lt;em&gt;language model&lt;/em&gt;, en inglés). Un modelo de lenguaje puede tomar una lista de palabras (digamos, dos), y tratar de predecir cuál es la que le seguiría.&lt;/p&gt;

&lt;p&gt;En la captura de pantalla de arriba, podemos pensar que el modelo tomó estas dos palabras en color verde (&lt;span style=&quot;color: #70BF41;&quot;&gt;Thou&lt;/span&gt;, &lt;span style=&quot;color: #70BF41;&quot;&gt;shalt&lt;/span&gt;) y regresa un conjunto de sugerencias (“not” es la que tenía la mayor probabilidad):&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/thou-shalt-_.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Puedes pensar en el modelo como una caja negra:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/language_model_blackbox.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Pero en la práctica, el modelo no solamente regresa como resultado una sola palabra. En realidad, entrega las probabilidades para todas las palabras que “conoce” (el conjunto de todas las palabras que conoce se llama vocabulario, que pueden ir desde unas cuantas miles hasta millones de palabras). Es la responsabilidad del teclado encontrar las palabras con mayor probabilidad y presentarlas al usuario.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/language_model_blackbox_output_vector.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;small&gt;Los resultados de un modelo de lenguaje son probabilidades sobre todas las palabras que el modelo “conoce”. En la imagen nos referimos a la probabilidad como porcentaje, pero ese 40% en realidad vale 0.4 en nuestro vector de salida.&lt;/small&gt;&lt;/p&gt;

&lt;p&gt;Después de ser entrenado, los primeros modelos de lenguaje (&lt;a href=&quot;http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf&quot;&gt;Bengio 2003&lt;/a&gt;) calculaban la predicción en tres pasos:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/neural-language-model-prediction.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;El primer paso es el más relevante para nosotros porque en este post estamos hablando sobre los &lt;em&gt;embeddings&lt;/em&gt;. Uno de los resultados del proceso de entrenamiento es una matriz que contiene un &lt;em&gt;embedding&lt;/em&gt; por cada uno de los tokens en nuestro vocabulario. Cuando estamos prediciendo, simplemente buscamos los &lt;em&gt;embeddings&lt;/em&gt; de los tokens de entrad ay calculamos la predicción:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/neural-language-model-embedding.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Ahora vamos a aprender cómo es que esta matriz de &lt;em&gt;embeddings&lt;/em&gt; es creada.&lt;/p&gt;

&lt;h2 id=&quot;entrenamiento-de-modelos-de-lenguaje&quot;&gt;Entrenamiento de modelos de lenguaje&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;“Un proceso no se puede entender deteniéndolo. La comprensión debe moverse con el flujo del proceso, debe unirse y fluir con él.” ~Dune&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;Los modelos de lenguaje tienen una gran ventaja sobre otros modelos de &lt;em&gt;machine learning&lt;/em&gt;. Esa ventaja es que podemos entrenarlos usando texto – del cual tenemos mucho. Piensa en todos los libros, artículos, y otras formas de textos a nuestro al rededor. En contraste con otros modelos de aprendizaje automático que necesitan que la los datos sean preparados (y a veces obtenidos) específicamente para ellos.&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;“Conocerás una palabra por sus la compañía que mantiene alrededor” ~ J.R. Firth&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;Las palabras obtienen sus &lt;em&gt;embeddings&lt;/em&gt; a partir de las palabras que aparecen a su alrededor. Esto funciona de la siguiente manera:&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;Obtenemos un montón de texto (digamos, todos los artículos de Wikipedia), luego&lt;/li&gt;
  &lt;li&gt;tomamos una ventana (digamos, de tres palabras) que movemos sobre todo el texto,&lt;/li&gt;
  &lt;li&gt;Esta ventana genera nuestros ejemplos para el entrenamiento del modelo:&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/wikipedia-sliding-window.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;En tanto esta ventana se desliza, nosotros (virtualmente) generamos un &lt;em&gt;dataset&lt;/em&gt; que usaremos para entrenar el modelo. Para ver cómo es que esto funciona, veamos cómo funciona el proceso para la siguiente frase:&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;“Thou shalt not make a machine in the likeness of a human mind” ~Dune&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;Cuando empezamos, la ventana está en las tres primeras palabras de la oración:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/lm-sliding-window.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Tomamos las dos palabras como &lt;em&gt;features&lt;/em&gt;, y la tercera como la etiqueta a predecir:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/lm-sliding-window-2.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Luego entonces deslizamos la ventana a la siguiente posición para generar un segundo ejemplo de entrenamiento:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/lm-sliding-window-3.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Y de pronto tendremos un gran &lt;em&gt;dataset&lt;/em&gt; de palabras que suelen aparecer después de otro par:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/lm-sliding-window-4.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;En la práctica, los modelos suelen ser entrenados mientras esta ventana se va deslizando, sin embargo, siento que es más claro separar lógicamente la etapa de generación del &lt;em&gt;dataset&lt;/em&gt; de la etapa de entrenamiento. Además de modelos basados en redes neuronales, existe una técnica conocida como &lt;em&gt;n-grams&lt;/em&gt; que es también usada comúnmente para entrenar modelos (mira el capítulo 3 de &lt;a href=&quot;http://web.stanford.edu/~jurafsky/slp3/&quot;&gt;&lt;em&gt;Speech and Language Processing&lt;/em&gt;&lt;/a&gt;). para ver cómo es que este cambio de &lt;em&gt;n-grams&lt;/em&gt; a modelos neuronales se refleja en productos reales, revisa &lt;a href=&quot;https://blog.swiftkey.com/neural-networks-a-meaningful-leap-for-mobile-typing/&quot;&gt;este post de Swiftkey&lt;/a&gt; mi teclado favorito para Android, introduciendo su modelo neuronal de lenguaje y comparándolo con su previo modelo basado en &lt;em&gt;n-grams&lt;/em&gt;. me gusta este ejemplo porque muestra cómo las propiedades algorítmicas de los &lt;em&gt;embeddings&lt;/em&gt; se pueden describir en lenguaje de marketing.&lt;/p&gt;

&lt;h3 id=&quot;mira-hacia-ambos-lados&quot;&gt;Mira hacia ambos lados&lt;/h3&gt;

&lt;blockquote&gt;
  &lt;p&gt;“La paradoja es un indicador que te dice que mires más allá. Si las paradojas te molestan, eso delata tu profundo deseo de absolutos. El relativista trata una paradoja simplemente como interesante, quizás divertida o incluso, un pensamiento terrible, educativo” ~ Dios emperador de Dune&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;Sabiendo de lo que hablamos anteriormente en este post, completa la oración&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/jay_was_hit_by_a_.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;El contexto que te he dado aquí son 5 palabras antes del espacio en blanco. Estoy seguro que la mayoría de las personas elegirían la palabra &lt;em&gt;“bus”&lt;/em&gt; como solución. Pero qué sucedería si te doy un poco más de información – una palabra después del espacio en blanco, ¿cambiaría tu respuesta?&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/jay_was_hit_by_a_.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Esto cambia completamente lo que debería ir en el espacio en blanco, la palabra &lt;em&gt;“red”&lt;/em&gt; es ahora la que tiene mayor sentido de ser elegida. Lo que hemos aprendido de esto es que tanto las palabras previas como las siguientes a una palabra determinada contienen un alto valor sobre esta palabra determinada. Resulta que tomar en cuenta ambas direcciones (palabras a la izquierda y derecha de la que estamos adivinando) nos lleva a tener mejor &lt;em&gt;embeddings&lt;/em&gt;. Veamos cómo es que podemos tomar en cuenta esto al momento de entrenar nuestro modelo.&lt;/p&gt;

&lt;h2 id=&quot;skipgram&quot;&gt;&lt;em&gt;Skipgram&lt;/em&gt;&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;“La inteligencia se arriesga con datos limitados en un campo donde los errores no solo son posibles sino también necesarios.” ~Chapterhouse: Dune&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;En lugar de solamente mirar dos palabras antes de nuestra palabra objetivo, podemos también ver dos palabras después:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/continuous-bag-of-words-example.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Si hacemos esto, el &lt;em&gt;dataset&lt;/em&gt; que estamos construyendo virtualmente para entrenar el modelo se vería así:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/continuous-bag-of-words-dataset.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Esta arquitectura es conocida como &lt;em&gt;Continuous Bag of Words&lt;/em&gt; y es descrita en uno de los &lt;a href=&quot;https://arxiv.org/pdf/1301.3781.pdf&quot;&gt;artículos de word2vec&lt;/a&gt;. Hay otra arquitectura que entregó grandes resultados haciendo las cosas un poco diferente.&lt;/p&gt;

&lt;p&gt;El lugar de “adivinar” una palabra a partir de su contexto (las palabras antes y después de ella), esta otra arquitectura trata de predecir las palabras vecinas a partir de una palabra determinada. Podemos imaginar que la ventana se desliza sobre el texto de entrenamiento así:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/skipgram-sliding-window.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;small&gt;La palabra en la casilla verde será tratada como la palabra de entrada y cada una de las casillas rosas serán tratadas como posibles resultados.&lt;/small&gt;&lt;/p&gt;

&lt;p&gt;Las casillas rosas están marcadas con diferentes tonalidades porque la ventana deslizante en realidad crea cuatro ejemplos diferentes en nuestro dataset:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/skipgram-sliding-window-samples.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Este método es conocido como la arquitectura &lt;em&gt;skipgram&lt;/em&gt;. Podemos visualizar la ventana deslizante haciendo algo así:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/skipgram-sliding-window-1.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Esto añadiría cuatro ejemplos a nuestro dataset de entrenamiento:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/skipgram-sliding-window-2.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Luego entonces podemos deslizar la ventana a su siguiente posición:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/skipgram-sliding-window-3.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Esto genera otros cuatro ejemplos:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/skipgram-sliding-window-4.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Un par de posiciones más adelante tenemos muchos más ejemplos:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/skipgram-sliding-window-5.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;revisando-el-proceso-de-entrenamiento&quot;&gt;Revisando el proceso de entrenamiento&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;“Muad’Dib aprendió rápidamente porque su primer entrenamiento fue sobre cómo aprender. Y la primera lección de todas fue la confianza básica que podía aprender. Es impactante descubrir cuántas personas no creen que puedan aprender y cuántas más creen que aprender es difícil.” ~ Dune&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;Ahora que ya tenemos nuestro &lt;em&gt;dataset&lt;/em&gt; creado a partir del modelo &lt;em&gt;skipgram&lt;/em&gt;, echemos un vistazo a cómo lo podemos usar para entrenar un modelo neuronal básico de lenguaje que predice las palabras vecinas a otra.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/skipgram-language-model-training.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Comencemos por el primer ejemplo en nuestro &lt;em&gt;dataset&lt;/em&gt;. Tomando la primer entrada y dándosela al modelo que aún no está entrenado pidiéndole su predicción para la siguiente palabra.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/skipgram-language-model-training-2.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;El modelo ejecuta los tres pasos definidos arriba y entrega un vector de predicción (en donde cada palabra en su vocabulario recibe una probabilidad). Dado que el modelo no está entrenado aún, sus predicciones son incorrectas en esta etapa; eso está bien. Nosotros sabemos qué palabra debió haber predicho – la palabra (o “etiqueta”) en la fila que estamos usando para entrenar el modelo:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/skipgram-language-model-training-3.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;small&gt;El vector objetivo (&lt;em&gt;“target vector”&lt;/em&gt;) es aquel en donde la verdadera palabra esperada tiene una probabilidad de 1 mientras que cualquier otra tienen probabilidad 0.&lt;/small&gt;&lt;/p&gt;

&lt;p&gt;¿Qué tan lejos estuvo el modelo? para saber esto, restamos los dos vectores (el valor esperado menos el valor predecido) lo cual nos va a dar un vector “error”:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/skipgram-language-model-training-4.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Este vector “error” puede ser usado para actualizar el modelo para que, la siguiente vez que se le pregunte, sea más probable que “adivine” &lt;span style=&quot;color: #e91e63;&quot;&gt;thou&lt;/span&gt; cuando recibe &lt;span style=&quot;color: #4caf50;&quot;&gt;not&lt;/span&gt; como entrada.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/skipgram-language-model-training-5.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Y así concluye el primer paso del entrenamiento. Procedemos a ejecutar el mismo proceso con el siguiente ejemplo en nuestro dataset, y el siguiente, y el siguiente y así hasta que hayamos terminado de cubrir todos los ejemplos de nuestro &lt;em&gt;dataset&lt;/em&gt;, con eso se cubre lo que en &lt;em&gt;machine learning&lt;/em&gt; se conoce como una &lt;strong&gt;época de entrenamiento&lt;/strong&gt;. Después repetimos el mismo proceso por un número de épocas y finalmente podemos extraer la matriz de &lt;em&gt;embeddings&lt;/em&gt; (que son los parámetros internos de nuestro modelo neuronal) y usarla para cualquier otra aplicación.&lt;/p&gt;

&lt;p&gt;Mientras qué hemos logrado entender el proceso, aún no llegamos a cómo es que &lt;em&gt;word2vec&lt;/em&gt; fue entrenado en realidad. Nos faltan un par de ideas claves.&lt;/p&gt;

&lt;h2 id=&quot;sampleo-negativo&quot;&gt;Sampleo negativo&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;“Intentar comprender a Muad’Dib sin comprender a sus enemigos mortales, los Harkonnen, es intentar ver la Verdad sin conocer la Falsedad. Es el intento de ver la Luz sin conocer la Oscuridad. No puede ser.” ~ Dune&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;Recordemos los tres pasos de cómo es que este modelo neuronal calcula su predicción:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/language-model-expensive.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Este tercer paso es muy costoso desde un punto de vista computacional – especialmente sabiendo que tenemos que hacerlo una vez por cada ejemplo en nuestro dataset (que fácilmente será millones de veces). Necesitamos hacer algo para mejorar el desempeño.&lt;/p&gt;

&lt;p&gt;Una forma de hacerlo es dividiendo nuestro objetivo en dos etapas:&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;Generar &lt;em&gt;embeddings&lt;/em&gt; de alta calidad (sin preocuparnos por predecir la siguiente palabra)&lt;/li&gt;
  &lt;li&gt;Usar estos &lt;em&gt;embeddings&lt;/em&gt; para entrenar un modelo de lenguaje (para ahora si, predecir la siguiente palabra)&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;Nos vamos a enfocar en el paso 1, ya que este post se trata de &lt;em&gt;embeddings&lt;/em&gt;. Para generar unos de alta calidad mientras que usamos un modelo de alto desempeño podemos cambiar la funcionalidad del modelo de predecir la siguiente palabra:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/predict-neighboring-word.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;A uno que tome las dos palabras (la de entrada y la que sería de salida) y regrese una medida indicando si estas palabras son vecinas o no (0 para “no vecinas”, 1 para “vecinas”):&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/are-the-words-neighbors.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Este simple cambio también significa que podemos cambiar nuestro modelo de salidas de múltiples salidas a un modelo de regresión lineal – que se convierte en uno más sencillo y fácil de entrenar.&lt;/p&gt;

&lt;p&gt;Este cambio también requiere que nosotros cambiemos la estructura de nuestro &lt;em&gt;dataset&lt;/em&gt; – lo que era antes nuestra etiqueta ahora es otra entrada al modelo, y el valor a predecir es 0 o 1. Por ahora todos serán 1 puesto que todas nuestras palabras son “vecinas”.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/word2vec-training-dataset.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Este problema puede ser resuelto a una velocidad impresionante – procesando millones de ejemplos en minutos; sin embargo, existe un pequeño problema que debemos solucionar. Si todos nuestros ejemplos son positivos (es decir, etiqueta 1), nos estamos exponiendo a que nuestro modelo se pase de listillo y siempre regrese 1 como respuesta – logrando 100% de precisión pero sin aprender nada (y en el proceso generar &lt;em&gt;embeddings&lt;/em&gt; que no sirven).&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/word2vec-smartass-model.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Para resolver esto, necesitamos incluir &lt;em&gt;ejemplos negativos&lt;/em&gt; en nuestro &lt;em&gt;dataset&lt;/em&gt; – ejemplos de palabras que no tienen relación y para las cuales nuestro modelo debe regresar 0 como predicción. Con eso tenemos ahora un verdadero reto para el cual nuestro modelo tiene que trabajar para resolver, sin embargo este proceso sigue siendo rápido.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/word2vec-negative-sampling.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;small&gt;Para cada ejemplo en nuestro &lt;em&gt;dataset&lt;/em&gt;, añadimos un ejemplo negativo. Estos tienen la misma palabra de “entrada” y 0 como etiqueta.&lt;/small&gt;&lt;/p&gt;

&lt;p&gt;Pero, ¿qué colocamos como palabras de “salida”? pues podemos elegir palabras de nuestro vocabulario aleatoriamente:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/word2vec-negative-sampling-2.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Esta idea está inspirada por &lt;a href=&quot;http://proceedings.mlr.press/v9/gutmann10a/gutmann10a.pdf&quot;&gt;&lt;em&gt;noise-constrative estimation&lt;/em&gt;&lt;/a&gt;. Nosotros estamos contrastando la verdadera señal (los ejemplos positivos de palabras vecinas) con ruido (los ejemplos de palabras que no son vecinas elegidos aleatoriamente). Esto representa un excelente balance entre eficiencia computacional y estadística.&lt;/p&gt;

&lt;h2 id=&quot;skipgram-con-sampleo-negativo&quot;&gt;&lt;em&gt;Skipgram&lt;/em&gt; con sampleo negativo&lt;/h2&gt;

&lt;p&gt;Ahora hemos cubierto dos de las ideas centrales en &lt;em&gt;word2vec&lt;/em&gt;: en conjunto son llamadas &lt;em&gt;skipgram&lt;/em&gt; con sampleo negativo (*Skipgram with Negative Sampling, SGNS)&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/skipgram-with-negative-sampling.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;proceso-de-entrenamiento-de-word2vec&quot;&gt;Proceso de entrenamiento de &lt;em&gt;Word2vec&lt;/em&gt;&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;“La computadora no puede anticipar todos los problemas de importancia para los humanos. Es la diferencia entre bits en serie y un continuo ininterrumpido. Nosotros tenemos este; las máquinas se limitan al otro.” ~ Dune&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;Antes de que el proceso de entrenamiento comience, tenemos que pre-procesar el texto que vamos a usar para entrenar el modelo. Por ejemplo, determinamos el tamaño de nuestro vocabulario (llamaremos a este valor &lt;span style=&quot;color:#ffa000;&quot;&gt;vocab_size&lt;/span&gt;, y digamos que su valor es 10,000) y qué palabras pertenecen a este.&lt;/p&gt;

&lt;p&gt;Al principio de la face de entrenamiento creamos dos matrices – una de &lt;span style=&quot;color: #4caf50;&quot;&gt;Embedding&lt;/span&gt; y otra de &lt;span style=&quot;color: #9c27b0;&quot;&gt;Contexto&lt;/span&gt;. Estas dos matrices tienen un vector (&lt;em&gt;embedding&lt;/em&gt;) para cada palabra en el vocabulario, es decir &lt;span style=&quot;color:#ffa000;&quot;&gt;vocab_size&lt;/span&gt; es el tamaño de una de sus dimensiones. La segunda dimensión es qué tan largo queremos que el &lt;em&gt;embedding&lt;/em&gt; sea (llamemos a este parámetro &lt;span style=&quot;color: #ff6f00;&quot;&gt;embedding_size&lt;/span&gt;), 300 es un valor común, aunque anteriormente vimos un ejemplo de 50.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/word2vec-embedding-context-matrix.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Cuando el proceso de entrenamiento comienza, rellenamos estas matrices con valores aleatorios. En cada paso de entrenamiento, tomamos un ejemplo positivo y su correspondiente negativo. Veámoslo con el primer grupo:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/word2vec-training-example.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Ahora tenemos cuatro palabras: la de entrada &lt;span style=&quot;color: #4caf50;&quot;&gt;not&lt;/span&gt; y la de salida o contexto &lt;span style=&quot;color: #9c27b0;&quot;&gt;thou&lt;/span&gt; (que es su vecina). Además, tenemos &lt;span style=&quot;color: #9c27b0;&quot;&gt;aaron&lt;/span&gt; y &lt;span style=&quot;color: #9c27b0;&quot;&gt;taco&lt;/span&gt; como ejemplos negativos. Con esto en mente, ubicamos sus &lt;em&gt;embeddings&lt;/em&gt;: para la palabra de entrada, buscamos en la matriz &lt;span style=&quot;color: #4caf50;&quot;&gt;Embedding&lt;/span&gt; mientras que para las palabras “contexto” los buscamos en la matriz &lt;span style=&quot;color: #9c27b0;&quot;&gt;Contexto&lt;/span&gt; (a pesar de que ambas matrices tienen un &lt;em&gt;embedding&lt;/em&gt; para cada palabra en nuestro vocabulario).&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/word2vec-lookup-embeddings.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Después, tomamos el producto punto (&lt;em&gt;dot product&lt;/em&gt;) del &lt;em&gt;embedding&lt;/em&gt; de entrada con los &lt;em&gt;embeddings&lt;/em&gt; contexto. En cada caso, este producto punto resultará en un número que indica la similtud entre estas dos palabras:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/word2vec-training-dot-product.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Necesitamos una forma de convertir estos valores en algo que parezca probabilidades – necesitamos que todas sean positivas y con valores entre 0 y 1. Este es un buen lugar para usar &lt;a href=&quot;https://jalammar.github.io/feedforward-neural-networks-visual-interactive/#sigmoid-visualization&quot;&gt;&lt;em&gt;sigmoid&lt;/em&gt;&lt;/a&gt;.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/word2vec-training-dot-product-sigmoid.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Ahora podemos tratar la salida de la operación &lt;em&gt;sigmoid&lt;/em&gt; como la salida del modelo para estos ejemplos. Puedes ver que &lt;span style=&quot;color: #9c27b0;&quot;&gt;taco&lt;/span&gt; tiene el valor mayor mientras que &lt;span style=&quot;color: #9c27b0;&quot;&gt;aaron&lt;/span&gt; el menor, ambos antes y después de la operación &lt;em&gt;sigmoid&lt;/em&gt;.&lt;/p&gt;

&lt;p&gt;Una vez que el modelo no entrenado ha hecho una predicción, y sabiendo que tenemos un resultado correcto contra el cual comparar, vamos a calcular cuál fue el error en las predicciones del modelo. Para hacer eso, basta con restar los valores obtenidos de &lt;em&gt;sigmoid&lt;/em&gt; contra el valor de salida verdadero (&lt;em&gt;target&lt;/em&gt;):&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/word2vec-training-error.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Aquí es donde viene la parte del &lt;em&gt;learning&lt;/em&gt; en &lt;em&gt;machine learning&lt;/em&gt;. Una vez que calculamos el error, podemos usarlo para ajustar los embeddings de nuestrass palabras, para que la próxima vez que necesitemos una predicción, los valores predecidos sean más parecidos a los valores esperados.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/word2vec-training-update.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Con esto concluye un primer paso de entrenamiento. Una vez concluido, terminamos con &lt;em&gt;embeddings&lt;/em&gt; un poquito mejores para las palabras involucradas en él (&lt;span style=&quot;color: #4caf50;&quot;&gt;not&lt;/span&gt;, &lt;span style=&quot;color: #9c27b0;&quot;&gt;thou&lt;/span&gt;, &lt;span style=&quot;color: #9c27b0;&quot;&gt;aaron&lt;/span&gt; y &lt;span style=&quot;color: #9c27b0;&quot;&gt;taco&lt;/span&gt;). Ahora si, podemos pasar al siguiente paso, es decir, el siguiente ejemplo positivo y sus correspondientes negativos para ejecutar el proceso nuevamente.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/word2vec-training-example-2.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Los &lt;em&gt;embeddings&lt;/em&gt; seguirán mejorando mientras iteramos sobre todo nuestro &lt;em&gt;dataset&lt;/em&gt;. En cualquier momento podemos detener el proceso de entrenamiento, descartar la matriz &lt;span style=&quot;color: #9c27b0;&quot;&gt;Contexto&lt;/span&gt; y usar los &lt;em&gt;embeddings&lt;/em&gt; en la matriz &lt;span style=&quot;color: #4caf50;&quot;&gt;Embedding&lt;/span&gt; para cualquier otra tarea.&lt;/p&gt;

&lt;h2 id=&quot;tamaño-de-ventana-y-número-de-ejemplos-negativos&quot;&gt;Tamaño de ventana y número de ejemplos negativos&lt;/h2&gt;

&lt;p&gt;Hay dos híper parámetros claves en el proceso de entrenamiento de &lt;em&gt;word2vec&lt;/em&gt;, estos son el tamaño de la ventana y el número de ejemplos negativos.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/word2vec-window-size.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Diferentes tareas se benefician de diferentes tamaños de ventana. Una &lt;a href=&quot;https://youtu.be/tAxrlAVw-Tk?t=648&quot;&gt;heurística&lt;/a&gt; que podemos emplear es que tamaños de ventana pequeños (2-15) llevan a &lt;em&gt;embeddings&lt;/em&gt; donde altos valores de similitud indican que las palabras son intercambiables (toma en cuenta que los antónimos suelen ser intercambiables si solo nos fijamos en las palabras que los rodean – por ejemplo, “bueno” y “malo” suelen aparecer en contextos similares). Los tamaños de ventana más grandes nos llevana a &lt;em&gt;embeddings&lt;/em&gt; en donde la similitud es más bien una medida del nivel de relación entre dos palabras. En la práctica, probablemente tengas que proveer &lt;a href=&quot;https://youtu.be/ao52o9l6KGw?t=287&quot;&gt;anotaciones&lt;/a&gt; que guíen el proceso de generación de &lt;em&gt;embeddings&lt;/em&gt; y entreguen un sentido mejor de similitud. El tamaño de ventana por default en &lt;em&gt;Gensim&lt;/em&gt; es 5 (dos palabras antes y dos palabras después de la palabra de entrada).&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;http://jalammar.github.io/images/word2vec/word2vec-negative-samples.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;El número de ejemplos negativos es otro factor a considerar en el proceso de entrenamiento, el &lt;em&gt;paper&lt;/em&gt; original recomienda de 5 a 20 como un buen número de ejemplos negativos. También menciona que de 2 a 5 suele ser suficiente cuando se tiene un &lt;em&gt;dataset&lt;/em&gt; de buen tamaño. El default en Gensim es 5 ejemplos negativos.&lt;/p&gt;

&lt;h2 id=&quot;conclusión&quot;&gt;Conclusión&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;“Si sale de tu dominio, entonces estás interactuando con inteligencia, no con automatización.” ~ Dios Emperador de Dune&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;Espero que ahora ya comprendas qué son los &lt;em&gt;embeddings&lt;/em&gt; y el algoritmo detrás de &lt;em&gt;word2vec&lt;/em&gt;. También espero que cuando leas un artículo científico mencionando &lt;em&gt;“skipgram with negative sampling”&lt;/em&gt; (como los que mencioné al principio), entiendas lo que significan estos conceptos. Como siempre, cualquier comentario es bien apreciado &lt;a href=&quot;https://twitter.com/JayAlammar&quot;&gt;@JayAlammar&lt;/a&gt;&lt;/p&gt;

&lt;h2 id=&quot;referencias-y-recursos-para-seguir-leyendo&quot;&gt;Referencias y recursos para seguir leyendo&lt;/h2&gt;
&lt;ul&gt;
  &lt;li&gt;&lt;a href=&quot;https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf&quot;&gt;Distributed Representations of Words and Phrases and their Compositionality&lt;/a&gt; [pdf]&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;https://arxiv.org/pdf/1301.3781.pdf&quot;&gt;Efficient Estimation of Word Representations in Vector Space&lt;/a&gt; [pdf]&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;http://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf&quot;&gt;A Neural Probabilistic Language Model&lt;/a&gt; [pdf]&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;https://web.stanford.edu/~jurafsky/slp3/&quot;&gt;Speech and Language Processing&lt;/a&gt; by Dan Jurafsky and James H. Martin is a leading resource for NLP. Word2vec is tackled in Chapter 6.&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;https://www.amazon.com/Language-Processing-Synthesis-Lectures-Technologies/dp/1627052984&quot;&gt;Neural Network Methods in Natural Language Processing&lt;/a&gt; by &lt;a href=&quot;https://twitter.com/yoavgo&quot;&gt;Yoav Goldberg&lt;/a&gt; is a great read for neural NLP topics.&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;http://mccormickml.com/&quot;&gt;Chris McCormick&lt;/a&gt; has written some great blog posts about Word2vec. He also just released &lt;a href=&quot;https://www.preview.nearist.ai/paid-ebook-and-tutorial&quot;&gt;The Inner Workings of word2vec&lt;/a&gt;, an E-book focused on the internals of word2vec.&lt;/li&gt;
  &lt;li&gt;Want to read the code? Here are two options:
    &lt;ul&gt;
      &lt;li&gt;Gensim’s &lt;a href=&quot;https://github.com/RaRe-Technologies/gensim/blob/develop/gensim/models/word2vec.py&quot;&gt;python implementation&lt;/a&gt; of word2vec&lt;/li&gt;
      &lt;li&gt;Mikolov’s original &lt;a href=&quot;https://github.com/tmikolov/word2vec/blob/master/word2vec.c&quot;&gt;implementation in C&lt;/a&gt; – better yet, this &lt;a href=&quot;https://github.com/chrisjmccormick/word2vec_commented/blob/master/word2vec.c&quot;&gt;version with detailed comments&lt;/a&gt; from Chris McCormick.&lt;/li&gt;
    &lt;/ul&gt;
  &lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;http://sro.sussex.ac.uk/id/eprint/61062/1/Batchkarov,%20Miroslav%20Manov.pdf&quot;&gt;Evaluating distributional models of compositional semantics&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;http://ruder.io/word-embeddings-1/index.html&quot;&gt;On word embeddings&lt;/a&gt;, &lt;a href=&quot;http://ruder.io/word-embeddings-softmax/&quot;&gt;part 2&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;https://www.amazon.com/Dune-Frank-Herbert/dp/0441172717/&quot;&gt;Dune&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;&lt;small&gt;Alammar, Jay (2019). The Illustrated Word2vec [Blog post]. Retrieved from &lt;a href=&quot;http://jalammar.github.io/illustrated-word2vec/&quot;&gt;http://jalammar.github.io/illustrated-word2vec/&lt;/a&gt; &lt;/small&gt;&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;Sin más les recuerdo que como siempre, quedo atento a sus dudas y comentarios en mi cuenta de Twitter &lt;a href=&quot;https://twitter.com/io_exception&quot;&gt;@io_exception&lt;/a&gt;, en donde me pueden con contactar para hablar sobre ciencia de datos, ingeniería de software y muchas cosas más.&lt;/p&gt;</content><author><name>Antonio Feregrino Bolaños</name></author><category term="python" /><category term="skelarn" /><category term="texto" /><category term="word2vec" /><summary type="html">En esta ocasión les quiero hablar de otra forma de convertir texto a vectores, esta es distinta a las que hemos visto previamente ya que nos da como resultado un vector por cada token y cada uno de estos vectores es un vector denso.</summary></entry><entry><title type="html">De texto a vectores (parte 1)</title><link href="https://old.tacosdedatos.com/texto-vectores" rel="alternate" type="text/html" title="De texto a vectores (parte 1)" /><published>2020-08-24T10:00:00+00:00</published><updated>2020-08-24T10:00:00+00:00</updated><id>https://old.tacosdedatos.com/texto-vectores</id><content type="html" xml:base="https://old.tacosdedatos.com/texto-vectores">&lt;p&gt;Tener nuestro texto convertido en tokens es un paso importante en el uso de texto para aplicaciones de machine learning, existe una transformación que debemos realizar para facilitarle la tarea a nuestros modelos. Esta transformación es conocida como vectorización.&lt;/p&gt;

&lt;p&gt;En el &lt;a href=&quot;https://tacosdedatos.com/analisis-texto&quot;&gt;post pasado&lt;/a&gt; nos quedamos con nuestro texto ya tokenizado, sin embargo los modelos de machine learning operan con valores numéricos organizados en arreglos llamados vectores, y hasta el momento nuestros tokens son solo secuencias de caracteres. Nuestra tarea, y de lo que les voy a hablar en el siguiente post, es convertir esta secuencias a vectores.&lt;/p&gt;

&lt;h2 id=&quot;un-poco-de-nomenclatura&quot;&gt;Un poco de nomenclatura&lt;/h2&gt;
&lt;p&gt;Cuando se habla de texto en el contexto de la ciencia de datos hay algunas palabras que debemos entender ya que son comúnmente usadas:&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;&lt;strong&gt;Token&lt;/strong&gt;, conjunto de caracteres que representa la mínima unidad en el análisis de texto.&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;Documento&lt;/strong&gt;, la representación escrita de una idea, concepto o diálogo, un documento está compuesto por varios tokens. Como ejemplos de documentos podemos tener un &lt;em&gt;tweet&lt;/em&gt;, un diálogo en una película o un &lt;em&gt;paper&lt;/em&gt; de una publicación científica.&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;Corpus&lt;/strong&gt;, todo el conjunto de documentos sobre el que estamos realizando el análisis.&lt;/li&gt;
  &lt;li&gt;&lt;strong&gt;Vocabulario&lt;/strong&gt;, el conjunto de tokens únicos que obtenemos como resultado al tokenizar nuestro &lt;em&gt;corpus&lt;/em&gt; completo.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;Por ejemplo, debajo tenemos tres documentos, que en conjunto forman nuestro corpus.&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;Fui a comer tacos de suadero. Juro que es el suadero más delicioso de mi vida. #suadero&lt;/p&gt;
&lt;/blockquote&gt;

&lt;blockquote&gt;
  &lt;p&gt;Taco de delicioso suadero con bolsa de plástico para que no ensucie el plato.&lt;/p&gt;
&lt;/blockquote&gt;

&lt;blockquote&gt;
  &lt;p&gt;Tengo ganas de comprarme unos tacos de fútbol, ir a la cancha y jugar hasta la noche&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;Luego, una vez tokenizado con la función que desarrollamos en el post anterior, nos queda el siguiente vocabulario: &lt;strong&gt;bolsa&lt;/strong&gt;, &lt;strong&gt;cancha&lt;/strong&gt;, &lt;strong&gt;comer&lt;/strong&gt;, &lt;strong&gt;comprarme&lt;/strong&gt;, &lt;strong&gt;delicioso&lt;/strong&gt;, &lt;strong&gt;ensuciar&lt;/strong&gt;, &lt;strong&gt;fútbol&lt;/strong&gt;, &lt;strong&gt;ganar&lt;/strong&gt;, &lt;strong&gt;jugar&lt;/strong&gt;, &lt;strong&gt;juro&lt;/strong&gt;, &lt;strong&gt;noche&lt;/strong&gt;, &lt;strong&gt;plato&lt;/strong&gt;, &lt;strong&gt;plástico&lt;/strong&gt;, &lt;strong&gt;suadero&lt;/strong&gt;, &lt;strong&gt;taco&lt;/strong&gt; y &lt;strong&gt;vida&lt;/strong&gt;.&lt;/p&gt;

&lt;p&gt;Como referencia, aquí está la función tokenizadora que llamamos &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;tokenize_phrase&lt;/code&gt;:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;tokenize_phrase&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;phrase&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;parsed_phrase&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nlp&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;phrase&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;token&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;parsed_phrase&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;is_punct&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;or&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;is_stop&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;or&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;text&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lower&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;spanish_stopwords&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;k&quot;&gt;continue&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;yield&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lemma_&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lower&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;blockquote&gt;
  &lt;p&gt;&lt;strong&gt;SciKit-Learn&lt;/strong&gt;: Si no estás familiarizado con la interfaz de SciKit-Learn te invito a &lt;a href=&quot;https://www.youtube.com/watch?v=XgXPxrEg0rA&quot;&gt;ver mi video sobre el tema&lt;/a&gt;. En resumen, &lt;em&gt;SciKit-Learn&lt;/em&gt; tiene unas clases que se conocen como &lt;em&gt;transformers&lt;/em&gt;, estos, como el nombre nos indica, son usados para transformar datos entre dos dominios. Los transformadores que vamos a usar poseen dos métodos que estamos usando: &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;fit&lt;/code&gt;, que nos ayuda preparar nuestro vectorizador, &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;transform&lt;/code&gt; que nos ayuda a convertir nuestros datos a vectores.&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h2 id=&quot;bolsa-de-palabras-bag-of-words&quot;&gt;Bolsa de palabras (&lt;em&gt;Bag of words&lt;/em&gt;)&lt;/h2&gt;
&lt;p&gt;Una de las primeras ideas que se nos puede venir a la mente es la de generar una pequeña tabla, en donde cada documento es un renglón y cada token es una columna:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;assets/detrasdelavis/004_empty.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;&lt;strong&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;CountVectorizer&lt;/code&gt; y &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;analyzer&lt;/code&gt;&lt;/strong&gt;: Al especificar el argumento &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;analyzer&lt;/code&gt; y asignarlo a nuestra función para tokenizar (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;tokenize_phrase&lt;/code&gt;) le estamos indicando a nuestro transformador que cuando sea el momento de tokenizar nuestros documentos, use esa función en lugar del tokenizador por default que viene en &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;sklearn&lt;/code&gt;.&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h3 id=&quot;vectores-de-frecuencia&quot;&gt;Vectores de frecuencia&lt;/h3&gt;
&lt;p&gt;Para rellenar la tabla anterior tenemos varias opciones, por ejemplo, podríamos simplemente la cantidad de veces que un determinado token aparece en cada uno de los documentos:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;assets/detrasdelavis/004_frequency.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Como, en nuestro caso, la palabra “suadero” aparece tres veces en el primer documento.&lt;/p&gt;

&lt;p&gt;Para lograr esto, vamos a hacer uso de &lt;em&gt;SciKit-Learn&lt;/em&gt;, que si bien no es un framework dedicado a trabajar con texto, tiene bastantes utilidades que nos permiten hacerlo de manera sencilla y reproducible.&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;kn&quot;&gt;from&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;sklearn.feature_extraction.text&lt;/span&gt; &lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;CountVectorizer&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;frequency_vectorizer&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;CountVectorizer&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;analyzer&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tokenize_phrase&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;frequency_vectorizer&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fit&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;corpus&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;frequency_vectors&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;frequency_vectorizer&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;transform&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;corpus&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h3 id=&quot;one-hot-encoding-bag-of-words&quot;&gt;One-hot-encoding (&lt;em&gt;Bag of words&lt;/em&gt;)&lt;/h3&gt;
&lt;p&gt;Otra opción que tenemos, si es que solamente queremos saber si una palabra existe en un documento o no, es la de usar la codificación &lt;em&gt;one-hot&lt;/em&gt;, que simplemente consiste en colocar verdadero o falso (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;1&lt;/code&gt; o &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;0&lt;/code&gt;) dependiendo de si la palabra existe o no:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;assets/detrasdelavis/004_onehot.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Como, en nuestro caso, a pesar de que la palabra “suadero” aparece tres veces en el primer documento, solamente hay un uno en la columna correspondiente. Para lograr esto con Python, el siguiente código es útil:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;kn&quot;&gt;from&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;sklearn.feature_extraction.text&lt;/span&gt; &lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;CountVectorizer&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;one_hot_vectorizer&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;CountVectorizer&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;analyzer&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tokenize_phrase&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;binary&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;one_hot_vectorizer&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fit&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;corpus&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;one_hot_vectors&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;one_hot_vectorizer&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;transform&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;corpus&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;blockquote&gt;
  &lt;p&gt;&lt;strong&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;CountVectorizer&lt;/code&gt; y &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;binary&lt;/code&gt;&lt;/strong&gt;: A pesar de usar la misma clase &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;CountVectorizer&lt;/code&gt;, el especificar el argumento &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;binary = True&lt;/code&gt; le indica a nuestro &lt;em&gt;transformer&lt;/em&gt; que simplemente queremos saber si un token existe en un documento, no cuántas veces aparece.&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h3 id=&quot;tf-idf&quot;&gt;TF-IDF&lt;/h3&gt;
&lt;p&gt;Tanto el vector de frecuencias como el binario tratan cada documento de manera individual. Lo cual es bueno hasta cierto punto, sin embargo, existe una transformación que toma en cuenta la influencia de todo el &lt;em&gt;corpus&lt;/em&gt; en cada documento.&lt;/p&gt;

&lt;p&gt;La idea detrás del famoso TF-IDF (Term Frequency – Inverse Document Frequency), o por su nombre en español: &lt;em&gt;frecuencia de término – frecuencia inversa de documento&lt;/em&gt;, El valor de cada token aumenta proporcionalmente al número de veces que una palabra aparece en el documento, pero es compensada por la frecuencia de la palabra en la colección de documentos, lo que permite manejar el hecho de que algunas palabras son generalmente más comunes que otras.&lt;/p&gt;

&lt;h3 id=&quot;detalles-matemáticos&quot;&gt;Detalles matemáticos…&lt;/h3&gt;

&lt;p&gt;Existen diversas maneras de calcular este número &lt;a href=&quot;https://es.wikipedia.org/wiki/Tf-idf#Detalles_matem%C3%A1ticos&quot;&gt;la wikipedia lista varias&lt;/a&gt;, pero esta es una de las más comunes:&lt;/p&gt;

&lt;p&gt;Partiendo de que&lt;/p&gt;
&lt;ul&gt;
  &lt;li&gt;\(t\) es el token para el cual estamos calculando,&lt;/li&gt;
  &lt;li&gt;\(d\) es el documento de interés y&lt;/li&gt;
  &lt;li&gt;\(D\) es nuestro corpus&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;Obtenemos el valor de acuerdo a la siguiente formula&lt;/p&gt;

\[tfidf(t, d, D) = \color{blue}{tf(t, d)} \times \color{red}{idf(t, D)}\]

&lt;ul&gt;
  &lt;li&gt;
    &lt;p&gt;\(\color{blue}{tf(t, d) = f_{t,d}}\) es la cantidad de veces que el token \(t\) aparece en el documento \(d\).&lt;/p&gt;
  &lt;/li&gt;
  &lt;li&gt;
    &lt;p&gt;\(\color{red}{idf(t, D) = \ln{\frac{\vert D \vert + 1}{\vert\{d \in D: t \in d\}\vert + 1} + 1}}\) en donde \(\vert D \vert\) es la cantidad de documentos en nuestro corpus y \(\vert \{d \in D: t \in d\} \vert\) es la cantidad de documentos en la que aparece el token \(t\). Los \(+ 1\) que se encuentran ahí son conocidos como “suavizado” que nos ayudan a evitar divisiones entre \(0\).&lt;/p&gt;
  &lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;Toma por ejemplo, el token &lt;em&gt;suadero&lt;/em&gt; en el primer documento (denotado como \(documentos_1\)):&lt;/p&gt;

\[tfidf(“suadero”, documentos_1, corpus) = \color{blue}{tf(“suadero”, documentos_1)} \times \color{red}{idf(“suadero”, corpus)}\]

\[tfidf(“suadero”, documentos_1, corpus) = \color{blue}{3} \times \color{red}{\ln{\frac{3 + 1}{2 + 1} + 1}}\]

\[tfidf(“suadero”, documentos_1, corpus) = \color{blue}{3} \times \color{red}{\ln{\frac{4}{3}+1}}\]

\[tfidf(“suadero”, documentos_1, corpus) = \color{blue}{3} \times \color{red}{\ln{2.333}}\]

\[tfidf(“suadero”, documentos_1, corpus) = 3.8630\]

&lt;p&gt;Como se puede observar en la siguiente tabla:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;assets/detrasdelavis/004_tfidf_no_norm.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Usualmente los algoritmos lineares de &lt;em&gt;machine learning&lt;/em&gt; otorgan mejores resultados cuando nuestras variables de entrada están normalizadas, así que se recomienda que nosotros hagamos lo mismo.&lt;/p&gt;

&lt;p&gt;Para nuestra suerte, dentro de &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;sklearn&lt;/code&gt; también existe un &lt;em&gt;transformer&lt;/em&gt; que nos permite convertir nuestros vectores a TF-IDF (incluyendo la parta de la normalización):&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;kn&quot;&gt;from&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;sklearn.feature_extraction.text&lt;/span&gt; &lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;TfidfVectorizer&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;tfidf_vectorizer&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;TfidfVectorizer&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;analyzer&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tokenize_phrase&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;tfidf_vectorizer&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fit&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;corpus&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;tfidf_vectors&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;tfidf_vectorizer&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;transform&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;corpus&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Que nos dará como resultado una matriz más o menos así:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;assets/detrasdelavis/004_tfidf.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;sobre-las-representaciones-vectoriales&quot;&gt;Sobre las representaciones vectoriales…&lt;/h2&gt;

&lt;h3 id=&quot;representaciones-dispersas&quot;&gt;Representaciones dispersas&lt;/h3&gt;
&lt;p&gt;Si de algo nos dimos cuenta con las matrices anteriores, es que en muchas ocasiones, tenemos más &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;0&lt;/code&gt; (valores en blanco) que valores reales. En otras palabras, nuestros documentos-vectores son dispersos, o en ingles &lt;em&gt;sparse vectors&lt;/em&gt;. Esto podría llegar a ser un problema cuando tenemos un vocabulario de tamaño considerable.&lt;/p&gt;

&lt;h3 id=&quot;no-reflejan-el-orden-de-los-términos&quot;&gt;No reflejan el orden de los términos&lt;/h3&gt;
&lt;p&gt;Otra cosa a considerar es que con solo ver la representación vectorizada de determinado documento, no podemos reconstruir el documento original, de entrada por todo el proceso de tokenización, pero también porque &lt;strong&gt;ninguna de las técnicas que vimos, preserva el orden original de los tokens en el documento&lt;/strong&gt;.&lt;/p&gt;

&lt;h3 id=&quot;existen-todavía-más-opciones&quot;&gt;Existen todavía más opciones&lt;/h3&gt;
&lt;p&gt;Si bien estas representaciones son buenas u útiles, hay casos en los que necesitamos obtener más detalle de nuestros documentos, para esos casos podemos usar técnicas como &lt;a href=&quot;http://jalammar.github.io/illustrated-word2vec/&quot;&gt;Word2vec&lt;/a&gt; o &lt;a href=&quot;https://medium.com/wisio/a-gentle-introduction-to-doc2vec-db3e8c0cce5e&quot;&gt;Doc2vec&lt;/a&gt;, de las cuales espero escribir en un post futuro.&lt;/p&gt;

&lt;h3 id=&quot;guarda-tus-vectorizadores&quot;&gt;Guarda tus vectorizadores&lt;/h3&gt;
&lt;p&gt;Sin importar qué método de transformación usaste, siempre debes usar el mismo para transformaciones subsecuentes. Por ejemplo, si usaste &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;fit&lt;/code&gt; con un transformador para los datos de entrenamiento de un algoritmo de clasificación, debes usar el mismo transformador (ya entrenado) para obtener los vectores al momento de realizar predicciones en nuevos datos.&lt;/p&gt;

&lt;p&gt;Mientras tanto, te invito a que me en Twitter en &lt;a href=&quot;https://twitter.com/io_exception&quot;&gt;@io_exception&lt;/a&gt;, por allá podemos conversar sobre el tema.&lt;/p&gt;</content><author><name>Antonio Feregrino Bolaños</name></author><category term="python" /><category term="skelarn" /><category term="texto" /><summary type="html">Tener nuestro texto convertido en tokens es un paso importante en el uso de texto para aplicaciones de machine learning, existe una transformación que debemos realizar para facilitarle la tarea a nuestros modelos. Esta transformación es conocida como vectorización.</summary></entry><entry><title type="html">Introducción al análisis de texto</title><link href="https://old.tacosdedatos.com/analisis-texto" rel="alternate" type="text/html" title="Introducción al análisis de texto" /><published>2020-08-16T10:00:00+00:00</published><updated>2020-08-16T10:00:00+00:00</updated><id>https://old.tacosdedatos.com/analisis-texto</id><content type="html" xml:base="https://old.tacosdedatos.com/analisis-texto">&lt;p&gt;¿Alguna vez has querido analizar texto? en este post voy a tratar de explicar cuáles son los primeros pasos recomendados para comenzar cualquier proyecto que involucre texto y ciencia de datos.&lt;/p&gt;

&lt;h2 id=&quot;texto-como-datos&quot;&gt;Texto como datos&lt;/h2&gt;
&lt;p&gt;Seguramente ya habrás escuchado algunas veces, o tu mismo has dicho “Hey Google” o “Hey Siri”, o tal vez te le has echado un ojo a tu filtro de spam… pero ¿te has preguntado cómo es que funcionan estos sistemas? como ya te imaginarás, la mayoría son aplicaciones de aprendizaje automático (o &lt;em&gt;machine learning&lt;/em&gt;) que son posibles gracias a muchos de los algoritmos tradicionales del aprendizaje máquina.&lt;/p&gt;

&lt;p&gt;Sin embargo, no podemos nosotros simplemente agarrar un montón de texto y dárselo a un algoritmo y esperar a que haga su magia… antes de todo esto existe un proceso que les voy a describir a continuación.&lt;/p&gt;

&lt;h2 id=&quot;spacy&quot;&gt;&lt;em&gt;spaCy&lt;/em&gt;&lt;/h2&gt;
&lt;p&gt;Aquí es donde entra &lt;em&gt;spaCy&lt;/em&gt;, que es un paquete de Python que podríamos comparar con una navaja suiza para el procesamiento de texto. Esta es una herramienta muy poderosa, y aquí solamente vamos a tocar apenas la superficie de lo que ofrece. Para comenzar, hay que instalarlo:&lt;/p&gt;

&lt;div class=&quot;language-shell highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;pip &lt;span class=&quot;nb&quot;&gt;install &lt;/span&gt;spacy
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Instalar &lt;em&gt;spaCy&lt;/em&gt; es solo la primera parte del rompecabezas, puesto que su correcto funcionamiento depende de usar el modelo adecuado para la tarea (y el idioma) que vamos a realizar, aquí puedes encontrar una &lt;a href=&quot;https://spacy.io/models&quot;&gt;descripción de los modelos&lt;/a&gt;, pero para este post, podemos usar el más simple &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;es_core_news_sm&lt;/code&gt;, se descarga con estos comandos en la consola:&lt;/p&gt;

&lt;div class=&quot;language-shell highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;python &lt;span class=&quot;nt&quot;&gt;-m&lt;/span&gt; spacy download es_core_news_sm 
python &lt;span class=&quot;nt&quot;&gt;-m&lt;/span&gt; spacy &lt;span class=&quot;nb&quot;&gt;link &lt;/span&gt;es_core_news_sm es
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Para acceder dentro de Python a todas las bondades de nuestra nueva herramienta, es necesario cargar el modelo, es convención cargar el modelo en una variable llamada &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;nlp&lt;/code&gt;:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;spacy&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;nlp&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;spacy&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;load&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;es&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Y listo, por el momento podemos seguir.&lt;/p&gt;

&lt;h2 id=&quot;tokenización&quot;&gt;Tokenización&lt;/h2&gt;
&lt;p&gt;El primer paso es segmentar nuestro texto en tokens. Un token es un conjunto de caracteres que representan texto. También podemos decir que el token es la únidad análisis de texto, así como un número es la unidad del análisis matemático. Es fácil para nosotros pensar que un token es igual a una palabra, sin embargo esto no es correcto, puesto que la “palabra” es un elemento del lenguaje que posee significado por sí misma, mientras que el token se supone es un elemento abstracto. Dependiendo de la tarea que estemos afrontando, el token puede ser alguna de las siguientes:&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;Una sola palabra, como: “jóvenes”, “nivel” o “superior”,&lt;/li&gt;
  &lt;li&gt;Un número, como: “1”, “0”, o “10”,&lt;/li&gt;
  &lt;li&gt;Un solo caracter, como: “j”, “ó” o “v”,&lt;/li&gt;
  &lt;li&gt;Un símbolo, como “¿”, “?” o “#”,&lt;/li&gt;
  &lt;li&gt;Un conjunto de caracteres, como “nivel superior” o “escuela técnica”&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;La forma de elegir los tokens en nuestro texto va a depender muchísimo del problema que estemos afrontando, habrá ocasiones en las que una simple tokenización, como la de dividir nuestro texto por los espacios, bastará:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;text&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;Seguramente ya habrás escuchado algunas veces, o tu mismo has dicho &lt;/span&gt;&lt;span class=&quot;se&quot;&gt;\&quot;&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;Hey Google&lt;/span&gt;&lt;span class=&quot;se&quot;&gt;\&quot;&lt;/span&gt;&lt;span class=&quot;s&quot;&gt; o &lt;/span&gt;&lt;span class=&quot;se&quot;&gt;\&quot;&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;Hey Siri&lt;/span&gt;&lt;span class=&quot;se&quot;&gt;\&quot;&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;, o tal vez le has echado un ojo a tu filtro de spam...&quot;&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;simple_tokens&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;text&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;split&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot; &quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;token&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;token&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;simple_tokens&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;])&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;['Seguramente', 'ya', 'habrás', 'escuchado', 'algunas', 'veces,', 'o', 'tu', 'mismo', 'has', 'dicho', '&quot;Hey', 'Google&quot;', 'o', '&quot;Hey', 'Siri&quot;,', 'o', 'tal', 'vez', 'le', 'has', 'echado', 'un', 'ojo', 'a', 'tu', 'filtro', 'de', 'spam...']
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Pero habrá otras ocasiones en las que tengamos que echar mano de otras formas de tokenizar el texto, por ejemplo en el paquete &lt;em&gt;spaCy&lt;/em&gt; podemos echar mano de algunas herramientas.&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;document&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nlp&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;text&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;token&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;token&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;document&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;])&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;[Seguramente, ya, habrás, escuchado, algunas, veces, ,, o, tu, mismo, has, dicho, &quot;, Hey, Google, &quot;, o, &quot;, Hey, Siri, &quot;, ,, o, tal, vez, le, has, echado, un, ojo, a, tu, filtro, de, spam, ...]
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;La gran diferencia es que en la segunda tokenización los símbolos de puntuación están separadas de las palabras en el texto.&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;&lt;em&gt;spaCy&lt;/em&gt;: Cuando llamamos &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;nlp(&quot;algún texto&quot;)&lt;/code&gt; obtenemos como retorno un valor del tipo &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Document&lt;/code&gt;, que, a su vez está compuesto de valores del tipo &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Token&lt;/code&gt;, es por eso que podemos iterar nuestro documento con un ciclo &lt;em&gt;for&lt;/em&gt;.&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h2 id=&quot;reducción-de-tokens&quot;&gt;Reducción de tokens&lt;/h2&gt;

&lt;h3 id=&quot;minúsculas-mayúsculas&quot;&gt;¿Minúsculas? ¿mayúsculas?&lt;/h3&gt;
&lt;p&gt;Hasta este punto todo bien con nuestros tokens, pero piensa en una oración como:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;oracion&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;El ciclo escolar comienza en las escuelas. Escuelas de todo el país comenzarán clases este lunes.&quot;&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Los tokens únicos de esta oración son:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;oracion_parsed&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nlp&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;oracion&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;nb&quot;&gt;set&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;text&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;token&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;oracion&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;{'clases', 'El', 'las', 'en', 'todo', 'comenzarán', 'este', 'ciclo', 'escolar', 'comienza', 'escuelas', '.', 'el', 'lunes', 'Escuelas', 'país', 'de'}
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Si te das cuenta, “&lt;em&gt;Escuelas&lt;/em&gt;” y “&lt;em&gt;escuelas&lt;/em&gt;” son dos tokens distintos, (recuerda, los tokens no son palabras); sin embargo, para muchas aplicaciones, estos dos tokens pueden, simple y sencillamente ser tratados como el mismo, simplemente con transformar todos nuestros tokens a minúsculas. Usamos la propiedad &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;lower_&lt;/code&gt; de &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Token&lt;/code&gt; para acceder a la versión en minúscula de la palabra:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;nb&quot;&gt;set&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lower_&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;token&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;oracion_parsed&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;{'país', 'lunes', 'comenzarán', 'en', '.', 'el', 'comienza', 'de', 'ciclo', 'las', 'escolar', 'clases', 'este', 'todo', 'escuelas'}
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;blockquote&gt;
  &lt;p&gt;&lt;em&gt;spaCy&lt;/em&gt;: como ya sabemos, en nuestro ejemplo de código anterior, cuando iteramos sobre &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;oracion_parsed&lt;/code&gt;, obtenemos uno a uno los tokens que forman nuestro documento original. Cada uno de estos elementos de la clase &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Token&lt;/code&gt; posee &lt;a href=&quot;https://spacy.io/api/token&quot;&gt;muchas propiedades&lt;/a&gt;, de entre ellas &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;lower_&lt;/code&gt; es una.&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h3 id=&quot;stopwords-signos-de-puntuación&quot;&gt;¿&lt;em&gt;Stopwords&lt;/em&gt;? ¿Signos de puntuación?&lt;/h3&gt;

&lt;p&gt;Como resultado de la tokenización, en el ejemplo anterior vemos que existen muchos &lt;em&gt;tokens&lt;/em&gt; que, dependiendo del análisis que vayamos a realizar, podemos considerar “irrelevantes” para nuestro análisis, por ejemplo, las palabras “en”, “este”, “el” y “las” ya que son muy comunes en el español y están destinadas a aparecer en todas las oraciones, sin importar el tema al que estas hagan referencia. Estas palabras en inglés son conocidas como “&lt;em&gt;stopwords&lt;/em&gt;”. Para encontrarlas con &lt;em&gt;spaCy&lt;/em&gt; podemos usar la propiedad &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;is_stop&lt;/code&gt; de cada token:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;sa&quot;&gt;f&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lower_&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;: &lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;is_stop&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;token&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;oracion_parsed&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;['el: True', 'ciclo: False', 'escolar: False', 'comienza: False', 'en: True', 'las: True', 'escuelas: False', '.: False', 'escuelas: False', 'de: True', 'todo: True', 'el: True', 'país: False', 'comenzarán: False', 'clases: False', 'este: True', 'lunes: False', '.: False']
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Al igual que las stopwords puede ser que los símbolos carezcan de relevancia en nuestro análisis, nuevamente, por ser considerados como una ocurrencia común en el español. Para encontrarlos, podemos hacer uso de la propiedad &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;is_punct&lt;/code&gt;:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;sa&quot;&gt;f&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lower_&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;: &lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;is_punct&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;token&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;oracion_parsed&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;['el: False', 'ciclo: False', 'escolar: False', 'comienza: False', 'en: False', 'las: False', 'escuelas: False', '.: True', 'escuelas: False', 'de: False', 'todo: False', 'el: False', 'país: False', 'comenzarán: False', 'clases: False', 'este: False', 'lunes: False', '.: True']
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h3 id=&quot;lematización&quot;&gt;Lematización&lt;/h3&gt;

&lt;p&gt;Otro procedimiento que podemos usar para reducir la cantidad de tokens únicos es el proceso de lematización, que es un proceso lingüístico que consiste en, dada una forma flexionada, hallar el lema correspondiente. El lema es la forma que por convenio se acepta como representante de todas las formas flexionadas de una misma palabra… pero creo que es mejor con algunos ejemplos:&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;comienza -&amp;gt; comenzar&lt;/li&gt;
  &lt;li&gt;comenzarán -&amp;gt; comenzar&lt;/li&gt;
  &lt;li&gt;clases -&amp;gt; clase&lt;/li&gt;
&lt;/ul&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;nb&quot;&gt;set&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lemma_&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lower&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;token&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;oracion&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;{'país', 'lunes', 'en', '.', 'el', 'los', 'de', 'escolar', 'clase', 'este', 'ciclar', 'comenzar', 'escuela', 'todo', 'escuelas'}
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h3 id=&quot;stemming---acortamiento-&quot;&gt;Stemming - Acortamiento (?)&lt;/h3&gt;

&lt;p&gt;Existe otra forma de reducir el número de tokens. Y es conocida como &lt;em&gt;stemming&lt;/em&gt; en inglés, en español yo lo traduciría como “acortamiento” o “poda (de podar el césped)”. Este proceso consiste en simple y llanamente recortar las palabras para reduciras a una base común:&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;comienza -&amp;gt; comienz&lt;/li&gt;
  &lt;li&gt;comenzarán -&amp;gt; comenz&lt;/li&gt;
  &lt;li&gt;clases -&amp;gt; clas&lt;/li&gt;
&lt;/ul&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;kn&quot;&gt;from&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;nltk.stem.snowball&lt;/span&gt; &lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;SnowballStemmer&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;stemmer&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;SnowballStemmer&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;language&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'spanish'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

&lt;span class=&quot;nb&quot;&gt;set&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;((&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stemmer&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stem&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;text&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;token&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;oracion&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)))&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;div class=&quot;language-plaintext highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;{'escol', 'en', 'comienz', 'el', '.', 'de', 'comenz', 'las', 'lun', 'pais', 'este', 'clas', 'tod', 'cicl', 'escuel'}
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;blockquote&gt;
  &lt;p&gt;&lt;em&gt;spaCy&lt;/em&gt;: por increíble que parezca, esta poderosa librería no cuenta con la opción de ejecutar &lt;em&gt;stemming&lt;/em&gt; por default, las &lt;a href=&quot;https://github.com/explosion/spaCy/issues/327#issuecomment-208658745&quot;&gt;razones son varias&lt;/a&gt; y trataré de hablar sobre ellas más adelante, pero por ahora, si quieres realizar &lt;em&gt;stemming&lt;/em&gt;, el paquete NLTK es tu aliado.&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h3 id=&quot;preguntas-más-comunes&quot;&gt;Preguntas más comunes&lt;/h3&gt;

&lt;h4 id=&quot;lematización-o-stemming&quot;&gt;¿Lematización o &lt;em&gt;stemming&lt;/em&gt;?&lt;/h4&gt;

&lt;p&gt;Estas dos técnicas son consideradas mutuamente exclusivas, puesto que o aplicas una o aplicas la otra, nunca las dos. Pero, ¿cuál es la más recomendada?&lt;/p&gt;

&lt;p&gt;En general siempre se prefiere la lematización, puesto que es un buen compromiso entre reducir la cantidad de tokens y preservar un poco más la composición original de estos. El &lt;em&gt;stemming&lt;/em&gt; al ser más agresivo tiende a conllevar una pérdida de información más grande.&lt;/p&gt;

&lt;h4 id=&quot;cuál-es-el-orden-en-que-se-aplican-los-pasos&quot;&gt;¿Cuál es el orden en que se aplican los pasos?&lt;/h4&gt;
&lt;p&gt;Es común que después de tokenizar el texto, los pasos se apliquen en el orden presentado:&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;Conversión a minúsculas&lt;/li&gt;
  &lt;li&gt;Eliminación de &lt;em&gt;stopwords&lt;/em&gt; y símbolos de puntuación&lt;/li&gt;
  &lt;li&gt;Lematización o &lt;em&gt;stemming&lt;/em&gt;&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;Siempre es muy importante realizar el proceso de eliminación de &lt;em&gt;stopwords&lt;/em&gt; antes de transformar los tokens, puesto que de otro modo puede que el proceso de transformación convierta “accidentalmente” nuestros tokens útiles en &lt;em&gt;stopwords&lt;/em&gt; y esto nos lleve a perder información valiosa de nuestro dataset.&lt;/p&gt;

&lt;h4 id=&quot;por-qué-querríamos-reducir-la-cantidad-de-información-mediante-estas-transformaciones&quot;&gt;¿Por qué querríamos “reducir” la cantidad de información mediante estas transformaciones?&lt;/h4&gt;
&lt;p&gt;La idea detrás de la eliminación de &lt;em&gt;stopwords&lt;/em&gt;, símbolos, la lematización o &lt;em&gt;stemming&lt;/em&gt; radica en reducir la cantidad de elementos únicos en nuestro dataset, con el objetivo de incrementar el desempeño de nuestro algoritmo de dos maneras:&lt;/p&gt;

&lt;p&gt;El eliminar las &lt;em&gt;stopwords&lt;/em&gt; nos ayuda a elminiar palabras comunes que tienen poco valor discriminativo entre textos. Así mismo, para muchos problemas no necesitamos conocer el tiempo en el que un verbo estaba escrito, o si la palabra era “corrupto” o “corrupción”; con las formas base el algoritmo puede “aprender” una idea general.&lt;/p&gt;

&lt;p&gt;Esta misma idea se puede aplicar para tokens muy raros dentro de nuestro texto… podríamos eliminar tokens que no aparezcan más de $X$ cantidad de veces, bajo la sospecha de que tal vez fueron errores ortográficos o palabras sin importancia.&lt;/p&gt;

&lt;p&gt;Si tienes más dudas o comentarios, no olvides hacérmelas llegar a través de los comentarios en esta página, o, para mayor seguridad, a mi cuenta de Twitter &lt;a href=&quot;https://twitter.com/io_exception&quot;&gt;@io_exception&lt;/a&gt;&lt;/p&gt;

&lt;h3 id=&quot;y-las-visualizaciones&quot;&gt;¿Y las visualizaciones?&lt;/h3&gt;
&lt;p&gt;Para no fallarle al público de Tacos de Datos, vamos a hacer una sencillísima visualización con las palabras que más frecuente usa el presidente mexicano en sus conferencias (ojo, acá no vamos a hablar de política). Y de paso aprovecho para presentarles un dataset que estoy manteniendo en Kaggle, en el cual coloco más o menos semanalmente todas las versiones estenográficas de las conferencias que publica la presidencia de México. Puedes acceder al dataset aquí &lt;a href=&quot;https://www.kaggle.com/ioexception/mananeras&quot;&gt;Conferencias Mañaneras&lt;/a&gt;:&lt;/p&gt;

&lt;p&gt;El primer paso es crear una función que nos ayude a tokenizar texto, esta es una función que debemos conservar, ya que si en el futuro queremos repetir nuestros experimentos, debemos usar la misma forma de tokenizar para que exista consistencia en nuestros resultados.&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;kn&quot;&gt;from&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;nltk.corpus&lt;/span&gt; &lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;stopwords&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;spanish_stopwords&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;set&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stopwords&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;words&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'spanish'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;

&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;tokenize_phrase&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;phrase&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;parsed_phrase&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;nlp&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;phrase&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;token&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;parsed_phrase&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;is_punct&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;or&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;is_stop&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;or&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;text&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lower&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;spanish_stopwords&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;k&quot;&gt;continue&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;yield&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;token&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lemma_&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;lower&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Después, con todas nuestras frases cargadas en el arreglo &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;lopez_obrador&lt;/code&gt; rellenamos un &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Counter&lt;/code&gt;:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;kn&quot;&gt;from&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;collections&lt;/span&gt; &lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;Counter&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;word_counter&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;Counter&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;amlo_phrase&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;lopez_obrador&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;word_counter&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;update&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tokenize_phrase&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;amlo_phrase&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Una vez que tenemos el objeto &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;word_counter&lt;/code&gt; con los valores, podemos graficarlo:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;numpy&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;
&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;matplotlib.pyplot&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;fig&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;figure&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;figsize&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;10&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;5&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;fig&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;gca&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;values&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;zip&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;*&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;word_counter&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;most_common&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;20&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;indexes&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;arange&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;width&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bar&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;indexes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;values&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;mf&quot;&gt;0.5&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_xticks&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;indexes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_xticklabels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;rotation&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;90&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;fontsize&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;20&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_title&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Las 20 más frecuentemente usadas&lt;/span&gt;&lt;span class=&quot;se&quot;&gt;\n&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;por López Obrador en sus discursos&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;fontsize&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;20&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;show&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;&lt;img src=&quot;assets/detrasdelavis/003_amlo_words.png&quot; alt=&quot;&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Algunas cosas esperadas y otras no tanto: habrá que ver por qué se la pasa diciendo “mil” y “casar”… habrá que ver también si estas palabras no son sino las formas base de otras que tal vez hagan más sentido (puede que al lematizar nuestros tokens estemos perdiendo esta información). Como dije, esto es solo el comienzo del análisis de texto, ¡aún falta mucho por aprender!&lt;/p&gt;

&lt;p&gt;Si tienes alguna duda con lo presentado en este post, repito: pregúntame por Twitter en &lt;a href=&quot;https://twitter.com/io_exception&quot;&gt;@io_exception&lt;/a&gt;.&lt;/p&gt;</content><author><name>Antonio Feregrino Bolaños</name></author><category term="python" /><category term="spacy" /><category term="texto" /><summary type="html">¿Alguna vez has querido analizar texto? en este post voy a tratar de explicar cuáles son los primeros pasos recomendados para comenzar cualquier proyecto que involucre texto y ciencia de datos.</summary></entry><entry><title type="html">Sidetable, el beffo de pandas</title><link href="https://old.tacosdedatos.com/sidetable-el-beffo-de-pandas" rel="alternate" type="text/html" title="Sidetable, el beffo de pandas" /><published>2020-07-01T10:00:00+00:00</published><updated>2020-07-01T10:00:00+00:00</updated><id>https://old.tacosdedatos.com/sidetable-el-beffo-de-pandas</id><content type="html" xml:base="https://old.tacosdedatos.com/sidetable-el-beffo-de-pandas">&lt;!--
#################################################
### THIS FILE WAS AUTOGENERATED! DO NOT EDIT! ###
#################################################
# file to edit: _notebooks/2020-06-30-sidetable-el-beffo-de-pandas.ipynb
--&gt;

&lt;div class=&quot;container&quot; id=&quot;notebook-container&quot;&gt;
        
&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;&lt;code&gt;Sidetable&lt;/code&gt; es una biblioteca de python que agrega métodos a los DataFrames de pandas para facilitar la exploración de datos. Según Chris Moffit (el creador de &lt;code&gt;sidetable&lt;/code&gt;), en el repositorio de GitHub del proyecto, &lt;code&gt;sidetables&lt;/code&gt; es como una versión más chida de &lt;code&gt;.value_counts()&lt;/code&gt; y &lt;code&gt;.crosstab()&lt;/code&gt; juntos para facilitar la creación de tablas resumen (? &lt;em&gt;summary tables&lt;/em&gt;). &lt;a href=&quot;https://github.com/chris1610/sidetable#usage&quot;&gt;Repositorio de &lt;code&gt;sidetable&lt;/code&gt; en GitHub&lt;/a&gt;&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;Este tutorial va a ser una rápida introducción a &lt;code&gt;sidetable&lt;/code&gt; para demostrar sus habilidades. Estaremos utilizando el conjunto de datos &lt;code&gt;palmerpenguins&lt;/code&gt; que tiene datos sobre 💖PINGÜINOS💖 que es una gran alternativa al dataset &lt;code&gt;iris&lt;/code&gt; que es comúnmente usado en estos tutoriales por que 1) los datos vienen de un estadístico racista que los publicó en una publicación sobre eugenesia🤮&lt;/p&gt;
&lt;p&gt;&lt;blockquote class=&quot;twitter-tweet&quot;&gt;&lt;p lang=&quot;en&quot; dir=&quot;ltr&quot;&gt;me: using the iris dataset is fine. not everything Fisher did was about eugenics!&lt;br /&gt;&lt;br /&gt;me: *looks up the iris dataset citation* 😮 &lt;a href=&quot;https://t.co/GWymD6IG7I&quot;&gt;pic.twitter.com/GWymD6IG7I&lt;/a&gt;&lt;/p&gt;&amp;mdash; 🔥Kareem Carr🔥 (@kareem_carr) &lt;a href=&quot;https://twitter.com/kareem_carr/status/1271096239103369224?ref_src=twsrc%5Etfw&quot;&gt;June 11, 2020&lt;/a&gt;&lt;/blockquote&gt; &lt;script async=&quot;&quot; src=&quot;https://platform.twitter.com/widgets.js&quot; charset=&quot;utf-8&quot;&gt;&lt;/script&gt;&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;Para más información de los datos visita su página oficial &lt;a href=&quot;https://allisonhorst.github.io/palmerpenguins/&quot;&gt;allisonhorst.github.io/palmerpenguis/&lt;/a&gt;&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;Para nuestra suerte la biblioteca &lt;code&gt;seaborn&lt;/code&gt; y su complemento &lt;code&gt;seaborn-data&lt;/code&gt; nos ayudan a obtener los datos rápidamente.&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;h1 id=&quot;Prepareishon&quot;&gt;Prepareishon&lt;a class=&quot;anchor-link&quot; href=&quot;#Prepareishon&quot;&gt; &lt;/a&gt;&lt;/h1&gt;&lt;p&gt;Obvis microbis tines que tener instalado &lt;code&gt;pandas&lt;/code&gt; y &lt;code&gt;sidetable&lt;/code&gt;. en este tutorial vamos a usar &lt;code&gt;seaborn&lt;/code&gt; para acceder los datos entonces también necesitarás instalarlo.&lt;/p&gt;
&lt;div class=&quot;highlight&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;pip install -U pandas sidetable seaborn
&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;la &lt;code&gt;U&lt;/code&gt; es de &lt;code&gt;--upgrade&lt;/code&gt;, significa que actualiza las bibliotecas si ya las tienes instaladas.&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;seaborn&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;sns&lt;/span&gt;
&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;pandas&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;pd&lt;/span&gt;
&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;sidetable&lt;/span&gt;

&lt;span class=&quot;nb&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;sa&quot;&gt;f&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&amp;quot;Versión de seaborn: &lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sns&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;__version__&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&amp;quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;nb&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;sa&quot;&gt;f&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&amp;quot;Versión de pandas: &lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pd&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;__version__&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&amp;quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;nb&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;sa&quot;&gt;f&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&amp;quot;Versión de sidetable: &lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sidetable&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;__version__&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&amp;quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;

&lt;div class=&quot;output_subarea output_stream output_stdout output_text&quot;&gt;
&lt;pre&gt;Versión de seaborn: 0.9.0
Versión de pandas: 1.0.5
Versión de sidetable: 0.5.0
&lt;/pre&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;sns&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;load_dataset&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;penguins&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;head&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;


&lt;div class=&quot;output_html rendered_html output_subarea output_execute_result&quot;&gt;
&lt;div&gt;
&lt;style scoped=&quot;&quot;&gt;
    .dataframe tbody tr th:only-of-type {
        vertical-align: middle;
    }

    .dataframe tbody tr th {
        vertical-align: top;
    }

    .dataframe thead th {
        text-align: right;
    }
&lt;/style&gt;
&lt;table border=&quot;1&quot; class=&quot;dataframe&quot;&gt;
  &lt;thead&gt;
    &lt;tr style=&quot;text-align: right;&quot;&gt;
      &lt;th&gt;&lt;/th&gt;
      &lt;th&gt;species&lt;/th&gt;
      &lt;th&gt;island&lt;/th&gt;
      &lt;th&gt;culmen_length_mm&lt;/th&gt;
      &lt;th&gt;culmen_depth_mm&lt;/th&gt;
      &lt;th&gt;flipper_length_mm&lt;/th&gt;
      &lt;th&gt;body_mass_g&lt;/th&gt;
      &lt;th&gt;sex&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;th&gt;0&lt;/th&gt;
      &lt;td&gt;Adelie&lt;/td&gt;
      &lt;td&gt;Torgersen&lt;/td&gt;
      &lt;td&gt;39.1&lt;/td&gt;
      &lt;td&gt;18.7&lt;/td&gt;
      &lt;td&gt;181.0&lt;/td&gt;
      &lt;td&gt;3750.0&lt;/td&gt;
      &lt;td&gt;MALE&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;1&lt;/th&gt;
      &lt;td&gt;Adelie&lt;/td&gt;
      &lt;td&gt;Torgersen&lt;/td&gt;
      &lt;td&gt;39.5&lt;/td&gt;
      &lt;td&gt;17.4&lt;/td&gt;
      &lt;td&gt;186.0&lt;/td&gt;
      &lt;td&gt;3800.0&lt;/td&gt;
      &lt;td&gt;FEMALE&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;2&lt;/th&gt;
      &lt;td&gt;Adelie&lt;/td&gt;
      &lt;td&gt;Torgersen&lt;/td&gt;
      &lt;td&gt;40.3&lt;/td&gt;
      &lt;td&gt;18.0&lt;/td&gt;
      &lt;td&gt;195.0&lt;/td&gt;
      &lt;td&gt;3250.0&lt;/td&gt;
      &lt;td&gt;FEMALE&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;3&lt;/th&gt;
      &lt;td&gt;Adelie&lt;/td&gt;
      &lt;td&gt;Torgersen&lt;/td&gt;
      &lt;td&gt;NaN&lt;/td&gt;
      &lt;td&gt;NaN&lt;/td&gt;
      &lt;td&gt;NaN&lt;/td&gt;
      &lt;td&gt;NaN&lt;/td&gt;
      &lt;td&gt;NaN&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;4&lt;/th&gt;
      &lt;td&gt;Adelie&lt;/td&gt;
      &lt;td&gt;Torgersen&lt;/td&gt;
      &lt;td&gt;36.7&lt;/td&gt;
      &lt;td&gt;19.3&lt;/td&gt;
      &lt;td&gt;193.0&lt;/td&gt;
      &lt;td&gt;3450.0&lt;/td&gt;
      &lt;td&gt;FEMALE&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;h1 id=&quot;Exploreishon&quot;&gt;Exploreishon&lt;a class=&quot;anchor-link&quot; href=&quot;#Exploreishon&quot;&gt; &lt;/a&gt;&lt;/h1&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;Dos métodos para explorar un DataFrame rápidamente son &lt;code&gt;.info()&lt;/code&gt; y &lt;code&gt;.describe()&lt;/code&gt; los cuales te muestran lo siguiente&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;info&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;

&lt;div class=&quot;output_subarea output_stream output_stdout output_text&quot;&gt;
&lt;pre&gt;&amp;lt;class &amp;#39;pandas.core.frame.DataFrame&amp;#39;&amp;gt;
RangeIndex: 344 entries, 0 to 343
Data columns (total 7 columns):
 #   Column             Non-Null Count  Dtype  
---  ------             --------------  -----  
 0   species            344 non-null    object 
 1   island             344 non-null    object 
 2   culmen_length_mm   342 non-null    float64
 3   culmen_depth_mm    342 non-null    float64
 4   flipper_length_mm  342 non-null    float64
 5   body_mass_g        342 non-null    float64
 6   sex                333 non-null    object 
dtypes: float64(4), object(3)
memory usage: 18.9+ KB
&lt;/pre&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;describe&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;


&lt;div class=&quot;output_html rendered_html output_subarea output_execute_result&quot;&gt;
&lt;div&gt;
&lt;style scoped=&quot;&quot;&gt;
    .dataframe tbody tr th:only-of-type {
        vertical-align: middle;
    }

    .dataframe tbody tr th {
        vertical-align: top;
    }

    .dataframe thead th {
        text-align: right;
    }
&lt;/style&gt;
&lt;table border=&quot;1&quot; class=&quot;dataframe&quot;&gt;
  &lt;thead&gt;
    &lt;tr style=&quot;text-align: right;&quot;&gt;
      &lt;th&gt;&lt;/th&gt;
      &lt;th&gt;culmen_length_mm&lt;/th&gt;
      &lt;th&gt;culmen_depth_mm&lt;/th&gt;
      &lt;th&gt;flipper_length_mm&lt;/th&gt;
      &lt;th&gt;body_mass_g&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;th&gt;count&lt;/th&gt;
      &lt;td&gt;342.000000&lt;/td&gt;
      &lt;td&gt;342.000000&lt;/td&gt;
      &lt;td&gt;342.000000&lt;/td&gt;
      &lt;td&gt;342.000000&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;mean&lt;/th&gt;
      &lt;td&gt;43.921930&lt;/td&gt;
      &lt;td&gt;17.151170&lt;/td&gt;
      &lt;td&gt;200.915205&lt;/td&gt;
      &lt;td&gt;4201.754386&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;std&lt;/th&gt;
      &lt;td&gt;5.459584&lt;/td&gt;
      &lt;td&gt;1.974793&lt;/td&gt;
      &lt;td&gt;14.061714&lt;/td&gt;
      &lt;td&gt;801.954536&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;min&lt;/th&gt;
      &lt;td&gt;32.100000&lt;/td&gt;
      &lt;td&gt;13.100000&lt;/td&gt;
      &lt;td&gt;172.000000&lt;/td&gt;
      &lt;td&gt;2700.000000&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;25%&lt;/th&gt;
      &lt;td&gt;39.225000&lt;/td&gt;
      &lt;td&gt;15.600000&lt;/td&gt;
      &lt;td&gt;190.000000&lt;/td&gt;
      &lt;td&gt;3550.000000&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;50%&lt;/th&gt;
      &lt;td&gt;44.450000&lt;/td&gt;
      &lt;td&gt;17.300000&lt;/td&gt;
      &lt;td&gt;197.000000&lt;/td&gt;
      &lt;td&gt;4050.000000&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;75%&lt;/th&gt;
      &lt;td&gt;48.500000&lt;/td&gt;
      &lt;td&gt;18.700000&lt;/td&gt;
      &lt;td&gt;213.000000&lt;/td&gt;
      &lt;td&gt;4750.000000&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;max&lt;/th&gt;
      &lt;td&gt;59.600000&lt;/td&gt;
      &lt;td&gt;21.500000&lt;/td&gt;
      &lt;td&gt;231.000000&lt;/td&gt;
      &lt;td&gt;6300.000000&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;&lt;code&gt;.info()&lt;/code&gt; te muestra una tabla con las columnas de tu DataFrame, la cuenta de valores &lt;em&gt;no nulos&lt;/em&gt; y el &lt;em&gt;dtype&lt;/em&gt; o &lt;em&gt;data type&lt;/em&gt; de los datos de la columna. Mientras que &lt;code&gt;describe()&lt;/code&gt; te muestra estadísticas de tus columnas numéricas. La cuenta, el promedio, la deviación estandar, el mínimo y máximo y los percentiles 25, 50 (la mediana) y 75.&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;h2 id=&quot;Valores-nulos&quot;&gt;Valores nulos&lt;a class=&quot;anchor-link&quot; href=&quot;#Valores-nulos&quot;&gt; &lt;/a&gt;&lt;/h2&gt;&lt;p&gt;Lo que yo hacía antes era utilizar el método &lt;code&gt;.isna()&lt;/code&gt; o &lt;code&gt;.isnull()&lt;/code&gt; en el DataFrame &lt;em&gt;encadenado&lt;/em&gt; a &lt;code&gt;.sum()&lt;/code&gt; para ver cuantos valores nulos tenía cada columna&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;isna&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sum&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;



&lt;div class=&quot;output_text output_subarea output_execute_result&quot;&gt;
&lt;pre&gt;species               0
island                0
culmen_length_mm      2
culmen_depth_mm       2
flipper_length_mm     2
body_mass_g           2
sex                  11
dtype: int64&lt;/pre&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;Y luego si quería saber que porcentage es del total era hacer algo así&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;isna&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sum&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;/&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;



&lt;div class=&quot;output_text output_subarea output_execute_result&quot;&gt;
&lt;pre&gt;species              0.000000
island               0.000000
culmen_length_mm     0.005814
culmen_depth_mm      0.005814
flipper_length_mm    0.005814
body_mass_g          0.005814
sex                  0.031977
dtype: float64&lt;/pre&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;ya que &lt;code&gt;len(datos)&lt;/code&gt; te da el &quot;largo&quot; del DataFrame, osea el número de filas.&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;&lt;code&gt;sidetable&lt;/code&gt; simplifica esto de la siguiente manera&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stb&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;missing&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;


&lt;div class=&quot;output_html rendered_html output_subarea output_execute_result&quot;&gt;
&lt;div&gt;
&lt;style scoped=&quot;&quot;&gt;
    .dataframe tbody tr th:only-of-type {
        vertical-align: middle;
    }

    .dataframe tbody tr th {
        vertical-align: top;
    }

    .dataframe thead th {
        text-align: right;
    }
&lt;/style&gt;
&lt;table border=&quot;1&quot; class=&quot;dataframe&quot;&gt;
  &lt;thead&gt;
    &lt;tr style=&quot;text-align: right;&quot;&gt;
      &lt;th&gt;&lt;/th&gt;
      &lt;th&gt;Missing&lt;/th&gt;
      &lt;th&gt;Total&lt;/th&gt;
      &lt;th&gt;Percent&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;th&gt;sex&lt;/th&gt;
      &lt;td&gt;11&lt;/td&gt;
      &lt;td&gt;344&lt;/td&gt;
      &lt;td&gt;0.031977&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;culmen_length_mm&lt;/th&gt;
      &lt;td&gt;2&lt;/td&gt;
      &lt;td&gt;344&lt;/td&gt;
      &lt;td&gt;0.005814&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;culmen_depth_mm&lt;/th&gt;
      &lt;td&gt;2&lt;/td&gt;
      &lt;td&gt;344&lt;/td&gt;
      &lt;td&gt;0.005814&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;flipper_length_mm&lt;/th&gt;
      &lt;td&gt;2&lt;/td&gt;
      &lt;td&gt;344&lt;/td&gt;
      &lt;td&gt;0.005814&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;body_mass_g&lt;/th&gt;
      &lt;td&gt;2&lt;/td&gt;
      &lt;td&gt;344&lt;/td&gt;
      &lt;td&gt;0.005814&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;species&lt;/th&gt;
      &lt;td&gt;0&lt;/td&gt;
      &lt;td&gt;344&lt;/td&gt;
      &lt;td&gt;0.000000&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;island&lt;/th&gt;
      &lt;td&gt;0&lt;/td&gt;
      &lt;td&gt;344&lt;/td&gt;
      &lt;td&gt;0.000000&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;y hasta lo enchula&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stb&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;missing&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;style&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;kc&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;


&lt;div class=&quot;output_html rendered_html output_subarea output_execute_result&quot;&gt;
&lt;style type=&quot;text/css&quot;&gt;
&lt;/style&gt;&lt;table id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122&quot;&gt;&lt;thead&gt;    &lt;tr&gt;        &lt;th class=&quot;blank level0&quot;&gt;&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col0&quot;&gt;Missing&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col1&quot;&gt;Total&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col2&quot;&gt;Percent&lt;/th&gt;    &lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;
                &lt;tr&gt;
                        &lt;th id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122level0_row0&quot; class=&quot;row_heading level0 row0&quot;&gt;sex&lt;/th&gt;
                        &lt;td id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122row0_col0&quot; class=&quot;data row0 col0&quot;&gt;11&lt;/td&gt;
                        &lt;td id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122row0_col1&quot; class=&quot;data row0 col1&quot;&gt;344&lt;/td&gt;
                        &lt;td id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122row0_col2&quot; class=&quot;data row0 col2&quot;&gt;3.20%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122level0_row1&quot; class=&quot;row_heading level0 row1&quot;&gt;culmen_length_mm&lt;/th&gt;
                        &lt;td id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122row1_col0&quot; class=&quot;data row1 col0&quot;&gt;2&lt;/td&gt;
                        &lt;td id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122row1_col1&quot; class=&quot;data row1 col1&quot;&gt;344&lt;/td&gt;
                        &lt;td id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122row1_col2&quot; class=&quot;data row1 col2&quot;&gt;0.58%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122level0_row2&quot; class=&quot;row_heading level0 row2&quot;&gt;culmen_depth_mm&lt;/th&gt;
                        &lt;td id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122row2_col0&quot; class=&quot;data row2 col0&quot;&gt;2&lt;/td&gt;
                        &lt;td id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122row2_col1&quot; class=&quot;data row2 col1&quot;&gt;344&lt;/td&gt;
                        &lt;td id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122row2_col2&quot; class=&quot;data row2 col2&quot;&gt;0.58%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122level0_row3&quot; class=&quot;row_heading level0 row3&quot;&gt;flipper_length_mm&lt;/th&gt;
                        &lt;td id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122row3_col0&quot; class=&quot;data row3 col0&quot;&gt;2&lt;/td&gt;
                        &lt;td id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122row3_col1&quot; class=&quot;data row3 col1&quot;&gt;344&lt;/td&gt;
                        &lt;td id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122row3_col2&quot; class=&quot;data row3 col2&quot;&gt;0.58%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122level0_row4&quot; class=&quot;row_heading level0 row4&quot;&gt;body_mass_g&lt;/th&gt;
                        &lt;td id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122row4_col0&quot; class=&quot;data row4 col0&quot;&gt;2&lt;/td&gt;
                        &lt;td id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122row4_col1&quot; class=&quot;data row4 col1&quot;&gt;344&lt;/td&gt;
                        &lt;td id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122row4_col2&quot; class=&quot;data row4 col2&quot;&gt;0.58%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122level0_row5&quot; class=&quot;row_heading level0 row5&quot;&gt;species&lt;/th&gt;
                        &lt;td id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122row5_col0&quot; class=&quot;data row5 col0&quot;&gt;0&lt;/td&gt;
                        &lt;td id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122row5_col1&quot; class=&quot;data row5 col1&quot;&gt;344&lt;/td&gt;
                        &lt;td id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122row5_col2&quot; class=&quot;data row5 col2&quot;&gt;0.00%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122level0_row6&quot; class=&quot;row_heading level0 row6&quot;&gt;island&lt;/th&gt;
                        &lt;td id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122row6_col0&quot; class=&quot;data row6 col0&quot;&gt;0&lt;/td&gt;
                        &lt;td id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122row6_col1&quot; class=&quot;data row6 col1&quot;&gt;344&lt;/td&gt;
                        &lt;td id=&quot;T_bbb65e7e_bb0e_11ea_8f75_acde48001122row6_col2&quot; class=&quot;data row6 col2&quot;&gt;0.00%&lt;/td&gt;
            &lt;/tr&gt;
    &lt;/tbody&gt;&lt;/table&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;La mágia de &lt;code&gt;sidetable&lt;/code&gt; es que agrega un &lt;em&gt;accessor&lt;/em&gt; a los DataFrames de pandas. Al hacer &lt;code&gt;import sidetable&lt;/code&gt; estás habilitando el &lt;em&gt;accessor&lt;/em&gt; &lt;code&gt;.stb&lt;/code&gt;. Así es como se integra a tu flujo de trabajo.&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;h2 id=&quot;Frecuencias&quot;&gt;Frecuencias&lt;a class=&quot;anchor-link&quot; href=&quot;#Frecuencias&quot;&gt; &lt;/a&gt;&lt;/h2&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;El siguiente método incluido en &lt;code&gt;sidetable&lt;/code&gt; es &lt;code&gt;.freq()&lt;/code&gt; que es como un &lt;code&gt;.value_counts()&lt;/code&gt; súper poderoso.&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;island&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;value_counts&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;



&lt;div class=&quot;output_text output_subarea output_execute_result&quot;&gt;
&lt;pre&gt;Biscoe       168
Dream        124
Torgersen     52
Name: island, dtype: int64&lt;/pre&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;island&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;value_counts&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;normalize&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;kc&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;



&lt;div class=&quot;output_text output_subarea output_execute_result&quot;&gt;
&lt;pre&gt;Biscoe       0.488372
Dream        0.360465
Torgersen    0.151163
Name: island, dtype: float64&lt;/pre&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stb&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;freq&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;island&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;])&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;


&lt;div class=&quot;output_html rendered_html output_subarea output_execute_result&quot;&gt;
&lt;div&gt;
&lt;style scoped=&quot;&quot;&gt;
    .dataframe tbody tr th:only-of-type {
        vertical-align: middle;
    }

    .dataframe tbody tr th {
        vertical-align: top;
    }

    .dataframe thead th {
        text-align: right;
    }
&lt;/style&gt;
&lt;table border=&quot;1&quot; class=&quot;dataframe&quot;&gt;
  &lt;thead&gt;
    &lt;tr style=&quot;text-align: right;&quot;&gt;
      &lt;th&gt;&lt;/th&gt;
      &lt;th&gt;island&lt;/th&gt;
      &lt;th&gt;Count&lt;/th&gt;
      &lt;th&gt;Percent&lt;/th&gt;
      &lt;th&gt;Cumulative Count&lt;/th&gt;
      &lt;th&gt;Cumulative Percent&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;th&gt;0&lt;/th&gt;
      &lt;td&gt;Biscoe&lt;/td&gt;
      &lt;td&gt;168&lt;/td&gt;
      &lt;td&gt;0.488372&lt;/td&gt;
      &lt;td&gt;168&lt;/td&gt;
      &lt;td&gt;0.488372&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;1&lt;/th&gt;
      &lt;td&gt;Dream&lt;/td&gt;
      &lt;td&gt;124&lt;/td&gt;
      &lt;td&gt;0.360465&lt;/td&gt;
      &lt;td&gt;292&lt;/td&gt;
      &lt;td&gt;0.848837&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;2&lt;/th&gt;
      &lt;td&gt;Torgersen&lt;/td&gt;
      &lt;td&gt;52&lt;/td&gt;
      &lt;td&gt;0.151163&lt;/td&gt;
      &lt;td&gt;344&lt;/td&gt;
      &lt;td&gt;1.000000&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;Este método también tiene el parametro &lt;code&gt;style&lt;/code&gt; para limpiar la columna de porcentages.&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stb&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;freq&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;island&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;style&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;kc&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;


&lt;div class=&quot;output_html rendered_html output_subarea output_execute_result&quot;&gt;
&lt;style type=&quot;text/css&quot;&gt;
&lt;/style&gt;&lt;table id=&quot;T_53c609fc_bb10_11ea_8f75_acde48001122&quot;&gt;&lt;thead&gt;    &lt;tr&gt;        &lt;th class=&quot;blank level0&quot;&gt;&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col0&quot;&gt;island&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col1&quot;&gt;Count&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col2&quot;&gt;Percent&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col3&quot;&gt;Cumulative Count&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col4&quot;&gt;Cumulative Percent&lt;/th&gt;    &lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;
                &lt;tr&gt;
                        &lt;th id=&quot;T_53c609fc_bb10_11ea_8f75_acde48001122level0_row0&quot; class=&quot;row_heading level0 row0&quot;&gt;0&lt;/th&gt;
                        &lt;td id=&quot;T_53c609fc_bb10_11ea_8f75_acde48001122row0_col0&quot; class=&quot;data row0 col0&quot;&gt;Biscoe&lt;/td&gt;
                        &lt;td id=&quot;T_53c609fc_bb10_11ea_8f75_acde48001122row0_col1&quot; class=&quot;data row0 col1&quot;&gt;168&lt;/td&gt;
                        &lt;td id=&quot;T_53c609fc_bb10_11ea_8f75_acde48001122row0_col2&quot; class=&quot;data row0 col2&quot;&gt;48.84%&lt;/td&gt;
                        &lt;td id=&quot;T_53c609fc_bb10_11ea_8f75_acde48001122row0_col3&quot; class=&quot;data row0 col3&quot;&gt;168&lt;/td&gt;
                        &lt;td id=&quot;T_53c609fc_bb10_11ea_8f75_acde48001122row0_col4&quot; class=&quot;data row0 col4&quot;&gt;48.84%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_53c609fc_bb10_11ea_8f75_acde48001122level0_row1&quot; class=&quot;row_heading level0 row1&quot;&gt;1&lt;/th&gt;
                        &lt;td id=&quot;T_53c609fc_bb10_11ea_8f75_acde48001122row1_col0&quot; class=&quot;data row1 col0&quot;&gt;Dream&lt;/td&gt;
                        &lt;td id=&quot;T_53c609fc_bb10_11ea_8f75_acde48001122row1_col1&quot; class=&quot;data row1 col1&quot;&gt;124&lt;/td&gt;
                        &lt;td id=&quot;T_53c609fc_bb10_11ea_8f75_acde48001122row1_col2&quot; class=&quot;data row1 col2&quot;&gt;36.05%&lt;/td&gt;
                        &lt;td id=&quot;T_53c609fc_bb10_11ea_8f75_acde48001122row1_col3&quot; class=&quot;data row1 col3&quot;&gt;292&lt;/td&gt;
                        &lt;td id=&quot;T_53c609fc_bb10_11ea_8f75_acde48001122row1_col4&quot; class=&quot;data row1 col4&quot;&gt;84.88%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_53c609fc_bb10_11ea_8f75_acde48001122level0_row2&quot; class=&quot;row_heading level0 row2&quot;&gt;2&lt;/th&gt;
                        &lt;td id=&quot;T_53c609fc_bb10_11ea_8f75_acde48001122row2_col0&quot; class=&quot;data row2 col0&quot;&gt;Torgersen&lt;/td&gt;
                        &lt;td id=&quot;T_53c609fc_bb10_11ea_8f75_acde48001122row2_col1&quot; class=&quot;data row2 col1&quot;&gt;52&lt;/td&gt;
                        &lt;td id=&quot;T_53c609fc_bb10_11ea_8f75_acde48001122row2_col2&quot; class=&quot;data row2 col2&quot;&gt;15.12%&lt;/td&gt;
                        &lt;td id=&quot;T_53c609fc_bb10_11ea_8f75_acde48001122row2_col3&quot; class=&quot;data row2 col3&quot;&gt;344&lt;/td&gt;
                        &lt;td id=&quot;T_53c609fc_bb10_11ea_8f75_acde48001122row2_col4&quot; class=&quot;data row2 col4&quot;&gt;100.00%&lt;/td&gt;
            &lt;/tr&gt;
    &lt;/tbody&gt;&lt;/table&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;Algo que me encantó de esta biblioteca es que crea también estos porcentages y cuentas cumulativas. En este caso no agrega mucho contexto pero cuando trabajo con datos censales se me hace muy útil.&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;Habrás notado que le pasamos una lista de columnas (aunque haya sido una lista de 1. De hecho, el parámetro de la función &lt;code&gt;.freq()&lt;/code&gt; se llama &lt;code&gt;cols&lt;/code&gt; en plural. Veamos que sucede si le pasamos más de una columna.&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stb&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;freq&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;island&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;species&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;sex&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;style&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;kc&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;


&lt;div class=&quot;output_html rendered_html output_subarea output_execute_result&quot;&gt;
&lt;style type=&quot;text/css&quot;&gt;
&lt;/style&gt;&lt;table id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122&quot;&gt;&lt;thead&gt;    &lt;tr&gt;        &lt;th class=&quot;blank level0&quot;&gt;&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col0&quot;&gt;island&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col1&quot;&gt;species&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col2&quot;&gt;sex&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col3&quot;&gt;Count&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col4&quot;&gt;Percent&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col5&quot;&gt;Cumulative Count&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col6&quot;&gt;Cumulative Percent&lt;/th&gt;    &lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;
                &lt;tr&gt;
                        &lt;th id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122level0_row0&quot; class=&quot;row_heading level0 row0&quot;&gt;0&lt;/th&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row0_col0&quot; class=&quot;data row0 col0&quot;&gt;Biscoe&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row0_col1&quot; class=&quot;data row0 col1&quot;&gt;Gentoo&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row0_col2&quot; class=&quot;data row0 col2&quot;&gt;MALE&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row0_col3&quot; class=&quot;data row0 col3&quot;&gt;61&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row0_col4&quot; class=&quot;data row0 col4&quot;&gt;18.32%&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row0_col5&quot; class=&quot;data row0 col5&quot;&gt;61&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row0_col6&quot; class=&quot;data row0 col6&quot;&gt;18.32%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122level0_row1&quot; class=&quot;row_heading level0 row1&quot;&gt;1&lt;/th&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row1_col0&quot; class=&quot;data row1 col0&quot;&gt;Biscoe&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row1_col1&quot; class=&quot;data row1 col1&quot;&gt;Gentoo&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row1_col2&quot; class=&quot;data row1 col2&quot;&gt;FEMALE&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row1_col3&quot; class=&quot;data row1 col3&quot;&gt;58&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row1_col4&quot; class=&quot;data row1 col4&quot;&gt;17.42%&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row1_col5&quot; class=&quot;data row1 col5&quot;&gt;119&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row1_col6&quot; class=&quot;data row1 col6&quot;&gt;35.74%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122level0_row2&quot; class=&quot;row_heading level0 row2&quot;&gt;2&lt;/th&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row2_col0&quot; class=&quot;data row2 col0&quot;&gt;Dream&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row2_col1&quot; class=&quot;data row2 col1&quot;&gt;Chinstrap&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row2_col2&quot; class=&quot;data row2 col2&quot;&gt;MALE&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row2_col3&quot; class=&quot;data row2 col3&quot;&gt;34&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row2_col4&quot; class=&quot;data row2 col4&quot;&gt;10.21%&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row2_col5&quot; class=&quot;data row2 col5&quot;&gt;153&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row2_col6&quot; class=&quot;data row2 col6&quot;&gt;45.95%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122level0_row3&quot; class=&quot;row_heading level0 row3&quot;&gt;3&lt;/th&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row3_col0&quot; class=&quot;data row3 col0&quot;&gt;Dream&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row3_col1&quot; class=&quot;data row3 col1&quot;&gt;Chinstrap&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row3_col2&quot; class=&quot;data row3 col2&quot;&gt;FEMALE&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row3_col3&quot; class=&quot;data row3 col3&quot;&gt;34&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row3_col4&quot; class=&quot;data row3 col4&quot;&gt;10.21%&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row3_col5&quot; class=&quot;data row3 col5&quot;&gt;187&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row3_col6&quot; class=&quot;data row3 col6&quot;&gt;56.16%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122level0_row4&quot; class=&quot;row_heading level0 row4&quot;&gt;4&lt;/th&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row4_col0&quot; class=&quot;data row4 col0&quot;&gt;Dream&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row4_col1&quot; class=&quot;data row4 col1&quot;&gt;Adelie&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row4_col2&quot; class=&quot;data row4 col2&quot;&gt;MALE&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row4_col3&quot; class=&quot;data row4 col3&quot;&gt;28&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row4_col4&quot; class=&quot;data row4 col4&quot;&gt;8.41%&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row4_col5&quot; class=&quot;data row4 col5&quot;&gt;215&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row4_col6&quot; class=&quot;data row4 col6&quot;&gt;64.56%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122level0_row5&quot; class=&quot;row_heading level0 row5&quot;&gt;5&lt;/th&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row5_col0&quot; class=&quot;data row5 col0&quot;&gt;Dream&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row5_col1&quot; class=&quot;data row5 col1&quot;&gt;Adelie&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row5_col2&quot; class=&quot;data row5 col2&quot;&gt;FEMALE&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row5_col3&quot; class=&quot;data row5 col3&quot;&gt;27&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row5_col4&quot; class=&quot;data row5 col4&quot;&gt;8.11%&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row5_col5&quot; class=&quot;data row5 col5&quot;&gt;242&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row5_col6&quot; class=&quot;data row5 col6&quot;&gt;72.67%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122level0_row6&quot; class=&quot;row_heading level0 row6&quot;&gt;6&lt;/th&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row6_col0&quot; class=&quot;data row6 col0&quot;&gt;Torgersen&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row6_col1&quot; class=&quot;data row6 col1&quot;&gt;Adelie&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row6_col2&quot; class=&quot;data row6 col2&quot;&gt;FEMALE&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row6_col3&quot; class=&quot;data row6 col3&quot;&gt;24&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row6_col4&quot; class=&quot;data row6 col4&quot;&gt;7.21%&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row6_col5&quot; class=&quot;data row6 col5&quot;&gt;266&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row6_col6&quot; class=&quot;data row6 col6&quot;&gt;79.88%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122level0_row7&quot; class=&quot;row_heading level0 row7&quot;&gt;7&lt;/th&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row7_col0&quot; class=&quot;data row7 col0&quot;&gt;Torgersen&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row7_col1&quot; class=&quot;data row7 col1&quot;&gt;Adelie&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row7_col2&quot; class=&quot;data row7 col2&quot;&gt;MALE&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row7_col3&quot; class=&quot;data row7 col3&quot;&gt;23&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row7_col4&quot; class=&quot;data row7 col4&quot;&gt;6.91%&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row7_col5&quot; class=&quot;data row7 col5&quot;&gt;289&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row7_col6&quot; class=&quot;data row7 col6&quot;&gt;86.79%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122level0_row8&quot; class=&quot;row_heading level0 row8&quot;&gt;8&lt;/th&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row8_col0&quot; class=&quot;data row8 col0&quot;&gt;Biscoe&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row8_col1&quot; class=&quot;data row8 col1&quot;&gt;Adelie&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row8_col2&quot; class=&quot;data row8 col2&quot;&gt;MALE&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row8_col3&quot; class=&quot;data row8 col3&quot;&gt;22&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row8_col4&quot; class=&quot;data row8 col4&quot;&gt;6.61%&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row8_col5&quot; class=&quot;data row8 col5&quot;&gt;311&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row8_col6&quot; class=&quot;data row8 col6&quot;&gt;93.39%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122level0_row9&quot; class=&quot;row_heading level0 row9&quot;&gt;9&lt;/th&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row9_col0&quot; class=&quot;data row9 col0&quot;&gt;Biscoe&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row9_col1&quot; class=&quot;data row9 col1&quot;&gt;Adelie&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row9_col2&quot; class=&quot;data row9 col2&quot;&gt;FEMALE&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row9_col3&quot; class=&quot;data row9 col3&quot;&gt;22&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row9_col4&quot; class=&quot;data row9 col4&quot;&gt;6.61%&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row9_col5&quot; class=&quot;data row9 col5&quot;&gt;333&lt;/td&gt;
                        &lt;td id=&quot;T_861ca582_bb10_11ea_8f75_acde48001122row9_col6&quot; class=&quot;data row9 col6&quot;&gt;100.00%&lt;/td&gt;
            &lt;/tr&gt;
    &lt;/tbody&gt;&lt;/table&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;para lograr algo similar puro pandas tendría que hacer algo como&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;groupby&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;island&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;species&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;sex&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;])[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;culmen_length_mm&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;count&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;to_frame&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reset_index&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;


&lt;div class=&quot;output_html rendered_html output_subarea output_execute_result&quot;&gt;
&lt;div&gt;
&lt;style scoped=&quot;&quot;&gt;
    .dataframe tbody tr th:only-of-type {
        vertical-align: middle;
    }

    .dataframe tbody tr th {
        vertical-align: top;
    }

    .dataframe thead th {
        text-align: right;
    }
&lt;/style&gt;
&lt;table border=&quot;1&quot; class=&quot;dataframe&quot;&gt;
  &lt;thead&gt;
    &lt;tr style=&quot;text-align: right;&quot;&gt;
      &lt;th&gt;&lt;/th&gt;
      &lt;th&gt;island&lt;/th&gt;
      &lt;th&gt;species&lt;/th&gt;
      &lt;th&gt;sex&lt;/th&gt;
      &lt;th&gt;culmen_length_mm&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;th&gt;0&lt;/th&gt;
      &lt;td&gt;Biscoe&lt;/td&gt;
      &lt;td&gt;Adelie&lt;/td&gt;
      &lt;td&gt;FEMALE&lt;/td&gt;
      &lt;td&gt;22&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;1&lt;/th&gt;
      &lt;td&gt;Biscoe&lt;/td&gt;
      &lt;td&gt;Adelie&lt;/td&gt;
      &lt;td&gt;MALE&lt;/td&gt;
      &lt;td&gt;22&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;2&lt;/th&gt;
      &lt;td&gt;Biscoe&lt;/td&gt;
      &lt;td&gt;Gentoo&lt;/td&gt;
      &lt;td&gt;FEMALE&lt;/td&gt;
      &lt;td&gt;58&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;3&lt;/th&gt;
      &lt;td&gt;Biscoe&lt;/td&gt;
      &lt;td&gt;Gentoo&lt;/td&gt;
      &lt;td&gt;MALE&lt;/td&gt;
      &lt;td&gt;61&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;4&lt;/th&gt;
      &lt;td&gt;Dream&lt;/td&gt;
      &lt;td&gt;Adelie&lt;/td&gt;
      &lt;td&gt;FEMALE&lt;/td&gt;
      &lt;td&gt;27&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;5&lt;/th&gt;
      &lt;td&gt;Dream&lt;/td&gt;
      &lt;td&gt;Adelie&lt;/td&gt;
      &lt;td&gt;MALE&lt;/td&gt;
      &lt;td&gt;28&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;6&lt;/th&gt;
      &lt;td&gt;Dream&lt;/td&gt;
      &lt;td&gt;Chinstrap&lt;/td&gt;
      &lt;td&gt;FEMALE&lt;/td&gt;
      &lt;td&gt;34&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;7&lt;/th&gt;
      &lt;td&gt;Dream&lt;/td&gt;
      &lt;td&gt;Chinstrap&lt;/td&gt;
      &lt;td&gt;MALE&lt;/td&gt;
      &lt;td&gt;34&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;8&lt;/th&gt;
      &lt;td&gt;Torgersen&lt;/td&gt;
      &lt;td&gt;Adelie&lt;/td&gt;
      &lt;td&gt;FEMALE&lt;/td&gt;
      &lt;td&gt;24&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;9&lt;/th&gt;
      &lt;td&gt;Torgersen&lt;/td&gt;
      &lt;td&gt;Adelie&lt;/td&gt;
      &lt;td&gt;MALE&lt;/td&gt;
      &lt;td&gt;23&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;guardar este DataFrame con un nombre nuevo y crearle nuevas columnas. Con &lt;code&gt;sidetable&lt;/code&gt; logro esto con un sólo comando.&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;Esa es la mágia de &lt;code&gt;sidetable&lt;/code&gt; en mi opinión. No es que este ofreciendote funcionalidades que no existían en pandas. Lo que hace es hacerlas más accesibles 💖&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;Este método &lt;code&gt;.freq()&lt;/code&gt; también tiene el parámetro &lt;code&gt;thresh&lt;/code&gt; que sirve para agrupar valores hasta cierto valor cumulativo.&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stb&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;freq&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;island&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;species&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;style&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;kc&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;


&lt;div class=&quot;output_html rendered_html output_subarea output_execute_result&quot;&gt;
&lt;style type=&quot;text/css&quot;&gt;
&lt;/style&gt;&lt;table id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122&quot;&gt;&lt;thead&gt;    &lt;tr&gt;        &lt;th class=&quot;blank level0&quot;&gt;&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col0&quot;&gt;island&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col1&quot;&gt;species&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col2&quot;&gt;Count&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col3&quot;&gt;Percent&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col4&quot;&gt;Cumulative Count&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col5&quot;&gt;Cumulative Percent&lt;/th&gt;    &lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;
                &lt;tr&gt;
                        &lt;th id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122level0_row0&quot; class=&quot;row_heading level0 row0&quot;&gt;0&lt;/th&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row0_col0&quot; class=&quot;data row0 col0&quot;&gt;Biscoe&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row0_col1&quot; class=&quot;data row0 col1&quot;&gt;Gentoo&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row0_col2&quot; class=&quot;data row0 col2&quot;&gt;124&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row0_col3&quot; class=&quot;data row0 col3&quot;&gt;36.05%&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row0_col4&quot; class=&quot;data row0 col4&quot;&gt;124&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row0_col5&quot; class=&quot;data row0 col5&quot;&gt;36.05%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122level0_row1&quot; class=&quot;row_heading level0 row1&quot;&gt;1&lt;/th&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row1_col0&quot; class=&quot;data row1 col0&quot;&gt;Dream&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row1_col1&quot; class=&quot;data row1 col1&quot;&gt;Chinstrap&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row1_col2&quot; class=&quot;data row1 col2&quot;&gt;68&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row1_col3&quot; class=&quot;data row1 col3&quot;&gt;19.77%&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row1_col4&quot; class=&quot;data row1 col4&quot;&gt;192&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row1_col5&quot; class=&quot;data row1 col5&quot;&gt;55.81%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122level0_row2&quot; class=&quot;row_heading level0 row2&quot;&gt;2&lt;/th&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row2_col0&quot; class=&quot;data row2 col0&quot;&gt;Dream&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row2_col1&quot; class=&quot;data row2 col1&quot;&gt;Adelie&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row2_col2&quot; class=&quot;data row2 col2&quot;&gt;56&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row2_col3&quot; class=&quot;data row2 col3&quot;&gt;16.28%&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row2_col4&quot; class=&quot;data row2 col4&quot;&gt;248&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row2_col5&quot; class=&quot;data row2 col5&quot;&gt;72.09%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122level0_row3&quot; class=&quot;row_heading level0 row3&quot;&gt;3&lt;/th&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row3_col0&quot; class=&quot;data row3 col0&quot;&gt;Torgersen&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row3_col1&quot; class=&quot;data row3 col1&quot;&gt;Adelie&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row3_col2&quot; class=&quot;data row3 col2&quot;&gt;52&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row3_col3&quot; class=&quot;data row3 col3&quot;&gt;15.12%&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row3_col4&quot; class=&quot;data row3 col4&quot;&gt;300&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row3_col5&quot; class=&quot;data row3 col5&quot;&gt;87.21%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122level0_row4&quot; class=&quot;row_heading level0 row4&quot;&gt;4&lt;/th&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row4_col0&quot; class=&quot;data row4 col0&quot;&gt;Biscoe&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row4_col1&quot; class=&quot;data row4 col1&quot;&gt;Adelie&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row4_col2&quot; class=&quot;data row4 col2&quot;&gt;44&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row4_col3&quot; class=&quot;data row4 col3&quot;&gt;12.79%&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row4_col4&quot; class=&quot;data row4 col4&quot;&gt;344&lt;/td&gt;
                        &lt;td id=&quot;T_1ccec7f8_bb16_11ea_8f75_acde48001122row4_col5&quot; class=&quot;data row4 col5&quot;&gt;100.00%&lt;/td&gt;
            &lt;/tr&gt;
    &lt;/tbody&gt;&lt;/table&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stb&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;freq&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;island&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;species&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;style&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;kc&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;thresh&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;6&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;


&lt;div class=&quot;output_html rendered_html output_subarea output_execute_result&quot;&gt;
&lt;style type=&quot;text/css&quot;&gt;
&lt;/style&gt;&lt;table id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122&quot;&gt;&lt;thead&gt;    &lt;tr&gt;        &lt;th class=&quot;blank level0&quot;&gt;&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col0&quot;&gt;island&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col1&quot;&gt;species&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col2&quot;&gt;Count&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col3&quot;&gt;Percent&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col4&quot;&gt;Cumulative Count&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col5&quot;&gt;Cumulative Percent&lt;/th&gt;    &lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;
                &lt;tr&gt;
                        &lt;th id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122level0_row0&quot; class=&quot;row_heading level0 row0&quot;&gt;0&lt;/th&gt;
                        &lt;td id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122row0_col0&quot; class=&quot;data row0 col0&quot;&gt;Biscoe&lt;/td&gt;
                        &lt;td id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122row0_col1&quot; class=&quot;data row0 col1&quot;&gt;Gentoo&lt;/td&gt;
                        &lt;td id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122row0_col2&quot; class=&quot;data row0 col2&quot;&gt;124&lt;/td&gt;
                        &lt;td id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122row0_col3&quot; class=&quot;data row0 col3&quot;&gt;36.05%&lt;/td&gt;
                        &lt;td id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122row0_col4&quot; class=&quot;data row0 col4&quot;&gt;124&lt;/td&gt;
                        &lt;td id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122row0_col5&quot; class=&quot;data row0 col5&quot;&gt;36.05%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122level0_row1&quot; class=&quot;row_heading level0 row1&quot;&gt;1&lt;/th&gt;
                        &lt;td id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122row1_col0&quot; class=&quot;data row1 col0&quot;&gt;Dream&lt;/td&gt;
                        &lt;td id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122row1_col1&quot; class=&quot;data row1 col1&quot;&gt;Chinstrap&lt;/td&gt;
                        &lt;td id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122row1_col2&quot; class=&quot;data row1 col2&quot;&gt;68&lt;/td&gt;
                        &lt;td id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122row1_col3&quot; class=&quot;data row1 col3&quot;&gt;19.77%&lt;/td&gt;
                        &lt;td id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122row1_col4&quot; class=&quot;data row1 col4&quot;&gt;192&lt;/td&gt;
                        &lt;td id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122row1_col5&quot; class=&quot;data row1 col5&quot;&gt;55.81%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122level0_row2&quot; class=&quot;row_heading level0 row2&quot;&gt;2&lt;/th&gt;
                        &lt;td id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122row2_col0&quot; class=&quot;data row2 col0&quot;&gt;Others&lt;/td&gt;
                        &lt;td id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122row2_col1&quot; class=&quot;data row2 col1&quot;&gt;Others&lt;/td&gt;
                        &lt;td id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122row2_col2&quot; class=&quot;data row2 col2&quot;&gt;152&lt;/td&gt;
                        &lt;td id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122row2_col3&quot; class=&quot;data row2 col3&quot;&gt;44.19%&lt;/td&gt;
                        &lt;td id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122row2_col4&quot; class=&quot;data row2 col4&quot;&gt;344&lt;/td&gt;
                        &lt;td id=&quot;T_311d7fc4_bb16_11ea_8f75_acde48001122row2_col5&quot; class=&quot;data row2 col5&quot;&gt;100.00%&lt;/td&gt;
            &lt;/tr&gt;
    &lt;/tbody&gt;&lt;/table&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;Lo que &lt;code&gt;sidetable&lt;/code&gt; esta haciendo es mostrar tus valores hasta que llegan a tu &lt;code&gt;thresh&lt;/code&gt; o límite. En este caso, muestra todos los valores que van sumando hasta llegar a un valor cumulativo de 60% y los demás valores se agrupan bajo la etiqueta &lt;code&gt;Others&lt;/code&gt; (la cual también puedes modificar).&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stb&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;freq&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;island&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;species&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;style&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;kc&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;thresh&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;6&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;other_label&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&amp;quot;baia baia tacubaya&amp;quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;


&lt;div class=&quot;output_html rendered_html output_subarea output_execute_result&quot;&gt;
&lt;style type=&quot;text/css&quot;&gt;
&lt;/style&gt;&lt;table id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122&quot;&gt;&lt;thead&gt;    &lt;tr&gt;        &lt;th class=&quot;blank level0&quot;&gt;&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col0&quot;&gt;island&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col1&quot;&gt;species&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col2&quot;&gt;Count&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col3&quot;&gt;Percent&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col4&quot;&gt;Cumulative Count&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col5&quot;&gt;Cumulative Percent&lt;/th&gt;    &lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;
                &lt;tr&gt;
                        &lt;th id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122level0_row0&quot; class=&quot;row_heading level0 row0&quot;&gt;0&lt;/th&gt;
                        &lt;td id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122row0_col0&quot; class=&quot;data row0 col0&quot;&gt;Biscoe&lt;/td&gt;
                        &lt;td id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122row0_col1&quot; class=&quot;data row0 col1&quot;&gt;Gentoo&lt;/td&gt;
                        &lt;td id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122row0_col2&quot; class=&quot;data row0 col2&quot;&gt;124&lt;/td&gt;
                        &lt;td id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122row0_col3&quot; class=&quot;data row0 col3&quot;&gt;36.05%&lt;/td&gt;
                        &lt;td id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122row0_col4&quot; class=&quot;data row0 col4&quot;&gt;124&lt;/td&gt;
                        &lt;td id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122row0_col5&quot; class=&quot;data row0 col5&quot;&gt;36.05%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122level0_row1&quot; class=&quot;row_heading level0 row1&quot;&gt;1&lt;/th&gt;
                        &lt;td id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122row1_col0&quot; class=&quot;data row1 col0&quot;&gt;Dream&lt;/td&gt;
                        &lt;td id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122row1_col1&quot; class=&quot;data row1 col1&quot;&gt;Chinstrap&lt;/td&gt;
                        &lt;td id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122row1_col2&quot; class=&quot;data row1 col2&quot;&gt;68&lt;/td&gt;
                        &lt;td id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122row1_col3&quot; class=&quot;data row1 col3&quot;&gt;19.77%&lt;/td&gt;
                        &lt;td id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122row1_col4&quot; class=&quot;data row1 col4&quot;&gt;192&lt;/td&gt;
                        &lt;td id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122row1_col5&quot; class=&quot;data row1 col5&quot;&gt;55.81%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122level0_row2&quot; class=&quot;row_heading level0 row2&quot;&gt;2&lt;/th&gt;
                        &lt;td id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122row2_col0&quot; class=&quot;data row2 col0&quot;&gt;baia baia tacubaya&lt;/td&gt;
                        &lt;td id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122row2_col1&quot; class=&quot;data row2 col1&quot;&gt;baia baia tacubaya&lt;/td&gt;
                        &lt;td id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122row2_col2&quot; class=&quot;data row2 col2&quot;&gt;152&lt;/td&gt;
                        &lt;td id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122row2_col3&quot; class=&quot;data row2 col3&quot;&gt;44.19%&lt;/td&gt;
                        &lt;td id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122row2_col4&quot; class=&quot;data row2 col4&quot;&gt;344&lt;/td&gt;
                        &lt;td id=&quot;T_f0d3d67e_bb16_11ea_8f75_acde48001122row2_col5&quot; class=&quot;data row2 col5&quot;&gt;100.00%&lt;/td&gt;
            &lt;/tr&gt;
    &lt;/tbody&gt;&lt;/table&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;h2 id=&quot;Subtotal&quot;&gt;Subtotal&lt;a class=&quot;anchor-link&quot; href=&quot;#Subtotal&quot;&gt; &lt;/a&gt;&lt;/h2&gt;&lt;p&gt;El tercer método que &lt;code&gt;sidetable&lt;/code&gt; ofrece es &lt;code&gt;.subtotal()&lt;/code&gt; que te permite, como su nombre lo indica, crear subtotales de tus datos agrupados.&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stb&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;subtotal&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;


&lt;div class=&quot;output_html rendered_html output_subarea output_execute_result&quot;&gt;
&lt;div&gt;
&lt;style scoped=&quot;&quot;&gt;
    .dataframe tbody tr th:only-of-type {
        vertical-align: middle;
    }

    .dataframe tbody tr th {
        vertical-align: top;
    }

    .dataframe thead th {
        text-align: right;
    }
&lt;/style&gt;
&lt;table border=&quot;1&quot; class=&quot;dataframe&quot;&gt;
  &lt;thead&gt;
    &lt;tr style=&quot;text-align: right;&quot;&gt;
      &lt;th&gt;&lt;/th&gt;
      &lt;th&gt;species&lt;/th&gt;
      &lt;th&gt;island&lt;/th&gt;
      &lt;th&gt;culmen_length_mm&lt;/th&gt;
      &lt;th&gt;culmen_depth_mm&lt;/th&gt;
      &lt;th&gt;flipper_length_mm&lt;/th&gt;
      &lt;th&gt;body_mass_g&lt;/th&gt;
      &lt;th&gt;sex&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;th&gt;0&lt;/th&gt;
      &lt;td&gt;Adelie&lt;/td&gt;
      &lt;td&gt;Torgersen&lt;/td&gt;
      &lt;td&gt;39.1&lt;/td&gt;
      &lt;td&gt;18.7&lt;/td&gt;
      &lt;td&gt;181.0&lt;/td&gt;
      &lt;td&gt;3750.0&lt;/td&gt;
      &lt;td&gt;MALE&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;1&lt;/th&gt;
      &lt;td&gt;Adelie&lt;/td&gt;
      &lt;td&gt;Torgersen&lt;/td&gt;
      &lt;td&gt;39.5&lt;/td&gt;
      &lt;td&gt;17.4&lt;/td&gt;
      &lt;td&gt;186.0&lt;/td&gt;
      &lt;td&gt;3800.0&lt;/td&gt;
      &lt;td&gt;FEMALE&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;2&lt;/th&gt;
      &lt;td&gt;Adelie&lt;/td&gt;
      &lt;td&gt;Torgersen&lt;/td&gt;
      &lt;td&gt;40.3&lt;/td&gt;
      &lt;td&gt;18.0&lt;/td&gt;
      &lt;td&gt;195.0&lt;/td&gt;
      &lt;td&gt;3250.0&lt;/td&gt;
      &lt;td&gt;FEMALE&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;3&lt;/th&gt;
      &lt;td&gt;Adelie&lt;/td&gt;
      &lt;td&gt;Torgersen&lt;/td&gt;
      &lt;td&gt;NaN&lt;/td&gt;
      &lt;td&gt;NaN&lt;/td&gt;
      &lt;td&gt;NaN&lt;/td&gt;
      &lt;td&gt;NaN&lt;/td&gt;
      &lt;td&gt;NaN&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;4&lt;/th&gt;
      &lt;td&gt;Adelie&lt;/td&gt;
      &lt;td&gt;Torgersen&lt;/td&gt;
      &lt;td&gt;36.7&lt;/td&gt;
      &lt;td&gt;19.3&lt;/td&gt;
      &lt;td&gt;193.0&lt;/td&gt;
      &lt;td&gt;3450.0&lt;/td&gt;
      &lt;td&gt;FEMALE&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;...&lt;/th&gt;
      &lt;td&gt;...&lt;/td&gt;
      &lt;td&gt;...&lt;/td&gt;
      &lt;td&gt;...&lt;/td&gt;
      &lt;td&gt;...&lt;/td&gt;
      &lt;td&gt;...&lt;/td&gt;
      &lt;td&gt;...&lt;/td&gt;
      &lt;td&gt;...&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;340&lt;/th&gt;
      &lt;td&gt;Gentoo&lt;/td&gt;
      &lt;td&gt;Biscoe&lt;/td&gt;
      &lt;td&gt;46.8&lt;/td&gt;
      &lt;td&gt;14.3&lt;/td&gt;
      &lt;td&gt;215.0&lt;/td&gt;
      &lt;td&gt;4850.0&lt;/td&gt;
      &lt;td&gt;FEMALE&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;341&lt;/th&gt;
      &lt;td&gt;Gentoo&lt;/td&gt;
      &lt;td&gt;Biscoe&lt;/td&gt;
      &lt;td&gt;50.4&lt;/td&gt;
      &lt;td&gt;15.7&lt;/td&gt;
      &lt;td&gt;222.0&lt;/td&gt;
      &lt;td&gt;5750.0&lt;/td&gt;
      &lt;td&gt;MALE&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;342&lt;/th&gt;
      &lt;td&gt;Gentoo&lt;/td&gt;
      &lt;td&gt;Biscoe&lt;/td&gt;
      &lt;td&gt;45.2&lt;/td&gt;
      &lt;td&gt;14.8&lt;/td&gt;
      &lt;td&gt;212.0&lt;/td&gt;
      &lt;td&gt;5200.0&lt;/td&gt;
      &lt;td&gt;FEMALE&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;343&lt;/th&gt;
      &lt;td&gt;Gentoo&lt;/td&gt;
      &lt;td&gt;Biscoe&lt;/td&gt;
      &lt;td&gt;49.9&lt;/td&gt;
      &lt;td&gt;16.1&lt;/td&gt;
      &lt;td&gt;213.0&lt;/td&gt;
      &lt;td&gt;5400.0&lt;/td&gt;
      &lt;td&gt;MALE&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;Grand Total&lt;/th&gt;
      &lt;td&gt;NaN&lt;/td&gt;
      &lt;td&gt;NaN&lt;/td&gt;
      &lt;td&gt;15021.3&lt;/td&gt;
      &lt;td&gt;5865.7&lt;/td&gt;
      &lt;td&gt;68713.0&lt;/td&gt;
      &lt;td&gt;1437000.0&lt;/td&gt;
      &lt;td&gt;NaN&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;345 rows × 7 columns&lt;/p&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;Puedes ver como agrega la fila &lt;strong&gt;Grand total&lt;/strong&gt; a tu DataFrame. No es como que digas hijole que bruto que útil agregar un total a esta tabla pero lo más interesante aparece cuando aplicas &lt;code&gt;.subtotal()&lt;/code&gt; a un objeto &lt;code&gt;.groupby()&lt;/code&gt;&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;groupby&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;species&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;sex&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;])[[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;island&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]]&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;count&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;


&lt;div class=&quot;output_html rendered_html output_subarea output_execute_result&quot;&gt;
&lt;div&gt;
&lt;style scoped=&quot;&quot;&gt;
    .dataframe tbody tr th:only-of-type {
        vertical-align: middle;
    }

    .dataframe tbody tr th {
        vertical-align: top;
    }

    .dataframe thead th {
        text-align: right;
    }
&lt;/style&gt;
&lt;table border=&quot;1&quot; class=&quot;dataframe&quot;&gt;
  &lt;thead&gt;
    &lt;tr style=&quot;text-align: right;&quot;&gt;
      &lt;th&gt;&lt;/th&gt;
      &lt;th&gt;&lt;/th&gt;
      &lt;th&gt;island&lt;/th&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;species&lt;/th&gt;
      &lt;th&gt;sex&lt;/th&gt;
      &lt;th&gt;&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;th rowspan=&quot;2&quot; valign=&quot;top&quot;&gt;Adelie&lt;/th&gt;
      &lt;th&gt;FEMALE&lt;/th&gt;
      &lt;td&gt;73&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;MALE&lt;/th&gt;
      &lt;td&gt;73&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th rowspan=&quot;2&quot; valign=&quot;top&quot;&gt;Chinstrap&lt;/th&gt;
      &lt;th&gt;FEMALE&lt;/th&gt;
      &lt;td&gt;34&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;MALE&lt;/th&gt;
      &lt;td&gt;34&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th rowspan=&quot;2&quot; valign=&quot;top&quot;&gt;Gentoo&lt;/th&gt;
      &lt;th&gt;FEMALE&lt;/th&gt;
      &lt;td&gt;58&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;MALE&lt;/th&gt;
      &lt;td&gt;61&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;groupby&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;species&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;sex&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;])[[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;island&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]]&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;count&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stb&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;subtotal&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;


&lt;div class=&quot;output_html rendered_html output_subarea output_execute_result&quot;&gt;
&lt;div&gt;
&lt;style scoped=&quot;&quot;&gt;
    .dataframe tbody tr th:only-of-type {
        vertical-align: middle;
    }

    .dataframe tbody tr th {
        vertical-align: top;
    }

    .dataframe thead th {
        text-align: right;
    }
&lt;/style&gt;
&lt;table border=&quot;1&quot; class=&quot;dataframe&quot;&gt;
  &lt;thead&gt;
    &lt;tr style=&quot;text-align: right;&quot;&gt;
      &lt;th&gt;&lt;/th&gt;
      &lt;th&gt;&lt;/th&gt;
      &lt;th&gt;island&lt;/th&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;species&lt;/th&gt;
      &lt;th&gt;sex&lt;/th&gt;
      &lt;th&gt;&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;th rowspan=&quot;3&quot; valign=&quot;top&quot;&gt;Adelie&lt;/th&gt;
      &lt;th&gt;FEMALE&lt;/th&gt;
      &lt;td&gt;73&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;MALE&lt;/th&gt;
      &lt;td&gt;73&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;Adelie - subtotal&lt;/th&gt;
      &lt;td&gt;146&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th rowspan=&quot;3&quot; valign=&quot;top&quot;&gt;Chinstrap&lt;/th&gt;
      &lt;th&gt;FEMALE&lt;/th&gt;
      &lt;td&gt;34&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;MALE&lt;/th&gt;
      &lt;td&gt;34&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;Chinstrap - subtotal&lt;/th&gt;
      &lt;td&gt;68&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th rowspan=&quot;3&quot; valign=&quot;top&quot;&gt;Gentoo&lt;/th&gt;
      &lt;th&gt;FEMALE&lt;/th&gt;
      &lt;td&gt;58&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;MALE&lt;/th&gt;
      &lt;td&gt;61&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;Gentoo - subtotal&lt;/th&gt;
      &lt;td&gt;119&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;Grand Total&lt;/th&gt;
      &lt;th&gt;&lt;/th&gt;
      &lt;td&gt;333&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;Para hacer algo así en pandas tendrías que hacer algo como&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;datos&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pivot_table&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;index&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;species&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;sex&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;values&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&amp;quot;culmen_length_mm&amp;quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;aggfunc&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;count&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;margins&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;kc&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;


&lt;div class=&quot;output_html rendered_html output_subarea output_execute_result&quot;&gt;
&lt;div&gt;
&lt;style scoped=&quot;&quot;&gt;
    .dataframe tbody tr th:only-of-type {
        vertical-align: middle;
    }

    .dataframe tbody tr th {
        vertical-align: top;
    }

    .dataframe thead th {
        text-align: right;
    }
&lt;/style&gt;
&lt;table border=&quot;1&quot; class=&quot;dataframe&quot;&gt;
  &lt;thead&gt;
    &lt;tr style=&quot;text-align: right;&quot;&gt;
      &lt;th&gt;&lt;/th&gt;
      &lt;th&gt;&lt;/th&gt;
      &lt;th&gt;culmen_length_mm&lt;/th&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;species&lt;/th&gt;
      &lt;th&gt;sex&lt;/th&gt;
      &lt;th&gt;&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;th rowspan=&quot;2&quot; valign=&quot;top&quot;&gt;Adelie&lt;/th&gt;
      &lt;th&gt;FEMALE&lt;/th&gt;
      &lt;td&gt;73&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;MALE&lt;/th&gt;
      &lt;td&gt;73&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th rowspan=&quot;2&quot; valign=&quot;top&quot;&gt;Chinstrap&lt;/th&gt;
      &lt;th&gt;FEMALE&lt;/th&gt;
      &lt;td&gt;34&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;MALE&lt;/th&gt;
      &lt;td&gt;34&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th rowspan=&quot;2&quot; valign=&quot;top&quot;&gt;Gentoo&lt;/th&gt;
      &lt;th&gt;FEMALE&lt;/th&gt;
      &lt;td&gt;58&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;MALE&lt;/th&gt;
      &lt;td&gt;61&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;All&lt;/th&gt;
      &lt;th&gt;&lt;/th&gt;
      &lt;td&gt;333&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;hr /&gt;
&lt;p&gt;Esas son las 3 funcionalidades que &lt;code&gt;sidetable&lt;/code&gt; agrega a pandas: &lt;code&gt;.missing()&lt;/code&gt;, &lt;code&gt;.freq()&lt;/code&gt; y &lt;code&gt;.subtotal()&lt;/code&gt;.&lt;/p&gt;
&lt;p&gt;Personalmente, voy a utilizar &lt;code&gt;sidetable&lt;/code&gt; en todos los cursos y talleres que imparta de ahora en adelante. Ofrece el poder de pandas pero más accesible.&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;hr /&gt;
&lt;h2 id=&quot;Bonus&quot;&gt;Bonus&lt;a class=&quot;anchor-link&quot; href=&quot;#Bonus&quot;&gt; &lt;/a&gt;&lt;/h2&gt;&lt;p&gt;Aunque me encanten los pingüinos la verdad es que yo no uso ese tipo de datos en mi día a día así que aquí hay un ejemplo de una tabla que produciría en el trabajo.&lt;/p&gt;
&lt;p&gt;Para este ejercicio voy a utilizar &lt;code&gt;pypums&lt;/code&gt; una biblioteca mia que te permite descargar datos del censo de estados unidos de manera automatizable con python.&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;pandas&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;pd&lt;/span&gt;
&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;sidetable&lt;/span&gt;
&lt;span class=&quot;kn&quot;&gt;from&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;pypums&lt;/span&gt; &lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ACS&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;california&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ACS&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;state&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;california&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;year&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;2017&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;california&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;as_dataframe&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;head&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;


&lt;div class=&quot;output_html rendered_html output_subarea output_execute_result&quot;&gt;
&lt;div&gt;
&lt;style scoped=&quot;&quot;&gt;
    .dataframe tbody tr th:only-of-type {
        vertical-align: middle;
    }

    .dataframe tbody tr th {
        vertical-align: top;
    }

    .dataframe thead th {
        text-align: right;
    }
&lt;/style&gt;
&lt;table border=&quot;1&quot; class=&quot;dataframe&quot;&gt;
  &lt;thead&gt;
    &lt;tr style=&quot;text-align: right;&quot;&gt;
      &lt;th&gt;&lt;/th&gt;
      &lt;th&gt;RT&lt;/th&gt;
      &lt;th&gt;SERIALNO&lt;/th&gt;
      &lt;th&gt;DIVISION&lt;/th&gt;
      &lt;th&gt;SPORDER&lt;/th&gt;
      &lt;th&gt;PUMA&lt;/th&gt;
      &lt;th&gt;REGION&lt;/th&gt;
      &lt;th&gt;ST&lt;/th&gt;
      &lt;th&gt;ADJINC&lt;/th&gt;
      &lt;th&gt;PWGTP&lt;/th&gt;
      &lt;th&gt;AGEP&lt;/th&gt;
      &lt;th&gt;...&lt;/th&gt;
      &lt;th&gt;PWGTP71&lt;/th&gt;
      &lt;th&gt;PWGTP72&lt;/th&gt;
      &lt;th&gt;PWGTP73&lt;/th&gt;
      &lt;th&gt;PWGTP74&lt;/th&gt;
      &lt;th&gt;PWGTP75&lt;/th&gt;
      &lt;th&gt;PWGTP76&lt;/th&gt;
      &lt;th&gt;PWGTP77&lt;/th&gt;
      &lt;th&gt;PWGTP78&lt;/th&gt;
      &lt;th&gt;PWGTP79&lt;/th&gt;
      &lt;th&gt;PWGTP80&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;th&gt;0&lt;/th&gt;
      &lt;td&gt;P&lt;/td&gt;
      &lt;td&gt;2017000000014&lt;/td&gt;
      &lt;td&gt;9&lt;/td&gt;
      &lt;td&gt;1&lt;/td&gt;
      &lt;td&gt;6703&lt;/td&gt;
      &lt;td&gt;4&lt;/td&gt;
      &lt;td&gt;6&lt;/td&gt;
      &lt;td&gt;1011189&lt;/td&gt;
      &lt;td&gt;59&lt;/td&gt;
      &lt;td&gt;45&lt;/td&gt;
      &lt;td&gt;...&lt;/td&gt;
      &lt;td&gt;64&lt;/td&gt;
      &lt;td&gt;63&lt;/td&gt;
      &lt;td&gt;55&lt;/td&gt;
      &lt;td&gt;17&lt;/td&gt;
      &lt;td&gt;100&lt;/td&gt;
      &lt;td&gt;65&lt;/td&gt;
      &lt;td&gt;62&lt;/td&gt;
      &lt;td&gt;68&lt;/td&gt;
      &lt;td&gt;17&lt;/td&gt;
      &lt;td&gt;101&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;1&lt;/th&gt;
      &lt;td&gt;P&lt;/td&gt;
      &lt;td&gt;2017000000014&lt;/td&gt;
      &lt;td&gt;9&lt;/td&gt;
      &lt;td&gt;2&lt;/td&gt;
      &lt;td&gt;6703&lt;/td&gt;
      &lt;td&gt;4&lt;/td&gt;
      &lt;td&gt;6&lt;/td&gt;
      &lt;td&gt;1011189&lt;/td&gt;
      &lt;td&gt;57&lt;/td&gt;
      &lt;td&gt;39&lt;/td&gt;
      &lt;td&gt;...&lt;/td&gt;
      &lt;td&gt;51&lt;/td&gt;
      &lt;td&gt;54&lt;/td&gt;
      &lt;td&gt;59&lt;/td&gt;
      &lt;td&gt;19&lt;/td&gt;
      &lt;td&gt;95&lt;/td&gt;
      &lt;td&gt;53&lt;/td&gt;
      &lt;td&gt;56&lt;/td&gt;
      &lt;td&gt;62&lt;/td&gt;
      &lt;td&gt;18&lt;/td&gt;
      &lt;td&gt;97&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;2&lt;/th&gt;
      &lt;td&gt;P&lt;/td&gt;
      &lt;td&gt;2017000000014&lt;/td&gt;
      &lt;td&gt;9&lt;/td&gt;
      &lt;td&gt;3&lt;/td&gt;
      &lt;td&gt;6703&lt;/td&gt;
      &lt;td&gt;4&lt;/td&gt;
      &lt;td&gt;6&lt;/td&gt;
      &lt;td&gt;1011189&lt;/td&gt;
      &lt;td&gt;54&lt;/td&gt;
      &lt;td&gt;15&lt;/td&gt;
      &lt;td&gt;...&lt;/td&gt;
      &lt;td&gt;50&lt;/td&gt;
      &lt;td&gt;62&lt;/td&gt;
      &lt;td&gt;52&lt;/td&gt;
      &lt;td&gt;14&lt;/td&gt;
      &lt;td&gt;99&lt;/td&gt;
      &lt;td&gt;53&lt;/td&gt;
      &lt;td&gt;60&lt;/td&gt;
      &lt;td&gt;60&lt;/td&gt;
      &lt;td&gt;16&lt;/td&gt;
      &lt;td&gt;90&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;3&lt;/th&gt;
      &lt;td&gt;P&lt;/td&gt;
      &lt;td&gt;2017000000017&lt;/td&gt;
      &lt;td&gt;9&lt;/td&gt;
      &lt;td&gt;1&lt;/td&gt;
      &lt;td&gt;110&lt;/td&gt;
      &lt;td&gt;4&lt;/td&gt;
      &lt;td&gt;6&lt;/td&gt;
      &lt;td&gt;1011189&lt;/td&gt;
      &lt;td&gt;75&lt;/td&gt;
      &lt;td&gt;34&lt;/td&gt;
      &lt;td&gt;...&lt;/td&gt;
      &lt;td&gt;140&lt;/td&gt;
      &lt;td&gt;73&lt;/td&gt;
      &lt;td&gt;127&lt;/td&gt;
      &lt;td&gt;67&lt;/td&gt;
      &lt;td&gt;21&lt;/td&gt;
      &lt;td&gt;73&lt;/td&gt;
      &lt;td&gt;27&lt;/td&gt;
      &lt;td&gt;117&lt;/td&gt;
      &lt;td&gt;65&lt;/td&gt;
      &lt;td&gt;113&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;4&lt;/th&gt;
      &lt;td&gt;P&lt;/td&gt;
      &lt;td&gt;2017000000017&lt;/td&gt;
      &lt;td&gt;9&lt;/td&gt;
      &lt;td&gt;2&lt;/td&gt;
      &lt;td&gt;110&lt;/td&gt;
      &lt;td&gt;4&lt;/td&gt;
      &lt;td&gt;6&lt;/td&gt;
      &lt;td&gt;1011189&lt;/td&gt;
      &lt;td&gt;71&lt;/td&gt;
      &lt;td&gt;33&lt;/td&gt;
      &lt;td&gt;...&lt;/td&gt;
      &lt;td&gt;116&lt;/td&gt;
      &lt;td&gt;75&lt;/td&gt;
      &lt;td&gt;127&lt;/td&gt;
      &lt;td&gt;73&lt;/td&gt;
      &lt;td&gt;19&lt;/td&gt;
      &lt;td&gt;79&lt;/td&gt;
      &lt;td&gt;25&lt;/td&gt;
      &lt;td&gt;110&lt;/td&gt;
      &lt;td&gt;72&lt;/td&gt;
      &lt;td&gt;123&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;5 rows × 286 columns&lt;/p&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;Usando &lt;code&gt;sidetable&lt;/code&gt; puedo encontrar estadísticas sobre la población de California rápidamente. Algo que me gusta mucho de &lt;code&gt;sidetable&lt;/code&gt; es que puedo agregar el parámetro &lt;code&gt;value&lt;/code&gt; para pasarle una columna que va a utilizar para la agregación de mis datos. En este caso, uso &lt;code&gt;PWGTP&lt;/code&gt; (&lt;em&gt;person weight&lt;/em&gt;) o factor de expansión. Esto es &quot;lo que vale&quot; cada observación en mis datos ya que estos datos son una muestra de la población total de estados unidos (es la American Community Survey que encuesta más o menos 1% de la población anualmente).&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stb&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;freq&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;SEX&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;value&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;PWGTP&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;style&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;kc&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;


&lt;div class=&quot;output_html rendered_html output_subarea output_execute_result&quot;&gt;
&lt;style type=&quot;text/css&quot;&gt;
&lt;/style&gt;&lt;table id=&quot;T_c6f05600_bbb3_11ea_8f75_acde48001122&quot;&gt;&lt;thead&gt;    &lt;tr&gt;        &lt;th class=&quot;blank level0&quot;&gt;&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col0&quot;&gt;SEX&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col1&quot;&gt;PWGTP&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col2&quot;&gt;Percent&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col3&quot;&gt;Cumulative PWGTP&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col4&quot;&gt;Cumulative Percent&lt;/th&gt;    &lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;
                &lt;tr&gt;
                        &lt;th id=&quot;T_c6f05600_bbb3_11ea_8f75_acde48001122level0_row0&quot; class=&quot;row_heading level0 row0&quot;&gt;0&lt;/th&gt;
                        &lt;td id=&quot;T_c6f05600_bbb3_11ea_8f75_acde48001122row0_col0&quot; class=&quot;data row0 col0&quot;&gt;2&lt;/td&gt;
                        &lt;td id=&quot;T_c6f05600_bbb3_11ea_8f75_acde48001122row0_col1&quot; class=&quot;data row0 col1&quot;&gt;19,891,993&lt;/td&gt;
                        &lt;td id=&quot;T_c6f05600_bbb3_11ea_8f75_acde48001122row0_col2&quot; class=&quot;data row0 col2&quot;&gt;50.31%&lt;/td&gt;
                        &lt;td id=&quot;T_c6f05600_bbb3_11ea_8f75_acde48001122row0_col3&quot; class=&quot;data row0 col3&quot;&gt;19,891,993&lt;/td&gt;
                        &lt;td id=&quot;T_c6f05600_bbb3_11ea_8f75_acde48001122row0_col4&quot; class=&quot;data row0 col4&quot;&gt;50.31%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_c6f05600_bbb3_11ea_8f75_acde48001122level0_row1&quot; class=&quot;row_heading level0 row1&quot;&gt;1&lt;/th&gt;
                        &lt;td id=&quot;T_c6f05600_bbb3_11ea_8f75_acde48001122row1_col0&quot; class=&quot;data row1 col0&quot;&gt;1&lt;/td&gt;
                        &lt;td id=&quot;T_c6f05600_bbb3_11ea_8f75_acde48001122row1_col1&quot; class=&quot;data row1 col1&quot;&gt;19,644,660&lt;/td&gt;
                        &lt;td id=&quot;T_c6f05600_bbb3_11ea_8f75_acde48001122row1_col2&quot; class=&quot;data row1 col2&quot;&gt;49.69%&lt;/td&gt;
                        &lt;td id=&quot;T_c6f05600_bbb3_11ea_8f75_acde48001122row1_col3&quot; class=&quot;data row1 col3&quot;&gt;39,536,653&lt;/td&gt;
                        &lt;td id=&quot;T_c6f05600_bbb3_11ea_8f75_acde48001122row1_col4&quot; class=&quot;data row1 col4&quot;&gt;100.00%&lt;/td&gt;
            &lt;/tr&gt;
    &lt;/tbody&gt;&lt;/table&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;Algo que yo he hecho muchas veces en mi trabajo anterior era investigar cuantas personas en California de X edad son inmigrantes, por ejemplo. Este número serviría de denominador en otras estadísticas.&lt;/p&gt;
&lt;p&gt;Ya que tenemos los datos, agrupo la columna &lt;code&gt;AGEP&lt;/code&gt; que tiene los valores de las edades.&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mask_17&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;AGEP&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;lt;&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;18&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;loc&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mask_17&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;AGE_BIN&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;0 - 17&amp;#39;&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# 18 - 25&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;mask_25&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;AGEP&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;18&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;amp;&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;AGEP&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;lt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;25&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;loc&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mask_25&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;AGE_BIN&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;18 - 25&amp;#39;&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# 26 - 35&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;mask_35&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;AGEP&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;26&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;amp;&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;AGEP&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;lt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;35&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;loc&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mask_35&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;AGE_BIN&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;26 - 35&amp;#39;&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# 36 - 45&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;mask_45&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;AGEP&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;36&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;amp;&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;AGEP&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;lt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;45&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;loc&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mask_45&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;AGE_BIN&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;36 - 45&amp;#39;&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# 46 - 55&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;mask_55&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;AGEP&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;46&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;amp;&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;AGEP&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;lt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;55&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;loc&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mask_55&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;AGE_BIN&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;46 - 55&amp;#39;&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# 56 - 65&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;mask_65&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;AGEP&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;56&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;amp;&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;AGEP&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;lt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;65&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;loc&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mask_65&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;AGE_BIN&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;56 - 65&amp;#39;&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# 65+&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;mask_65plus&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;AGEP&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;&amp;gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;66&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;loc&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mask_65plus&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;AGE_BIN&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;65+&amp;#39;&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;age_bins&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;
    &lt;span class=&quot;s1&quot;&gt;&amp;#39;0 - 17&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s1&quot;&gt;&amp;#39;18 - 25&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s1&quot;&gt;&amp;#39;26 - 35&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s1&quot;&gt;&amp;#39;36 - 45&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s1&quot;&gt;&amp;#39;46 - 55&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s1&quot;&gt;&amp;#39;56 - 65&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;s1&quot;&gt;&amp;#39;65+&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;AGE_BIN&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pd&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Categorical&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;AGE_BIN&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;categories&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;age_bins&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ordered&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;kc&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;Y ya podemos ver por ejemplo, cuantos hombres y mujeres (abajo con el binarismo 👎) hay en cada grupo.&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stb&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;freq&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;SEX&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;AGE_BIN&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;value&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;PWGTP&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;style&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;kc&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;


&lt;div class=&quot;output_html rendered_html output_subarea output_execute_result&quot;&gt;
&lt;style type=&quot;text/css&quot;&gt;
&lt;/style&gt;&lt;table id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122&quot;&gt;&lt;thead&gt;    &lt;tr&gt;        &lt;th class=&quot;blank level0&quot;&gt;&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col0&quot;&gt;SEX&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col1&quot;&gt;AGE_BIN&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col2&quot;&gt;PWGTP&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col3&quot;&gt;Percent&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col4&quot;&gt;Cumulative PWGTP&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col5&quot;&gt;Cumulative Percent&lt;/th&gt;    &lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;
                &lt;tr&gt;
                        &lt;th id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122level0_row0&quot; class=&quot;row_heading level0 row0&quot;&gt;0&lt;/th&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row0_col0&quot; class=&quot;data row0 col0&quot;&gt;1&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row0_col1&quot; class=&quot;data row0 col1&quot;&gt;0 - 17&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row0_col2&quot; class=&quot;data row0 col2&quot;&gt;4,631,530&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row0_col3&quot; class=&quot;data row0 col3&quot;&gt;11.71%&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row0_col4&quot; class=&quot;data row0 col4&quot;&gt;4,631,530&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row0_col5&quot; class=&quot;data row0 col5&quot;&gt;11.71%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122level0_row1&quot; class=&quot;row_heading level0 row1&quot;&gt;1&lt;/th&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row1_col0&quot; class=&quot;data row1 col0&quot;&gt;2&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row1_col1&quot; class=&quot;data row1 col1&quot;&gt;0 - 17&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row1_col2&quot; class=&quot;data row1 col2&quot;&gt;4,418,806&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row1_col3&quot; class=&quot;data row1 col3&quot;&gt;11.18%&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row1_col4&quot; class=&quot;data row1 col4&quot;&gt;9,050,336&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row1_col5&quot; class=&quot;data row1 col5&quot;&gt;22.89%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122level0_row2&quot; class=&quot;row_heading level0 row2&quot;&gt;2&lt;/th&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row2_col0&quot; class=&quot;data row2 col0&quot;&gt;1&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row2_col1&quot; class=&quot;data row2 col1&quot;&gt;26 - 35&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row2_col2&quot; class=&quot;data row2 col2&quot;&gt;3,059,406&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row2_col3&quot; class=&quot;data row2 col3&quot;&gt;7.74%&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row2_col4&quot; class=&quot;data row2 col4&quot;&gt;12,109,742&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row2_col5&quot; class=&quot;data row2 col5&quot;&gt;30.63%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122level0_row3&quot; class=&quot;row_heading level0 row3&quot;&gt;3&lt;/th&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row3_col0&quot; class=&quot;data row3 col0&quot;&gt;2&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row3_col1&quot; class=&quot;data row3 col1&quot;&gt;26 - 35&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row3_col2&quot; class=&quot;data row3 col2&quot;&gt;2,893,143&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row3_col3&quot; class=&quot;data row3 col3&quot;&gt;7.32%&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row3_col4&quot; class=&quot;data row3 col4&quot;&gt;15,002,885&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row3_col5&quot; class=&quot;data row3 col5&quot;&gt;37.95%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122level0_row4&quot; class=&quot;row_heading level0 row4&quot;&gt;4&lt;/th&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row4_col0&quot; class=&quot;data row4 col0&quot;&gt;2&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row4_col1&quot; class=&quot;data row4 col1&quot;&gt;65+&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row4_col2&quot; class=&quot;data row4 col2&quot;&gt;2,840,857&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row4_col3&quot; class=&quot;data row4 col3&quot;&gt;7.19%&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row4_col4&quot; class=&quot;data row4 col4&quot;&gt;17,843,742&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row4_col5&quot; class=&quot;data row4 col5&quot;&gt;45.13%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122level0_row5&quot; class=&quot;row_heading level0 row5&quot;&gt;5&lt;/th&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row5_col0&quot; class=&quot;data row5 col0&quot;&gt;1&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row5_col1&quot; class=&quot;data row5 col1&quot;&gt;36 - 45&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row5_col2&quot; class=&quot;data row5 col2&quot;&gt;2,607,669&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row5_col3&quot; class=&quot;data row5 col3&quot;&gt;6.60%&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row5_col4&quot; class=&quot;data row5 col4&quot;&gt;20,451,411&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row5_col5&quot; class=&quot;data row5 col5&quot;&gt;51.73%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122level0_row6&quot; class=&quot;row_heading level0 row6&quot;&gt;6&lt;/th&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row6_col0&quot; class=&quot;data row6 col0&quot;&gt;2&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row6_col1&quot; class=&quot;data row6 col1&quot;&gt;46 - 55&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row6_col2&quot; class=&quot;data row6 col2&quot;&gt;2,600,194&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row6_col3&quot; class=&quot;data row6 col3&quot;&gt;6.58%&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row6_col4&quot; class=&quot;data row6 col4&quot;&gt;23,051,605&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row6_col5&quot; class=&quot;data row6 col5&quot;&gt;58.30%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122level0_row7&quot; class=&quot;row_heading level0 row7&quot;&gt;7&lt;/th&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row7_col0&quot; class=&quot;data row7 col0&quot;&gt;2&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row7_col1&quot; class=&quot;data row7 col1&quot;&gt;36 - 45&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row7_col2&quot; class=&quot;data row7 col2&quot;&gt;2,566,590&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row7_col3&quot; class=&quot;data row7 col3&quot;&gt;6.49%&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row7_col4&quot; class=&quot;data row7 col4&quot;&gt;25,618,195&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row7_col5&quot; class=&quot;data row7 col5&quot;&gt;64.80%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122level0_row8&quot; class=&quot;row_heading level0 row8&quot;&gt;8&lt;/th&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row8_col0&quot; class=&quot;data row8 col0&quot;&gt;1&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row8_col1&quot; class=&quot;data row8 col1&quot;&gt;46 - 55&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row8_col2&quot; class=&quot;data row8 col2&quot;&gt;2,563,516&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row8_col3&quot; class=&quot;data row8 col3&quot;&gt;6.48%&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row8_col4&quot; class=&quot;data row8 col4&quot;&gt;28,181,711&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row8_col5&quot; class=&quot;data row8 col5&quot;&gt;71.28%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122level0_row9&quot; class=&quot;row_heading level0 row9&quot;&gt;9&lt;/th&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row9_col0&quot; class=&quot;data row9 col0&quot;&gt;2&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row9_col1&quot; class=&quot;data row9 col1&quot;&gt;56 - 65&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row9_col2&quot; class=&quot;data row9 col2&quot;&gt;2,409,415&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row9_col3&quot; class=&quot;data row9 col3&quot;&gt;6.09%&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row9_col4&quot; class=&quot;data row9 col4&quot;&gt;30,591,126&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row9_col5&quot; class=&quot;data row9 col5&quot;&gt;77.37%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122level0_row10&quot; class=&quot;row_heading level0 row10&quot;&gt;10&lt;/th&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row10_col0&quot; class=&quot;data row10 col0&quot;&gt;1&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row10_col1&quot; class=&quot;data row10 col1&quot;&gt;18 - 25&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row10_col2&quot; class=&quot;data row10 col2&quot;&gt;2,293,020&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row10_col3&quot; class=&quot;data row10 col3&quot;&gt;5.80%&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row10_col4&quot; class=&quot;data row10 col4&quot;&gt;32,884,146&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row10_col5&quot; class=&quot;data row10 col5&quot;&gt;83.17%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122level0_row11&quot; class=&quot;row_heading level0 row11&quot;&gt;11&lt;/th&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row11_col0&quot; class=&quot;data row11 col0&quot;&gt;1&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row11_col1&quot; class=&quot;data row11 col1&quot;&gt;65+&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row11_col2&quot; class=&quot;data row11 col2&quot;&gt;2,252,083&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row11_col3&quot; class=&quot;data row11 col3&quot;&gt;5.70%&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row11_col4&quot; class=&quot;data row11 col4&quot;&gt;35,136,229&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row11_col5&quot; class=&quot;data row11 col5&quot;&gt;88.87%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122level0_row12&quot; class=&quot;row_heading level0 row12&quot;&gt;12&lt;/th&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row12_col0&quot; class=&quot;data row12 col0&quot;&gt;1&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row12_col1&quot; class=&quot;data row12 col1&quot;&gt;56 - 65&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row12_col2&quot; class=&quot;data row12 col2&quot;&gt;2,237,436&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row12_col3&quot; class=&quot;data row12 col3&quot;&gt;5.66%&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row12_col4&quot; class=&quot;data row12 col4&quot;&gt;37,373,665&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row12_col5&quot; class=&quot;data row12 col5&quot;&gt;94.53%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122level0_row13&quot; class=&quot;row_heading level0 row13&quot;&gt;13&lt;/th&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row13_col0&quot; class=&quot;data row13 col0&quot;&gt;2&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row13_col1&quot; class=&quot;data row13 col1&quot;&gt;18 - 25&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row13_col2&quot; class=&quot;data row13 col2&quot;&gt;2,162,988&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row13_col3&quot; class=&quot;data row13 col3&quot;&gt;5.47%&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row13_col4&quot; class=&quot;data row13 col4&quot;&gt;39,536,653&lt;/td&gt;
                        &lt;td id=&quot;T_c8bd16f8_bbb3_11ea_8f75_acde48001122row13_col5&quot; class=&quot;data row13 col5&quot;&gt;100.00%&lt;/td&gt;
            &lt;/tr&gt;
    &lt;/tbody&gt;&lt;/table&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;Para limpiar los datos un poco (para presentarlos en alguna junta o algo) puedo cambiar los valores (que obtuve del diccionario de datos: &lt;a href=&quot;https://www2.census.gov/programs-surveys/acs/tech_docs/pums/data_dict/PUMS_Data_Dictionary_2018.pdf?#&quot;&gt;https://www2.census.gov/programs-surveys/acs/tech_docs/pums/data_dict/PUMS_Data_Dictionary_2018.pdf?#&lt;/a&gt;)&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data_dict_sex&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;
    &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;Male&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;Female&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
&lt;span class=&quot;p&quot;&gt;}&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;data_dict_cit&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;
    &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&amp;quot;Born in the U.S.&amp;quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&amp;quot;Born in Puerto Rico, Guam, the U.S. Virgin Islands, or the Northern Marianas&amp;quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;mi&quot;&gt;3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&amp;quot;Born abroad of American parent(s)&amp;quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&amp;quot;U.S. citizen by naturalization&amp;quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;mi&quot;&gt;5&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&amp;quot;Not a citizen of the U.S.&amp;quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
&lt;span class=&quot;p&quot;&gt;}&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;SEX&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;SEX&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;map&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data_dict_sex&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;CIT&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;CIT&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;map&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data_dict_cit&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;CIT&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pd&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Categorical&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;CIT&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;categories&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data_dict_cit&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;values&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ordered&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;kc&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;¡Y listo!&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stb&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;freq&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;CIT&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;AGE_BIN&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;SEX&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;value&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;PWGTP&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;style&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;kc&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;sort_cols&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;kc&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;


&lt;div class=&quot;output_html rendered_html output_subarea output_execute_result&quot;&gt;
&lt;style type=&quot;text/css&quot;&gt;
&lt;/style&gt;&lt;table id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122&quot;&gt;&lt;thead&gt;    &lt;tr&gt;        &lt;th class=&quot;blank level0&quot;&gt;&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col0&quot;&gt;CIT&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col1&quot;&gt;AGE_BIN&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col2&quot;&gt;SEX&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col3&quot;&gt;PWGTP&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col4&quot;&gt;Percent&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col5&quot;&gt;Cumulative PWGTP&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col6&quot;&gt;Cumulative Percent&lt;/th&gt;    &lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;
                &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row0&quot; class=&quot;row_heading level0 row0&quot;&gt;0&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row0_col0&quot; class=&quot;data row0 col0&quot;&gt;Born in the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row0_col1&quot; class=&quot;data row0 col1&quot;&gt;0 - 17&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row0_col2&quot; class=&quot;data row0 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row0_col3&quot; class=&quot;data row0 col3&quot;&gt;4,157,924&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row0_col4&quot; class=&quot;data row0 col4&quot;&gt;10.52%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row0_col5&quot; class=&quot;data row0 col5&quot;&gt;4,157,924&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row0_col6&quot; class=&quot;data row0 col6&quot;&gt;10.52%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row1&quot; class=&quot;row_heading level0 row1&quot;&gt;1&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row1_col0&quot; class=&quot;data row1 col0&quot;&gt;Born in the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row1_col1&quot; class=&quot;data row1 col1&quot;&gt;0 - 17&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row1_col2&quot; class=&quot;data row1 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row1_col3&quot; class=&quot;data row1 col3&quot;&gt;4,346,506&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row1_col4&quot; class=&quot;data row1 col4&quot;&gt;10.99%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row1_col5&quot; class=&quot;data row1 col5&quot;&gt;8,504,430&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row1_col6&quot; class=&quot;data row1 col6&quot;&gt;21.51%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row2&quot; class=&quot;row_heading level0 row2&quot;&gt;2&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row2_col0&quot; class=&quot;data row2 col0&quot;&gt;Born in the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row2_col1&quot; class=&quot;data row2 col1&quot;&gt;18 - 25&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row2_col2&quot; class=&quot;data row2 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row2_col3&quot; class=&quot;data row2 col3&quot;&gt;1,813,692&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row2_col4&quot; class=&quot;data row2 col4&quot;&gt;4.59%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row2_col5&quot; class=&quot;data row2 col5&quot;&gt;10,318,122&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row2_col6&quot; class=&quot;data row2 col6&quot;&gt;26.10%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row3&quot; class=&quot;row_heading level0 row3&quot;&gt;3&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row3_col0&quot; class=&quot;data row3 col0&quot;&gt;Born in the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row3_col1&quot; class=&quot;data row3 col1&quot;&gt;18 - 25&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row3_col2&quot; class=&quot;data row3 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row3_col3&quot; class=&quot;data row3 col3&quot;&gt;1,923,610&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row3_col4&quot; class=&quot;data row3 col4&quot;&gt;4.87%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row3_col5&quot; class=&quot;data row3 col5&quot;&gt;12,241,732&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row3_col6&quot; class=&quot;data row3 col6&quot;&gt;30.96%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row4&quot; class=&quot;row_heading level0 row4&quot;&gt;4&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row4_col0&quot; class=&quot;data row4 col0&quot;&gt;Born in the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row4_col1&quot; class=&quot;data row4 col1&quot;&gt;26 - 35&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row4_col2&quot; class=&quot;data row4 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row4_col3&quot; class=&quot;data row4 col3&quot;&gt;2,004,228&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row4_col4&quot; class=&quot;data row4 col4&quot;&gt;5.07%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row4_col5&quot; class=&quot;data row4 col5&quot;&gt;14,245,960&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row4_col6&quot; class=&quot;data row4 col6&quot;&gt;36.03%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row5&quot; class=&quot;row_heading level0 row5&quot;&gt;5&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row5_col0&quot; class=&quot;data row5 col0&quot;&gt;Born in the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row5_col1&quot; class=&quot;data row5 col1&quot;&gt;26 - 35&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row5_col2&quot; class=&quot;data row5 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row5_col3&quot; class=&quot;data row5 col3&quot;&gt;2,166,221&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row5_col4&quot; class=&quot;data row5 col4&quot;&gt;5.48%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row5_col5&quot; class=&quot;data row5 col5&quot;&gt;16,412,181&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row5_col6&quot; class=&quot;data row5 col6&quot;&gt;41.51%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row6&quot; class=&quot;row_heading level0 row6&quot;&gt;6&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row6_col0&quot; class=&quot;data row6 col0&quot;&gt;Born in the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row6_col1&quot; class=&quot;data row6 col1&quot;&gt;36 - 45&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row6_col2&quot; class=&quot;data row6 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row6_col3&quot; class=&quot;data row6 col3&quot;&gt;1,395,617&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row6_col4&quot; class=&quot;data row6 col4&quot;&gt;3.53%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row6_col5&quot; class=&quot;data row6 col5&quot;&gt;17,807,798&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row6_col6&quot; class=&quot;data row6 col6&quot;&gt;45.04%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row7&quot; class=&quot;row_heading level0 row7&quot;&gt;7&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row7_col0&quot; class=&quot;data row7 col0&quot;&gt;Born in the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row7_col1&quot; class=&quot;data row7 col1&quot;&gt;36 - 45&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row7_col2&quot; class=&quot;data row7 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row7_col3&quot; class=&quot;data row7 col3&quot;&gt;1,499,406&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row7_col4&quot; class=&quot;data row7 col4&quot;&gt;3.79%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row7_col5&quot; class=&quot;data row7 col5&quot;&gt;19,307,204&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row7_col6&quot; class=&quot;data row7 col6&quot;&gt;48.83%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row8&quot; class=&quot;row_heading level0 row8&quot;&gt;8&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row8_col0&quot; class=&quot;data row8 col0&quot;&gt;Born in the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row8_col1&quot; class=&quot;data row8 col1&quot;&gt;46 - 55&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row8_col2&quot; class=&quot;data row8 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row8_col3&quot; class=&quot;data row8 col3&quot;&gt;1,428,899&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row8_col4&quot; class=&quot;data row8 col4&quot;&gt;3.61%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row8_col5&quot; class=&quot;data row8 col5&quot;&gt;20,736,103&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row8_col6&quot; class=&quot;data row8 col6&quot;&gt;52.45%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row9&quot; class=&quot;row_heading level0 row9&quot;&gt;9&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row9_col0&quot; class=&quot;data row9 col0&quot;&gt;Born in the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row9_col1&quot; class=&quot;data row9 col1&quot;&gt;46 - 55&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row9_col2&quot; class=&quot;data row9 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row9_col3&quot; class=&quot;data row9 col3&quot;&gt;1,436,241&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row9_col4&quot; class=&quot;data row9 col4&quot;&gt;3.63%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row9_col5&quot; class=&quot;data row9 col5&quot;&gt;22,172,344&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row9_col6&quot; class=&quot;data row9 col6&quot;&gt;56.08%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row10&quot; class=&quot;row_heading level0 row10&quot;&gt;10&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row10_col0&quot; class=&quot;data row10 col0&quot;&gt;Born in the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row10_col1&quot; class=&quot;data row10 col1&quot;&gt;56 - 65&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row10_col2&quot; class=&quot;data row10 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row10_col3&quot; class=&quot;data row10 col3&quot;&gt;1,476,071&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row10_col4&quot; class=&quot;data row10 col4&quot;&gt;3.73%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row10_col5&quot; class=&quot;data row10 col5&quot;&gt;23,648,415&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row10_col6&quot; class=&quot;data row10 col6&quot;&gt;59.81%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row11&quot; class=&quot;row_heading level0 row11&quot;&gt;11&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row11_col0&quot; class=&quot;data row11 col0&quot;&gt;Born in the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row11_col1&quot; class=&quot;data row11 col1&quot;&gt;56 - 65&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row11_col2&quot; class=&quot;data row11 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row11_col3&quot; class=&quot;data row11 col3&quot;&gt;1,405,794&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row11_col4&quot; class=&quot;data row11 col4&quot;&gt;3.56%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row11_col5&quot; class=&quot;data row11 col5&quot;&gt;25,054,209&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row11_col6&quot; class=&quot;data row11 col6&quot;&gt;63.37%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row12&quot; class=&quot;row_heading level0 row12&quot;&gt;12&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row12_col0&quot; class=&quot;data row12 col0&quot;&gt;Born in the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row12_col1&quot; class=&quot;data row12 col1&quot;&gt;65+&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row12_col2&quot; class=&quot;data row12 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row12_col3&quot; class=&quot;data row12 col3&quot;&gt;1,810,015&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row12_col4&quot; class=&quot;data row12 col4&quot;&gt;4.58%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row12_col5&quot; class=&quot;data row12 col5&quot;&gt;26,864,224&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row12_col6&quot; class=&quot;data row12 col6&quot;&gt;67.95%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row13&quot; class=&quot;row_heading level0 row13&quot;&gt;13&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row13_col0&quot; class=&quot;data row13 col0&quot;&gt;Born in the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row13_col1&quot; class=&quot;data row13 col1&quot;&gt;65+&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row13_col2&quot; class=&quot;data row13 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row13_col3&quot; class=&quot;data row13 col3&quot;&gt;1,498,853&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row13_col4&quot; class=&quot;data row13 col4&quot;&gt;3.79%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row13_col5&quot; class=&quot;data row13 col5&quot;&gt;28,363,077&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row13_col6&quot; class=&quot;data row13 col6&quot;&gt;71.74%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row14&quot; class=&quot;row_heading level0 row14&quot;&gt;14&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row14_col0&quot; class=&quot;data row14 col0&quot;&gt;Born in Puerto Rico, Guam, the U.S. Virgin Islands, or the Northern Marianas&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row14_col1&quot; class=&quot;data row14 col1&quot;&gt;0 - 17&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row14_col2&quot; class=&quot;data row14 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row14_col3&quot; class=&quot;data row14 col3&quot;&gt;1,654&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row14_col4&quot; class=&quot;data row14 col4&quot;&gt;0.00%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row14_col5&quot; class=&quot;data row14 col5&quot;&gt;28,364,731&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row14_col6&quot; class=&quot;data row14 col6&quot;&gt;71.74%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row15&quot; class=&quot;row_heading level0 row15&quot;&gt;15&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row15_col0&quot; class=&quot;data row15 col0&quot;&gt;Born in Puerto Rico, Guam, the U.S. Virgin Islands, or the Northern Marianas&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row15_col1&quot; class=&quot;data row15 col1&quot;&gt;0 - 17&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row15_col2&quot; class=&quot;data row15 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row15_col3&quot; class=&quot;data row15 col3&quot;&gt;1,822&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row15_col4&quot; class=&quot;data row15 col4&quot;&gt;0.00%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row15_col5&quot; class=&quot;data row15 col5&quot;&gt;28,366,553&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row15_col6&quot; class=&quot;data row15 col6&quot;&gt;71.75%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row16&quot; class=&quot;row_heading level0 row16&quot;&gt;16&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row16_col0&quot; class=&quot;data row16 col0&quot;&gt;Born in Puerto Rico, Guam, the U.S. Virgin Islands, or the Northern Marianas&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row16_col1&quot; class=&quot;data row16 col1&quot;&gt;18 - 25&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row16_col2&quot; class=&quot;data row16 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row16_col3&quot; class=&quot;data row16 col3&quot;&gt;3,145&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row16_col4&quot; class=&quot;data row16 col4&quot;&gt;0.01%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row16_col5&quot; class=&quot;data row16 col5&quot;&gt;28,369,698&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row16_col6&quot; class=&quot;data row16 col6&quot;&gt;71.76%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row17&quot; class=&quot;row_heading level0 row17&quot;&gt;17&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row17_col0&quot; class=&quot;data row17 col0&quot;&gt;Born in Puerto Rico, Guam, the U.S. Virgin Islands, or the Northern Marianas&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row17_col1&quot; class=&quot;data row17 col1&quot;&gt;18 - 25&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row17_col2&quot; class=&quot;data row17 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row17_col3&quot; class=&quot;data row17 col3&quot;&gt;3,309&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row17_col4&quot; class=&quot;data row17 col4&quot;&gt;0.01%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row17_col5&quot; class=&quot;data row17 col5&quot;&gt;28,373,007&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row17_col6&quot; class=&quot;data row17 col6&quot;&gt;71.76%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row18&quot; class=&quot;row_heading level0 row18&quot;&gt;18&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row18_col0&quot; class=&quot;data row18 col0&quot;&gt;Born in Puerto Rico, Guam, the U.S. Virgin Islands, or the Northern Marianas&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row18_col1&quot; class=&quot;data row18 col1&quot;&gt;26 - 35&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row18_col2&quot; class=&quot;data row18 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row18_col3&quot; class=&quot;data row18 col3&quot;&gt;4,663&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row18_col4&quot; class=&quot;data row18 col4&quot;&gt;0.01%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row18_col5&quot; class=&quot;data row18 col5&quot;&gt;28,377,670&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row18_col6&quot; class=&quot;data row18 col6&quot;&gt;71.78%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row19&quot; class=&quot;row_heading level0 row19&quot;&gt;19&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row19_col0&quot; class=&quot;data row19 col0&quot;&gt;Born in Puerto Rico, Guam, the U.S. Virgin Islands, or the Northern Marianas&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row19_col1&quot; class=&quot;data row19 col1&quot;&gt;26 - 35&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row19_col2&quot; class=&quot;data row19 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row19_col3&quot; class=&quot;data row19 col3&quot;&gt;4,756&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row19_col4&quot; class=&quot;data row19 col4&quot;&gt;0.01%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row19_col5&quot; class=&quot;data row19 col5&quot;&gt;28,382,426&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row19_col6&quot; class=&quot;data row19 col6&quot;&gt;71.79%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row20&quot; class=&quot;row_heading level0 row20&quot;&gt;20&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row20_col0&quot; class=&quot;data row20 col0&quot;&gt;Born in Puerto Rico, Guam, the U.S. Virgin Islands, or the Northern Marianas&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row20_col1&quot; class=&quot;data row20 col1&quot;&gt;36 - 45&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row20_col2&quot; class=&quot;data row20 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row20_col3&quot; class=&quot;data row20 col3&quot;&gt;5,279&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row20_col4&quot; class=&quot;data row20 col4&quot;&gt;0.01%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row20_col5&quot; class=&quot;data row20 col5&quot;&gt;28,387,705&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row20_col6&quot; class=&quot;data row20 col6&quot;&gt;71.80%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row21&quot; class=&quot;row_heading level0 row21&quot;&gt;21&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row21_col0&quot; class=&quot;data row21 col0&quot;&gt;Born in Puerto Rico, Guam, the U.S. Virgin Islands, or the Northern Marianas&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row21_col1&quot; class=&quot;data row21 col1&quot;&gt;36 - 45&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row21_col2&quot; class=&quot;data row21 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row21_col3&quot; class=&quot;data row21 col3&quot;&gt;7,223&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row21_col4&quot; class=&quot;data row21 col4&quot;&gt;0.02%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row21_col5&quot; class=&quot;data row21 col5&quot;&gt;28,394,928&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row21_col6&quot; class=&quot;data row21 col6&quot;&gt;71.82%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row22&quot; class=&quot;row_heading level0 row22&quot;&gt;22&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row22_col0&quot; class=&quot;data row22 col0&quot;&gt;Born in Puerto Rico, Guam, the U.S. Virgin Islands, or the Northern Marianas&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row22_col1&quot; class=&quot;data row22 col1&quot;&gt;46 - 55&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row22_col2&quot; class=&quot;data row22 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row22_col3&quot; class=&quot;data row22 col3&quot;&gt;6,145&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row22_col4&quot; class=&quot;data row22 col4&quot;&gt;0.02%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row22_col5&quot; class=&quot;data row22 col5&quot;&gt;28,401,073&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row22_col6&quot; class=&quot;data row22 col6&quot;&gt;71.83%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row23&quot; class=&quot;row_heading level0 row23&quot;&gt;23&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row23_col0&quot; class=&quot;data row23 col0&quot;&gt;Born in Puerto Rico, Guam, the U.S. Virgin Islands, or the Northern Marianas&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row23_col1&quot; class=&quot;data row23 col1&quot;&gt;46 - 55&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row23_col2&quot; class=&quot;data row23 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row23_col3&quot; class=&quot;data row23 col3&quot;&gt;5,440&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row23_col4&quot; class=&quot;data row23 col4&quot;&gt;0.01%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row23_col5&quot; class=&quot;data row23 col5&quot;&gt;28,406,513&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row23_col6&quot; class=&quot;data row23 col6&quot;&gt;71.85%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row24&quot; class=&quot;row_heading level0 row24&quot;&gt;24&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row24_col0&quot; class=&quot;data row24 col0&quot;&gt;Born in Puerto Rico, Guam, the U.S. Virgin Islands, or the Northern Marianas&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row24_col1&quot; class=&quot;data row24 col1&quot;&gt;56 - 65&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row24_col2&quot; class=&quot;data row24 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row24_col3&quot; class=&quot;data row24 col3&quot;&gt;7,705&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row24_col4&quot; class=&quot;data row24 col4&quot;&gt;0.02%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row24_col5&quot; class=&quot;data row24 col5&quot;&gt;28,414,218&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row24_col6&quot; class=&quot;data row24 col6&quot;&gt;71.87%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row25&quot; class=&quot;row_heading level0 row25&quot;&gt;25&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row25_col0&quot; class=&quot;data row25 col0&quot;&gt;Born in Puerto Rico, Guam, the U.S. Virgin Islands, or the Northern Marianas&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row25_col1&quot; class=&quot;data row25 col1&quot;&gt;56 - 65&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row25_col2&quot; class=&quot;data row25 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row25_col3&quot; class=&quot;data row25 col3&quot;&gt;5,716&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row25_col4&quot; class=&quot;data row25 col4&quot;&gt;0.01%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row25_col5&quot; class=&quot;data row25 col5&quot;&gt;28,419,934&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row25_col6&quot; class=&quot;data row25 col6&quot;&gt;71.88%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row26&quot; class=&quot;row_heading level0 row26&quot;&gt;26&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row26_col0&quot; class=&quot;data row26 col0&quot;&gt;Born in Puerto Rico, Guam, the U.S. Virgin Islands, or the Northern Marianas&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row26_col1&quot; class=&quot;data row26 col1&quot;&gt;65+&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row26_col2&quot; class=&quot;data row26 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row26_col3&quot; class=&quot;data row26 col3&quot;&gt;8,043&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row26_col4&quot; class=&quot;data row26 col4&quot;&gt;0.02%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row26_col5&quot; class=&quot;data row26 col5&quot;&gt;28,427,977&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row26_col6&quot; class=&quot;data row26 col6&quot;&gt;71.90%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row27&quot; class=&quot;row_heading level0 row27&quot;&gt;27&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row27_col0&quot; class=&quot;data row27 col0&quot;&gt;Born in Puerto Rico, Guam, the U.S. Virgin Islands, or the Northern Marianas&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row27_col1&quot; class=&quot;data row27 col1&quot;&gt;65+&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row27_col2&quot; class=&quot;data row27 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row27_col3&quot; class=&quot;data row27 col3&quot;&gt;8,856&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row27_col4&quot; class=&quot;data row27 col4&quot;&gt;0.02%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row27_col5&quot; class=&quot;data row27 col5&quot;&gt;28,436,833&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row27_col6&quot; class=&quot;data row27 col6&quot;&gt;71.93%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row28&quot; class=&quot;row_heading level0 row28&quot;&gt;28&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row28_col0&quot; class=&quot;data row28 col0&quot;&gt;Born abroad of American parent(s)&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row28_col1&quot; class=&quot;data row28 col1&quot;&gt;0 - 17&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row28_col2&quot; class=&quot;data row28 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row28_col3&quot; class=&quot;data row28 col3&quot;&gt;53,850&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row28_col4&quot; class=&quot;data row28 col4&quot;&gt;0.14%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row28_col5&quot; class=&quot;data row28 col5&quot;&gt;28,490,683&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row28_col6&quot; class=&quot;data row28 col6&quot;&gt;72.06%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row29&quot; class=&quot;row_heading level0 row29&quot;&gt;29&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row29_col0&quot; class=&quot;data row29 col0&quot;&gt;Born abroad of American parent(s)&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row29_col1&quot; class=&quot;data row29 col1&quot;&gt;0 - 17&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row29_col2&quot; class=&quot;data row29 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row29_col3&quot; class=&quot;data row29 col3&quot;&gt;60,278&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row29_col4&quot; class=&quot;data row29 col4&quot;&gt;0.15%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row29_col5&quot; class=&quot;data row29 col5&quot;&gt;28,550,961&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row29_col6&quot; class=&quot;data row29 col6&quot;&gt;72.21%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row30&quot; class=&quot;row_heading level0 row30&quot;&gt;30&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row30_col0&quot; class=&quot;data row30 col0&quot;&gt;Born abroad of American parent(s)&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row30_col1&quot; class=&quot;data row30 col1&quot;&gt;18 - 25&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row30_col2&quot; class=&quot;data row30 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row30_col3&quot; class=&quot;data row30 col3&quot;&gt;25,854&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row30_col4&quot; class=&quot;data row30 col4&quot;&gt;0.07%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row30_col5&quot; class=&quot;data row30 col5&quot;&gt;28,576,815&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row30_col6&quot; class=&quot;data row30 col6&quot;&gt;72.28%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row31&quot; class=&quot;row_heading level0 row31&quot;&gt;31&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row31_col0&quot; class=&quot;data row31 col0&quot;&gt;Born abroad of American parent(s)&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row31_col1&quot; class=&quot;data row31 col1&quot;&gt;18 - 25&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row31_col2&quot; class=&quot;data row31 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row31_col3&quot; class=&quot;data row31 col3&quot;&gt;27,952&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row31_col4&quot; class=&quot;data row31 col4&quot;&gt;0.07%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row31_col5&quot; class=&quot;data row31 col5&quot;&gt;28,604,767&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row31_col6&quot; class=&quot;data row31 col6&quot;&gt;72.35%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row32&quot; class=&quot;row_heading level0 row32&quot;&gt;32&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row32_col0&quot; class=&quot;data row32 col0&quot;&gt;Born abroad of American parent(s)&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row32_col1&quot; class=&quot;data row32 col1&quot;&gt;26 - 35&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row32_col2&quot; class=&quot;data row32 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row32_col3&quot; class=&quot;data row32 col3&quot;&gt;36,908&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row32_col4&quot; class=&quot;data row32 col4&quot;&gt;0.09%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row32_col5&quot; class=&quot;data row32 col5&quot;&gt;28,641,675&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row32_col6&quot; class=&quot;data row32 col6&quot;&gt;72.44%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row33&quot; class=&quot;row_heading level0 row33&quot;&gt;33&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row33_col0&quot; class=&quot;data row33 col0&quot;&gt;Born abroad of American parent(s)&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row33_col1&quot; class=&quot;data row33 col1&quot;&gt;26 - 35&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row33_col2&quot; class=&quot;data row33 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row33_col3&quot; class=&quot;data row33 col3&quot;&gt;39,146&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row33_col4&quot; class=&quot;data row33 col4&quot;&gt;0.10%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row33_col5&quot; class=&quot;data row33 col5&quot;&gt;28,680,821&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row33_col6&quot; class=&quot;data row33 col6&quot;&gt;72.54%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row34&quot; class=&quot;row_heading level0 row34&quot;&gt;34&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row34_col0&quot; class=&quot;data row34 col0&quot;&gt;Born abroad of American parent(s)&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row34_col1&quot; class=&quot;data row34 col1&quot;&gt;36 - 45&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row34_col2&quot; class=&quot;data row34 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row34_col3&quot; class=&quot;data row34 col3&quot;&gt;30,688&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row34_col4&quot; class=&quot;data row34 col4&quot;&gt;0.08%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row34_col5&quot; class=&quot;data row34 col5&quot;&gt;28,711,509&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row34_col6&quot; class=&quot;data row34 col6&quot;&gt;72.62%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row35&quot; class=&quot;row_heading level0 row35&quot;&gt;35&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row35_col0&quot; class=&quot;data row35 col0&quot;&gt;Born abroad of American parent(s)&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row35_col1&quot; class=&quot;data row35 col1&quot;&gt;36 - 45&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row35_col2&quot; class=&quot;data row35 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row35_col3&quot; class=&quot;data row35 col3&quot;&gt;35,648&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row35_col4&quot; class=&quot;data row35 col4&quot;&gt;0.09%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row35_col5&quot; class=&quot;data row35 col5&quot;&gt;28,747,157&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row35_col6&quot; class=&quot;data row35 col6&quot;&gt;72.71%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row36&quot; class=&quot;row_heading level0 row36&quot;&gt;36&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row36_col0&quot; class=&quot;data row36 col0&quot;&gt;Born abroad of American parent(s)&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row36_col1&quot; class=&quot;data row36 col1&quot;&gt;46 - 55&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row36_col2&quot; class=&quot;data row36 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row36_col3&quot; class=&quot;data row36 col3&quot;&gt;35,190&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row36_col4&quot; class=&quot;data row36 col4&quot;&gt;0.09%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row36_col5&quot; class=&quot;data row36 col5&quot;&gt;28,782,347&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row36_col6&quot; class=&quot;data row36 col6&quot;&gt;72.80%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row37&quot; class=&quot;row_heading level0 row37&quot;&gt;37&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row37_col0&quot; class=&quot;data row37 col0&quot;&gt;Born abroad of American parent(s)&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row37_col1&quot; class=&quot;data row37 col1&quot;&gt;46 - 55&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row37_col2&quot; class=&quot;data row37 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row37_col3&quot; class=&quot;data row37 col3&quot;&gt;32,041&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row37_col4&quot; class=&quot;data row37 col4&quot;&gt;0.08%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row37_col5&quot; class=&quot;data row37 col5&quot;&gt;28,814,388&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row37_col6&quot; class=&quot;data row37 col6&quot;&gt;72.88%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row38&quot; class=&quot;row_heading level0 row38&quot;&gt;38&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row38_col0&quot; class=&quot;data row38 col0&quot;&gt;Born abroad of American parent(s)&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row38_col1&quot; class=&quot;data row38 col1&quot;&gt;56 - 65&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row38_col2&quot; class=&quot;data row38 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row38_col3&quot; class=&quot;data row38 col3&quot;&gt;29,824&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row38_col4&quot; class=&quot;data row38 col4&quot;&gt;0.08%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row38_col5&quot; class=&quot;data row38 col5&quot;&gt;28,844,212&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row38_col6&quot; class=&quot;data row38 col6&quot;&gt;72.96%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row39&quot; class=&quot;row_heading level0 row39&quot;&gt;39&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row39_col0&quot; class=&quot;data row39 col0&quot;&gt;Born abroad of American parent(s)&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row39_col1&quot; class=&quot;data row39 col1&quot;&gt;56 - 65&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row39_col2&quot; class=&quot;data row39 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row39_col3&quot; class=&quot;data row39 col3&quot;&gt;31,443&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row39_col4&quot; class=&quot;data row39 col4&quot;&gt;0.08%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row39_col5&quot; class=&quot;data row39 col5&quot;&gt;28,875,655&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row39_col6&quot; class=&quot;data row39 col6&quot;&gt;73.04%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row40&quot; class=&quot;row_heading level0 row40&quot;&gt;40&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row40_col0&quot; class=&quot;data row40 col0&quot;&gt;Born abroad of American parent(s)&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row40_col1&quot; class=&quot;data row40 col1&quot;&gt;65+&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row40_col2&quot; class=&quot;data row40 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row40_col3&quot; class=&quot;data row40 col3&quot;&gt;21,979&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row40_col4&quot; class=&quot;data row40 col4&quot;&gt;0.06%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row40_col5&quot; class=&quot;data row40 col5&quot;&gt;28,897,634&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row40_col6&quot; class=&quot;data row40 col6&quot;&gt;73.09%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row41&quot; class=&quot;row_heading level0 row41&quot;&gt;41&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row41_col0&quot; class=&quot;data row41 col0&quot;&gt;Born abroad of American parent(s)&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row41_col1&quot; class=&quot;data row41 col1&quot;&gt;65+&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row41_col2&quot; class=&quot;data row41 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row41_col3&quot; class=&quot;data row41 col3&quot;&gt;18,037&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row41_col4&quot; class=&quot;data row41 col4&quot;&gt;0.05%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row41_col5&quot; class=&quot;data row41 col5&quot;&gt;28,915,671&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row41_col6&quot; class=&quot;data row41 col6&quot;&gt;73.14%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row42&quot; class=&quot;row_heading level0 row42&quot;&gt;42&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row42_col0&quot; class=&quot;data row42 col0&quot;&gt;U.S. citizen by naturalization&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row42_col1&quot; class=&quot;data row42 col1&quot;&gt;0 - 17&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row42_col2&quot; class=&quot;data row42 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row42_col3&quot; class=&quot;data row42 col3&quot;&gt;47,493&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row42_col4&quot; class=&quot;data row42 col4&quot;&gt;0.12%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row42_col5&quot; class=&quot;data row42 col5&quot;&gt;28,963,164&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row42_col6&quot; class=&quot;data row42 col6&quot;&gt;73.26%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row43&quot; class=&quot;row_heading level0 row43&quot;&gt;43&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row43_col0&quot; class=&quot;data row43 col0&quot;&gt;U.S. citizen by naturalization&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row43_col1&quot; class=&quot;data row43 col1&quot;&gt;0 - 17&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row43_col2&quot; class=&quot;data row43 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row43_col3&quot; class=&quot;data row43 col3&quot;&gt;51,748&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row43_col4&quot; class=&quot;data row43 col4&quot;&gt;0.13%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row43_col5&quot; class=&quot;data row43 col5&quot;&gt;29,014,912&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row43_col6&quot; class=&quot;data row43 col6&quot;&gt;73.39%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row44&quot; class=&quot;row_heading level0 row44&quot;&gt;44&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row44_col0&quot; class=&quot;data row44 col0&quot;&gt;U.S. citizen by naturalization&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row44_col1&quot; class=&quot;data row44 col1&quot;&gt;18 - 25&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row44_col2&quot; class=&quot;data row44 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row44_col3&quot; class=&quot;data row44 col3&quot;&gt;94,172&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row44_col4&quot; class=&quot;data row44 col4&quot;&gt;0.24%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row44_col5&quot; class=&quot;data row44 col5&quot;&gt;29,109,084&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row44_col6&quot; class=&quot;data row44 col6&quot;&gt;73.63%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row45&quot; class=&quot;row_heading level0 row45&quot;&gt;45&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row45_col0&quot; class=&quot;data row45 col0&quot;&gt;U.S. citizen by naturalization&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row45_col1&quot; class=&quot;data row45 col1&quot;&gt;18 - 25&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row45_col2&quot; class=&quot;data row45 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row45_col3&quot; class=&quot;data row45 col3&quot;&gt;94,438&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row45_col4&quot; class=&quot;data row45 col4&quot;&gt;0.24%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row45_col5&quot; class=&quot;data row45 col5&quot;&gt;29,203,522&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row45_col6&quot; class=&quot;data row45 col6&quot;&gt;73.86%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row46&quot; class=&quot;row_heading level0 row46&quot;&gt;46&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row46_col0&quot; class=&quot;data row46 col0&quot;&gt;U.S. citizen by naturalization&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row46_col1&quot; class=&quot;data row46 col1&quot;&gt;26 - 35&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row46_col2&quot; class=&quot;data row46 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row46_col3&quot; class=&quot;data row46 col3&quot;&gt;297,486&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row46_col4&quot; class=&quot;data row46 col4&quot;&gt;0.75%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row46_col5&quot; class=&quot;data row46 col5&quot;&gt;29,501,008&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row46_col6&quot; class=&quot;data row46 col6&quot;&gt;74.62%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row47&quot; class=&quot;row_heading level0 row47&quot;&gt;47&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row47_col0&quot; class=&quot;data row47 col0&quot;&gt;U.S. citizen by naturalization&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row47_col1&quot; class=&quot;data row47 col1&quot;&gt;26 - 35&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row47_col2&quot; class=&quot;data row47 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row47_col3&quot; class=&quot;data row47 col3&quot;&gt;264,160&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row47_col4&quot; class=&quot;data row47 col4&quot;&gt;0.67%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row47_col5&quot; class=&quot;data row47 col5&quot;&gt;29,765,168&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row47_col6&quot; class=&quot;data row47 col6&quot;&gt;75.28%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row48&quot; class=&quot;row_heading level0 row48&quot;&gt;48&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row48_col0&quot; class=&quot;data row48 col0&quot;&gt;U.S. citizen by naturalization&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row48_col1&quot; class=&quot;data row48 col1&quot;&gt;36 - 45&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row48_col2&quot; class=&quot;data row48 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row48_col3&quot; class=&quot;data row48 col3&quot;&gt;525,620&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row48_col4&quot; class=&quot;data row48 col4&quot;&gt;1.33%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row48_col5&quot; class=&quot;data row48 col5&quot;&gt;30,290,788&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row48_col6&quot; class=&quot;data row48 col6&quot;&gt;76.61%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row49&quot; class=&quot;row_heading level0 row49&quot;&gt;49&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row49_col0&quot; class=&quot;data row49 col0&quot;&gt;U.S. citizen by naturalization&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row49_col1&quot; class=&quot;data row49 col1&quot;&gt;36 - 45&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row49_col2&quot; class=&quot;data row49 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row49_col3&quot; class=&quot;data row49 col3&quot;&gt;429,011&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row49_col4&quot; class=&quot;data row49 col4&quot;&gt;1.09%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row49_col5&quot; class=&quot;data row49 col5&quot;&gt;30,719,799&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row49_col6&quot; class=&quot;data row49 col6&quot;&gt;77.70%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row50&quot; class=&quot;row_heading level0 row50&quot;&gt;50&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row50_col0&quot; class=&quot;data row50 col0&quot;&gt;U.S. citizen by naturalization&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row50_col1&quot; class=&quot;data row50 col1&quot;&gt;46 - 55&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row50_col2&quot; class=&quot;data row50 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row50_col3&quot; class=&quot;data row50 col3&quot;&gt;653,027&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row50_col4&quot; class=&quot;data row50 col4&quot;&gt;1.65%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row50_col5&quot; class=&quot;data row50 col5&quot;&gt;31,372,826&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row50_col6&quot; class=&quot;data row50 col6&quot;&gt;79.35%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row51&quot; class=&quot;row_heading level0 row51&quot;&gt;51&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row51_col0&quot; class=&quot;data row51 col0&quot;&gt;U.S. citizen by naturalization&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row51_col1&quot; class=&quot;data row51 col1&quot;&gt;46 - 55&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row51_col2&quot; class=&quot;data row51 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row51_col3&quot; class=&quot;data row51 col3&quot;&gt;603,019&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row51_col4&quot; class=&quot;data row51 col4&quot;&gt;1.53%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row51_col5&quot; class=&quot;data row51 col5&quot;&gt;31,975,845&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row51_col6&quot; class=&quot;data row51 col6&quot;&gt;80.88%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row52&quot; class=&quot;row_heading level0 row52&quot;&gt;52&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row52_col0&quot; class=&quot;data row52 col0&quot;&gt;U.S. citizen by naturalization&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row52_col1&quot; class=&quot;data row52 col1&quot;&gt;56 - 65&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row52_col2&quot; class=&quot;data row52 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row52_col3&quot; class=&quot;data row52 col3&quot;&gt;604,946&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row52_col4&quot; class=&quot;data row52 col4&quot;&gt;1.53%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row52_col5&quot; class=&quot;data row52 col5&quot;&gt;32,580,791&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row52_col6&quot; class=&quot;data row52 col6&quot;&gt;82.41%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row53&quot; class=&quot;row_heading level0 row53&quot;&gt;53&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row53_col0&quot; class=&quot;data row53 col0&quot;&gt;U.S. citizen by naturalization&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row53_col1&quot; class=&quot;data row53 col1&quot;&gt;56 - 65&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row53_col2&quot; class=&quot;data row53 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row53_col3&quot; class=&quot;data row53 col3&quot;&gt;530,672&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row53_col4&quot; class=&quot;data row53 col4&quot;&gt;1.34%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row53_col5&quot; class=&quot;data row53 col5&quot;&gt;33,111,463&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row53_col6&quot; class=&quot;data row53 col6&quot;&gt;83.75%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row54&quot; class=&quot;row_heading level0 row54&quot;&gt;54&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row54_col0&quot; class=&quot;data row54 col0&quot;&gt;U.S. citizen by naturalization&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row54_col1&quot; class=&quot;data row54 col1&quot;&gt;65+&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row54_col2&quot; class=&quot;data row54 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row54_col3&quot; class=&quot;data row54 col3&quot;&gt;756,574&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row54_col4&quot; class=&quot;data row54 col4&quot;&gt;1.91%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row54_col5&quot; class=&quot;data row54 col5&quot;&gt;33,868,037&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row54_col6&quot; class=&quot;data row54 col6&quot;&gt;85.66%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row55&quot; class=&quot;row_heading level0 row55&quot;&gt;55&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row55_col0&quot; class=&quot;data row55 col0&quot;&gt;U.S. citizen by naturalization&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row55_col1&quot; class=&quot;data row55 col1&quot;&gt;65+&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row55_col2&quot; class=&quot;data row55 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row55_col3&quot; class=&quot;data row55 col3&quot;&gt;547,137&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row55_col4&quot; class=&quot;data row55 col4&quot;&gt;1.38%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row55_col5&quot; class=&quot;data row55 col5&quot;&gt;34,415,174&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row55_col6&quot; class=&quot;data row55 col6&quot;&gt;87.05%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row56&quot; class=&quot;row_heading level0 row56&quot;&gt;56&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row56_col0&quot; class=&quot;data row56 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row56_col1&quot; class=&quot;data row56 col1&quot;&gt;0 - 17&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row56_col2&quot; class=&quot;data row56 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row56_col3&quot; class=&quot;data row56 col3&quot;&gt;157,885&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row56_col4&quot; class=&quot;data row56 col4&quot;&gt;0.40%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row56_col5&quot; class=&quot;data row56 col5&quot;&gt;34,573,059&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row56_col6&quot; class=&quot;data row56 col6&quot;&gt;87.45%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row57&quot; class=&quot;row_heading level0 row57&quot;&gt;57&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row57_col0&quot; class=&quot;data row57 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row57_col1&quot; class=&quot;data row57 col1&quot;&gt;0 - 17&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row57_col2&quot; class=&quot;data row57 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row57_col3&quot; class=&quot;data row57 col3&quot;&gt;171,176&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row57_col4&quot; class=&quot;data row57 col4&quot;&gt;0.43%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row57_col5&quot; class=&quot;data row57 col5&quot;&gt;34,744,235&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row57_col6&quot; class=&quot;data row57 col6&quot;&gt;87.88%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row58&quot; class=&quot;row_heading level0 row58&quot;&gt;58&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row58_col0&quot; class=&quot;data row58 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row58_col1&quot; class=&quot;data row58 col1&quot;&gt;18 - 25&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row58_col2&quot; class=&quot;data row58 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row58_col3&quot; class=&quot;data row58 col3&quot;&gt;226,125&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row58_col4&quot; class=&quot;data row58 col4&quot;&gt;0.57%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row58_col5&quot; class=&quot;data row58 col5&quot;&gt;34,970,360&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row58_col6&quot; class=&quot;data row58 col6&quot;&gt;88.45%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row59&quot; class=&quot;row_heading level0 row59&quot;&gt;59&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row59_col0&quot; class=&quot;data row59 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row59_col1&quot; class=&quot;data row59 col1&quot;&gt;18 - 25&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row59_col2&quot; class=&quot;data row59 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row59_col3&quot; class=&quot;data row59 col3&quot;&gt;243,711&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row59_col4&quot; class=&quot;data row59 col4&quot;&gt;0.62%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row59_col5&quot; class=&quot;data row59 col5&quot;&gt;35,214,071&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row59_col6&quot; class=&quot;data row59 col6&quot;&gt;89.07%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row60&quot; class=&quot;row_heading level0 row60&quot;&gt;60&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row60_col0&quot; class=&quot;data row60 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row60_col1&quot; class=&quot;data row60 col1&quot;&gt;26 - 35&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row60_col2&quot; class=&quot;data row60 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row60_col3&quot; class=&quot;data row60 col3&quot;&gt;549,858&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row60_col4&quot; class=&quot;data row60 col4&quot;&gt;1.39%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row60_col5&quot; class=&quot;data row60 col5&quot;&gt;35,763,929&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row60_col6&quot; class=&quot;data row60 col6&quot;&gt;90.46%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row61&quot; class=&quot;row_heading level0 row61&quot;&gt;61&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row61_col0&quot; class=&quot;data row61 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row61_col1&quot; class=&quot;data row61 col1&quot;&gt;26 - 35&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row61_col2&quot; class=&quot;data row61 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row61_col3&quot; class=&quot;data row61 col3&quot;&gt;585,123&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row61_col4&quot; class=&quot;data row61 col4&quot;&gt;1.48%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row61_col5&quot; class=&quot;data row61 col5&quot;&gt;36,349,052&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row61_col6&quot; class=&quot;data row61 col6&quot;&gt;91.94%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row62&quot; class=&quot;row_heading level0 row62&quot;&gt;62&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row62_col0&quot; class=&quot;data row62 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row62_col1&quot; class=&quot;data row62 col1&quot;&gt;36 - 45&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row62_col2&quot; class=&quot;data row62 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row62_col3&quot; class=&quot;data row62 col3&quot;&gt;609,386&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row62_col4&quot; class=&quot;data row62 col4&quot;&gt;1.54%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row62_col5&quot; class=&quot;data row62 col5&quot;&gt;36,958,438&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row62_col6&quot; class=&quot;data row62 col6&quot;&gt;93.48%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row63&quot; class=&quot;row_heading level0 row63&quot;&gt;63&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row63_col0&quot; class=&quot;data row63 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row63_col1&quot; class=&quot;data row63 col1&quot;&gt;36 - 45&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row63_col2&quot; class=&quot;data row63 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row63_col3&quot; class=&quot;data row63 col3&quot;&gt;636,381&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row63_col4&quot; class=&quot;data row63 col4&quot;&gt;1.61%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row63_col5&quot; class=&quot;data row63 col5&quot;&gt;37,594,819&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row63_col6&quot; class=&quot;data row63 col6&quot;&gt;95.09%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row64&quot; class=&quot;row_heading level0 row64&quot;&gt;64&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row64_col0&quot; class=&quot;data row64 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row64_col1&quot; class=&quot;data row64 col1&quot;&gt;46 - 55&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row64_col2&quot; class=&quot;data row64 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row64_col3&quot; class=&quot;data row64 col3&quot;&gt;476,933&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row64_col4&quot; class=&quot;data row64 col4&quot;&gt;1.21%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row64_col5&quot; class=&quot;data row64 col5&quot;&gt;38,071,752&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row64_col6&quot; class=&quot;data row64 col6&quot;&gt;96.29%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row65&quot; class=&quot;row_heading level0 row65&quot;&gt;65&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row65_col0&quot; class=&quot;data row65 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row65_col1&quot; class=&quot;data row65 col1&quot;&gt;46 - 55&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row65_col2&quot; class=&quot;data row65 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row65_col3&quot; class=&quot;data row65 col3&quot;&gt;486,775&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row65_col4&quot; class=&quot;data row65 col4&quot;&gt;1.23%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row65_col5&quot; class=&quot;data row65 col5&quot;&gt;38,558,527&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row65_col6&quot; class=&quot;data row65 col6&quot;&gt;97.53%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row66&quot; class=&quot;row_heading level0 row66&quot;&gt;66&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row66_col0&quot; class=&quot;data row66 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row66_col1&quot; class=&quot;data row66 col1&quot;&gt;56 - 65&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row66_col2&quot; class=&quot;data row66 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row66_col3&quot; class=&quot;data row66 col3&quot;&gt;290,869&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row66_col4&quot; class=&quot;data row66 col4&quot;&gt;0.74%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row66_col5&quot; class=&quot;data row66 col5&quot;&gt;38,849,396&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row66_col6&quot; class=&quot;data row66 col6&quot;&gt;98.26%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row67&quot; class=&quot;row_heading level0 row67&quot;&gt;67&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row67_col0&quot; class=&quot;data row67 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row67_col1&quot; class=&quot;data row67 col1&quot;&gt;56 - 65&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row67_col2&quot; class=&quot;data row67 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row67_col3&quot; class=&quot;data row67 col3&quot;&gt;263,811&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row67_col4&quot; class=&quot;data row67 col4&quot;&gt;0.67%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row67_col5&quot; class=&quot;data row67 col5&quot;&gt;39,113,207&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row67_col6&quot; class=&quot;data row67 col6&quot;&gt;98.93%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row68&quot; class=&quot;row_heading level0 row68&quot;&gt;68&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row68_col0&quot; class=&quot;data row68 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row68_col1&quot; class=&quot;data row68 col1&quot;&gt;65+&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row68_col2&quot; class=&quot;data row68 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row68_col3&quot; class=&quot;data row68 col3&quot;&gt;244,246&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row68_col4&quot; class=&quot;data row68 col4&quot;&gt;0.62%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row68_col5&quot; class=&quot;data row68 col5&quot;&gt;39,357,453&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row68_col6&quot; class=&quot;data row68 col6&quot;&gt;99.55%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122level0_row69&quot; class=&quot;row_heading level0 row69&quot;&gt;69&lt;/th&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row69_col0&quot; class=&quot;data row69 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row69_col1&quot; class=&quot;data row69 col1&quot;&gt;65+&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row69_col2&quot; class=&quot;data row69 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row69_col3&quot; class=&quot;data row69 col3&quot;&gt;179,200&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row69_col4&quot; class=&quot;data row69 col4&quot;&gt;0.45%&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row69_col5&quot; class=&quot;data row69 col5&quot;&gt;39,536,653&lt;/td&gt;
                        &lt;td id=&quot;T_cbe4175a_bbb3_11ea_8f75_acde48001122row69_col6&quot; class=&quot;data row69 col6&quot;&gt;100.00%&lt;/td&gt;
            &lt;/tr&gt;
    &lt;/tbody&gt;&lt;/table&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;O si quiero solamente aquellas personas que no nacieron en estados unidos&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mask_noncitizen&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;CIT&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;Not a citizen of the U.S.&amp;#39;&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mask_noncitizen&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stb&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;freq&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;CIT&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;AGE_BIN&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;SEX&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;value&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;PWGTP&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;style&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;kc&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;sort_cols&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;kc&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;


&lt;div class=&quot;output_html rendered_html output_subarea output_execute_result&quot;&gt;
&lt;style type=&quot;text/css&quot;&gt;
&lt;/style&gt;&lt;table id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122&quot;&gt;&lt;thead&gt;    &lt;tr&gt;        &lt;th class=&quot;blank level0&quot;&gt;&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col0&quot;&gt;CIT&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col1&quot;&gt;AGE_BIN&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col2&quot;&gt;SEX&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col3&quot;&gt;PWGTP&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col4&quot;&gt;Percent&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col5&quot;&gt;Cumulative PWGTP&lt;/th&gt;        &lt;th class=&quot;col_heading level0 col6&quot;&gt;Cumulative Percent&lt;/th&gt;    &lt;/tr&gt;&lt;/thead&gt;&lt;tbody&gt;
                &lt;tr&gt;
                        &lt;th id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122level0_row0&quot; class=&quot;row_heading level0 row0&quot;&gt;56&lt;/th&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row0_col0&quot; class=&quot;data row0 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row0_col1&quot; class=&quot;data row0 col1&quot;&gt;0 - 17&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row0_col2&quot; class=&quot;data row0 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row0_col3&quot; class=&quot;data row0 col3&quot;&gt;157,885&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row0_col4&quot; class=&quot;data row0 col4&quot;&gt;3.08%&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row0_col5&quot; class=&quot;data row0 col5&quot;&gt;157,885&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row0_col6&quot; class=&quot;data row0 col6&quot;&gt;3.08%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122level0_row1&quot; class=&quot;row_heading level0 row1&quot;&gt;57&lt;/th&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row1_col0&quot; class=&quot;data row1 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row1_col1&quot; class=&quot;data row1 col1&quot;&gt;0 - 17&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row1_col2&quot; class=&quot;data row1 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row1_col3&quot; class=&quot;data row1 col3&quot;&gt;171,176&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row1_col4&quot; class=&quot;data row1 col4&quot;&gt;3.34%&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row1_col5&quot; class=&quot;data row1 col5&quot;&gt;329,061&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row1_col6&quot; class=&quot;data row1 col6&quot;&gt;6.43%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122level0_row2&quot; class=&quot;row_heading level0 row2&quot;&gt;58&lt;/th&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row2_col0&quot; class=&quot;data row2 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row2_col1&quot; class=&quot;data row2 col1&quot;&gt;18 - 25&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row2_col2&quot; class=&quot;data row2 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row2_col3&quot; class=&quot;data row2 col3&quot;&gt;226,125&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row2_col4&quot; class=&quot;data row2 col4&quot;&gt;4.42%&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row2_col5&quot; class=&quot;data row2 col5&quot;&gt;555,186&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row2_col6&quot; class=&quot;data row2 col6&quot;&gt;10.84%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122level0_row3&quot; class=&quot;row_heading level0 row3&quot;&gt;59&lt;/th&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row3_col0&quot; class=&quot;data row3 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row3_col1&quot; class=&quot;data row3 col1&quot;&gt;18 - 25&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row3_col2&quot; class=&quot;data row3 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row3_col3&quot; class=&quot;data row3 col3&quot;&gt;243,711&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row3_col4&quot; class=&quot;data row3 col4&quot;&gt;4.76%&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row3_col5&quot; class=&quot;data row3 col5&quot;&gt;798,897&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row3_col6&quot; class=&quot;data row3 col6&quot;&gt;15.60%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122level0_row4&quot; class=&quot;row_heading level0 row4&quot;&gt;60&lt;/th&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row4_col0&quot; class=&quot;data row4 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row4_col1&quot; class=&quot;data row4 col1&quot;&gt;26 - 35&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row4_col2&quot; class=&quot;data row4 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row4_col3&quot; class=&quot;data row4 col3&quot;&gt;549,858&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row4_col4&quot; class=&quot;data row4 col4&quot;&gt;10.74%&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row4_col5&quot; class=&quot;data row4 col5&quot;&gt;1,348,755&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row4_col6&quot; class=&quot;data row4 col6&quot;&gt;26.34%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122level0_row5&quot; class=&quot;row_heading level0 row5&quot;&gt;61&lt;/th&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row5_col0&quot; class=&quot;data row5 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row5_col1&quot; class=&quot;data row5 col1&quot;&gt;26 - 35&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row5_col2&quot; class=&quot;data row5 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row5_col3&quot; class=&quot;data row5 col3&quot;&gt;585,123&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row5_col4&quot; class=&quot;data row5 col4&quot;&gt;11.42%&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row5_col5&quot; class=&quot;data row5 col5&quot;&gt;1,933,878&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row5_col6&quot; class=&quot;data row5 col6&quot;&gt;37.76%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122level0_row6&quot; class=&quot;row_heading level0 row6&quot;&gt;62&lt;/th&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row6_col0&quot; class=&quot;data row6 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row6_col1&quot; class=&quot;data row6 col1&quot;&gt;36 - 45&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row6_col2&quot; class=&quot;data row6 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row6_col3&quot; class=&quot;data row6 col3&quot;&gt;609,386&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row6_col4&quot; class=&quot;data row6 col4&quot;&gt;11.90%&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row6_col5&quot; class=&quot;data row6 col5&quot;&gt;2,543,264&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row6_col6&quot; class=&quot;data row6 col6&quot;&gt;49.66%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122level0_row7&quot; class=&quot;row_heading level0 row7&quot;&gt;63&lt;/th&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row7_col0&quot; class=&quot;data row7 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row7_col1&quot; class=&quot;data row7 col1&quot;&gt;36 - 45&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row7_col2&quot; class=&quot;data row7 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row7_col3&quot; class=&quot;data row7 col3&quot;&gt;636,381&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row7_col4&quot; class=&quot;data row7 col4&quot;&gt;12.43%&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row7_col5&quot; class=&quot;data row7 col5&quot;&gt;3,179,645&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row7_col6&quot; class=&quot;data row7 col6&quot;&gt;62.08%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122level0_row8&quot; class=&quot;row_heading level0 row8&quot;&gt;64&lt;/th&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row8_col0&quot; class=&quot;data row8 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row8_col1&quot; class=&quot;data row8 col1&quot;&gt;46 - 55&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row8_col2&quot; class=&quot;data row8 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row8_col3&quot; class=&quot;data row8 col3&quot;&gt;476,933&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row8_col4&quot; class=&quot;data row8 col4&quot;&gt;9.31%&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row8_col5&quot; class=&quot;data row8 col5&quot;&gt;3,656,578&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row8_col6&quot; class=&quot;data row8 col6&quot;&gt;71.40%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122level0_row9&quot; class=&quot;row_heading level0 row9&quot;&gt;65&lt;/th&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row9_col0&quot; class=&quot;data row9 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row9_col1&quot; class=&quot;data row9 col1&quot;&gt;46 - 55&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row9_col2&quot; class=&quot;data row9 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row9_col3&quot; class=&quot;data row9 col3&quot;&gt;486,775&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row9_col4&quot; class=&quot;data row9 col4&quot;&gt;9.50%&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row9_col5&quot; class=&quot;data row9 col5&quot;&gt;4,143,353&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row9_col6&quot; class=&quot;data row9 col6&quot;&gt;80.90%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122level0_row10&quot; class=&quot;row_heading level0 row10&quot;&gt;66&lt;/th&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row10_col0&quot; class=&quot;data row10 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row10_col1&quot; class=&quot;data row10 col1&quot;&gt;56 - 65&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row10_col2&quot; class=&quot;data row10 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row10_col3&quot; class=&quot;data row10 col3&quot;&gt;290,869&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row10_col4&quot; class=&quot;data row10 col4&quot;&gt;5.68%&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row10_col5&quot; class=&quot;data row10 col5&quot;&gt;4,434,222&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row10_col6&quot; class=&quot;data row10 col6&quot;&gt;86.58%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122level0_row11&quot; class=&quot;row_heading level0 row11&quot;&gt;67&lt;/th&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row11_col0&quot; class=&quot;data row11 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row11_col1&quot; class=&quot;data row11 col1&quot;&gt;56 - 65&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row11_col2&quot; class=&quot;data row11 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row11_col3&quot; class=&quot;data row11 col3&quot;&gt;263,811&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row11_col4&quot; class=&quot;data row11 col4&quot;&gt;5.15%&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row11_col5&quot; class=&quot;data row11 col5&quot;&gt;4,698,033&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row11_col6&quot; class=&quot;data row11 col6&quot;&gt;91.73%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122level0_row12&quot; class=&quot;row_heading level0 row12&quot;&gt;68&lt;/th&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row12_col0&quot; class=&quot;data row12 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row12_col1&quot; class=&quot;data row12 col1&quot;&gt;65+&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row12_col2&quot; class=&quot;data row12 col2&quot;&gt;Female&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row12_col3&quot; class=&quot;data row12 col3&quot;&gt;244,246&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row12_col4&quot; class=&quot;data row12 col4&quot;&gt;4.77%&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row12_col5&quot; class=&quot;data row12 col5&quot;&gt;4,942,279&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row12_col6&quot; class=&quot;data row12 col6&quot;&gt;96.50%&lt;/td&gt;
            &lt;/tr&gt;
            &lt;tr&gt;
                        &lt;th id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122level0_row13&quot; class=&quot;row_heading level0 row13&quot;&gt;69&lt;/th&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row13_col0&quot; class=&quot;data row13 col0&quot;&gt;Not a citizen of the U.S.&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row13_col1&quot; class=&quot;data row13 col1&quot;&gt;65+&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row13_col2&quot; class=&quot;data row13 col2&quot;&gt;Male&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row13_col3&quot; class=&quot;data row13 col3&quot;&gt;179,200&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row13_col4&quot; class=&quot;data row13 col4&quot;&gt;3.50%&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row13_col5&quot; class=&quot;data row13 col5&quot;&gt;5,121,479&lt;/td&gt;
                        &lt;td id=&quot;T_82916b04_bbb6_11ea_8f75_acde48001122row13_col6&quot; class=&quot;data row13 col6&quot;&gt;100.00%&lt;/td&gt;
            &lt;/tr&gt;
    &lt;/tbody&gt;&lt;/table&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;¡Una visualización rapidín!&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
    
    
&lt;div class=&quot;cell border-box-sizing code_cell rendered&quot;&gt;
&lt;div class=&quot;input&quot;&gt;

&lt;div class=&quot;inner_cell&quot;&gt;
    &lt;div class=&quot;input_area&quot;&gt;
&lt;div class=&quot; highlight hl-ipython3&quot;&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;altair&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;alt&lt;/span&gt;

&lt;span class=&quot;c1&quot;&gt;# nota que le no estoy usando style = True&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;vis_data&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mask_noncitizen&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stb&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;freq&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;([&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;CIT&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;AGE_BIN&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;SEX&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;value&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s1&quot;&gt;&amp;#39;PWGTP&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;sort_cols&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;kc&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;alt&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Chart&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;vis_data&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mark_bar&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;encode&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;PWGTP:Q&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;y&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;SEX:O&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;color&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;SEX:N&amp;#39;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;row&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;&amp;#39;AGE_BIN:O&amp;#39;&lt;/span&gt;
&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;properties&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;title&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s2&quot;&gt;&amp;quot;No. de personas no nacidas en EEUU en California (ACS 2017)&amp;quot;&lt;/span&gt;
&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;

    &lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;

&lt;div class=&quot;output_wrapper&quot;&gt;
&lt;div class=&quot;output&quot;&gt;

&lt;div class=&quot;output_area&quot;&gt;


&lt;div class=&quot;output_html rendered_html output_subarea output_execute_result&quot;&gt;

&lt;div id=&quot;altair-viz-9e88869af90244f3b16f24288950c142&quot;&gt;&lt;/div&gt;
&lt;script type=&quot;text/javascript&quot;&gt;
  (function(spec, embedOpt){
    let outputDiv = document.currentScript.previousElementSibling;
    if (outputDiv.id !== &quot;altair-viz-9e88869af90244f3b16f24288950c142&quot;) {
      outputDiv = document.getElementById(&quot;altair-viz-9e88869af90244f3b16f24288950c142&quot;);
    }
    const paths = {
      &quot;vega&quot;: &quot;https://cdn.jsdelivr.net/npm//vega@5?noext&quot;,
      &quot;vega-lib&quot;: &quot;https://cdn.jsdelivr.net/npm//vega-lib?noext&quot;,
      &quot;vega-lite&quot;: &quot;https://cdn.jsdelivr.net/npm//vega-lite@4.8.1?noext&quot;,
      &quot;vega-embed&quot;: &quot;https://cdn.jsdelivr.net/npm//vega-embed@6?noext&quot;,
    };

    function loadScript(lib) {
      return new Promise(function(resolve, reject) {
        var s = document.createElement('script');
        s.src = paths[lib];
        s.async = true;
        s.onload = () =&gt; resolve(paths[lib]);
        s.onerror = () =&gt; reject(`Error loading script: ${paths[lib]}`);
        document.getElementsByTagName(&quot;head&quot;)[0].appendChild(s);
      });
    }

    function showError(err) {
      outputDiv.innerHTML = `&lt;div class=&quot;error&quot; style=&quot;color:red;&quot;&gt;${err}&lt;/div&gt;`;
      throw err;
    }

    function displayChart(vegaEmbed) {
      vegaEmbed(outputDiv, spec, embedOpt)
        .catch(err =&gt; showError(`Javascript Error: ${err.message}&lt;br&gt;This usually means there's a typo in your chart specification. See the javascript console for the full traceback.`));
    }

    if(typeof define === &quot;function&quot; &amp;&amp; define.amd) {
      requirejs.config({paths});
      require([&quot;vega-embed&quot;], displayChart, err =&gt; showError(`Error loading script: ${err.message}`));
    } else if (typeof vegaEmbed === &quot;function&quot;) {
      displayChart(vegaEmbed);
    } else {
      loadScript(&quot;vega&quot;)
        .then(() =&gt; loadScript(&quot;vega-lite&quot;))
        .then(() =&gt; loadScript(&quot;vega-embed&quot;))
        .catch(showError)
        .then(() =&gt; displayChart(vegaEmbed));
    }
  })({&quot;config&quot;: {&quot;view&quot;: {&quot;continuousWidth&quot;: 400, &quot;continuousHeight&quot;: 300}}, &quot;data&quot;: {&quot;name&quot;: &quot;data-e01cd95eca122ee88343730bfd61ca60&quot;}, &quot;mark&quot;: &quot;bar&quot;, &quot;encoding&quot;: {&quot;color&quot;: {&quot;type&quot;: &quot;nominal&quot;, &quot;field&quot;: &quot;SEX&quot;}, &quot;row&quot;: {&quot;type&quot;: &quot;ordinal&quot;, &quot;field&quot;: &quot;AGE_BIN&quot;}, &quot;x&quot;: {&quot;type&quot;: &quot;quantitative&quot;, &quot;field&quot;: &quot;PWGTP&quot;}, &quot;y&quot;: {&quot;type&quot;: &quot;ordinal&quot;, &quot;field&quot;: &quot;SEX&quot;}}, &quot;title&quot;: &quot;No. de personas no nacidas en EEUU en California (ACS 2017)&quot;, &quot;$schema&quot;: &quot;https://vega.github.io/schema/vega-lite/v4.8.1.json&quot;, &quot;datasets&quot;: {&quot;data-e01cd95eca122ee88343730bfd61ca60&quot;: [{&quot;CIT&quot;: &quot;Not a citizen of the U.S.&quot;, &quot;AGE_BIN&quot;: &quot;0 - 17&quot;, &quot;SEX&quot;: &quot;Female&quot;, &quot;PWGTP&quot;: 157885.0, &quot;Percent&quot;: 0.030828008862283728, &quot;Cumulative PWGTP&quot;: 157885.0, &quot;Cumulative Percent&quot;: 0.030828008862283728}, {&quot;CIT&quot;: &quot;Not a citizen of the U.S.&quot;, &quot;AGE_BIN&quot;: &quot;0 - 17&quot;, &quot;SEX&quot;: &quot;Male&quot;, &quot;PWGTP&quot;: 171176.0, &quot;Percent&quot;: 0.0334231576464533, &quot;Cumulative PWGTP&quot;: 329061.0, &quot;Cumulative Percent&quot;: 0.06425116650873702}, {&quot;CIT&quot;: &quot;Not a citizen of the U.S.&quot;, &quot;AGE_BIN&quot;: &quot;18 - 25&quot;, &quot;SEX&quot;: &quot;Female&quot;, &quot;PWGTP&quot;: 226125.0, &quot;Percent&quot;: 0.04415228491613458, &quot;Cumulative PWGTP&quot;: 555186.0, &quot;Cumulative Percent&quot;: 0.10840345142487161}, {&quot;CIT&quot;: &quot;Not a citizen of the U.S.&quot;, &quot;AGE_BIN&quot;: &quot;18 - 25&quot;, &quot;SEX&quot;: &quot;Male&quot;, &quot;PWGTP&quot;: 243711.0, &quot;Percent&quot;: 0.047586058636577444, &quot;Cumulative PWGTP&quot;: 798897.0, &quot;Cumulative Percent&quot;: 0.15598951006144904}, {&quot;CIT&quot;: &quot;Not a citizen of the U.S.&quot;, &quot;AGE_BIN&quot;: &quot;26 - 35&quot;, &quot;SEX&quot;: &quot;Female&quot;, &quot;PWGTP&quot;: 549858.0, &quot;Percent&quot;: 0.1073631269404795, &quot;Cumulative PWGTP&quot;: 1348755.0, &quot;Cumulative Percent&quot;: 0.26335263700192857}, {&quot;CIT&quot;: &quot;Not a citizen of the U.S.&quot;, &quot;AGE_BIN&quot;: &quot;26 - 35&quot;, &quot;SEX&quot;: &quot;Male&quot;, &quot;PWGTP&quot;: 585123.0, &quot;Percent&quot;: 0.11424883319837882, &quot;Cumulative PWGTP&quot;: 1933878.0, &quot;Cumulative Percent&quot;: 0.3776014702003074}, {&quot;CIT&quot;: &quot;Not a citizen of the U.S.&quot;, &quot;AGE_BIN&quot;: &quot;36 - 45&quot;, &quot;SEX&quot;: &quot;Female&quot;, &quot;PWGTP&quot;: 609386.0, &quot;Percent&quot;: 0.11898633187795947, &quot;Cumulative PWGTP&quot;: 2543264.0, &quot;Cumulative Percent&quot;: 0.49658780207826686}, {&quot;CIT&quot;: &quot;Not a citizen of the U.S.&quot;, &quot;AGE_BIN&quot;: &quot;36 - 45&quot;, &quot;SEX&quot;: &quot;Male&quot;, &quot;PWGTP&quot;: 636381.0, &quot;Percent&quot;: 0.12425727021432675, &quot;Cumulative PWGTP&quot;: 3179645.0, &quot;Cumulative Percent&quot;: 0.6208450722925936}, {&quot;CIT&quot;: &quot;Not a citizen of the U.S.&quot;, &quot;AGE_BIN&quot;: &quot;46 - 55&quot;, &quot;SEX&quot;: &quot;Female&quot;, &quot;PWGTP&quot;: 476933.0, &quot;Percent&quot;: 0.09312407607255639, &quot;Cumulative PWGTP&quot;: 3656578.0, &quot;Cumulative Percent&quot;: 0.71396914836515}, {&quot;CIT&quot;: &quot;Not a citizen of the U.S.&quot;, &quot;AGE_BIN&quot;: &quot;46 - 55&quot;, &quot;SEX&quot;: &quot;Male&quot;, &quot;PWGTP&quot;: 486775.0, &quot;Percent&quot;: 0.09504578657844735, &quot;Cumulative PWGTP&quot;: 4143353.0, &quot;Cumulative Percent&quot;: 0.8090149349435973}, {&quot;CIT&quot;: &quot;Not a citizen of the U.S.&quot;, &quot;AGE_BIN&quot;: &quot;56 - 65&quot;, &quot;SEX&quot;: &quot;Female&quot;, &quot;PWGTP&quot;: 290869.0, &quot;Percent&quot;: 0.05679394565515157, &quot;Cumulative PWGTP&quot;: 4434222.0, &quot;Cumulative Percent&quot;: 0.8658088805987489}, {&quot;CIT&quot;: &quot;Not a citizen of the U.S.&quot;, &quot;AGE_BIN&quot;: &quot;56 - 65&quot;, &quot;SEX&quot;: &quot;Male&quot;, &quot;PWGTP&quot;: 263811.0, &quot;Percent&quot;: 0.05151070618467829, &quot;Cumulative PWGTP&quot;: 4698033.0, &quot;Cumulative Percent&quot;: 0.9173195867834272}, {&quot;CIT&quot;: &quot;Not a citizen of the U.S.&quot;, &quot;AGE_BIN&quot;: &quot;65+&quot;, &quot;SEX&quot;: &quot;Female&quot;, &quot;PWGTP&quot;: 244246.0, &quot;Percent&quot;: 0.04769052064842988, &quot;Cumulative PWGTP&quot;: 4942279.0, &quot;Cumulative Percent&quot;: 0.9650101074318571}, {&quot;CIT&quot;: &quot;Not a citizen of the U.S.&quot;, &quot;AGE_BIN&quot;: &quot;65+&quot;, &quot;SEX&quot;: &quot;Male&quot;, &quot;PWGTP&quot;: 179200.0, &quot;Percent&quot;: 0.034989892568142916, &quot;Cumulative PWGTP&quot;: 5121479.0, &quot;Cumulative Percent&quot;: 1.0}]}}, {&quot;mode&quot;: &quot;vega-lite&quot;});
&lt;/script&gt;
&lt;/div&gt;

&lt;/div&gt;

&lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
    

&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;p&gt;En conclusión, &lt;code&gt;sidetable&lt;/code&gt; es una herramienta sencilla, fácil de usar y muy útil.&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;Créditos:&lt;/strong&gt;
Aprendí de &lt;code&gt;sidetable&lt;/code&gt; en el podcast &lt;em&gt;python bytes&lt;/em&gt; en el &lt;a href=&quot;https://pythonbytes.fm/episodes/show/186/the-treebeard-will-guard-your-notebook&quot;&gt;episodio #186&lt;/a&gt; pero mientras escribía esta nota encontré este blog en twitter que también esta explorando &lt;code&gt;sidetable&lt;/code&gt; pero en inglés: &lt;a href=&quot;https://beta.deepnote.com/article/sidetable-pandas-methods-you-didnt-know-you-needed&quot;&gt;https://beta.deepnote.com/article/sidetable-pandas-methods-you-didnt-know-you-needed&lt;/a&gt; así que gracias a ambos recursos 🤓&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class=&quot;cell border-box-sizing text_cell rendered&quot;&gt;&lt;div class=&quot;inner_cell&quot;&gt;
&lt;div class=&quot;text_cell_render border-box-sizing rendered_html&quot;&gt;
&lt;hr /&gt;
&lt;p&gt;¿Qué te pareció la nota? &lt;a href=&quot;https://twitter.com/share?text=Obvio+que+estuvo+super+el+blog+%40tacosdedatos+%F0%9F%8C%AE&quot;&gt;Mandanos un tuit a @tacosdedatos&lt;/a&gt; o envianos un correo a &lt;a href=&quot;mailto:sugerencias@tacosdedatos.com?subject=Sugerencia&amp;amp;body=Hola-holaaa&quot;&gt;✉️ sugerencias@tacosdedatos.com&lt;/a&gt;. Y recuerda que puedes subscribirte a nuestro boletín semanal aquí debajo.&lt;/p&gt;

&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;</content><author><name>Sergio Sánchez Zavala</name></author><category term="blog" /><category term="pandas" /><category term="python" /><summary type="html"></summary></entry><entry><title type="html">Introducción al análisis exploratorio de datos</title><link href="https://old.tacosdedatos.com/introduccion-eda" rel="alternate" type="text/html" title="Introducción al análisis exploratorio de datos" /><published>2020-05-24T10:00:00+00:00</published><updated>2020-05-24T10:00:00+00:00</updated><id>https://old.tacosdedatos.com/introduccion-eda</id><content type="html" xml:base="https://old.tacosdedatos.com/introduccion-eda">&lt;p&gt;En este post les voy a dar una pequeñísima introducción al análisis exploratorio de datos o EDA por sus siglas en inglés (Exploratory Data Analysis).&lt;/p&gt;

&lt;p&gt;Como lo mencioné en mi &lt;a href=&quot;https://youtu.be/s7A1OxEeT6o&quot;&gt;video de YouTube sobre el tema&lt;/a&gt;, El AED una forma de realizar análisis de datos, es usualmente uno de los primeros pasos que uno debe realizar antes de aventurarse utilizar el scikit learn o tensoflow para hacer machine learning. Usualmente este proceso de análisis involucra muchas ayudas visuales, es decir gráficas, que nos ayudan a encontrar información que de otra forma sería difícil de conocer acerca de nuestros datos; mediante este proceso estamos tratando de encontrar:&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;La estructura y distribución de nuestros datos,&lt;/li&gt;
  &lt;li&gt;Encontrar las relaciones entre las variables explicatorias,&lt;/li&gt;
  &lt;li&gt;Encontrar la relación que tienen las variables explicatorias con la variable respuesta,&lt;/li&gt;
  &lt;li&gt;Encontrar posibles errores, puntos extremos y anomalías en los datos,&lt;/li&gt;
  &lt;li&gt;Refinar nuestras hipótesis, o generar nuevas preguntas sobre los datos que tenemos&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;No existe una técnica formal sobre cómo llevar a cabo este tipo de análisis, sino que más dependen de lo que vayamos encontrando en los datos, así como de la experiencia y conocimiento específico del problema con el que contemos.&lt;/p&gt;

&lt;p&gt;Para este post usaré algunas de las librerías más comunes para el análisis de datos en el ecosistema de Python, todas las puedes instalar desde PyPI:&lt;/p&gt;

&lt;div class=&quot;language-shell highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;pip &lt;span class=&quot;nb&quot;&gt;install &lt;/span&gt;numpy pandas matplotlib seaborn scikit-learn
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Y sobre los datos que vamos a analizar, serán los datos de &lt;a href=&quot;https://www.kaggle.com/uciml/red-wine-quality-cortez-et-al-2009&quot;&gt;Red Wine Quality&lt;/a&gt;. Por cierto, &lt;a href=&quot;https://www.kaggle.com/ioexception/vino-eda&quot;&gt;puedes ver el notebook completo&lt;/a&gt; en Kaggle, si accedes al notebook ahí, no tienes que preocuparte por instalar nada ni descargar nada, todo está listo. Ahora si, comenzamos con nuestros imports de regla:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;numpy&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;np&lt;/span&gt;
&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;pandas&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pd&lt;/span&gt;
&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;seaborn&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;sns&lt;/span&gt;
&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;matplotlib.pyplot&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;
&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;matplotlib.style&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;style&lt;/span&gt;
&lt;span class=&quot;kn&quot;&gt;from&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;contextlib&lt;/span&gt; &lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;contextmanager&lt;/span&gt;
&lt;span class=&quot;kn&quot;&gt;from&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;sklearn.model_selection&lt;/span&gt; &lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;train_test_split&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;style&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;use&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'ggplot'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Ahora sí, leemos nuestros a un &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;DataFrame&lt;/code&gt; datos usando &lt;em&gt;pandas&lt;/em&gt;, una vez leídos mostramos qué tan grande es nuestro &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;DataFrame&lt;/code&gt;, así como una muestra de los datos:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;wine_quality&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;pd&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;read_csv&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;/kaggle/input/red-wine-quality-cortez-et-al-2009/winequality-red.csv&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;k&quot;&gt;print&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Dataset length&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;wine_quality&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;wine_quality&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;head&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;blockquote&gt;
  &lt;p&gt;Dataset length 1599&lt;/p&gt;
&lt;/blockquote&gt;

&lt;table border=&quot;1&quot; class=&quot;dataframe&quot;&gt;
  &lt;thead&gt;
    &lt;tr style=&quot;text-align: right;&quot;&gt;
      &lt;th&gt;&lt;/th&gt;
      &lt;th&gt;fixed acidity&lt;/th&gt;
      &lt;th&gt;volatile acidity&lt;/th&gt;
      &lt;th&gt;citric acid&lt;/th&gt;
      &lt;th&gt;residual sugar&lt;/th&gt;
      &lt;th&gt;chlorides&lt;/th&gt;
      &lt;th&gt;free sulfur dioxide&lt;/th&gt;
      &lt;th&gt;total sulfur dioxide&lt;/th&gt;
      &lt;th&gt;density&lt;/th&gt;
      &lt;th&gt;pH&lt;/th&gt;
      &lt;th&gt;sulphates&lt;/th&gt;
      &lt;th&gt;alcohol&lt;/th&gt;
      &lt;th&gt;quality&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;th&gt;0&lt;/th&gt;
      &lt;td&gt;7.4&lt;/td&gt;
      &lt;td&gt;0.70&lt;/td&gt;
      &lt;td&gt;0.00&lt;/td&gt;
      &lt;td&gt;1.9&lt;/td&gt;
      &lt;td&gt;0.076&lt;/td&gt;
      &lt;td&gt;11.0&lt;/td&gt;
      &lt;td&gt;34.0&lt;/td&gt;
      &lt;td&gt;0.9978&lt;/td&gt;
      &lt;td&gt;3.51&lt;/td&gt;
      &lt;td&gt;0.56&lt;/td&gt;
      &lt;td&gt;9.4&lt;/td&gt;
      &lt;td&gt;5&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;1&lt;/th&gt;
      &lt;td&gt;7.8&lt;/td&gt;
      &lt;td&gt;0.88&lt;/td&gt;
      &lt;td&gt;0.00&lt;/td&gt;
      &lt;td&gt;2.6&lt;/td&gt;
      &lt;td&gt;0.098&lt;/td&gt;
      &lt;td&gt;25.0&lt;/td&gt;
      &lt;td&gt;67.0&lt;/td&gt;
      &lt;td&gt;0.9968&lt;/td&gt;
      &lt;td&gt;3.20&lt;/td&gt;
      &lt;td&gt;0.68&lt;/td&gt;
      &lt;td&gt;9.8&lt;/td&gt;
      &lt;td&gt;5&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;2&lt;/th&gt;
      &lt;td&gt;7.8&lt;/td&gt;
      &lt;td&gt;0.76&lt;/td&gt;
      &lt;td&gt;0.04&lt;/td&gt;
      &lt;td&gt;2.3&lt;/td&gt;
      &lt;td&gt;0.092&lt;/td&gt;
      &lt;td&gt;15.0&lt;/td&gt;
      &lt;td&gt;54.0&lt;/td&gt;
      &lt;td&gt;0.9970&lt;/td&gt;
      &lt;td&gt;3.26&lt;/td&gt;
      &lt;td&gt;0.65&lt;/td&gt;
      &lt;td&gt;9.8&lt;/td&gt;
      &lt;td&gt;5&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;3&lt;/th&gt;
      &lt;td&gt;11.2&lt;/td&gt;
      &lt;td&gt;0.28&lt;/td&gt;
      &lt;td&gt;0.56&lt;/td&gt;
      &lt;td&gt;1.9&lt;/td&gt;
      &lt;td&gt;0.075&lt;/td&gt;
      &lt;td&gt;17.0&lt;/td&gt;
      &lt;td&gt;60.0&lt;/td&gt;
      &lt;td&gt;0.9980&lt;/td&gt;
      &lt;td&gt;3.16&lt;/td&gt;
      &lt;td&gt;0.58&lt;/td&gt;
      &lt;td&gt;9.8&lt;/td&gt;
      &lt;td&gt;6&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;4&lt;/th&gt;
      &lt;td&gt;7.4&lt;/td&gt;
      &lt;td&gt;0.70&lt;/td&gt;
      &lt;td&gt;0.00&lt;/td&gt;
      &lt;td&gt;1.9&lt;/td&gt;
      &lt;td&gt;0.076&lt;/td&gt;
      &lt;td&gt;11.0&lt;/td&gt;
      &lt;td&gt;34.0&lt;/td&gt;
      &lt;td&gt;0.9978&lt;/td&gt;
      &lt;td&gt;3.51&lt;/td&gt;
      &lt;td&gt;0.56&lt;/td&gt;
      &lt;td&gt;9.4&lt;/td&gt;
      &lt;td&gt;5&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;p&gt;De a poco vamos conociendo nuestros datos… ahora la siguiente pregunta &lt;strong&gt;¿Qué variables tenemos?&lt;/strong&gt;.&lt;/p&gt;

&lt;p&gt;Lo primero que hay que hacer es tratar de identificar el tipo de variables que tenemos a la mano, en algunos &lt;em&gt;datasets&lt;/em&gt; esto es posible con tan solo leer los nombres de las columnas (como es el caso de el &lt;em&gt;dataset&lt;/em&gt; con el que estamos trabajando). Sin embargo, hay algunos casos en los que los nombres no son provistos (o están ofuscados) por diversas razones.&lt;/p&gt;

&lt;p&gt;Aprovechando que nuestro &lt;em&gt;dataset&lt;/em&gt; sí tiene nombres, podemos verlos con:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;wine_quality&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;columns&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;blockquote&gt;
  &lt;p&gt;Index([‘fixed acidity’, ‘volatile acidity’, ‘citric acid’, ‘residual sugar’,
  ‘chlorides’, ‘free sulfur dioxide’, ‘total sulfur dioxide’, ‘density’,
  ‘pH’, ‘sulphates’, ‘alcohol’, ‘quality’],
  dtype=’object’)&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;Probablemente si no eres un conocedor de vinos, las variables tengan poco o nada de sentido para ti. &lt;strong&gt;Idealmente nosotros deberíamos tener conocimiento del tema sobre el que vamos a trabajar (o podemos conseguir un experto que nos guíe)&lt;/strong&gt;… pero por ahora pretendamos que sabemos lo que hacemos. Visita este link si quieres &lt;a href=&quot;https://waterhouse.ucdavis.edu/whats-in-wine&quot; target=&quot;_blank&quot;&gt;una ligera introducción a los componentes del vino&lt;/a&gt;.&lt;/p&gt;

&lt;h2 id=&quot;antes-de-continuar-️&quot;&gt;Antes de continuar ⚠️&lt;/h2&gt;

&lt;blockquote&gt;
  &lt;p&gt;Si lo que estás esperando hacer con la información es crear un modelo predictivo, lo primero que hay que hacer es separar los datos en conjuntos de prueba, entrenamiento y, si puedes, validación. El análisis exploratorio de datos se debe conducir únicamente sobre los datos de entrenamiento, ya que realizar el análisis en todo el conjunto de datos nos llevaría a tomar decisiones teniendo en cuenta datos a los que, en teoría, tu modelo no tendría acceso en producción. Es decir, este es un problema de filtración de datos.&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;Teniendo esto en mente, vamos a separar nuestros datos con:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;wine_train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;wine_test&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;train_test_split&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;wine_quality&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;completitud-en-los-datos&quot;&gt;Completitud en los datos&lt;/h2&gt;
&lt;p&gt;Antes de comenzar cualquier análisis, es bueno revisar los datos para buscar información faltante; y en caso de que la haya, es nuestra tarea decidir qué es lo que podemos hacer con esos registros faltantes. Con los dataframes de &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;pandas&lt;/code&gt; podemos usar &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;info&lt;/code&gt; para encontrar los datos faltantes: También podríamos haber usado &lt;a href=&quot;https://github.com/ResidentMario/missingno&quot;&gt;missingno&lt;/a&gt; para tener una representación visual de esta información.&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;wine_train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;info&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;wine_test&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;info&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Y así es cómo se ve a la salida:&lt;/p&gt;

&lt;div class=&quot;language-text highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&amp;lt;class 'pandas.core.frame.DataFrame'&amp;gt;
Int64Index: 1199 entries, 1060 to 418
Data columns (total 12 columns):
fixed acidity           1199 non-null float64
volatile acidity        1199 non-null float64
citric acid             1199 non-null float64
residual sugar          1199 non-null float64
chlorides               1199 non-null float64
free sulfur dioxide     1199 non-null float64
total sulfur dioxide    1199 non-null float64
density                 1199 non-null float64
pH                      1199 non-null float64
sulphates               1199 non-null float64
alcohol                 1199 non-null float64
quality                 1199 non-null int64
dtypes: float64(11), int64(1)
memory usage: 121.8 KB
&amp;lt;class 'pandas.core.frame.DataFrame'&amp;gt;
Int64Index: 400 entries, 1186 to 1163
Data columns (total 12 columns):
fixed acidity           400 non-null float64
volatile acidity        400 non-null float64
citric acid             400 non-null float64
residual sugar          400 non-null float64
chlorides               400 non-null float64
free sulfur dioxide     400 non-null float64
total sulfur dioxide    400 non-null float64
density                 400 non-null float64
pH                      400 non-null float64
sulphates               400 non-null float64
alcohol                 400 non-null float64
quality                 400 non-null int64
dtypes: float64(11), int64(1)
memory usage: 40.6 KB
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Y pues no, no hay datos faltantes… sin embargo si faltaran, debes saber que existe toda una metodología para decidir cómo actuar ante datos faltantes en nuestro &lt;em&gt;dataset&lt;/em&gt;. Pero de eso podemos hablar en otro momento.&lt;/p&gt;

&lt;h2 id=&quot;estadísticas-descriptivas&quot;&gt;Estadísticas descriptivas&lt;/h2&gt;

&lt;p&gt;El segundo paso a dar, es ver las estadísticas descriptivas de nuestra información, esto nos ayudará a darnos una idea de los posibles valores de nuestro dataset. El paquete &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;pandas&lt;/code&gt; ofrece el método &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;describe&lt;/code&gt; para obtener una vista detallada y completa de algunas de las estadísticas más comunes:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;wine_train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;describe&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;table border=&quot;1&quot; class=&quot;dataframe&quot;&gt;
  &lt;thead&gt;
    &lt;tr style=&quot;text-align: right;&quot;&gt;
      &lt;th&gt;&lt;/th&gt;
      &lt;th&gt;fixed acidity&lt;/th&gt;
      &lt;th&gt;volatile acidity&lt;/th&gt;
      &lt;th&gt;citric acid&lt;/th&gt;
      &lt;th&gt;residual sugar&lt;/th&gt;
      &lt;th&gt;chlorides&lt;/th&gt;
      &lt;th&gt;free sulfur dioxide&lt;/th&gt;
      &lt;th&gt;total sulfur dioxide&lt;/th&gt;
      &lt;th&gt;density&lt;/th&gt;
      &lt;th&gt;pH&lt;/th&gt;
      &lt;th&gt;sulphates&lt;/th&gt;
      &lt;th&gt;alcohol&lt;/th&gt;
      &lt;th&gt;quality&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;th&gt;count&lt;/th&gt;
      &lt;td&gt;1199.000000&lt;/td&gt;
      &lt;td&gt;1199.000000&lt;/td&gt;
      &lt;td&gt;1199.000000&lt;/td&gt;
      &lt;td&gt;1199.000000&lt;/td&gt;
      &lt;td&gt;1199.000000&lt;/td&gt;
      &lt;td&gt;1199.000000&lt;/td&gt;
      &lt;td&gt;1199.000000&lt;/td&gt;
      &lt;td&gt;1199.000000&lt;/td&gt;
      &lt;td&gt;1199.000000&lt;/td&gt;
      &lt;td&gt;1199.000000&lt;/td&gt;
      &lt;td&gt;1199.000000&lt;/td&gt;
      &lt;td&gt;1199.000000&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;mean&lt;/th&gt;
      &lt;td&gt;8.309174&lt;/td&gt;
      &lt;td&gt;0.525847&lt;/td&gt;
      &lt;td&gt;0.269867&lt;/td&gt;
      &lt;td&gt;2.574604&lt;/td&gt;
      &lt;td&gt;0.088136&lt;/td&gt;
      &lt;td&gt;15.820267&lt;/td&gt;
      &lt;td&gt;46.194329&lt;/td&gt;
      &lt;td&gt;0.996755&lt;/td&gt;
      &lt;td&gt;3.312035&lt;/td&gt;
      &lt;td&gt;0.664120&lt;/td&gt;
      &lt;td&gt;10.436614&lt;/td&gt;
      &lt;td&gt;5.637198&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;std&lt;/th&gt;
      &lt;td&gt;1.758086&lt;/td&gt;
      &lt;td&gt;0.177889&lt;/td&gt;
      &lt;td&gt;0.194103&lt;/td&gt;
      &lt;td&gt;1.448308&lt;/td&gt;
      &lt;td&gt;0.049179&lt;/td&gt;
      &lt;td&gt;10.559120&lt;/td&gt;
      &lt;td&gt;32.648521&lt;/td&gt;
      &lt;td&gt;0.001879&lt;/td&gt;
      &lt;td&gt;0.156249&lt;/td&gt;
      &lt;td&gt;0.177114&lt;/td&gt;
      &lt;td&gt;1.075123&lt;/td&gt;
      &lt;td&gt;0.802324&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;min&lt;/th&gt;
      &lt;td&gt;4.600000&lt;/td&gt;
      &lt;td&gt;0.120000&lt;/td&gt;
      &lt;td&gt;0.000000&lt;/td&gt;
      &lt;td&gt;0.900000&lt;/td&gt;
      &lt;td&gt;0.012000&lt;/td&gt;
      &lt;td&gt;1.000000&lt;/td&gt;
      &lt;td&gt;6.000000&lt;/td&gt;
      &lt;td&gt;0.990070&lt;/td&gt;
      &lt;td&gt;2.740000&lt;/td&gt;
      &lt;td&gt;0.330000&lt;/td&gt;
      &lt;td&gt;8.400000&lt;/td&gt;
      &lt;td&gt;3.000000&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;25%&lt;/th&gt;
      &lt;td&gt;7.100000&lt;/td&gt;
      &lt;td&gt;0.390000&lt;/td&gt;
      &lt;td&gt;0.090000&lt;/td&gt;
      &lt;td&gt;1.900000&lt;/td&gt;
      &lt;td&gt;0.070000&lt;/td&gt;
      &lt;td&gt;7.000000&lt;/td&gt;
      &lt;td&gt;22.000000&lt;/td&gt;
      &lt;td&gt;0.995600&lt;/td&gt;
      &lt;td&gt;3.210000&lt;/td&gt;
      &lt;td&gt;0.560000&lt;/td&gt;
      &lt;td&gt;9.500000&lt;/td&gt;
      &lt;td&gt;5.000000&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;50%&lt;/th&gt;
      &lt;td&gt;7.900000&lt;/td&gt;
      &lt;td&gt;0.520000&lt;/td&gt;
      &lt;td&gt;0.260000&lt;/td&gt;
      &lt;td&gt;2.200000&lt;/td&gt;
      &lt;td&gt;0.079000&lt;/td&gt;
      &lt;td&gt;13.000000&lt;/td&gt;
      &lt;td&gt;37.000000&lt;/td&gt;
      &lt;td&gt;0.996800&lt;/td&gt;
      &lt;td&gt;3.310000&lt;/td&gt;
      &lt;td&gt;0.620000&lt;/td&gt;
      &lt;td&gt;10.200000&lt;/td&gt;
      &lt;td&gt;6.000000&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;75%&lt;/th&gt;
      &lt;td&gt;9.200000&lt;/td&gt;
      &lt;td&gt;0.637500&lt;/td&gt;
      &lt;td&gt;0.420000&lt;/td&gt;
      &lt;td&gt;2.600000&lt;/td&gt;
      &lt;td&gt;0.091000&lt;/td&gt;
      &lt;td&gt;22.000000&lt;/td&gt;
      &lt;td&gt;61.500000&lt;/td&gt;
      &lt;td&gt;0.997820&lt;/td&gt;
      &lt;td&gt;3.400000&lt;/td&gt;
      &lt;td&gt;0.735000&lt;/td&gt;
      &lt;td&gt;11.100000&lt;/td&gt;
      &lt;td&gt;6.000000&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;max&lt;/th&gt;
      &lt;td&gt;15.900000&lt;/td&gt;
      &lt;td&gt;1.330000&lt;/td&gt;
      &lt;td&gt;1.000000&lt;/td&gt;
      &lt;td&gt;15.500000&lt;/td&gt;
      &lt;td&gt;0.611000&lt;/td&gt;
      &lt;td&gt;72.000000&lt;/td&gt;
      &lt;td&gt;278.000000&lt;/td&gt;
      &lt;td&gt;1.003690&lt;/td&gt;
      &lt;td&gt;4.010000&lt;/td&gt;
      &lt;td&gt;2.000000&lt;/td&gt;
      &lt;td&gt;14.900000&lt;/td&gt;
      &lt;td&gt;8.000000&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;p&gt;De este resumen estadístico, una de las primeras cosas que podrían resultar extrañas es que la variable &lt;strong&gt;quality&lt;/strong&gt; únicamente toma valores entre $3$ y $8$ (a pesar de que en la descripción original dice que los valores van de $0$ a $10$. Lo cual representa un problema puesto que nuestro modelo predictivo no tendrá ejemplos de vinos con una calidad de $0$ o de $10$, por ejemplo. Pero por el momento, no nos vamos a preocupar mucho por eso.&lt;/p&gt;

&lt;p&gt;También tengo que decir que algun conocedor del tema podría tener opiniones acerca de los rangos de valores que cubren ciertas variables… pero nosotros vamos a pasar al análisis gráfico.&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;o&quot;&gt;@&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;contextmanager&lt;/span&gt;
&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;plot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;title&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;None&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;xlabel&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;None&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ylabel&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;None&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;figsize&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;9&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;5&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)):&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;fig&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;figure&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;figsize&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;figsize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;fig&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;gca&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;yield&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;title&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_title&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;title&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_xlabel&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;xlabel&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;size&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;15&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_ylabel&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ylabel&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;size&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;15&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h3 id=&quot;histogramas&quot;&gt;Histogramas&lt;/h3&gt;
&lt;p&gt;Primero podemos echarle un ojo a la distribución de la variable &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;quality&lt;/code&gt;, que como ya sabemos que es una variable discreta y que los valores van, en teoría de 0 a 10, podemos simplemente usar &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;countplot&lt;/code&gt; del módulo &lt;em&gt;seaborn&lt;/em&gt;:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;k&quot;&gt;with&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;plot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;title&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Counts of `qualuty`&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;xlabel&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Quality&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ylabel&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Count&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;sns&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;countplot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;quality&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;palette&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Accent&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;wine_train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;&lt;img src=&quot;https://i.imgur.com/FFFtlJm.png&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Como puedes ver, nuestro conjunto de datos está desbalanceado, con muchos mas $5$ y $6$ que cualquier otro valor.&lt;/p&gt;

&lt;p&gt;Ahora lo que podemos hacer es revisar algunas otras distribuciones, ahora sí, usando histogramas:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;k&quot;&gt;with&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;plot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;title&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Fixed Acidity distribution&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;xlabel&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Acidity&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;sns&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;distplot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;wine_train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;volatile acidity&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;&lt;img src=&quot;https://i.imgur.com/QnXb6u0.png&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Podemos usar un poco de código para visualizar más de una variable a la vez:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;variables&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'fixed acidity'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;'volatile acidity'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;'citric acid'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;'residual sugar'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
       &lt;span class=&quot;s&quot;&gt;'chlorides'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;'free sulfur dioxide'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;'total sulfur dioxide'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;'density'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
       &lt;span class=&quot;s&quot;&gt;'pH'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;'sulphates'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;'alcohol'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;'quality'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;columns&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;4&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;fig&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;axes&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;subplots&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;variables&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;//&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;columns&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;columns&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;figsize&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;15&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;8&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;

&lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;current_idx&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;variable&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;enumerate&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;variables&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;i&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;current_idx&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;//&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;columns&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;j&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;current_idx&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;%&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;columns&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;sns&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;distplot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;wine_train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;variable&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;axes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;][&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;j&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;])&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;axes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;][&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;j&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_title&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;variable&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;axes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;i&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;][&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;j&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;].&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;set_xlabel&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    
&lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tight_layout&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;&lt;img src=&quot;https://i.imgur.com/ZoAJMQa.png&quot; /&gt;&lt;/p&gt;

&lt;p&gt;De esta gráfica podemos ver que muchas de las variables tienen una distribución asimétrica (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;fixed acidity&lt;/code&gt;, &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;residual sugar&lt;/code&gt;, &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;chlorides&lt;/code&gt;, por ejemplo), además de que al parecer algunos valores tienen valores extremos (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;residual sugar&lt;/code&gt;, &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;sulphates&lt;/code&gt;, &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;total sulfur dioxide&lt;/code&gt;). Tal vez merezcan más exploración…&lt;/p&gt;

&lt;h3 id=&quot;boxplots&quot;&gt;Boxplots&lt;/h3&gt;
&lt;p&gt;Como mencioné anteriormente, existen algunas variables que merecen un poco más de exploración ya que parecen tener valores extremos, las &lt;em&gt;boxplots&lt;/em&gt; nos permiten encontrar precisamente estos valores extremos. Es fácil graficar &lt;em&gt;boxplots&lt;/em&gt; con &lt;em&gt;seaborn&lt;/em&gt;.&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;variables&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'fixed acidity'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;'residual sugar'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
       &lt;span class=&quot;s&quot;&gt;'chlorides'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;'free sulfur dioxide'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; 
             &lt;span class=&quot;s&quot;&gt;'total sulfur dioxide'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'sulphates'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;'alcohol'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;

&lt;span class=&quot;n&quot;&gt;fig&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;axes&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;subplots&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;variables&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;figsize&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;15&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;6&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;

&lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;variable&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;zip&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;axes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;variables&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;sns&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;boxplot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;y&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;variable&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;wine_train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;plt&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tight_layout&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;&lt;img src=&quot;https://i.imgur.com/zAGmjNX.png&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Como ya sabemos, los puntos fuera de las líneas horizontales son los famosos &lt;em&gt;outliers&lt;/em&gt; o “valores atípicos”, dependiendo de la aplicación podemos reaccionar de diversas maneras frente a ellos… a veces los &lt;em&gt;outliers&lt;/em&gt; se eliminan, a veces se transforman, o a veces se dejan porque tienen alto valor predictivo.&lt;/p&gt;

&lt;h3 id=&quot;scatterplots&quot;&gt;Scatterplots&lt;/h3&gt;
&lt;p&gt;El siguiente paso es tratar de identificar relaciones entre variables, podríamos por ejemplo usar un &lt;em&gt;scatterplot&lt;/em&gt; para ver qué tipo de relación existe entre la cantidad de alcohol y la calidad de un vino:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;k&quot;&gt;with&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;plot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;title&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Alcohol - Quality scatterplot&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;xlabel&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Alcohol&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ylabel&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Quality&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;sns&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;scatterplot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;alcohol&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;y&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;quality&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;wine_train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; 
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;&lt;img src=&quot;https://i.imgur.com/GRULpvb.png&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Tal vez esta gráfica no sea tan reveladora, ya que nuestra variable &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;quality&lt;/code&gt; es más bien del tipo categórico y es difícil identificar una tendencia. Otra cosa a notar es que las correlaciones también se pueden y, en la mayoría de los casos, se deben identificar entre las variables independientes también, no solo entre una de ellas y la variable dependiente. Por ejemplo, entre &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;free sulfur dioxide&lt;/code&gt; y &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;total sulfur dioxide&lt;/code&gt;:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;k&quot;&gt;with&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;plot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;title&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Free Sulfur Dioxide - Total Sulfur Dioxide scatterplot&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;xlabel&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Free Sulfur Dioxide&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ylabel&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Total Sulfur Dioxide&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;sns&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;scatterplot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;free sulfur dioxide&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;y&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;total sulfur dioxide&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;wine_train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; 
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;&lt;img src=&quot;https://i.imgur.com/HfdtXwC.png&quot; /&gt;&lt;/p&gt;

&lt;p&gt;En esta gráfica si se puede observar una clara relación entre las variables, ¿cierto?&lt;/p&gt;

&lt;p&gt;Si quieres ver solamente el grado de correlación (sin necesidad de tratar de encontrarlo tu mismo desde una &lt;em&gt;scatterplot&lt;/em&gt;) también podemos hacer uso de las matrices de correlación.&lt;/p&gt;

&lt;h3 id=&quot;matrices-de-correlación&quot;&gt;Matrices de correlación&lt;/h3&gt;
&lt;p&gt;Una matriz de correlación no es más que una matriz de números (cada número va de -1 a 1) que nos indican qué tan relacionadas están una variable con otra. Existen &lt;a href=&quot;https://datascience.stackexchange.com/a/64261&quot;&gt;3 métodos&lt;/a&gt; para calcular esta correlación. Para calcularla en nuestro dataframe de vinos, podemos simplemente usar el método &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;corr&lt;/code&gt; de un &lt;em&gt;dataframe&lt;/em&gt;:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;correlation&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;wine_train&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;corr&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;method&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;pearson&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;n&quot;&gt;correlation&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;head&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;table border=&quot;1&quot; class=&quot;dataframe&quot;&gt;
  &lt;thead&gt;
    &lt;tr style=&quot;text-align: right;&quot;&gt;
      &lt;th&gt;&lt;/th&gt;
      &lt;th&gt;fixed acidity&lt;/th&gt;
      &lt;th&gt;volatile acidity&lt;/th&gt;
      &lt;th&gt;citric acid&lt;/th&gt;
      &lt;th&gt;residual sugar&lt;/th&gt;
      &lt;th&gt;chlorides&lt;/th&gt;
      &lt;th&gt;free sulfur dioxide&lt;/th&gt;
      &lt;th&gt;total sulfur dioxide&lt;/th&gt;
      &lt;th&gt;density&lt;/th&gt;
      &lt;th&gt;pH&lt;/th&gt;
      &lt;th&gt;sulphates&lt;/th&gt;
      &lt;th&gt;alcohol&lt;/th&gt;
      &lt;th&gt;quality&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;th&gt;fixed acidity&lt;/th&gt;
      &lt;td&gt;1.000000&lt;/td&gt;
      &lt;td&gt;-0.237044&lt;/td&gt;
      &lt;td&gt;0.675747&lt;/td&gt;
      &lt;td&gt;0.164493&lt;/td&gt;
      &lt;td&gt;0.091213&lt;/td&gt;
      &lt;td&gt;-0.167011&lt;/td&gt;
      &lt;td&gt;-0.102002&lt;/td&gt;
      &lt;td&gt;0.681653&lt;/td&gt;
      &lt;td&gt;-0.692635&lt;/td&gt;
      &lt;td&gt;0.152724&lt;/td&gt;
      &lt;td&gt;-0.075869&lt;/td&gt;
      &lt;td&gt;0.128048&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;volatile acidity&lt;/th&gt;
      &lt;td&gt;-0.237044&lt;/td&gt;
      &lt;td&gt;1.000000&lt;/td&gt;
      &lt;td&gt;-0.543960&lt;/td&gt;
      &lt;td&gt;-0.011115&lt;/td&gt;
      &lt;td&gt;0.063904&lt;/td&gt;
      &lt;td&gt;-0.015815&lt;/td&gt;
      &lt;td&gt;0.088772&lt;/td&gt;
      &lt;td&gt;0.031415&lt;/td&gt;
      &lt;td&gt;0.220483&lt;/td&gt;
      &lt;td&gt;-0.248910&lt;/td&gt;
      &lt;td&gt;-0.209193&lt;/td&gt;
      &lt;td&gt;-0.389654&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;citric acid&lt;/th&gt;
      &lt;td&gt;0.675747&lt;/td&gt;
      &lt;td&gt;-0.543960&lt;/td&gt;
      &lt;td&gt;1.000000&lt;/td&gt;
      &lt;td&gt;0.149428&lt;/td&gt;
      &lt;td&gt;0.225910&lt;/td&gt;
      &lt;td&gt;-0.078811&lt;/td&gt;
      &lt;td&gt;0.004797&lt;/td&gt;
      &lt;td&gt;0.376603&lt;/td&gt;
      &lt;td&gt;-0.545874&lt;/td&gt;
      &lt;td&gt;0.314076&lt;/td&gt;
      &lt;td&gt;0.109625&lt;/td&gt;
      &lt;td&gt;0.241375&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;residual sugar&lt;/th&gt;
      &lt;td&gt;0.164493&lt;/td&gt;
      &lt;td&gt;-0.011115&lt;/td&gt;
      &lt;td&gt;0.149428&lt;/td&gt;
      &lt;td&gt;1.000000&lt;/td&gt;
      &lt;td&gt;0.059603&lt;/td&gt;
      &lt;td&gt;0.170785&lt;/td&gt;
      &lt;td&gt;0.162121&lt;/td&gt;
      &lt;td&gt;0.390897&lt;/td&gt;
      &lt;td&gt;-0.114692&lt;/td&gt;
      &lt;td&gt;0.021992&lt;/td&gt;
      &lt;td&gt;0.037932&lt;/td&gt;
      &lt;td&gt;0.026566&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;th&gt;chlorides&lt;/th&gt;
      &lt;td&gt;0.091213&lt;/td&gt;
      &lt;td&gt;0.063904&lt;/td&gt;
      &lt;td&gt;0.225910&lt;/td&gt;
      &lt;td&gt;0.059603&lt;/td&gt;
      &lt;td&gt;1.000000&lt;/td&gt;
      &lt;td&gt;0.003828&lt;/td&gt;
      &lt;td&gt;0.061718&lt;/td&gt;
      &lt;td&gt;0.192486&lt;/td&gt;
      &lt;td&gt;-0.284091&lt;/td&gt;
      &lt;td&gt;0.391324&lt;/td&gt;
      &lt;td&gt;-0.222979&lt;/td&gt;
      &lt;td&gt;-0.133884&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;p&gt;Luego, para graficar estos números podemos usar un &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;heatmap&lt;/code&gt; de &lt;em&gt;seaborn&lt;/em&gt;:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;k&quot;&gt;with&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;plot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;title&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Free Sulfur Dioxide - Total Sulfur Dioxide scatterplot&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;sns&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;heatmap&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;correlation&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;vmin&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=-&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cmap&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;'coolwarm'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;annot&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ax&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; 
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;&lt;img src=&quot;https://i.imgur.com/oKpJmEe.png&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Los colores más intensos corresponden con números cercanos a -1 o 1, que indican que tienen mayor relación entre ellas, por ejemplo, la variable &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;pH&lt;/code&gt; con &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;fixed acidity&lt;/code&gt; (que tienen una relación inversa) o &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;density&lt;/code&gt; con &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;fixed acidity&lt;/code&gt; que de igual manera, presenta una relación, pero en este caso, directa.&lt;/p&gt;

&lt;p&gt;Y pues, eso es todo por este post, sí, es bastante sencillo y aún hay mucho qué discutir sobre el análisis exploratorio de datos, aquí hay algunos de los recursos que yo consulté para preparar este video, y aún así hay mucho más por explorar:&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;&lt;a href=&quot;https://www.itl.nist.gov/div898/handbook/eda/section1/eda1.htm&quot; target=&quot;_blank&quot;&gt;EDA Introduction&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;https://towardsdatascience.com/a-gentle-introduction-to-exploratory-data-analysis-f11d843b8184&quot; target=&quot;_blank&quot;&gt;A Gentle Introduction to Exploratory Data Analysis&lt;/a&gt;&lt;/li&gt;
  &lt;li&gt;&lt;a href=&quot;https://r4ds.had.co.nz/exploratory-data-analysis.html&quot; target=&quot;_blank&quot;&gt;Exploratory Data Analysis&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;No olvides seguirme en twitter en &lt;a href=&quot;https://twitter.com/io_exception&quot;&gt;@io_exception&lt;/a&gt;.&lt;/p&gt;</content><author><name>Antonio Feregrino Bolaños</name></author><category term="tutoriales" /><category term="python" /><category term="eda" /><summary type="html">En este post les voy a dar una pequeñísima introducción al análisis exploratorio de datos o EDA por sus siglas en inglés (Exploratory Data Analysis).</summary></entry><entry><title type="html">Dueño de mis datos - Capítulo Facebook - Parte III</title><link href="https://old.tacosdedatos.com/Dueno-de-mis-Datos-Facebook-Parte-III" rel="alternate" type="text/html" title="Dueño de mis datos - Capítulo Facebook - Parte III" /><published>2020-05-22T10:00:00+00:00</published><updated>2020-05-22T10:00:00+00:00</updated><id>https://old.tacosdedatos.com/Dueno-de-mis-Datos-Facebook-Parte-III</id><content type="html" xml:base="https://old.tacosdedatos.com/Dueno-de-mis-Datos-Facebook-Parte-III">&lt;p&gt;La última entrega de la serie de Text Mining con mis datos de Facebook&lt;/p&gt;

&lt;p&gt;Bienvenidos al último post de esta serie. Si quieren ver cómo &lt;a href=&quot;https://tacosdedatos.com/dueno-de-mis-datos-facebook&quot;&gt;obtuvimos los datos&lt;/a&gt; o &lt;a href=&quot;https://tacosdedatos.com/dueno-de-mis-datos-facebook-parte-ii&quot;&gt;cómo creamos los &lt;em&gt;corpus&lt;/em&gt; &lt;/a&gt;con los que vamos a trabajar hoy, denle click en los enlaces.&lt;/p&gt;

&lt;p&gt;Recordemos de qué se trata este guateque:&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;… vamos a jugar con todos los posteos que hice en Facebook y todos los comentarios que puse a posteos de otras personas. Aprovechando el gran curso de Text Mining que &lt;a href=&quot;https://twitter.com/jmtoralc&quot;&gt;@jmtoral&lt;/a&gt; nos dio durante la cuarentena, vamos a analizar mis textos e intentar encontrar algunas cosas interesantes. Al final, y porque nos gusta mucho, haremos gráficas y más gráficas.&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h2 id=&quot;una-wordcloud-más-usando-afinn&quot;&gt;Una &lt;em&gt;wordcloud&lt;/em&gt; más usando AFINN&lt;/h2&gt;

&lt;p&gt;El post pasado acabamos usando el diccionario AFINN para determinar que tan positivos o negativos, en lo general, eran mis posts y mis comments.&lt;/p&gt;

&lt;p&gt;Para acabar de usar este diccionario esta vez vamos a crear una nube de palabras donde pongamos de un color las palabras positivas y en otro color las negativas. Para esto vamos a tener que crear una nueva columna que nos podrá el sentimiento como positivo si la palabra tiene una puntuación de entre 1 y 5. Si está entre -1 y -5, la pondrá como negativa.&lt;/p&gt;

&lt;p&gt;Por último, usaremos la función &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;comparison.cloud&lt;/code&gt; para crear la gráfica y asignar los colores:&lt;/p&gt;

&lt;div class=&quot;language-r highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;png&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;graficas/comparacion_cloud.png&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;width&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;m&quot;&gt;1000&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;height&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;m&quot;&gt;1000&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;res&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;200&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;

&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;affin.count&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fb.affin.esp&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mutate&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sentimiento&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dplyr&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;case_when&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Puntuacion&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;m&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;~&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Negativo&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Puntuacion&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;gt;&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;m&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;~&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Positivo&quot;&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;count&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tipo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sentimiento&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;word&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;arrange&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reshape2&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;acast&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;word&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;~&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sentimiento&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fill&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;m&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;value.var&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;n&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;wordcloud&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;comparison.cloud&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;colors&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;nf&quot;&gt;c&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#db2b27&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#12719e&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
          &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;random.order&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;kc&quot;&gt;FALSE&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
          &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;scale&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;nf&quot;&gt;c&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;1.5&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;.5&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
          &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;title.size&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;m&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
          &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;max.words&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;m&quot;&gt;400&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;


&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dev.off&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;
&lt;p&gt;&lt;img src=&quot;https://github.com/nerudista/DataViz/blob/master/MyFacebook/graficas/comparacion_cloud.png?raw=true&quot; alt=&quot;cloud_comparison&quot; /&gt;&lt;/p&gt;

&lt;h2 id=&quot;usando-el--diccionario-nrc&quot;&gt;Usando el  Diccionario NRC&lt;/h2&gt;

&lt;p&gt;Otro diccionario muy usado en el diccionario &lt;strong&gt;NRC&lt;/strong&gt;. A diferencia del &lt;strong&gt;AFINN&lt;/strong&gt; donde cada palabra tenía una calificación numérica, en &lt;strong&gt;NRC&lt;/strong&gt; la palabra puede ser clasificada como positiva o negativa (sin escala númerica) pero además puede entrar dentro de alguna de estas emociones:&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;anger - enojo&lt;/li&gt;
  &lt;li&gt;anticipation - expectación&lt;/li&gt;
  &lt;li&gt;disgust - disgusto&lt;/li&gt;
  &lt;li&gt;fear - miedo&lt;/li&gt;
  &lt;li&gt;joy - alegría&lt;/li&gt;
  &lt;li&gt;sadness - tristeza&lt;/li&gt;
  &lt;li&gt;surprise - sorpresa&lt;/li&gt;
  &lt;li&gt;trust - seguridad&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;Para usar este diccionario tenemos que usar la &lt;em&gt;#BibliotecaNoLibreria&lt;/em&gt; &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;syuzhet&lt;/code&gt;. Empezemos utilizando nuestro data frame inicial (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;data$Comment&lt;/code&gt;) y después agrupemos por sentimiento y emoción para tener los totales de cada una:&lt;/p&gt;

&lt;div class=&quot;language-r highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;c1&quot;&gt;# Sentiment analysis con syuzhet&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;

&lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;# Aplico NRC a mis posts y comments&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fb_sentimientos_nrc&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;syuzhet&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;get_nrc_sentiment&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;$&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Comment&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;language&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;spanish&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;

&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;df_fb_sentimientos_nrc&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fb_sentimientos_nrc&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;  
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dplyr&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;summarise_all&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;funs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sum&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;rowid_to_column&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;id&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pivot_longer&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;id&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;names_to&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;sentimiento&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;values_to&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;count&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;  
&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Ya con el objeto &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;df_fb_sentimientos_nrc&lt;/code&gt; podemos empezar a crear visualizaciones. Mi primer acercamiento fue una de barras pero de esas ya hicimos. Así que me aventuré a hacer un &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;treemap&lt;/code&gt; que no habíamos hecho en post anteriores. Como sólo la haremos por emociones filtraré los sentimientos (positivo, negativo):&lt;/p&gt;

&lt;div class=&quot;language-r highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;w&quot;&gt;  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;# treemap&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;df_fb_sentimientos_nrc&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;filter&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;!&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sentimiento&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%in%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;nf&quot;&gt;c&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;'positive'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;'negative'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;treemap&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
          &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;index&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;sentimiento&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
          &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;vSize&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;count&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
          &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;type&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;index&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
          &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fontsize.labels&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;nf&quot;&gt;c&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;12&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
          &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fontsize.title&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;m&quot;&gt;18&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
          &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;palette&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Blues&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
          &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;title&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Sentimientos en Post y Comments&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
          &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fontfamily.title&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Lato&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
          &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fontfamily.labels&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Lato&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
          &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;border.col&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#191414&quot;&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;theme_fb&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;
&lt;p&gt;&lt;img src=&quot;https://github.com/nerudista/DataViz/blob/master/MyFacebook/graficas/treemap_sentimientos.png?raw=true&quot; alt=&quot;treemap&quot; /&gt;&lt;/p&gt;

&lt;p&gt;La verdad no encontré muchas opciones para aplicar el theme a la gráfica ya que la función &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;treemap&lt;/code&gt; no es parte de &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;ggplot&lt;/code&gt;.&lt;/p&gt;

&lt;p&gt;Lo que podemos ver de la gráfica es que en su mayoría mis palabras expresan confianza y alegría. El disgusto, la tristeza, el miedo y el enojo están presentes pero no en gran cantidad.&lt;/p&gt;

&lt;p&gt;Quiero destacar que esta gráfica no es la mejor para poder comparar. Nuestro cerebro es malo para diferenciar áreas. Solo la hice para usar la función y poder generar algo que no hayamos hecho antes.&lt;/p&gt;

&lt;p&gt;¿Qué se les ocurre para poder comparar mejor?&lt;/p&gt;

&lt;p&gt;Ya para terminar, hagamos una gráfica de barras con el número de palabras por sentimiento:&lt;/p&gt;

&lt;div class=&quot;language-r highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;c1&quot;&gt;## grafica con positivo y negativo&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;BarPositiveNegative&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;df_fb_sentimientos_nrc&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;filter&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sentimiento&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%in%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;nf&quot;&gt;c&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;'positive'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;'negative'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ggplot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;geom_col&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;aes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reorder&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sentimiento&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;count&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                 &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;y&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;count&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                 &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fill&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sentimiento&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;labs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;title&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Clasificación de Palabras Por Sentimiento &quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
         &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;caption&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;my_caption&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
         &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;y&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Número de Palabras&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
         &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;scale_fill_manual&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;values&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;nf&quot;&gt;c&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#db2b27&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#12719e&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;scale_x_discrete&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;nf&quot;&gt;c&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Negativas&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Positivas&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;theme_fb&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;;&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;BarPositiveNegative&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  
&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;
&lt;p&gt;&lt;img src=&quot;https://github.com/nerudista/DataViz/blob/master/MyFacebook/graficas/BarPositiveNegative.png?raw=true&quot; alt=&quot;nrc_sentiment&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Esta gráfica confirma lo que veíamos en el treemap. Solía usar muchas más palabras positivas que negativas. Casi el triple.&lt;/p&gt;

&lt;h2 id=&quot;tf-idf&quot;&gt;TF-IDF&lt;/h2&gt;

&lt;p&gt;Imagínense que tenemos un documento, por ejemplo, acerca de Michael Jordan (¿ya vieron “The Last Dance”?) y que nos ponemos a analizarlo. ¿Cómo podríamos saber si se trata acerca de ganar un campeonato, sobre sus apuestas, Space Jam o su paso por el beisbol? Ahí es cuando entra es el &lt;strong&gt;TF : &lt;em&gt;Term Frequency&lt;/em&gt;&lt;/strong&gt;. Si un término se repite mucho es muy probable que nos de una buena pista acerca del contenido. Por ejemplo, si la palabra “Murray” es top 10 en apariciones, es muy probable que hable de Space Jam, si la palabra que más aparece es “swing” es muy probable que hable de beisbol. Para poder obtener un buen &lt;strong&gt;TF&lt;/strong&gt; es importantísimo haber limpiado ya los datos, haberles quitado stopwords y otros términos que no nos sean de utilidad.&lt;/p&gt;

&lt;p&gt;¿Pero qué pasa si no tenemos sólo un documento sino más de cien? Ese &lt;em&gt;corpus&lt;/em&gt; puede tener diferentes temas y el &lt;strong&gt;TF&lt;/strong&gt; puede resultar no tan eficiente. Ahí es cuando entra el &lt;strong&gt;TF-IDF: &lt;em&gt;Term Frequency-Inverse Document Frequency&lt;/em&gt;&lt;/strong&gt;.
Antes de seguir, intentaré resumir la parte del &lt;strong&gt;IDF&lt;/strong&gt;. Básicamente es qué tanto aparece ese término en los demás documentos del &lt;em&gt;corpus&lt;/em&gt;. La fórmula tiene más chiste que eso, incluso usa logaritmos, pero no es mi intención entrar en la matemática. Ahora bien, el &lt;strong&gt;TF-IDF&lt;/strong&gt; usa las dos métricas que acabamos de ver y nos dice el peso de un término dentro de un documento.&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;https://github.com/nerudista/DataViz/blob/master/MyFacebook/imagenes/formula05_ponderacion-tf-idf.png?raw=true&quot; alt=&quot;tf-idf&quot; /&gt;
http://ccdoc-tecnicasrecuperacioninformacion.blogspot.com/2012/11/frecuencias-y-pesos-de-los-terminos-de.html&lt;/p&gt;

&lt;p&gt;Todo este show es para que tengamos una idea de lo que vamos  a intentar obtener y cómo lo vamos a interpretar. Tirar comandos es fácil pero tirarlos con sentido y saber interpretarlo es lo que cuenta.&lt;/p&gt;

&lt;p&gt;La biblioteca que usaremos es &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;tidytext&lt;/code&gt; y vamos a reutilizar uno de los objetos que creamos en el post anterior&lt;/p&gt;

&lt;div class=&quot;language-r highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;w&quot;&gt;  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#Necesito que ya esté tokenizado los post y los comments&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;# voy a usar el tidy.tokens.word&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  
  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#para que los DF no me de exponentes en en los resultados.&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;options&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;scipen&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;99&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  
  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#Calcular del tf_idf de un plumazo&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tfidf&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tidy.tokens.word&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;filter&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;!&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;word&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%in%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;final_stop_words&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;count&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;word&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tipo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tidytext&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bind_tf_idf&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;word&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tipo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Lo que intento hacer al agregar el &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;tipo&lt;/code&gt; es encontrar las palabras con más peso dependiento el tipo de publicación: post o comment.&lt;/p&gt;

&lt;p&gt;Vamos a crear una gráfica de barras para averiguar de qué hablé más en cada caso:&lt;/p&gt;

&lt;div class=&quot;language-r highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;w&quot;&gt;  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#primero creo los labels para los titulos del facet_wrap&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;nf&quot;&gt;c&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;comment&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Comentario&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;post&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Post&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tfidf&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;   
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;group_by&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tipo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;arrange&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tf_idf&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;top_n&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;5&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#ungroup() %&amp;gt;% &lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ggplot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;aes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reorder&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;word&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tf_idf&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;y&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tf_idf&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fill&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tipo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;geom_col&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;show.legend&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;kc&quot;&gt;FALSE&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;scale_fill_manual&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;values&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;nf&quot;&gt;c&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#0a4c6a&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#cfe8f3&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;facet_wrap&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;~&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tipo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;scales&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;free&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;labeller&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;labeller&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tipo&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;coord_flip&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;labs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;title&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Palabras más Representativas por Tipo de Publicación&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
         &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;subtitle&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Ranking obtenido por TF_IDF&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
         &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;caption&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;my_caption&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
         &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;y&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
         &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;theme_fb&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;&lt;img src=&quot;https://github.com/nerudista/DataViz/blob/master/MyFacebook/graficas/tf-idf.png?raw=true&quot; alt=&quot;tf-idf tipo&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Intentemos sacar algunas inferencias:&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;En los comentarios “pachas” y “pachis, los sobrenombres de una amiga, son muy relevantes.&lt;/li&gt;
  &lt;li&gt;Por otro lado, Es muy característico de mis posts las etiquetas “picoftheday”, “rcnocrop” y “amedemicorazon”. Lo cual me cuadra perfecto pues mi FB estaba ligado a mi Instagram dentro de la aplicación &lt;em&gt;rcnocrop&lt;/em&gt;.&lt;/li&gt;
  &lt;li&gt;En los comentarios que hacía a otras personas era tan “ofensivo” como para poner “mms” pero no como para poner “mames”. Grosero, grosero pero no tanto.&lt;/li&gt;
&lt;/ul&gt;

&lt;h2 id=&quot;lda-o-latient-dirichlet-allocation-para-los-cuates&quot;&gt;LDA o &lt;em&gt;Latient Dirichlet Allocation&lt;/em&gt; para los cuates.&lt;/h2&gt;

&lt;p&gt;Ya para terminar juguemos un poco con &lt;strong&gt;LDA&lt;/strong&gt;. Este es un método de &lt;em&gt;topic modelling&lt;/em&gt; que nos permite identificar tópicos dentro de una serie de documentos. Haciendo un símil muy burdo, es como encontrar clústeres dentro del &lt;em&gt;corpus&lt;/em&gt;.&lt;/p&gt;

&lt;p&gt;Para echarlo andar necesitamos crear una &lt;strong&gt;DTM:_ Document Term Matrix_&lt;/strong&gt; que vamos a obtener con la biblioteca &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;tm&lt;/code&gt;. Además, nosotros tenemos que definir cuántos clústers o grupos queremos que cree el algoritmo.&lt;/p&gt;

&lt;p&gt;Veamos el código:&lt;/p&gt;

&lt;div class=&quot;language-r highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;c1&quot;&gt;# Crear un corpus&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;# lee el vector y lo convierte en un corpus&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;corpus.fb&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tm&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Corpus&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;VectorSource&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;$&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Comment&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;corpus.fb&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tm&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tm_map&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;corpus.fb&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;removeWords&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stopwords&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;es&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;corpus.fb&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tm&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tm_map&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;corpus.fb&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;removePunctuation&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;  

  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;corpus.fb&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tm&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tm_map&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;corpus.fb&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;removeNumbers&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;  
  
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dtm.fb&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tm&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;DocumentTermMatrix&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;corpus.fb&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  
  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;# Aplicaré este truco porque sin él suelo&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;# tener errores por filas vacías.&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;rowTotals&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;apply&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dtm.fb&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;m&quot;&gt;1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sum&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dtm.fb&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dtm.fb&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;rowTotals&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;gt;&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,]&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  
  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;# ahora sí, el LDA para 4 clústeres&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bd.lda&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;topicmodels&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;LDA&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dtm.fb&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;k&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;4&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;control&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;nf&quot;&gt;list&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;seed&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;1234&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;El objeto &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;bd_lda&lt;/code&gt; es un vector que no puedo usar para gráficar. Tengo que pasarlo a un dataframe con el comando &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;tidy&lt;/code&gt; de &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;tidytext&lt;/code&gt;. Este tiene dos opciones para el argumento &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;matrix&lt;/code&gt;:&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;beta&lt;/code&gt; para obtener la probabilidad de tópicos por palabra&lt;/li&gt;
  &lt;li&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;gamma&lt;/code&gt; para obtener la probabilidad de tópicos por documento&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;Para nuestra gráfica utilizaremos &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;beta&lt;/code&gt;:&lt;/p&gt;

&lt;div class=&quot;language-r highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;bd.topics&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tidytext&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tidy&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bd.lda&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;matrix&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;beta&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;   &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#Prob por topico por palabra&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;

&lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;# Va la gráfica&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;top_terminos&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mutate&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;term&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;reorder_within&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;term&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;beta&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;topic&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ggplot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;aes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;term&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
               &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;beta&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
               &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fill&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;factor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;topic&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)))&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;geom_col&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;facet_wrap&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;~&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;factor&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;topic&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;scales&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;free&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;coord_flip&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;scale_y_continuous&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;labels&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;scales&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;percent_format&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;())&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;scale_fill_manual&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;values&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;nf&quot;&gt;c&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#1696d2&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#ec008b&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#fdbf11&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#5c5859&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;scale_x_reordered&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;# necesita el mutate de arriba. Quita el __1, __2 que éste pone.&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;labs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;title&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Probabilidad de palabras por tópico&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
         &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;caption&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;my_caption&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
         &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;y&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Porcentaje LDA &quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
         &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Palabra&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#scale_fill_manual(values=c(&quot;#db2b27&quot;, &quot;#55b748&quot;,&quot;fdbf11&quot;,&quot;898F9C&quot;))+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;theme_fb&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;&lt;img src=&quot;https://github.com/nerudista/DataViz/blob/master/MyFacebook/graficas/prob_topico.png?raw=true&quot; alt=&quot;lda&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Lo que reconozco de la gráfica:&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;Los porcentajes más altos están en lso tópicos 3 y 4. No se dejen llevar por el 2%. Es un muy buen número considerando el número total de documentos.&lt;/li&gt;
  &lt;li&gt;En el tópico 3 están muchas felicitaciones y abrazos.&lt;/li&gt;
  &lt;li&gt;En el tópico 4 están las publicaciones que metí desde Instagram y donde mencionaba a amigos con los que intereactuaba mucho.&lt;/li&gt;
  &lt;li&gt;En el tópico dos hay risas y felicitaciones.&lt;/li&gt;
  &lt;li&gt;El tópico 1 me muestra que no hice una limpieza correcta de datos. Hay muchos stopword ahí que no limpié.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;Esto último fue un poco intencional para que vean como el algoritmo puede traer basura si no lo alimentamos bien. Como dice el adagio: &lt;em&gt;garbage in, garbage out&lt;/em&gt;&lt;/p&gt;

&lt;h2 id=&quot;y-qué-sigue&quot;&gt;¿Y qué sigue?&lt;/h2&gt;

&lt;p&gt;P’acabar pronto, que se vayan a este &lt;a href=&quot;https://github.com/nerudista/DataViz/tree/master/MyFacebook&quot;&gt;repo&lt;/a&gt; y que intenten replicar lo que hicimos pero con sus datos. Como hay datos sensibles sólo les dejé los archivos de post y comments con cuatro o cinco registros. La idea es que pidan sus datos y sigan el camino de esta serie para que puedan replicar. Si se atoran, estoy siempre atento a responder en &lt;a href=&quot;https://twitter.com/nerudista&quot;&gt;@nerudista&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;Como lo he mencionado en los post previos: piérdanle el miedo a analizar datos y a graficarlos. Además, los datos de sus usuarios que andan en la red son valiosos. Sean responsables con ellos.&lt;/p&gt;

&lt;p&gt;Espero que esta serie les haya desportado la cosquilla de empezar a practicar algo nuevo. No tienen porqué dedicarse a esto. Yo no lo hago pero jugarle es enriquecedor. Además, en estos tiempos de crisis ninguna nueva habilidad está de sobra.&lt;/p&gt;

&lt;p&gt;Gracias por llegar hasta aquí. BTW, #QuédateEnCasa&lt;/p&gt;

&lt;hr /&gt;

&lt;p&gt;¿Qué te pareció la nota? &lt;a href=&quot;https://twitter.com/share?text=Obvio+que+estuvo+super+el+blog+%40tacosdedatos+%F0%9F%8C%AE&quot;&gt;Mandanos un tuit a @tacosdedatos&lt;/a&gt; o &lt;a href=&quot;https://twitter.com/share?text=Obvio+que+estuvo+super+el+blog+%40tacosdedatos+y+%40nerudista+%F0%9F%8C%AE&quot;&gt;a @nerudista&lt;/a&gt; o envianos un correo a &lt;a href=&quot;mailto:sugerencias@tacosdedatos.com?subject=Sugerencia&amp;amp;body=Hola-holaaa&quot;&gt;✉️ sugerencias@tacosdedatos.com&lt;/a&gt;. Y recuerda que puedes subscribirte a nuestro boletín semanal aquí debajo.&lt;/p&gt;</content><author><name>Pablo Quetzalcóatl Vázquez</name></author><category term="blog" /><category term="Facebook" /><category term="ggplot2" /><category term="r" /><category term="text-mining" /><summary type="html">La última entrega de la serie de Text Mining con mis datos de Facebook</summary></entry><entry><title type="html">Dueño de mis datos - Capítulo Facebook - Parte II</title><link href="https://old.tacosdedatos.com/Dueno-de-mis-Datos-Facebook-Parte-II" rel="alternate" type="text/html" title="Dueño de mis datos - Capítulo Facebook - Parte II" /><published>2020-05-18T10:00:00+00:00</published><updated>2020-05-18T10:00:00+00:00</updated><id>https://old.tacosdedatos.com/Dueno-de-mis-Datos-Facebook-Parte-II</id><content type="html" xml:base="https://old.tacosdedatos.com/Dueno-de-mis-Datos-Facebook-Parte-II">&lt;p&gt;¡Text Mining! Es hora de entrarle a la onda de los diccionarios de palabras, los análisis de sentimientos y las gráficas de nube de palabras.&lt;/p&gt;

&lt;p&gt;Si quieren ver como obtener los datos con los que vamos a trabajar pueden verlo &lt;a href=&quot;https://tacosdedatos.com/dueno-de-mis-datos-facebook&quot;&gt;en la primera parte&lt;/a&gt; de esta serie.&lt;/p&gt;

&lt;p&gt;Solo para recordar el objetivo de esta serie:&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;… vamos a jugar con todos los posteos que hice en Facebook y todos los comentarios que puse a posteos de otras personas. Aprovechando el gran curso de Text Mining que &lt;a href=&quot;https://twitter.com/jmtoralc&quot;&gt;@jmtoral&lt;/a&gt; nos dio durante la cuarentena, vamos a analizar mis textos e intentar encontrar algunas cosas interesantes. Al final, y porque nos gusta mucho, haremos gráficas y más gráficas.&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h2 id=&quot;un-poco-de-contexto-o-sea-mi-disclaimer&quot;&gt;Un poco de contexto. O sea, mi &lt;em&gt;Disclaimer&lt;/em&gt;&lt;/h2&gt;

&lt;p&gt;La cuarentena me ha pegado duro como a la mayoría de la gente. Si le suman que previo a ella ya tenía 4 meses encerrado por una lesión, se podrán imaginar lo desesperado que he llegado a estar.&lt;/p&gt;

&lt;p&gt;Una forma en que yo logro manejar la ansiedad es estudiando, aprendiendo cosas nuevas y pasando horas practicándolas. Entiendo que eso no es para todos pero se los comparto por si les es de ayuda.&lt;/p&gt;

&lt;p&gt;Cuando &lt;a href=&quot;https://twitter.com/jmtoralc&quot;&gt;@jmtoral&lt;/a&gt; avisó en Twitter que iba a dar un curso de Minería de Texto no dudé ni tantito en escribirme. Era un tema que desconocía por completo y que pensé que podría aplicar con los datos de Facebook que tenía parados desde hace unos meses.&lt;/p&gt;

&lt;p&gt;Dicho esto, por favor tengan en mente que lo que aqui haremos es una acercamiento al tema con las cosas que entendí y ,seguro también, con los errores de las cosas que aún no entiendo por completo. Lo importante es que se queden con una noción y empiecen a jugar.&lt;/p&gt;

&lt;h2 id=&quot;guidelines-para-la-visualización&quot;&gt;&lt;em&gt;Guidelines&lt;/em&gt; para la visualización&lt;/h2&gt;

&lt;p&gt;Esta vez no hay bocetos en papel pero vamos a tocar un tema nuevo: los &lt;em&gt;guidelines&lt;/em&gt;.&lt;/p&gt;

&lt;p&gt;Para las visualizaciones de los &lt;a href=&quot;https://tacosdedatos.com/Primeros-pasos-con-ggplot-y-altair&quot;&gt;Pats&lt;/a&gt; y de &lt;a href=&quot;https://tacosdedatos.com/Dueno-de-mis-Datos-Spotify&quot;&gt;Spotify&lt;/a&gt; me tuve que crear un par de &lt;em&gt;themes&lt;/em&gt; para que las visualizaciones fueran consistentes. Eso son las &lt;em&gt;guidelines&lt;/em&gt;. Sin embargo, estas gúias de estilo no son enchiladas. En aquellas ocasiones tardé mucho en elegir colores, tamaños de fuentes, espacios entre márgenes, etc.&lt;/p&gt;

&lt;p&gt;Todos sabemos que usar Comic Sans no es profesional para una dataviz, pero ¿por qué? Si van a hacer una gráfica, ¿porqué usarían Calibri, Arial o Times New Roman? Si van a combinar fuentes, ¿cuál va mejor con cúal?&lt;/p&gt;

&lt;p&gt;Afortunadamente hay un montón de UX, VD, entre otras profesiones, que se dedican a crear estas guías para sus organizaciones y muchas de ellas con públicas. Hay una buena lista &lt;a href=&quot;https://docs.google.com/spreadsheets/d/1VhBBwSvIeiUL42eLQgoXb93Y1_LBUWTaW2OB-tXFYD0/edit#gid=1679646668&quot;&gt;aquí&lt;/a&gt; que tenemos a la mano gracias a la &lt;a href=&quot;https://www.datavisualizationsociety.com/&quot;&gt;Data Visualization Society&lt;/a&gt;. Para este ejercicio decidí tomar como referencia la guía del &lt;a href=&quot;https://urbaninstitute.github.io/graphics-styleguide/&quot;&gt;Urban Institute&lt;/a&gt;.&lt;/p&gt;

&lt;p&gt;Les dejo unos pedacitos de lo que pueden encontrar ahí:&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;https://github.com/nerudista/DataViz/blob/master/MyFacebook/imagenes/layout_guideline.png?raw=true&quot; alt=&quot;layout&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;https://github.com/nerudista/DataViz/blob/master/MyFacebook/imagenes/color_guideline.png?raw=true&quot; alt=&quot;color&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;https://github.com/nerudista/DataViz/blob/master/MyFacebook/imagenes/categorical_guideline.png?raw=true&quot; alt=&quot;categorical&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;https://github.com/nerudista/DataViz/blob/master/MyFacebook/imagenes/tips_guidelines.png?raw=true&quot; alt=&quot;tips&quot; /&gt;&lt;/p&gt;

&lt;p&gt;&lt;img src=&quot;https://github.com/nerudista/DataViz/blob/master/MyFacebook/imagenes/maps_guidelines.png?raw=true&quot; alt=&quot;maps&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Tener definidos colores, fuentes y tamaños es una ayudadota. El theme sale de volada:&lt;/p&gt;

&lt;div class=&quot;language-r highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;c1&quot;&gt;#Cargar la fuente desde mi Windows&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;windowsFonts&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;`Lato`&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;windowsFont&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Lato&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;

&lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;# Crear theme&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;# Inspirado en el styleguide del Urban Institute&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;# https://urbaninstitute.github.io/graphics-styleguide/&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;

&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;theme_fb&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;theme&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#Esto pone blanco el titulo , los ejes, etc&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;plot.background&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;element_rect&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fill&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;'#FFFFFF'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;colour&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;'#FFFFFF'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#Esto pone blanco el panel de la gráfica, es decir, sobre lo que van los bubbles&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;panel.background&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;element_rect&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fill&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#FFFFFF&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;color&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#FFFFFF&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;panel.grid.minor&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;element_blank&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;panel.grid.major.y&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;element_line&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;color&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#DEDDDD&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;panel.grid.major.x&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;element_blank&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;text&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;element_text&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#color = &quot;#1db954&quot;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                      &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;family&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Lato&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;# limpiar la gráfica&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;axis.line&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;element_line&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;colour&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#FFFFFF&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#axis.title=element_blank(),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;axis.text&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;element_text&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;family&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Lato&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                         &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;size&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;12&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;axis.ticks&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;element_blank&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;axis.title.x&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;element_text&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;margin&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;margin&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;10&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                               &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;family&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Lato&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                               &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;size&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;12&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                               &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;color&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#0D1F2D&quot;&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                               &lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;axis.title.y&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;element_text&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;margin&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;margin&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;15&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                               &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;family&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Lato&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                               &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;size&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;12&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                               &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;color&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#0D1F2D&quot;&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;# ajustar titulos y notas&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;plot.title&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;element_text&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;family&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Lato&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                            &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;size&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;18&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                            &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;margin&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;margin&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;15&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                            &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hjust&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;m&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#align left&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                            &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;color&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#0D1F2D&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;plot.subtitle&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;element_text&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;size&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;14&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                               &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;family&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Lato&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                               &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hjust&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;m&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#align left&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                               &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;margin&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;margin&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;25&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                               &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;color&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#0D1F2D&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;plot.caption&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;element_text&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;color&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#0D1F2D&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;family&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Lato&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;size&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;11&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;hjust&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;m&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#align left&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;legend.position&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;none&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#para los titulos del facet_wrap&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;strip.text.x&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;element_text&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;size&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;12&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;face&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;bold&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;complete&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;kc&quot;&gt;FALSE&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;

&lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#pequeño truco para crear el caption con negritas y que puedo reusar en las gráficas&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;my_caption&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;  &lt;/span&gt;&lt;span class=&quot;nf&quot;&gt;expression&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;paste&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bold&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Fuente:&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot; Datos proporcionados por Facebook para el usuario &quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bold&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;nerudista&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)))&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Los invito a intenten replicar alguna de las guías que vienen en la lista que está arriba y vean como sus visualizaciones empiezan a verse más profesionales. Después pueden crearse las propias que reflejen su estilo de visualización.&lt;/p&gt;

&lt;h2 id=&quot;preparando-los-datos&quot;&gt;Preparando los datos&lt;/h2&gt;

&lt;p&gt;Para poder trabajar con análisis de texto necesitamos crear un &lt;em&gt;corpus&lt;/em&gt;. Es decir, un conjunto de documentos a analizar. En nuestro caso no basta solo con pegar los dos documentos (posts y comments) sino que hay que preprocesarlos para:&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;Crear una columna que nos diga si es un post o un comment (se me olvidó hacerlo en el &lt;a href=&quot;https://tacosdedatos.com/Dueno-de-mis-Datos-Facebook&quot;&gt;Python&lt;/a&gt; pasado).&lt;/li&gt;
  &lt;li&gt;Quitar las &lt;em&gt;stopwords&lt;/em&gt;. Es decir, las palabras que se repiten mucho y no nos sirven en el análisis (articulos, pronombres, conjunciones, etc).&lt;/li&gt;
  &lt;li&gt;Quitar números y puntuaciones.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;La primera parte es sencilla y podemos sacarla con este código:&lt;/p&gt;

&lt;div class=&quot;language-r highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;c1&quot;&gt;# cargar archivos&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data_comments&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;read_csv&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;./Datos/misComentarios.csv&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data_posts&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;read_csv&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;./Datos/misPosts.csv&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;

&lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;# Crear columan &quot;tipo&quot;&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data_comments&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data_comments&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mutate&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tipo&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Comentario&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;

&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data_posts&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data_posts&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mutate&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tipo&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Post&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;

&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;rbind&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data_comments&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data_posts&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;

&lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;# cargar stopwords en español&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stop_words&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tm&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stopwords&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;kind&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;es&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;

&lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#cargar palabras que no eliminó el paquete tm::stopwords &lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;my_stop_words&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;nf&quot;&gt;c&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;si&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;p&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;d&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;así&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;tan&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;!&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;¡&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;=&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;$&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;esposa&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;de&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;que&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;a&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;with&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;to&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;ps&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;made&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;nocroprc&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;

&lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#Unir los dos vectores de stop words&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;final_stop_words&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;nf&quot;&gt;c&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;stop_words&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;my_stop_words&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Tengan presente la variable &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;my_stop_words&lt;/code&gt;. Más adelante vamos a ver porqué tuve que crearla.&lt;/p&gt;

&lt;h2 id=&quot;creando-corpus-tokens-y-wordclouds&quot;&gt;Creando &lt;em&gt;corpus, tokens y wordclouds&lt;/em&gt;&lt;/h2&gt;

&lt;p&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Quanteda&lt;/code&gt; es un paquete en &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;R&lt;/code&gt; que nos permite crear corpus, tokenizar y crear algunas gráficas. Otro paquete es &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;tm&lt;/code&gt; pero ese lo vamos a utilizar más adelante.&lt;/p&gt;

&lt;blockquote&gt;
  &lt;p&gt;Nota:
Una de las cosas que más se me complican es saber a qué #BibliotecaNoLibreria corresponde cada comando. Para intentar que no les pase, voy a usar cada comando mencionando previamente la biblioteca, por ejemplo &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;tm::stopwords&lt;/code&gt;. Si solo  pusiera &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;stopwords&lt;/code&gt; también jalaría pero la idea es que sepan de donde viene cada comando.&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;Convertir el dataframe en un corpus es bastante sencillo. Basta con este comando:&lt;/p&gt;

&lt;p&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;corp_comments &amp;lt;- quanteda::corpus(data$Comment)&lt;/code&gt;&lt;/p&gt;

&lt;p&gt;Lo que sigue es tokenizar (convertir cada palabra en un objeto que puede analizarse) y después quitar las palabras que no nos sirven. La premisa es que las palabras que más se repiten como los artículos, pronombres, preposiciones; son las que menos aportan al análisis. Las palabras que se repiten menos son las más características de nuestros textos y las que más nos pueden ayudar al análisis. Por eso es importante quitar la paja desde el principio.&lt;/p&gt;

&lt;p&gt;En mi primera ejecución quité los stopwords que vienen por default en &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;tm::stopwords&lt;/code&gt; pero cuando vi los tokens me di cuenta que había muchas que no servían en para mi analisis en particular. A lo que voy es que deben entrar a ensuciarse con los datos antes de empezar a hacer cosas bonitas. Si conoces tus datos, les puedes sacar más jugo.&lt;/p&gt;

&lt;p&gt;Después de varias iteraciones saqué la lista de palabras que quería quitar y es entonces cuando creé la variable &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;my_stop_words&lt;/code&gt;. Esta la que acabé usando para crear la que usé al final: &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;final_stop_words&lt;/code&gt;&lt;/p&gt;

&lt;p&gt;Con &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Quanteda&lt;/code&gt; podemos tokenizar y hacer limpieza en el mismo comando. Esto va a crear un objeto donde cada registro va a ser un token. Después necesitamos crear una &lt;em&gt;Document Feature Matrix (dfm)&lt;/em&gt; que es otro tipo de objeto donde cada token se convierte en una “columna” en vez de un registro.&lt;/p&gt;

&lt;p&gt;El código es muy simple:&lt;/p&gt;
&lt;div class=&quot;language-r highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;c1&quot;&gt;#creo un corpus con QUANTEDA con los comentarios&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;corp_comments&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;quanteda&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;corpus&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;$&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Comment&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;

&lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;# voy a tokenizar cada post&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tok_comments&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;quanteda&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tokens&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;corp_comments&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                 &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;remove_numbers&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;kc&quot;&gt;TRUE&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                 &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;remove_punct&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;kc&quot;&gt;TRUE&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tokens_remove&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pattern&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;final_stop_words&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;valuetype&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s1&quot;&gt;'fixed'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;

&lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;# ahora voy a crear una matrix dfm&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dfmat_comments&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;quanteda&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dfm&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tok_comments&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;remove_punct&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;kc&quot;&gt;TRUE&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Con el &lt;em&gt;dfm&lt;/em&gt; podemos ya aplicar varios comandos para sacar las frecuencias de tokens, analisis de sentimientos o para crear nubes de palabras, entre otras cosas.&lt;/p&gt;

&lt;p&gt;Empecemos con una nube de palabras:&lt;/p&gt;

&lt;div class=&quot;language-r highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;n&quot;&gt;set.seed&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;132&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;quanteda&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;textplot_wordcloud&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dfmat_comments&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                   &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;color&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;rev&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;RColorBrewer&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;brewer.pal&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;10&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;RdBu&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                   &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;max_words&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;m&quot;&gt;100&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                   &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;random_order&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;kc&quot;&gt;FALSE&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;&lt;img src=&quot;https://github.com/nerudista/DataViz/blob/master/MyFacebook/graficas/wordcloud_quanteda.png?raw=true&quot; alt=&quot;quanteda_wordcloud&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Y podemos ver que soy una persona muy agradecida y que mando muchos abrazos, jeje. Hay por ahí algunos hashtags que me recuerdan que use una app durante un tiempo para publicar fotos.&lt;/p&gt;

&lt;p&gt;Ahora vamos a repetir el proceso, con unas pequeñas variantes, pero ahora con &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;tidytext&lt;/code&gt;.&lt;/p&gt;

&lt;p&gt;El principio es el mismo: vamos a leer el data frame, hacerle limpieza de dígitos y puntuaciones y después tokenizarlo.&lt;/p&gt;

&lt;div class=&quot;language-r highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;c1&quot;&gt;##### TIDYTEXT #####&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  
  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#Voy a limpiar un poco la base para estandarizarla&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data.limpia&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mutate&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Comment&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;iconv&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Comment&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;UTF-8&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;ASCII//TRANSLIT&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;# QUITA ACENTOS Y CARAC. ESPECIALES&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mutate&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Comment&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tolower&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Comment&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mutate&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Comment&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;str_squish&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Comment&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mutate&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Comment&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;str_remove_all&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Comment&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;[[:punct:]]&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mutate&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Comment&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;str_remove_all&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Comment&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;[[:digit:]]&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
  
&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Para tokenizar &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;tidytext&lt;/code&gt; nos deja usar varias opciones:&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;word , para tokenizar por palabra.&lt;/li&gt;
  &lt;li&gt;sencence , para tokenizar por frase.&lt;/li&gt;
  &lt;li&gt;ngram, para tokenizar por agrupaciones de n-gramas (un bigrama son  dos palabras juntas, 4-grama son 4 palabras y así sucesivamente).&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;Para variar un poco voy a ocupar la opción de 2-gramas y crear una wordcloud con la biblioteca del mismo nombre:&lt;/p&gt;

&lt;div class=&quot;language-r highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;c1&quot;&gt;#Ahora a tokenizar por palabra&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tidy.tokens.word&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data.limpia&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tidytext&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;unnest_tokens&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;word&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Comment&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  
  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#Ahora a tokenizar por oracion&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#Da casi lo mismo que la data.limpia.&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;

  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tidy.tokens.sentence&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data.limpia&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;unnest_tokens&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;sentence&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Comment&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;token&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;sentences&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  
  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#Ahora por n-gramas&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tidy.tokens.ngram&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;data.limpia&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;unnest_tokens&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ngram&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Comment&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;token&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;ngrams&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;m&quot;&gt;2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  
  
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cuenta.ngramas&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tidy.tokens.ngram&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;count&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ngram&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;arrange&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;-&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#dplyr::filter(!ngram %in% tm::stopwords(kind=&quot;es&quot;)) %&amp;gt;% &lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dplyr&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;filter&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;!&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ngram&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%in%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;final_stop_words&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dplyr&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;filter&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;nchar&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ngram&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;gt;&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;m&quot;&gt;0&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  
  
  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#Visualizar ngramas&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;cuenta.ngramas&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;with&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;wordcloud&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;::&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;wordcloud&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ngram&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                   &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;n&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                   &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;max.words&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;m&quot;&gt;40&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                   &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;random.order&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;kc&quot;&gt;FALSE&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                   &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;colors&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;rev&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;brewer.pal&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;5&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Paired&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))))&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  
&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;&lt;img src=&quot;https://github.com/nerudista/DataViz/blob/master/MyFacebook/graficas/wordcloud_tm.png?raw=true&quot; alt=&quot;wordcloud&quot; /&gt;&lt;/p&gt;

&lt;p&gt;En el repo viene el código que tienen que agregar para que le den buen tamaño a la imagen y no se les corten palabras.&lt;/p&gt;

&lt;h2 id=&quot;analisis-de-sentimientos&quot;&gt;Analisis de sentimientos&lt;/h2&gt;

&lt;p&gt;Aprovechando que tenemos recién creado el objeto &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;tidy.tokens.word&lt;/code&gt;, que contiene tokens por palabra, intentemos hacer algo de análisis de sentimientos. Para eso necesitamos usar un diccionario de palabras. Los más usadons son &lt;strong&gt;Affin, NRC y Bing&lt;/strong&gt;. Cada uno tiene sus caracteristicas especiales. Si los buscan en Google hay buenos artículos que mencionan sus diferencias.&lt;/p&gt;

&lt;p&gt;Vamos a ocupar el diccionario AFFIN en español que ronda por la internet para ligarlo con cada uno de los tokens que tenemos. El diccionario lo que tiene es algo así:&lt;/p&gt;

&lt;table&gt;
  &lt;thead&gt;
    &lt;tr&gt;
      &lt;th&gt;Palabra&lt;/th&gt;
      &lt;th&gt;Puntuacion&lt;/th&gt;
      &lt;th&gt;Word&lt;/th&gt;
    &lt;/tr&gt;
  &lt;/thead&gt;
  &lt;tbody&gt;
    &lt;tr&gt;
      &lt;td&gt;abandona&lt;/td&gt;
      &lt;td&gt;-2&lt;/td&gt;
      &lt;td&gt;abandons&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;abandonado&lt;/td&gt;
      &lt;td&gt;-2&lt;/td&gt;
      &lt;td&gt;abandoned&lt;/td&gt;
    &lt;/tr&gt;
    &lt;tr&gt;
      &lt;td&gt;abandonar&lt;/td&gt;
      &lt;td&gt;-2&lt;/td&gt;
      &lt;td&gt;abandon&lt;/td&gt;
    &lt;/tr&gt;
  &lt;/tbody&gt;
&lt;/table&gt;

&lt;p&gt;Las palabras están puntuadas del -5 al 5.&lt;/p&gt;

&lt;p&gt;Vamos a unir el diccionario para luego agrupar por tipo de publicacion (post o comment), sumar la puntuacion de cada agrupación y hacer una gráfica para estrenar el &lt;em&gt;theme&lt;/em&gt; que no hemos usado.&lt;/p&gt;

&lt;div class=&quot;language-r highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;c1&quot;&gt;# ahora con afinn&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;afinn.esp&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;read_csv&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;./datos/lexico_afinn.en.es.csv&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                        &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;locale&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;locale&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;encoding&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;LATIN1&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fb.affin.esp&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;&amp;lt;-&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tidy.tokens.word&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;filter&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;!&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;word&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%in%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;final_stop_words&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;inner_join&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;afinn.esp&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
               &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;by&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;nf&quot;&gt;c&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;word&quot;&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Palabra&quot;&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;distinct&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;word&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;.keep_all&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;kc&quot;&gt;TRUE&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  
  &lt;/span&gt;&lt;span class=&quot;c1&quot;&gt;#graficar&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fb.affin.esp&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;group_by&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tipo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;summarise&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;neto&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;nf&quot;&gt;sum&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Puntuacion&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;%&amp;gt;%&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; 
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;ggplot&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;aes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tipo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;y&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;neto&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
                &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fill&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tipo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;geom_col&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;geom_text&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;aes&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;tipo&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;y&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;neto&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;label&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;neto&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
               &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;nudge_y&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;m&quot;&gt;8&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
               &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;family&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Lato&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
               &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fontface&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;bold&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
               &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;size&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;m&quot;&gt;4.5&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
               &lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;labs&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;title&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Sentimiento por Tipo de Publicación&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
         &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;subtitle&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;Calificación Obtenida Usando AFFIN&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
         &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;caption&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;my_caption&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
         &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;y&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
         &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;x&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;scale_fill_manual&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;values&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;w&quot;&gt; &lt;/span&gt;&lt;span class=&quot;nf&quot;&gt;c&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#0a4c6a&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;&lt;span class=&quot;s2&quot;&gt;&quot;#cfe8f3&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;+&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
    &lt;/span&gt;&lt;span class=&quot;n&quot;&gt;theme_fb&lt;/span&gt;&lt;span class=&quot;w&quot;&gt;
  
&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;&lt;img src=&quot;https://github.com/nerudista/DataViz/blob/master/MyFacebook/graficas/afinn.png?raw=true&quot; alt=&quot;affin_por_tipo&quot; /&gt;&lt;/p&gt;

&lt;p&gt;Lo que se puede ver es que mis respuestas a posts de otros solían ser bastante positivos. Todo lo contrario a cuando hacá post propios. Tiene sentido para mí porque usualmente escribo para criticar algo o expresar mi rechazo hacia algo principalmente político (mi Twitter es un gran ejemplo de eso) mientras que solía responder a muchas publicaciones de cumpleaños de mis amigos. Si recordamos las salidas de ambas &lt;em&gt;wordclouds&lt;/em&gt; podemos ver que lo que más decía era “gracias”, “abrazo” y “felicidades”.&lt;/p&gt;

&lt;h2 id=&quot;en-serio-una-tercera-parte&quot;&gt;¿En serio una tercera parte?&lt;/h2&gt;

&lt;p&gt;Sí. Porque nos falta jugar con diccionarios NRC, calcular el TF-IDF y encontrar tópicos usando LDA.&lt;/p&gt;

&lt;p&gt;Espero este blog les hay aparecido interesante y les den ganas de ir a pedir sus datos y jugar con ellos. Siéntanse libres de contactarme en mi Twitter  &lt;a href=&quot;https://twitter.com/nerudista&quot;&gt;@nerudista&lt;/a&gt; si se les ofrece algo.&lt;/p&gt;

&lt;p&gt;Así que no se desesperen. La próxima semana se viene la última y nos vamos.
***&lt;/p&gt;

&lt;p&gt;¿Qué te pareció la nota? &lt;a href=&quot;https://twitter.com/share?text=Obvio+que+estuvo+super+el+blog+%40tacosdedatos+%F0%9F%8C%AE&quot;&gt;Mandanos un tuit a @tacosdedatos&lt;/a&gt; o &lt;a href=&quot;https://twitter.com/share?text=Obvio+que+estuvo+super+el+blog+%40tacosdedatos+y+%40nerudista+%F0%9F%8C%AE&quot;&gt;a @nerudista&lt;/a&gt; o envianos un correo a &lt;a href=&quot;mailto:sugerencias@tacosdedatos.com?subject=Sugerencia&amp;amp;body=Hola-holaaa&quot;&gt;✉️ sugerencias@tacosdedatos.com&lt;/a&gt;. Y recuerda que puedes subscribirte a nuestro boletín semanal aquí debajo.&lt;/p&gt;</content><author><name>Pablo Quetzalcóatl Vázquez</name></author><category term="blog" /><category term="Facebook" /><category term="ggplot2" /><category term="r" /><category term="text-mining" /><summary type="html">¡Text Mining! Es hora de entrarle a la onda de los diccionarios de palabras, los análisis de sentimientos y las gráficas de nube de palabras.</summary></entry><entry><title type="html">Probando nuestro código con pytest</title><link href="https://old.tacosdedatos.com/pruebas-unitarias-pytest" rel="alternate" type="text/html" title="Probando nuestro código con pytest" /><published>2020-05-12T10:00:00+00:00</published><updated>2020-05-12T10:00:00+00:00</updated><id>https://old.tacosdedatos.com/pruebas-unitarias-pytest</id><content type="html" xml:base="https://old.tacosdedatos.com/pruebas-unitarias-pytest">&lt;h4 id=&quot;aviso&quot;&gt;Aviso&lt;/h4&gt;
&lt;p&gt;A lo largo de este post estaré probando las funciones del código que escribí para el post sobre la &lt;a href=&quot;https://tacosdedatos.com/generacion-automatica-datasets&quot;&gt;generación automática de datasets&lt;/a&gt;; sin embargo no es necesario que leas ese post primero, pero seguramente te ayudará a ponerle más contexto al código que aquí se presenta.&lt;/p&gt;

&lt;h2 id=&quot;qué-es-pytest&quot;&gt;¿Qué es &lt;em&gt;pytest&lt;/em&gt;?&lt;/h2&gt;

&lt;p&gt;&lt;em&gt;pytest&lt;/em&gt; es un &lt;em&gt;framework&lt;/em&gt; para Python que ofrece la recolección automática de los &lt;em&gt;tests&lt;/em&gt;, aserciones simples, soporte para &lt;em&gt;fixtures&lt;/em&gt;, &lt;em&gt;debugeo&lt;/em&gt; y mucho más… no te preocupes si algunas de estas palabras no te hacen mucho sentido; intentaré aclararlos más adelante a lo largo de este post.&lt;/p&gt;

&lt;p&gt;Por cierto, &lt;em&gt;pytest&lt;/em&gt; no es el único &lt;em&gt;framework&lt;/em&gt; disponible; también está &lt;em&gt;nose&lt;/em&gt;, &lt;em&gt;doctest&lt;/em&gt;, &lt;em&gt;testify&lt;/em&gt;… pero &lt;em&gt;pytest&lt;/em&gt; es el que uso y de el que conozco más.&lt;/p&gt;

&lt;p&gt;Para obtener &lt;em&gt;pytest&lt;/em&gt; lo puedes descargar desde PyPI con tu gestor de paquetes de elección:&lt;/p&gt;

&lt;div class=&quot;language-shell highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;pip &lt;span class=&quot;nb&quot;&gt;install &lt;/span&gt;pytest
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;escribiendo-nuestros-tests&quot;&gt;Escribiendo nuestros &lt;em&gt;tests&lt;/em&gt;&lt;/h2&gt;

&lt;p&gt;Para escribir las pruebas es necesario escribir funciones que comiencen con el prefijo &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;test_&lt;/code&gt;. Es necesario que las llamemos así ya que al momento de ejecutar &lt;em&gt;pytest&lt;/em&gt; debemos especificar un directorio raíz, a partir de este directorio &lt;em&gt;pytest&lt;/em&gt; leerá todos los archivos buscando funciones que comiencen con &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;test_&lt;/code&gt;. Por ejemplo, si miras el &lt;a href=&quot;https://github.com/fferegrino/medium-collector&quot;&gt;repositorio de &lt;em&gt;medium-collector&lt;/em&gt;&lt;/a&gt;, verás que todos los &lt;em&gt;tests&lt;/em&gt; están contenidos dentro de un folder apropiadamente llamado &lt;em&gt;tests&lt;/em&gt;. Para ejecutar todas las pruebas, lo que tenemos que hacer es ejecutar &lt;em&gt;pytest&lt;/em&gt; con esta carpeta como argumento:&lt;/p&gt;

&lt;div class=&quot;language-shell highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;pytest tests/
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;parametrizando-nuestras-pruebas&quot;&gt;Parametrizando nuestras pruebas&lt;/h2&gt;
&lt;p&gt;Comencemos por escribir un test sencillo: una sola entrada, una sola salida. y sin llamadas a servicios externos. Me refiero a una función que toma una cadena codificada (como esta: &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;=?UTF-8?B?VGhlcmXigJlz?= more to the story&lt;/code&gt;) y regresa otra cadena (como esta: &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;There’s more to the story&lt;/code&gt;), en este caso estoy hablando sobre la función &lt;a href=&quot;https://github.com/fferegrino/medium-collector/blob/v0.0.0/medium_collector/download/parser.py#L12&quot;&gt;&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;get_subject&lt;/code&gt; method&lt;/a&gt;:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;get_subject&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;subject&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;subject_parts&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;[]&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;subjects&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;email&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;header&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;decode_header&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;subject&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;for&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;content&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;encoding&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;in&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;subjects&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;try&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;subject_parts&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;append&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;content&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;decode&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;encoding&lt;/span&gt; &lt;span class=&quot;ow&quot;&gt;or&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;utf8&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;except&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;subject_parts&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;append&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;content&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;join&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;subject_parts&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Para escribir una prueba unitaria es tan “simple” como hacer esto:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;test_get_subject&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;():&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;expected&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;There's more to the story&quot;&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;actual&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;get_subject&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;=?UTF-8?B?VGhlcmXigJlz?= more to the story&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;assert&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;expected&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;actual&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Sin embargo, esta funcion necesita ser probada con el caso en donde toda la cadena está codificada, o el caso en donde no lo está. Para cubrir estos casos tendríamos que escribir métodos como &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;test_get_subject_all_encoded&lt;/code&gt; y &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;test_get_subject_none_encoded&lt;/code&gt;, pero eso sería una duplicación absurda de código, para solucionar este problema de &lt;strong&gt;probar el mismo código con múltiples valores de entrada&lt;/strong&gt; podemos hacer uso de la &lt;strong&gt;parametrización&lt;/strong&gt; usando el decorador &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;@pytest.mark.parametrize&lt;/code&gt;:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;pytest&lt;/span&gt;

&lt;span class=&quot;o&quot;&gt;@&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pytest&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;mark&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;parametrize&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
    &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;input_subject&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;expected&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt;
    &lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# Input 1
&lt;/span&gt;        &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
            &lt;span class=&quot;s&quot;&gt;&quot;=?UTF-8?B?V2hlbiBhICQxMDAsMDAwIFNhbGFyeSBJc27igJl0IEVub3VnaCB8IEFkYW0gUGFyc29ucyBpbiBNYWtpbmcgb2YgYSBNaWxsaW8=?= =?UTF-8?B?bmFpcmU=?=&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
            &lt;span class=&quot;s&quot;&gt;&quot;When a $100,000 Salary Isn’t Enough | Adam Parsons in Making of a Millionaire&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
        &lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# Input 2
&lt;/span&gt;        &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
            &lt;span class=&quot;s&quot;&gt;&quot;=?UTF-8?B?VGhlcmXigJlz?= more to the story&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; 
            &lt;span class=&quot;s&quot;&gt;&quot;There’s more to the story&quot;&lt;/span&gt;
        &lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# Input 3
&lt;/span&gt;        &lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
            &lt;span class=&quot;s&quot;&gt;&quot;7 Things Rich People Advise But Never Do | David O. in The Startup&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
            &lt;span class=&quot;s&quot;&gt;&quot;7 Things Rich People Advise But Never Do | David O. in The Startup&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
        &lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
    &lt;span class=&quot;p&quot;&gt;],&lt;/span&gt;
&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;test_get_subject&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;input_subject&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;expected&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;actual&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;get_subject&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;input_subject&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;assert&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;actual&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;expected&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;El código anterior le indica a &lt;em&gt;pytest&lt;/em&gt; que ejecute la prueba &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;test_get_subject&lt;/code&gt; tres veces, cada una reemplazando &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;input_subject&lt;/code&gt; y &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;expected&lt;/code&gt; con sus valores correspondientes especificados en el segundo argumento de &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;parametrize&lt;/code&gt;.&lt;/p&gt;

&lt;h2 id=&quot;fixtures&quot;&gt;Fixtures&lt;/h2&gt;
&lt;p&gt;En algunas ocasiones tal vez tengamos &lt;strong&gt;pruebas que comiencen desde cierto estado&lt;/strong&gt;, este estado puede ser tener datos en una base de datos, tener archivos en alguna carpeta, o tal vez simplemente tener el objeto correcto como entrada a la función; es ahí donde las &lt;em&gt;fixtures&lt;/em&gt; son útiles.&lt;/p&gt;

&lt;p&gt;Por ejemplo, en el repositorio de &lt;em&gt;medium-colletor&lt;/em&gt; hay una función llamada &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;parse_mail&lt;/code&gt; que, como el nombre lo sugiere, podemos usar para extraer información de un objeto de la clase &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;email.message.Message&lt;/code&gt;. Esta es una versión simplificada de la implementación del método:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;parse_mail&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;email_message&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;html&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;get_html&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;email_message&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;mail_info&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;
        &lt;span class=&quot;s&quot;&gt;&quot;id&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;email_message&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Message-ID&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt;
        &lt;span class=&quot;s&quot;&gt;&quot;to&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;email_message&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;To&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt;
        &lt;span class=&quot;s&quot;&gt;&quot;from&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;email_message&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;From&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt;
        &lt;span class=&quot;s&quot;&gt;&quot;subject&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;get_subject&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;email_message&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Subject&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]),&lt;/span&gt;
        &lt;span class=&quot;s&quot;&gt;&quot;date&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;email_message&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Date&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;],&lt;/span&gt;
    &lt;span class=&quot;p&quot;&gt;}&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mail_info&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;html&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Para probar esta función necesitamos un objeto de la clase &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Message&lt;/code&gt;, pero en realidad no quiero tener que conectarme a nuestro servidor de email cada vez que ejecutemos la prueba; este es el escenario perfecto para usar una &lt;em&gt;fixture&lt;/em&gt;. Para definir una, tenemos que isar algo como el siguiente código:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;o&quot;&gt;@&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pytest&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fixture&lt;/span&gt;
&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;dummy_mail&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;():&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;msg&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;MIMEMultipart&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;alternative&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;msg&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Subject&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;Link&quot;&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;msg&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;From&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;you@this.com&quot;&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;msg&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;To&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;me@that.com&quot;&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;msg&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Message-ID&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;123&quot;&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;msg&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Date&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;datetime&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;now&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;().&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;strftime&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;%a, %d %b %Y %H:%M:%S +0000 (UTC)&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    
    &lt;span class=&quot;n&quot;&gt;text&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;Hi!&quot;&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;html&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;sa&quot;&gt;f&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;&amp;lt;html&amp;gt;&amp;lt;head&amp;gt;&amp;lt;/head&amp;gt;&amp;lt;body&amp;gt;&amp;lt;p&amp;gt;&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;{&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;text&lt;/span&gt;&lt;span class=&quot;si&quot;&gt;}&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&amp;lt;br&amp;gt;&amp;lt;/body&amp;gt;&amp;lt;/html&amp;gt;&quot;&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;msg&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;attach&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;MIMEText&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;text&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;plain&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;msg&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;attach&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;MIMEText&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;html&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;html&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;))&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;msg&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Lo primero que hay que notar es que &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;@pytest.fixture&lt;/code&gt; es usado como decorador de… ¿¡una función!? Sí, así es, una &lt;em&gt;fixture&lt;/em&gt; no es nada más que una función cuyo valor de retorno debe ser el valor que queremos que esa &lt;em&gt;fixture&lt;/em&gt; tenga. En este caso, el valor de nuestra &lt;em&gt;fixture&lt;/em&gt; será un objeto de la clase &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;MIMEMultipart&lt;/code&gt; que hereda de &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Message&lt;/code&gt; que es justo lo que queremos.&lt;/p&gt;

&lt;p&gt;Ahora, para usar nuestra &lt;em&gt;fixture&lt;/em&gt; llamada &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;dummy_mail&lt;/code&gt; en nuestra prueba es suficiente con pasarla como argumento en nuestra función de prueba:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;test_parse_mail&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dummy_mail&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;expected_mail_info&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;
        &lt;span class=&quot;s&quot;&gt;&quot;id&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;ad841b37bd4b9b5403b575432f67f5ed2d68ed40&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
        &lt;span class=&quot;s&quot;&gt;&quot;to&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;a4747a50dad63531704f5ab32509bb0c60b7350f&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
        &lt;span class=&quot;s&quot;&gt;&quot;from&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;you@this.com&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
        &lt;span class=&quot;s&quot;&gt;&quot;subject&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;Link&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
        &lt;span class=&quot;s&quot;&gt;&quot;date&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;ANY&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;p&quot;&gt;}&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;mail_info&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;decoded&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;parse_mail&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dummy_mail&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;k&quot;&gt;assert&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mail_info&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;expected_mail_info&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;assert&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;decoded&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;&amp;lt;html&amp;gt;&amp;lt;head&amp;gt;&amp;lt;/head&amp;gt;&amp;lt;body&amp;gt;&amp;lt;p&amp;gt;Hi!&amp;lt;br&amp;gt;&amp;lt;/body&amp;gt;&amp;lt;/html&amp;gt;&quot;&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Cuando ejecutamos &lt;em&gt;pytest&lt;/em&gt;, este tratará de resolverlas antes de que se ejecute cualquier prueba que las use, y una ves que estas estén listas, los métodos de prueba reciben los valores especificados en cada método asociado. Este mecanismo permite algunos otros usos interesantes de los que hablaré más adelante.&lt;/p&gt;

&lt;h3 id=&quot;una-característica-extra-de-las-fixtures&quot;&gt;Una característica extra de las &lt;em&gt;fixtures&lt;/em&gt;&lt;/h3&gt;
&lt;p&gt;Las &lt;em&gt;fixtures&lt;/em&gt; de &lt;em&gt;pytest&lt;/em&gt; son geniales, y otro de sus usos es cuando queremos reutilizar el mismo fragmento de código en dos o más funciones de prueba. Imagina que necesitamos usar un objeto de la clase &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;Message&lt;/code&gt; para dos pruebas. Podríamos haber declarado una variable global, digamos &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;MESSAGE = MIMEMultipart(&quot;alternative&quot;)&lt;/code&gt; y después usarla en nuestros métodos así:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;test_parse_mail_1&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;():&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;parse_mail&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;MESSAGE&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# ...
&lt;/span&gt;    
&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;test_parse_mail_2&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;():&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;parse_mail&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;MESSAGE&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;c1&quot;&gt;# ...
&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Pero en este caso, ambos tests estarían usando la misma variable, &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;MESSAGE&lt;/code&gt; lo que significa que cualquier cambio hecho por &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;test_parse_mail_1&lt;/code&gt; afectaría el &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;MESSAGE&lt;/code&gt; que &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;test_parse_mail_2&lt;/code&gt; recibe, esto rompe el propósito de las pruebas unitarias, ya que nuestros &lt;em&gt;tests&lt;/em&gt; no estarían aislados. Sin embargo, cuando usamos &lt;em&gt;fixtures&lt;/em&gt;, cada función de prueba recibe una copia nueva de lo que sea que regrese nuestra función marcada con &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;@pytest.fixture&lt;/code&gt;, haciendo fácil y sencillo usarlas una y otra vez.&lt;/p&gt;

&lt;h2 id=&quot;patching&quot;&gt;Patching&lt;/h2&gt;
&lt;p&gt;Sin lugar a dudas, algunas partes de nuestro código dependerán de librerías de terceros o a servicios externos que no queremos ejecutar o contactar cuando ejecutamos nuestras pruebas. Ya sea porque la librería que estamos usando consume muchos recursos o es un sistema productivo que no debería ser tocado durante las pruebas, aquí es cuando el &lt;strong&gt;patching&lt;/strong&gt; brilla por su utilidad; este nos ayuda a &lt;strong&gt;reemplazar el comportamiento (o valores de retorno) de una llamada a una función&lt;/strong&gt; con lo que nosotros dispongamos.&lt;/p&gt;

&lt;p&gt;Imagina que la función &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;get_html&lt;/code&gt; contiene código que es muy &lt;em&gt;“costoso”&lt;/em&gt; ejecutar, y no lo queremos que este código se ejecute cada vez que llamamos al test &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;test_parse_mail&lt;/code&gt;, entonces podemos &lt;em&gt;parcharlo&lt;/em&gt; (tengo que decir que el &lt;em&gt;patching&lt;/em&gt; no es una funcionalidad de &lt;em&gt;pytest&lt;/em&gt; si no que viene con Python por default).&lt;/p&gt;

&lt;p&gt;Hay dos formas de &lt;em&gt;“parchar”&lt;/em&gt; nuestro código: una de ellas es haciendo uso de la instrucción &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;with&lt;/code&gt;, pasando el nombre completo de la función que queremos &lt;em&gt;“parchar”&lt;/em&gt;. Un test que aplica un &lt;em&gt;patch&lt;/em&gt; a la función &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;get_html&lt;/code&gt; dentro de &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;parse_email&lt;/code&gt; se vería así:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;kn&quot;&gt;from&lt;/span&gt; &lt;span class=&quot;nn&quot;&gt;unittest.mock&lt;/span&gt; &lt;span class=&quot;kn&quot;&gt;import&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;patch&lt;/span&gt;

&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;test_parse_mail&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dummy_mail&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;expected_mail_info&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;p&quot;&gt;{&lt;/span&gt;
        &lt;span class=&quot;s&quot;&gt;&quot;id&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;ad841b37bd4b9b5403b575432f67f5ed2d68ed40&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
        &lt;span class=&quot;c1&quot;&gt;# ...
&lt;/span&gt;    &lt;span class=&quot;p&quot;&gt;}&lt;/span&gt;
    
    &lt;span class=&quot;k&quot;&gt;with&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;patch&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;medium_collector.download.parser.get_html&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; 
        &lt;span class=&quot;n&quot;&gt;return_value&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Hello&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;k&quot;&gt;as&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;patched&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;mail_info&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;decoded&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;parse_mail&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;dummy_mail&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;

    &lt;span class=&quot;n&quot;&gt;patched&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;assert_called_once&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;()&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;assert&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mail_info&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;expected_mail_info&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;assert&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;decoded&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;Hello&quot;&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;En el fragmento anterior estamos &lt;em&gt;“parchando”&lt;/em&gt; la función y estableciendo el valor de &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;&quot;Hello&quot;&lt;/code&gt; como su valor de retorno con &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;return_value&lt;/code&gt;. Esto significa que &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;&quot;Hello&quot;&lt;/code&gt; será regresado cada vez que la función es ejecutada. Ahora que la función original no es realmente ejecutada, es importante que nos cercioremos que nuestro código está llamando a esta función, para esto podemos utilizar el método &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;assert_called_once&lt;/code&gt; para verificar que lo hemos llamado.&lt;/p&gt;

&lt;h3 id=&quot;los-peligros-del-patching&quot;&gt;Los peligros del &lt;em&gt;patching&lt;/em&gt;&lt;/h3&gt;
&lt;p&gt;El &lt;em&gt;parcheo&lt;/em&gt; podría parecer una solución fácil para evitar conectarse con servicios externos o llamadas a funciones costosas. Pero debes tener en cuenta que cuando &lt;em&gt;parchamos&lt;/em&gt; algo, estamos asumiendo muchas cosas sobre el código que estamos &lt;em&gt;parchando&lt;/em&gt;, estas asunciones son:&lt;/p&gt;

&lt;ul&gt;
  &lt;li&gt;Sabemos el comportamiento esperado del código que estamos &lt;em&gt;parchando&lt;/em&gt;, es decir, sabemos sus valores de retorno y bajo que circunstancias falla.&lt;/li&gt;
  &lt;li&gt;Puedes, con completa seguridad, regresar un objeto que se comporte como el valor que originalmente sería retornado por la función real.&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;Cuando aplicas un parche a una función, toma en cuenta que esta puede retornar un valor “complejo” que sea difícil de reproducir, y que &lt;em&gt;“parcharlo”&lt;/em&gt; mal resultaría en tu código siendo probado ante un escenario que nunca ocurrirá en la vida real. Para evitar esto, tal vez tengas que examinar muy a detalla cuales son los valores de retorno de lo que estás &lt;em&gt;“parchando”&lt;/em&gt; con el fin de hacerlo correctamente.&lt;/p&gt;

&lt;p&gt;Otro problema muy común con el &lt;em&gt;patching&lt;/em&gt; es que en nos podemos dejar llevar y terminar &lt;em&gt;“parchando”&lt;/em&gt; todo… lo que, a final de cuentas nos pone en la situación de estar probando nuestro código en escenarios poco realistas. Si en algún momento te encuentras haciendo esto, es mejor que te detengas y reconsideres si las pruebas unitarias son la mejor solución para probar tu código… tal vez las pruebas de integración sean una mejor solución para tu problema de &lt;em&gt;testing&lt;/em&gt;.&lt;/p&gt;

&lt;h2 id=&quot;fixtures-avanzadas&quot;&gt;&lt;em&gt;Fixtures&lt;/em&gt; avanzadas&lt;/h2&gt;
&lt;p&gt;Como lo mencioné anteriormente, la forma en la que &lt;em&gt;pytest&lt;/em&gt; resuelve las &lt;em&gt;fixtures&lt;/em&gt; puede ser usada para darle a nuestro código más flexibilidad. En el repositorio de &lt;em&gt;medium-collector&lt;/em&gt; hay una función que carga algunos archivos a un &lt;em&gt;bucket&lt;/em&gt; de S3 usando la librería &lt;em&gt;boto&lt;/em&gt;, esta es la función &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;upload_files&lt;/code&gt;, que se ve más o menos así:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;upload_files&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;file&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;bucket&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;client&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;boto3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;client&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;
        &lt;span class=&quot;s&quot;&gt;&quot;s3&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;aws_access_key_id&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;config&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;ACCESS_KEY&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;aws_secret_access_key&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;config&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;SECRET_KEY&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;region_name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;eu-west-2&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt;
    &lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
    &lt;span class=&quot;n&quot;&gt;client&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;upload_file&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;str&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;nb&quot;&gt;file&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;),&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;bucket&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;file&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;name&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;&lt;span class=&quot;mi&quot;&gt;2&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Claro que no quero estar conectándome a AWS cada vez que ejecuto las pruebas; aquí es donde la librería &lt;em&gt;moto&lt;/em&gt; aparece para rescatarme. En palabras de sus creadores: &lt;em&gt;“Moto es una librería que permite que tus tests fácilmente finjan comunicarse con servicios de AWS”&lt;/em&gt;. La forma en la que ellos sugieren usarla es a través de un manejador de contexto:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;test_my_model_save&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;():&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;with&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mock_s3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;():&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;conn&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;boto3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;resource&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'s3'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;region_name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;'us-east-1'&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Para probar nuestra función debemos cumplir dos condiciones antes de llamar a &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;upload_files&lt;/code&gt;:&lt;/p&gt;

&lt;ol&gt;
  &lt;li&gt;Imitar S3; no queremos estar conectándonos a AWS en nuestras pruebas unitarias,&lt;/li&gt;
  &lt;li&gt;Tener un &lt;em&gt;bucket&lt;/em&gt; que ya exista; nuestro código asume que uno ya existe&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;Para lograr estas dos cosas con un &lt;em&gt;fixture&lt;/em&gt; podemos hacer algo como esto:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;o&quot;&gt;@&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pytest&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fixture&lt;/span&gt;
&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;bucket&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;():&lt;/span&gt;
   &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;s&quot;&gt;&quot;my_special_bucket&quot;&lt;/span&gt;

&lt;span class=&quot;o&quot;&gt;@&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;pytest&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;fixture&lt;/span&gt;
&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;mock_storage&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bucket&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;o&quot;&gt;@&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;contextmanager&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;inner&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;create_bucket&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;k&quot;&gt;with&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mock_s3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;():&lt;/span&gt;
            &lt;span class=&quot;n&quot;&gt;conn&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;boto3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;client&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;s3&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;region_name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;eu-east-1&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
            &lt;span class=&quot;k&quot;&gt;if&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;create_bucket&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;:&lt;/span&gt;
                &lt;span class=&quot;n&quot;&gt;conn&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;create_bucket&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Bucket&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bucket&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
            &lt;span class=&quot;k&quot;&gt;yield&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;return&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;inner&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;p&gt;Esta &lt;em&gt;fixture&lt;/em&gt; es, en realidad, una función (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;inner&lt;/code&gt;) que gracias al decorador &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;contextmanager&lt;/code&gt; podemos llamar con la instrucción &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;with&lt;/code&gt;. En términos de la implementación puedes ver que estamos usando &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;mock_s3&lt;/code&gt; como lo recomiendan los desarrolladores de &lt;em&gt;moto&lt;/em&gt;, dentro de este contexto creamos un cliente de &lt;em&gt;boto3&lt;/em&gt;, luego, dependiendo de un parámetro pasado a nuestra función &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;inner&lt;/code&gt; decidimos si creamos o no la &lt;em&gt;bucket&lt;/em&gt;; por último, y como este se trata de un manejador de contexto usamos la instrucción &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;yield&lt;/code&gt; que le indicará a &lt;em&gt;pytest&lt;/em&gt; que nuestra &lt;em&gt;fixture&lt;/em&gt; está lista para ser usada.&lt;/p&gt;

&lt;p&gt;Ah, no sé si te diste cuenta, pero &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;mock_storage&lt;/code&gt; toma como argumento otra &lt;em&gt;fixture&lt;/em&gt; (&lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;bucket&lt;/code&gt; en este caso). Esa es otra de las excelentes características de &lt;em&gt;pytest&lt;/em&gt;: permite crear ciertas dependencias entre nuestras &lt;em&gt;fixtures&lt;/em&gt;, y esta es resuleta antes de que se ejecuten nuestras pruebas.&lt;/p&gt;

&lt;p&gt;Ahora sí, estamos listos a probar nuestra función &lt;code class=&quot;language-plaintext highlighter-rouge&quot;&gt;upload_files&lt;/code&gt; con esta función:&lt;/p&gt;

&lt;div class=&quot;language-python highlighter-rouge&quot;&gt;&lt;div class=&quot;highlight&quot;&gt;&lt;pre class=&quot;highlight&quot;&gt;&lt;code&gt;&lt;span class=&quot;k&quot;&gt;def&lt;/span&gt; &lt;span class=&quot;nf&quot;&gt;test_upload_files&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bucket&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mock_storage&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;with&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;mock_storage&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;create_bucket&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;bp&quot;&gt;True&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;):&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;upload_files&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;files_path&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;client&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;boto3&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;client&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;s3&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;,&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;region_name&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;eu-east-1&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt;
        &lt;span class=&quot;n&quot;&gt;contents&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;=&lt;/span&gt; &lt;span class=&quot;n&quot;&gt;client&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;.&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;list_objects&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;Bucket&lt;/span&gt;&lt;span class=&quot;o&quot;&gt;=&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;bucket&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)[&lt;/span&gt;&lt;span class=&quot;s&quot;&gt;&quot;Contents&quot;&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;]&lt;/span&gt;
    &lt;span class=&quot;k&quot;&gt;assert&lt;/span&gt; &lt;span class=&quot;nb&quot;&gt;len&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;(&lt;/span&gt;&lt;span class=&quot;n&quot;&gt;contents&lt;/span&gt;&lt;span class=&quot;p&quot;&gt;)&lt;/span&gt; &lt;span class=&quot;o&quot;&gt;==&lt;/span&gt; &lt;span class=&quot;mi&quot;&gt;1&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;

&lt;h2 id=&quot;practica&quot;&gt;¡Practica!&lt;/h2&gt;
&lt;p&gt;Me hubiera encantado preparar un notebook o cualquier otra forma de entorno interactivo que pudieras usar para jugar y experimentar un poco con los &lt;em&gt;tests&lt;/em&gt;, pero creo que para este tema, es mejor que te ensucies las manos con un poco de código verdadero. Te invito a que descargues el código de la aplicación &lt;a href=&quot;https://github.com/fferegrino/medium-collector&quot;&gt;&lt;em&gt;medium-collector&lt;/em&gt; repo&lt;/a&gt; y ejecutes los test por ti mism@.&lt;/p&gt;

&lt;h2 id=&quot;más-allá-de-las-pruebas-unitarias&quot;&gt;Más allá de las pruebas unitarias&lt;/h2&gt;
&lt;p&gt;A pesar de que &lt;em&gt;pytest&lt;/em&gt; es fabuloso para realizar pruebas unitarias, nada nos detiene de usarlo para otras pruebas, aún más más complejas; hablo de pruebas de integración o tal vez hasta de &lt;em&gt;end-to-end&lt;/em&gt;. Con herramientas como &lt;em&gt;Docker&lt;/em&gt;, &lt;em&gt;localstack&lt;/em&gt; y otras más, es posible crear un poderos &lt;em&gt;framework&lt;/em&gt; de pruebas para todos tus proyectos de Python. En un post futuro voy a hablar de cómo es que se puede utilizar todo el poder de estas herramientas para crear un test de &lt;em&gt;end-to-end&lt;/em&gt;, así que asegúrate de seguir el blog y de seguirme en Twitter en &lt;a href=&quot;https://twitter.com/io_exception&quot;&gt;@io_exception&lt;/a&gt;.&lt;/p&gt;</content><author><name>Antonio Feregrino Bolaños</name></author><category term="blog" /><category term="python" /><category term="pytest" /><summary type="html">Aviso A lo largo de este post estaré probando las funciones del código que escribí para el post sobre la generación automática de datasets; sin embargo no es necesario que leas ese post primero, pero seguramente te ayudará a ponerle más contexto al código que aquí se presenta.</summary></entry></feed>