Estoy enredando un poco con redes neuronales en torch, y para empezar he cogido el famoso ejemplo de Karpathy char-rnn, que es el tipico texto predictivo caracter a caracter.  Y antes de ponerme a modificarlo para trabajar exactamente con la longitud de un tweet y que el output de la prediccion sea una clasificacion de los tweets, he lanzado unos ejemplos sin modificar el codigo pero que aspiran a intentar predecir el partido politico al que pertenece un tuitero. Os cuento.

Lo primero es instalarse el codigo, en ubuntu sin GPUs esto ha ido sin problemas, y curiosamente va mas rapido en una maquina de cuatro hilos que en una de 16, se ve que debido a la compilacion y optimizacion de BLAS y demas librerias. Vamos, que podeis intentarlo sin CPU.

Lo primero, claro, es tener una serie de tuits y saber de que partido cojea cada tuitero. Una pista es utilizar los nicks mas relevantes clasificados en los proyectos de Kampal Social sobre las elecciones generales.  Tenemos en el canal público este mismo, funcionando desde marzo. Si seleccionais el mapa de Retweets y luego “comunidades” en el perfil de estadisticas, teneis una serie de listas de los retuiteros mas pertinaces, clickando en cada lista y ordenando por actividad o por relevancia podeis escoger vuestras fuentes de datos. O bueno, podeis fiaros de vuestro instinto y simplemente ir cortando y pegando por el cliente de twitter que mas os guste.

En mi caso para ponerlo un poco mas dificil he borrado todas las menciones, aunque no los hashtags. Aqui hay ya diferentes criterios pues incluso con la misma seleccion.

Dado que no queria modificar el codigo original, la forma de etiquetar un tuit como perteneciente a un partido dado ha sido añadirle al final una cadena con el formato ****XX**. Conviene recordar que el programa intenta conjeturar cada caracter a partir de su entorno, asi que conviene que las siglas sean diferentes para cada opcion… esto es una lata dado que los nombres de partido se empeñan en empezar por P.

Hay dos vias que podemos tomar para entrenar la red. La directa, alimentando como input.txt el fichero de tweets ya con las terminaciones, y la indirecta, primero entrenando a la red para reconocer tweets en general, y luego añadiendo las terminaciones. Eso si, no nos queda mas remedio que emplear la misma lista de tweets porque el programa dimensiona la red neuronal en funcion tambien del numero de caracteres diferentes (el “vocabulario”, lo llama Karpathy) y si dos bloques de input tienen diferente numero de caracteres no es posible utilizar una red de uno en el otro.

El comando para entrenarlos es relativamente trivial.  Lo unico remarcable es que si estamos reentrenando desde una red previa hay que usar -init_from:

th train.lua -rnn_size 256 -data_dir data/asignadosEPvoc -checkpoint_dir AsignadosRawEP2 -eval_val_every 500 -seq_length 100 -init_from debateEP2/lm_lstm_epoch30.20_1.0597.t7

La cuestion es, ¿cómo utilizo la red para obtener predicciones? Pues dandole como semilla el tweet que queremos precedir y limitandonos a mirar como lo completa:

th sample.lua -sample 0 -verbose 0 -length 150 -primetext "$i" $file | head -n +1  | grep -a -o "\*\*\*..\*"

Aqui el truco esta en que -sample 0 desconecta la variabilidad aleatoria que el programa emplea para generar texto al azar.  Podemos hacer esto con una fraccion de la muestra de entrenamiento a ver que tal lo hace. Por ejemplo (usando el fichero de entrenamiento pero quitandole la etiqueta de identificacion del partido):

cat data/asignados/input.txt 
| sort -R | head -n +100 | sed "s/\*\*\*..\*//g" | tr \" \' 
| (while read i; do th sample.lua -sample 0 -verbose 0 $file -length 150 -primetext "$i" | head -n +1; done) 
| grep -a -o "\*\*\*..\*" | sort | uniq -c;

De hecho al hacer esto se nota que la red no reproduce ni siquiera la distribucion de tweets por partido del fichero de input: astutamente tiende a elegir en caso de duda el partido que mas tweets tenia en la muestra y a evitar los que tienen pocos. Asi que hay que andar con cuidado y procurar que haya al menos un 10% de tuits de cada partido, si no queremos que el algoritmo aplique su propia regla de corte, que deja en mantillas lo del tres por ciento de cada circunscripcion.

Ahora podemos hacer esta estimacion para selecciones del  fichero de input que sean de un partido dado:

for partido in SO CS IU MS PP UD
do 
  echo sampling from $partido...
  grep -a "\*\*$partido\*" data/asignados/input.txt 
      | sort -R | head -n +100 | sed "s/\*\*\*..\*//g" | tr \" \' 
      | (while read i; do th sample.lua -sample 0 -verbose 0 $file -length 150 -primetext "$i" | head -n +1; done) 
      | grep -a -o "\*\*\*..\*" | sort | uniq -c 
done

Y claro, nos encontramos que casi en ningun caso se acerca a etiquetar el 100% de los tuits como pertenecientes al partido original. No dicho, si no lo tiene muy claro, el sistema intenta mas bien hacer una apuesta a partir de las probabilidades de lo que ha aprendido. Lo que tendremos que hacer sera pues considerar no la prediccion mayoritaria al examinar una muestra sino la diferencia entre esta y el “background” que hemos calculado anteriormente.

Por ejemplo con un fichero de input entrenado previamente sin etiquetar, y que de momento lleva solo una ronda de entrenamiento con las etiquetas puestas, estoy obteniendo este resultado:

De momento es todavia dificil distinguir los partidos con poca representacion en tuits; la confusion puede apañarse mediante una formula empirica, por ejemplo dividiendo el incremento entre el porcentaje inicial, para averiguar cual es el mas relevante (y asi identificando correctamente Izquierda Unida y UPyD) o poniendonos más rigurosos y estimando estadisticamente la likelihood de cada resultado dados los tamaños y sesgos muestrales.

Echando un vistazo a otros resultados, observo que no todas las redes que estoy entrenando apuestan por defecto a los mismos jinetes.  En general se da la pauta de dar menos probabilidad a alguna de las tres menos representadas y dar mucha a alguna de las tres con mas representacion, pero vete a saber en que se basa la decision; con solo unas pocas horas de entrenamiento -acordaos de que no estoy usando GPU- cada red puede estar usando distintos rasgos distintivos.

Tampoco estoy encontrando resultados distintos entre los dos metodos de entrenamiento. Quizas porque a fin de cuentas el objetivo definido es el mismo, acertar el mayor numero de caracteres, aunque en realidad lo que queremos optimizar es que acierten los cinco caracteres finales. Toca pues ponerse a modificar codigo.

Por otro lado, seria interesante ver hasta donde se puede tirar con esta idea de mirar solo la prediccion de caracteres ascii, e intentar entrenar otros algoritmos mas tradicionales, cadenas de Markov o el ejemplo de Y. Goldberg, que es extremadamente simple, para predecir la “terminacion” de tweet.

Sitios que hacen promedio de encuestas

Electrograph: http://www.electograph.com/p/electograph-poll-of-polls.html da tambien una lista de fuentes.

Political Markets: http://www.politicalmarkets.com/wordpress/?page_id=212

wikipedia https://es.wikipedia.org/wiki/Anexo:Sondeos_de_intenci%C3%B3n_de_voto_para_las_elecciones_generales_de_Espa%C3%B1a_de_2015

Kiko Llaneras https://twitter.com/kikollan/media

Encuestas con intención de voto

Encuestas sólo con cocina/estimación/proyeccion

Cada vez que lo cuento en otro foro me doy cuenta de que en mi propio blog es donde mas incompleto esta. La idea es que tenemos en algun momento tres generaciones de SU(4)xSU(2)xSU(2):

\(\nu_?, e, u,b\) con masa 4

\(\nu_?, \tau, c,d\) con masa 1+sqrt(3)/2

\(\nu_?, \mu,  t,s\)  con masa 1-sqrt(3)/2

\(\nu_?, \ \ ,t\ ,\   \; \)

\(\nu_?, \ \ , \ \  ,b\;\  \  4m_0\)

\(\ \ \ ,\tau, c, \  \  \  \  \  (1+\frac{\sqrt3}2)m_0 \)

\(\ \ \ ,\mu,\ \  , s \  \  \  (1-\frac{\sqrt3}2)m_0 \)

\(\nu_?, \ \  ,\ \ ,d\;\  (1-\frac{\sqrt3}2){1-\sqrt3 /2 \over 1+\sqrt3 /2 }m_0 \)

\(\ \ \ , e, u, \ \ \;\  \  0 \)

Lo cual es extraño, porque estamos acostumbrados a pensar que la parte electromagnetica y la debil de la simetria electrodebil estan muy separadas. Pero mirando cual seria la vida media del positronio a la masa, digamos, de mu o de tau, no estan tan lejos. Las particlas con decay “electromagnetico” juegan con la ventaja de que la fuerza fuerte las hace circular en radios mucho mas pequeños que el que tendrian solo con fuerzas de coulomb. En la grafica, las lineas azul y verde indican cual seria la decay width de una particula de orto o para-positronio en funcion de su masa. Las particulas en la linea azul clarito, por otra parte, son los mesones neutros, que se desintegran a fotones, algunos via la anomalia, otros por coincidencia directa, pero en cualquier caso mucho mas rapido que el correspondiente “quarkonio” electromagnetico.

La jugarreta, claro, es que QCD se superpone a Coulomb, amplificando la fuerza de atraccion entre los dos quarks. Eso a pesar de que los quarks a corta distancia tienen libertad asintotica.

Si apagaramos QCD, algun de los mesones que estan sobre la linea clara deberia ir acercandose a las del positronio, aunque tambien alguno de los mesones cargados simplemente desapareceria por repulsion -los forman particulas con carga del mismo signo- y quedarian sus quarks a secas, desintegrandose a ritmos similares a muon o tau (trazad una paralela a la linea morada que pase por el muon).

La receta para generar esta gráfica ya la conte en otra entrada anterior.