Expositor

Ramón Villa Cox es candidato doctoral en el programa de Societal Computing en Carnegie Mellon University, donde en el 2021 obtuvo su maestría en Machine Learning. Ramón se graduó en el 2010 en la carrera de Economía de la ESPOL. Sus intereses de investigación se centran en el área de Machine Learning para el Bien Social, entre lo que se destaca la aplicación del procesamiento de lenguaje natural y el análisis de redes para la identificación de rumores y la exploración de su difusión durante eventos polarizados.

Descripción

En esta charla Ramón explicará la arquitectura detrás de un Transformer (introducido por Google IA en su paper “Attention is all you need”), incluyendo su principal componente que es el mecanismo de autoatención. Además, explorará el modelo BERT, y una especialización de esta arquitectura que revolucionó el campo del Procesamiento del Lenguaje Natural debido a las facilidades que permite en la transferencia de aprendizaje. También expondrá brevemente cómo son las implementaciones de estos modelos en populares librerías como Pytorch y Hugging Face.