Apolo

Atividade

114342 - Introdução aos Modelos de Língua Neurais

Data da turma:

09/10/2023

Selecione um horário para exibir no calendário:

Descrição:

Resumo: Modelos de Língua Neurais, que constituem a "espinha dorsal" de ferramentas como o ChatGPT e BARD, têm alcançado o estado-da-arte em diversas tarefas de Processamento de Linguagem Natural. Recentemente, tais modelos também têm sido usados para outros tipos de dados de entrada, como áudio, código computacional e imagens. Ademais, a disponibilização de Interfaces de Programação de Aplicações (APIs) e hubs de treinamento e de dados têm levado a escala de utilização de tais modelos para um outro patamar. Neste curso, exploraremos alguns conceitos por trás da criação destes modelos, como as arquiteturas baseadas em Transformers e o treinamento e ajuste dos modelos para problemas específicos, com um foco na língua portuguesa. Veremos ainda como utilizar o framework HuggingFace para utilização e ajuste de modelos. Também discutiremos as limitações técnicas e sociais das tecnologias que se valem de modelos de língua para construir agentes de conversação.

Referências:
Lewis Tunstall, Leandro von Werra, Thomas Wolf. 2022. Natural Language Processing with Transformers. O'Reilly Media, Inc. ISBN: 9781098136796.

Daniel Jurafsky and James H. Martin. 2023. Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition (3rd. ed. draft). Prentice Hall PTR, USA.

Carga Horária:

3 horas

Tipo:

Optativa

Vagas oferecidas:

300

Ministrantes:

Aline Marins Paes Carvalho

voltar