Apolo

Atividade

127774 - Introdução ao uso de Grandes Modelos de Linguagem (LLMs)

Período da turma:

27/01/2025 a 07/02/2025

Selecione um horário para exibir no calendário:

Descrição:

Porgrama:
1. Processamento de linguagem natural: principais tarefas.
2. Representação vetorial de documentos de texto.
3. Arquitetura Transformer e seus componentes: modulo de atenção, módulo de posicionamento, módulos de codificação e decodificação. Arquiteturas encoder-decoder e decoder-only.
4. Modelagem causal de linguagem.
5. Tipos de aprendizado: auto-supervisionado (self-supervised), zero-shot, few-shot, contextual (in-context).
6. Engenharia de prompt.
7. Geração aumentada por recuperação da informação.
8. Uso de APIs e sistemas comerciais.

Bibliografia:
- Speech and Language Processing (3rd ed. draft), Dan Jurafsky e James H. Martin (2024).
- Chatbots for customer service: user experience and motivation. In Proceedings of the 1st
International Conference on Conversational User Interfaces. Asbjørn Følstad and Marita Skjuve (2019).
1–9. https://doi.org/10.1145/3342775.3342784
- Patrick S. H. Lewis et al., Retrieval-augmented generation for knowledge-intensive NLP tasks. In Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems (2020).
- Huayang Li, Yixuan Su, Deng Cai, Yan Wang, and Lemao Liu, A survey on retrieval-augmented text generation. CoRR, abs/2202.01110 (2022).
- Training language models to follow instructions with human feedback, Ouyang et al. (2022).
- Rohan Anil et al., PaLM 2 technical report. CoRR, abs/2305.10403 (2023).
- OpenAI, GPT-4 Technical Report CoRR, abs/2303.08774 (2023).
- Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone, Abdin et al. (2024)
- Hugo Touvron et al., Llama: Open and efficient foundation language models. CoRR, abs/2302.13971 (2023).
- Tutoriais selecionados da internet.

Carga Horária:

20 horas

Tipo:

Obrigatória

Vagas oferecidas:

Ministrantes:

Guilherme Yambanis Thomaz

voltar