|
|
Atividade
| 130381 - Tópicos Avançados em Deep-Learning |
| Período da turma: | 07/05/2026 a 03/09/2026
|
||||
|
|
|||||
| Descrição: | O potencial da inteligência artificial de imitar o processo de pensamento humano vai além de tarefas passivas e repetitivas, e muitas técnicas de aprendizado são também capazes de atividades criativas. A disciplina apresenta como aplicar redes neurais para criar uma nova obra de arte, seja um novo texto, uma imagem ou uma música. O objetivo dessa disciplina é ensinar os alunos como aplicar redes neurais "deep-learning" para transferir o estilo de uma obra de arte para criar uma nova obra, e como combinar redes neurais de forma a criar novas configurações capazes de realizar atividades criativas. Além disso, a disciplina apresenta detalhadamente grandes modelos de linguagem (LLM) gerativos. A apresentação inclui compreensão do funcionamento de suas diferentes arquiteturas, suas exigências computacionais, além de seu uso nas implementações, incluindo o ajuste fino, o aumento do conhecimento pré-treinado através de dados externos (RAG). Paralelamente, é preciso discutir a criação de modelos híbridos, que podem otimizar o processamento ou aumentar a confiabilidade dos resultados dos LLMs isolados.
Ementa: • Aspectos de hardware computacional para desenvolvimento de redes neurais "deep-learning". Programação de gpus e clusters de cpus. • Geração automática de texto usando redes neurais recorrentes. • Transferência de estilo usando redes neurais. • Geração de "arte" (imagens, músicas e textos) usando transferência de estilo. • Autocodificadores variacionais. • Geração de "arte" (imagens, músicas e textos) usando autocodificadores. • Redes adversárias generativas (GAN). • Utilização de GANS para geração de "arte". • Realização de atividades práticas de programação durante as aulas. • Transformers codificadores: BERT e suas variantes (DistilBERT, RoBERTa etc.) • Transformers decodificadores: GPT • Transformers codificadores-decodificadores: Text-to-Text Transfer Transformer (T5) • Outros LLMs: LLaMA, PaLM2 e variantes (priorizando os de Código Aberto) Bibliografia: • Chollet, F. Deep Learning with Python, Manning Shelter Island Editor, 2018. • Ganesh, T. V. Deep Learning from First Principles in Vectorized Python, R and Octave, www.amazon.com/Deep-Learning-first-principles-vectorized/dp/1981088849. • Goodfellow, I.; Bengio, Y.; Courville, A. Deep Learning, www.deeplearningbook.org. |
||||
| Carga Horária: |
42 horas |
||||
| Tipo: | Obrigatória | ||||
| Vagas oferecidas: | 66 | ||||
| Ministrantes: |
Eduardo Lobo Lustosa Cabral Marcos Fernando Lopes |
 voltar |
|
Créditos © 1999 - 2025 - Superintendência de Tecnologia da Informação/USP |