|
|
Atividade
| 108206 - Evolução dos Modelos de Linguagem |
| Período da turma: | 10/10/2022 a 14/10/2022
|
||||
|
|
|||||
| Descrição: | Resumo: Trabalhos recentes na área de Processamento de Linguagem Natural foram impactados por sofisticados Modelos de Linguagem. Esses modelos de linguagem capturam informações do contexto em que as palavras aparecem e dos caracteres pelos quais são compostas as sentenças. Neste tutorial, falaremos sobre a evolução desses modelos de linguagem, partindo dos primeiros modelos baseados em N-gramas; passando pelos Word Embeddings, que aprendem representações vetoriais de palavras sobre um corpus de treino e finalmente os Modelos Contextuais de Linguagem. Os modelos mais recentes aprendem representações dinâmicas, sensíveis e adaptáveis ao contexto, característica fundamental para lidar com os desafios de desambiguação dos sentidos. Sobre cada tipo de ML, mostramos como eles são gerados e usados; questões de avaliação e suas principais limitações e disponibilidade de modelos para língua portuguesa.
Referências: Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2019). Exploring the limits of transfer learning with a unified text-to-text transformer. Computing research repository - arXiv, abs/1910.10683:53. Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., and Amodei, D. (2020). Language models are few-shot learners. Computing research repository - arXiv, abs/2005.14165:75. Devlin, J., Chang, M., Lee, K., and Toutanova, K. (2019). BERT: pre-training of deep bidirectional transformers for language understanding. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 4171–4186. Mikolov, T., Karafi ́at, M., Burget, L., Cernock ́y, J., and Khudanpur, S. (2010). Recurrent neural network based language model. In Proceedings of the 11th Annual Conference of the International Speech Communication Association, pages 1045–1048. |
||||
| Carga Horária: |
3 horas |
||||
| Tipo: | Optativa | ||||
| Vagas oferecidas: | 300 | ||||
| Ministrantes: |
Joaquim Francisco dos Santos Neto Renata Vieira |
 voltar |
|
Créditos © 1999 - 2023 - Superintendência de Tecnologia da Informação/USP |