Uczenie Głębokie W Przetwarzaniu Tekstu

Uczenie głębokie w przetwarzaniu tekstu

Punkty:
https://www.duszekjk.com/ugpt/student/

Przedmiot fakultatywny prowadzony na studiach II stopnia (niestacjonarnych) z informatyki. Celem zajęć jest zapoznanie studentów z nowoczesnymi modelami językowymi opartymi na architekturze Transformer, takimi jak BERT, RoBERTa, GPT-2, T5 czy mT5. Omawiane są zarówno modele enkoderowe, dekoderowe, jak i enkoder-dekoder oraz podejścia few-shot, one-shot i zero-shot learning. Studenci uczą się trenować i dostrajać modele językowe oraz stosować je m.in. w klasyfikacji tekstu i zadaniach typu pytanie-odpowiedź. Zajęcia mają formę laboratoriów, w których realizowane są praktyczne projekty.

Wymagania wstępne: podstawowa znajomość Pythona.
Punkty ECTS: 3

Ćwiczenia:
1.
A: https://colab.research.google.com/drive/1hvg8jiYpTDWGqLaJxlMD0EuxlUnX8vyl?usp=sharing

2.
B: https://drive.google.com/file/d/1AhgBo4K_oQGhLByL74zg14c8yWCqqCQq/view?usp=sharing

B*: https://drive.google.com/file/d/1lXPnGfHoJn3_sDecAaq-sJYNxzQG6hyP/view?usp=sharing

3.
C: https://colab.research.google.com/drive/1c05VAW_3KvCmV3-vZF2D0P4ABXAcggIA

4.
D: https://colab.research.google.com/drive/1ZIsoLSJLEiuoeXUQlSd71gFYkgqlCWO1

https://colab.research.google.com/drive/1K8_ahDabZ0tLQy5e9DiK-52UYwFfG7Bs?authuser=1#scrollTo=MgCtrGqDSAWT

https://drive.google.com/file/d/1K8_ahDabZ0tLQy5e9DiK-52UYwFfG7Bs/view?usp=sharing

5.
e
https://colab.research.google.com/drive/1SzuQioiuSmoFJH5FF7smvWsIh7LrpDPp?authuser=1#scrollTo=oy5ysc41SAWw