CENG524 Advanced Paradigms in NLP

Genel Bilgi

Dersin Amacı / Hedefi

Bu dersin temel amacı, Doğal Dil İşleme alanında standart Transformer modellerinin ötesine geçen en güncel (State-of-the-Art) mimarileri ve paradigmaları incelemektir. Ders, öğrencilerin son dönemdeki üst düzey araştırma makalelerini eleştirel bir şekilde analiz etme, büyük dil modeli (LLM) ekosistemindeki mimari değişimleri kavrama ve bu ileri düzey kavramları üretken yapay zeka alanındaki karmaşık araştırma problemlerini çözmek için uygulama becerilerini geliştirmeyi hedeflemektedir.

Dersin İçeriği

Araştırma odaklı bu ders, modern NLP'deki en son gelişmelere ve yapısal değişimlere odaklanmaktadır. İşlenen temel konular arasında standart Transformer'ların karesel (quadratic) darboğazlarını aşmayı hedefleyen Durum Uzayı Modelleri (State Space Models - örn. Mamba); Uzmanların Karışımı (MoE) ve Derinliğin Karışımı (MoD) gibi dinamik işlem gücü tahsis stratejileri; çıkarım zamanı (inference-time) optimizasyonu ve "Sistem 2" mantıksal yürütme yaklaşımları bulunmaktadır. Ayrıca Parametre Verimli İnce Ayar (PEFT) yöntemlerinin matematiksel temelleri, otonom işletim sistemi etkileşimi sağlayan Büyük Eylem Modellerinin (LAMs) evrimi ve saf çoklu modlu (Omni) mimariler incelenmektedir. Dersin işleyişi ağırlıklı olarak literatür taraması, makale tartışmaları ve ileri düzey araştırma projeleri üzerinden yürütülmektedir.

Dersin Ön Koşulu

yok

Kaynaklar

- Scaling Laws for Neural Language Models (Kaplan et al., 2020) - Training Compute-Optimal Large Language Models [Chinchilla] (Hoffmann et al., 2022) - Attention Is All You Need (Vaswani et al., 2017) - FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness (Dao et al., 2022) - LoRA: Low-Rank Adaptation of Large Language Models (Hu et al., 2021) - QLoRA: Efficient Finetuning of Quantized LLMs (Dettmers et al., 2023) - Direct Preference Optimization: Your Language Model is Secretly a Reward Model (Rafailov et al., 2023) - Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al., 2020) - Lost in the Middle: How Language Models Use Long Contexts (Liu et al., 2023) - From Local to Global: A Graph RAG Approach to Query-Focused Summarization (Edge et al., 2024) - A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions (Ji et al., 2023) - SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models (Manakul et al., 2023) - Mamba: Linear-Time Sequence Modeling with Selective State Spaces (Gu & Dao, 2023) - Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (Wei et al., 2022) - Let's Verify Step by Step (Lightman et al., 2023) - Mixtral of Experts (Jiang et al., 2024) - Mixture-of-Depths: Dynamically allocating compute in transformer-based language models (Raposo et al., 2024) - OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments (Xie et al., 2024)

Notlar

- AnyGPT: Unified Multimodal LLM with Discrete Sequence Modeling (Zhan et al., 2024)

Dersin Öğrenme Çıktıları

Program Öğrenme Çıktıları ile İlişkisi

Haftalık Akış

Öğrenci İş Yükü - AKTS