Genel Bilgi
Kod | CENG0049 |
Ad | Deep Reinforcement Learning |
Dönem | 2023-2024 Eğitim-Öğretim Yılı |
Yarıyıl | . Yarıyıl |
Süre (T+U) | 3-0 (T-U) (17 Hafta) |
AKTS | 6 AKTS |
Yerel Kredi | 3 Yerel Kredi |
Eğitim Dil | Türkçe |
Seviye | Doktora Dersi |
Tür | Normal |
Öğretim Şekli | Yüz Yüze Öğretim |
Bilgi Paketi Koordinatörü | Mehmet SARIGÜL |
Dersin Amacı / Hedefi
Derin Takviyeli Öğrenme kursunun amacı, öğrencilere derin öğrenme teknikleriyle birlikte pekiştirmeli öğrenmenin (RL) ilkeleri, algoritmaları ve uygulamaları hakkında kapsamlı bir anlayış sağlamaktır. Ders, öğrencileri karmaşık sıralı karar verme problemlerini çözmek için derin RL algoritmalarını tasarlamak, uygulamak ve dağıtmak için gerekli bilgi ve becerilerle donatmayı amaçlamaktadır.
Dersin İçeriği
Takviyeli Öğrenmeye Giriş, Derin Öğrenmenin Temelleri, Derin Q-Ağları (DQN), Q-Öğrenimi ve değer tabanlı yöntemler, Deneyim tekrarı ve hedef ağları, DQN'ye yönelik uzantılar ve iyileştirmeler (ör. Double DQN, Dueling DQN) konularını kapsar. ), Politika Gradyan Yöntemleri, Yakın Politika Optimizasyonu (PPO), Güven Bölgesi Politikası Optimizasyonu (TRPO), Yakın Politika Optimizasyonu algoritmaları, Keşif ve İstismar, Derin pekiştirmeli öğrenmede keşif, Model Tabanlı Takviyeli Öğrenme, Derin RL'de İleri Düzey Konular, Robotik ve Kontrol için Derin RL, Doğal Dil İşlemede Derin RL, Oyun Oynamada Derin RL, Oyun oynamak için Derin RL aracıları (ör. AlphaGo, AlphaZero), değer işlevi için teknikler oyunlarda tahmin, Monte Carlo yöntemleri ve ağaç arama algoritmaları, Etik ve Toplumsal Hususlar, Araştırma Makaleleri ve Son Gelişmeler.
Dersin Ön Koşulu
Temel programlama, lineer cebir ve olasılık teorisi bilgisi.
Kaynaklar
Sewak, M. (2019). Deep reinforcement learning. Singapore: Springer Singapore.
Notlar
Sutton, Richard S., and Andrew G. Barto. Reinforcement learning: An introduction. MIT press, 2018.
Dersin Öğrenme Çıktıları
Sıra | Dersin Öğrenme Çıktıları |
---|---|
ÖÇ01 | Derin pekiştirmeli öğrenmenin temellerinin anlaşılması |
ÖÇ02 | Derin Öğrenme Tekniklerinde Yeterlilik |
ÖÇ03 | Derin Takviyeli Öğrenme Algoritmaları Bilgisi |
ÖÇ04 | Derin RL Algoritmalarını Uygulama Yeteneği |
Program Öğrenme Çıktıları ile İlişkisi
Sıra | Tür | Program Öğrenme Çıktıları | Duzey |
---|---|---|---|
PÖÇ01 | Bilgi - Kuramsal, Olgusal | Lisans düzeyinde kazanılan yetkinlikler temelinde Bilgisayar Mühendisliği temel alanında özgün çalışmalar için gerekli temeli sağlayan ileri düzeyde bilgi ve kavrayışa sahiptir. | 3 |
PÖÇ02 | Bilgi - Kuramsal, Olgusal | Mühendislik alanında bilimsel araştırma yaparak bilgiye genişlemesine ve derinlemesine ulaşır, bilgiyi değerlendirir, yorumlar ve uygular. | 3 |
PÖÇ03 | Yetkinlikler - Öğrenme Yetkinliği | Mesleğinin yeni ve gelişmekte olan uygulamalarının farkında olup, gerektiğinde bunları inceler ve öğrenir. | 3 |
PÖÇ04 | Yetkinlikler - Öğrenme Yetkinliği | Mühendislik problemlerini kurgular, çözmek için yöntem geliştirir ve çözümlerde yenilikçi yöntemler uygular. | 2 |
PÖÇ05 | Yetkinlikler - Öğrenme Yetkinliği | Analitik, modelleme ve deneysel esaslı araştırmaları tasarlar ve uygular, bu süreçte karşılaşılan karmaşık durumları çözümler ve yorumlar. | 3 |
PÖÇ06 | Yetkinlikler - Öğrenme Yetkinliği | Yeni ve/veya özgün fikir ve yöntemler geliştirir, sistem, parça veya süreç tasarımlarında yenilikçi çözümler geliştirir. | 2 |
PÖÇ07 | Beceriler - Bilişsel, Uygulamalı | Öğrenme becerilerine sahip olur. | 2 |
PÖÇ08 | Beceriler - Bilişsel, Uygulamalı | Bilgisayar Mühendisliğinin yeni ve gelişmekte olan uygulamalarının farkında olup gerektiğinde bunları inceler ve öğrenir. | 3 |
PÖÇ09 | Beceriler - Bilişsel, Uygulamalı | Çalışmalarının süreç ve sonuçlarını Bilgisayar Mühendisliği alanındaki veya alan dışındaki ulusal ve uluslararası ortamlarda açık bir şekilde yazılı veya sözlü olarak aktarır. | |
PÖÇ10 | Beceriler - Bilişsel, Uygulamalı | Bilgisayar Mühendisliğinde uygulanan güncel teknik ve yöntemler ile bunların kısıtları hakkında kapsamlı bilgiye sahip olur. | 1 |
PÖÇ11 | Beceriler - Bilişsel, Uygulamalı | Bilgisayar Mühendisliğinin gerektirdiği düzeyde bilgisayar yazılımı ile birlikte bilişim ve iletişim teknolojilerini ileri düzeyde etkileşimli olarak kullanır. | 2 |
PÖÇ12 | Bilgi - Kuramsal, Olgusal | Mesleki tüm etkinliklerde toplumsal, bilimsel ve etik değerleri gözetir. | 2 |
Haftalık Akış
Hafta | Konu | Ön Hazırlık | Yöntemler |
---|---|---|---|
1 | Takviyeli öğrenme ilkelerine ve terminolojisine giriş. | Ders notlarının okunması | Öğretim Yöntemleri: Anlatım |
2 | Yapay sinir ağları ve eğitim teknikleri dahil olmak üzere derin öğrenmenin temelleri. | Ders notlarının okunması | Öğretim Yöntemleri: Anlatım |
3 | Takviyeli öğrenmede Q-Learning ve değere dayalı yöntemler. | Ders notlarının okunması | Öğretim Yöntemleri: Anlatım |
4 | Derin Q-Networks (DQN) ve deneyim tekrarı. | Ders notlarının okunması | Öğretim Yöntemleri: Anlatım |
5 | Politika optimizasyonu ve REINFORCE algoritması. | Ders notlarının okunması | Öğretim Yöntemleri: Anlatım |
6 | Aktör-Eleştirmen yöntemleri ve avantaj fonksiyonları. | Ders notlarının okunması | Öğretim Yöntemleri: Anlatım |
7 | Yakın Politika Optimizasyonu (PPO) ve politika gradyanları. | Ders notlarının okunması | Öğretim Yöntemleri: Anlatım |
8 | Ara Sınavlar | Ölçme Yöntemleri: Yazılı Sınav |
|
9 | Derin RL'de keşif ve kullanım ödünleşimleri. | Ders notlarının okunması | Öğretim Yöntemleri: Anlatım |
10 | Model tabanlı pekiştirmeli öğrenme ve model öğrenme teknikleri. | Ders notlarının okunması | Öğretim Yöntemleri: Anlatım |
11 | Monte Carlo Ağaç Arama ve uygulamaları. | Ders notlarının okunması | Öğretim Yöntemleri: Anlatım |
12 | Hiyerarşik RL veya meta-öğrenme gibi derin RL'deki ileri düzey konular. | Ders notlarının okunması | Öğretim Yöntemleri: Anlatım |
13 | Robotik ve kontrol sistemleri için derin RL. | Ders notlarının okunması | Öğretim Yöntemleri: Anlatım |
14 | Oyun oynama ve oyun teorisi için derin RL. | Ders notlarının okunması | Öğretim Yöntemleri: Anlatım |
15 | Gözden Geçirme | Ders notlarının okunması | Öğretim Yöntemleri: Anlatım |
16 | Yarıyıl Sonu Sınavları | Ölçme Yöntemleri: Yazılı Sınav |
|
17 | Yarıyıl Sonu Sınavları | Ölçme Yöntemleri: Yazılı Sınav |
Öğrenci İş Yükü - AKTS
Çalışmalar | Sayısı | Süresi (Saat) | İş Yükü (Saat) |
---|---|---|---|
Ders ile İlgili Çalışmalar | |||
Ders (Sınav haftaları dahil değildir) | 14 | 3 | 42 |
Sınıf Dışı Ders Çalışma (Ön çalışma, pekiştirme) | 14 | 5 | 70 |
Değerlendirmeler ile İlgili Çalışmalar | |||
Ödev, Proje, Diğer | 0 | 0 | 0 |
Ara Sınavlar (Yazılı, Sözlü, vs.) | 1 | 14 | 14 |
Yarıyıl/Yıl Sonu/Final Sınavı | 1 | 28 | 28 |
Toplam İş Yükü (Saat) | 154 | ||
Toplam İş Yükü / 25 (s) | 6,16 | ||
AKTS | 6 AKTS |