نظریه یادگیری ماشین
Machine Learning Theory
| مقطع: تحصیلات تکمیلی | گرایش: هوش مصنوعی |
| نوع درس: نظری | تعداد واحد: ۳ |
| پیش‌نیاز: – | هم‌نیاز: – |
هدف کلی
هدف از این درس، آشنایی دانشجویان با مفاهیم نظری الگوریتم‌های یادگیری ماشین و تحلیل آن‌ها است. تاکید این درس بیشتر روی روش‌های آماری محاسباتی متمرکز می‌شود. در این درس تلاش می‌شود به این پرسش‌ها پاسخ داده شود که آیا می‌توان الگوریتم یادگیری طراحی نمود که کران کارایی آن قابل اثبات باشد، و چگونه می‌توان الگوریتم یادگیری طراحی کرد که خواص ویژه‌ای داشته باشد.
سرفصل‌ها
- مقدمه و مدل رسمی یادگیری
- یادگیری در مدل سازگاری، مدل احتمالا تقریبا درست (PAC)، یادگیری عمومی و تحلیل الگوریتم‌های کمینه‌سازی خطای تجربی
- معیارهای محاسبه غنای فضای فرضیه محاسبه کران خطا (تابع رشد، بعد VC و پیچیدگی راداماخر)
- یادگیری غیریکنواخت و تحلیل الگوریتم‌های کمینه‌سازی خطای ساختاری
- انتخاب مدل، روش‌های منظم‌سازی و پایداری الگوریتم‌های یادگیری
- پیچیدگی محاسباتی الگوریتم‌های یادگیری
- الگوریتم‌های یادگیری برخط، رتبه‌بندی فعال
- نظریه PAC-Bayesian
- مبانی نظریه خوشه‌بندی
- مسائل یادگیری محدب
- تحلیل الگوریتم‌های یادگیری: تحلیل الگوریتم‌های رگرسیون، ماشین بردار پشتیبان، بوستینگ و …
ارزیابی پیشنهادی
- تمرین‌ها و پروژه: ۲۵ درصد نمره
- آزمون‌های میان‌ترم و پایانی: ۶۵ درصد نمره
- پروژه پژوهشی: ۱۰ درصد نمره
منابع پیشنهادی
- M. Mohri, A. Rostamizadeh, and A. Talwalkar. Foundations of Machine Learning. 2nd Edition, MIT Press, 2018.
- S. Shalev-Shwartz and S. Ben-David. Understanding Machine Learning: From Theory to Algorithms. Cambridge University Press, 2014.