سرفصل درس یادگیری ماشین

یادگیری ماشین (شماره درس: ۴٠٧١٧)

Machins Learning

اهداف درس یادگیری ماشین

در این درس مفاهیم یادگیری ماشین مطرح شده و آشنایی با شاخه های مختلف این زمینه صورت گرفته و جنبه های مهم عملی و نظری آن معرفی خواهد شد. در شاخه های مختلف تکنیک ها و الگوریتم های مهم بحث می شود. در حوزه ی یادگیری با ناظر، مسائل رگرسیون و دسته بندی مورد بررسی قرار خواهند گرفت و روش های حل این مسائل و ارزیابی مدل ها معرفی خواهد شد. برای مساله دسته بندی انواع دیدگاه ها و الگوریتم های مربوطه مطرح می شود. در بخش یادگیری بدون ناظر در مورد تخمین چگالی، کاهش ابعاد بدون ناظر و خوشه بندی صحبت خواهد شد. در نهایت آشنایی مختصری با شاخه ی یادگیری تقویتی صورت خواهد گرفت.

سرفصل های درس یادگیری ماشین

1. مقدمه ای بر یادگیری ماشین و مرور مباحث احتمال و جبرخطی (١ جلسه)
2. روش های تخمین ML و MAP (١ جلسه)
3. رگرسیون (٣ جلسه)
   • رگرسیون خطی و غیرخطی
   • بیش برازش (overfitting)
   • تجزیه ی خطا به بایاس (bias )، واریانس (variance) و نویز
   • منظم سازی (regularization)
   • رگرسیون آماری (statistical ): ارتباط توابع هدف مبتنی بر SSE با تخمین های احتمالی ML و MAP برای مساله ی رگرسیون
4. ارزیابی (evaluation) و تنظیم کردن مدل ها (١ تا ٢ جلسه)
   • اعتبارسنجی (validation)
   • اعتبارسنجی متقابل (Cross-validation)
   • انتخاب مدل (model selection)
   • انتخاب ویژگی (feature selection)
5. دسته بندی (classification)
   • دسته بندهای احتمالی (probabilistic classifiers) (سه جلسه)
   • تئوری تصمیم (theory decision (و دسته بند بهینه بیز (Bayes optimal classifier)
   • دسته بندی احتمالی جداساز (discriminative) و مولد (generative)
   • Logistic regression دو دسته ای و چند دسته ای (multi-class) و بیز ساده (Naïve Bayes)
6. دسته بندی با استفاده از توابع جداسازی (discriminant functions) (شش جلسه)
   • پرسپترون (Perceptron)
   • جداساز خطی فیشر (Fisher)
   • ماشین بردار پشتیبان (SVM) و هسته (kernel)
   • شبکه های عصبی (neural networks)
7. درخت تصمیم (Decision Tree) (یک جلسه)
   • آنتروپی و بهره اطلاعاتی (Information Gain)
   • الگوریتم ٣ID
   • توقف رشد و هرس درخت تصمیم
8. روش های یادگیری مبتنی بر نمونه (instance-based) (دو جلسه)
   • تخمین چگالی غیر پارامتری (Non-parametric density estimation)
   • دسته بند k‐نزدیکترین همسایه (k-Nearest Neighbors )
   • رگرسیون خطی وزن دار محلی (Locally Weighted Linear Regression)
9. تئوری یادگیری محاسباتی (٢ جلسه)
   • PAC-learning
   • VC dimension
   • کمینه سازی ریسک ساختاری (structural risk minimization)
10. یادگیری جمعی (ensemble learning) (دو جلسه)
    • Bagging و Boosting
    • AdaBoost
11. کاهش ابعاد (dimensionality reduction) بدون ناظر (٢ جلسه)
    • تحلیل مولفه اصلی (PCA)
    • تحلیل مولفه مستقل (ICA)
12. خوشه بندی (clustering) (سه جلسه)
    • روش های افرازی partitional) :k-means ،EM+GMM)  
    • روش روش های سلسله مراتبی (hierarchical)
13. یادگیری تقویتی (reinforcement learning) (دو جلسه)
    • فرایند تصمیم مارکوف (MDP)
    • روش های یادگیری مبتنی بر مدل (model-based)
    • روش تکرار مقدار (value iteration) و تکرار سیاست (policy iteration)
    • روش های یادگیری بی مدل (mode-freel)
    • الگوریتم های Q-learning ،SARSA تفاضل زمانی (Temporal Difference)
14. مباحث پیشرفته در یادگیری ماشین

ارزیابی درس یادگیری ماشین

• تمرین: ٢٠٪
• میان ترم: ٢۵٪
• پایان ترم: ٣۵٪
• امتحان های کوتاه: ١٠٪
• پروژه: ١٠٪

مراجع درس یادگیری ماشین

[1] C. Bishop. Pattern Recognition and Machine Learning. Springer, 2006.
[2] T. Mitchell. Machine Learning. MIT Press, 1998.
[3] K. Murphy. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
[4] T. Hastie, R. Tibshirani, and J. Friedman. The elements of statistical learning. 2nd edition, 2008.