نظریه اطلاعات و کدینگ

Coding and Information Theory

مقطع: تحصیلات تکمیلی گرایش: شبکه‌های کامپیوتری
نوع درس: نظری تعداد واحد: ۳
پیش‌نیاز: – هم‌نیاز: –

هدف کلی

هدف از این درس آشنایی دانشجویان با مفاهیم پایه‌ای و پیشرفته نظریه اطلاعات و کدینگ و کاربردهای آن در فشرده‌سازی داده‌ها، تصحیح خطا، رمزنگاری و دیگر زمینه‌های مرتبط است.

سرفصل‌ها

  1. آنتروپی، آنتروپی نسبی و اطلاعات متقابل
  2. آنتروپی توام (Joint Entropy)، آنتروپی شرطی (Conditional Entropy)، آنتروپی نسبی و اطلاعات متقابل (Relative entropy and Mutual Information)، رابطه آنتروپی و اطلاعات متقابل.
  3. قوانین زنجیره‌ای (Chain Rules)، نامعادله جانسون و نتایج آن، نامعادله لاگ سام و کاربردهای آن، نامعادله‌های پردازش داده و فانو
  4. نرخ آنتروپی فرآیند تصادفی، زنجیره‌های مارکوف (Markov Chains)، نرخ آنتروپی (Entropy Rate)، توابع نرخ آنتروپی
  5. فشرده‌سازی اطلاعات منبع، مثال‌هایی از کدگذاری منبع
  6. نامساوی کرفت، کدهای منبع بهینه، کران‌های طول کد بهینه، نامساوی کرافت و کدهای باز شونده به‌طور یکتا، کدهای هافمن و بهینگی هافمن، کد شانو – فانو – الیاس
  7. ظرفیت کانال، مثال‌هایی از ظرفیت کانال
  8. کانال‌های متقارن، خواص ظرفیت کانال، قضیه شانون برای ظرفیت کانال، کدهای همینگ

ارزیابی پیشنهادی

  • تمرین‌ها: ۲۰ درصد نمره
  • آزمون‌های میان‌ترم و پایان‌ترم: ۶۵ درصد نمره
  • پروژه: ۱۵درصد نمره

منابع پیشنهادی

  1. T. Cover and J. Thomas. Elements of Information Theory. 2nd Edition. John Wiley & Sons, 2012.
  2. R. M. Gray. Entropy and Information Theory. Springer Science & Business Media, 2011.
  3. I. Csiszár and J. Körner. Information theory: Coding Theorems for Discrete Memoryless Systems. Cambridge University Press, 2011.