نکات کلیدی
1. یادگیری عمیق: تصمیم‌گیری مبتنی بر داده
یادگیری عمیق با شناسایی و استخراج الگوها از مجموعه‌های بزرگ داده، امکان تصمیم‌گیری مبتنی بر داده را فراهم می‌آورد که به‌طور دقیق از مجموعه‌های ورودی پیچیده به نتایج تصمیم‌گیری مطلوب می‌انجامد.
تصمیم‌گیری مبتنی بر داده. یادگیری عمیق در استخراج الگوها از مجموعه‌های وسیع داده‌ها مهارت دارد و امکان نقشه‌برداری دقیق از ورودی‌های پیچیده به نتایج مورد نظر را فراهم می‌کند. این ویژگی آن را برای کاربردهایی که در آن‌ها شهود ناکافی است و داده‌ها حاکم هستند، ایده‌آل می‌سازد. نمونه‌هایی از این کاربردها عبارتند از:
- تحلیل متن در مکالمات آنلاین توسط فیسبوک
- جستجوی تصویر و ترجمه ماشینی توسط گوگل، بایدو و مایکروسافت
- درک محیط و برنامه‌ریزی حرکتی در خودروهای خودران
موفقیت AlphaGo. AlphaGo، برنامه‌ای از دیپ‌مایند که قهرمانان جهانی بازی گو را شکست داد، قدرت یادگیری عمیق را به نمایش می‌گذارد. فضای جستجوی وسیع بازی گو، چالش‌های محاسباتی زیادی ایجاد کرد، اما الگوریتم‌های یادگیری عمیق به AlphaGo این امکان را دادند که پیکربندی‌های صفحه را ارزیابی کرده و تصمیمات استراتژیک اتخاذ کند.
تصمیم‌گیری کلیدی است. توانایی اتخاذ تصمیمات مبتنی بر داده در بسیاری از حوزه‌ها حیاتی است. یادگیری عمیق ابزاری برای شناسایی و استخراج الگوها از مجموعه‌های بزرگ داده فراهم می‌آورد که امکان نقشه‌برداری دقیق از ورودی‌های پیچیده به نتایج مطلوب را می‌دهد.
2. هوش مصنوعی، یادگیری ماشین و یادگیری عمیق: سلسله‌مراتب هوش
حوزه مدرن یادگیری ماشین بر دو موضوع اخیر بنا شده است: کامپیوترهایی که می‌توانند از مثال‌ها یاد بگیرند و تحقیقات در زمینه شبکه‌های عصبی.
حوزه‌های تو در تو. هوش مصنوعی (AI) حوزه‌ای کلی است که شامل یادگیری ماشین (ML) می‌شود و یادگیری ماشین نیز شامل یادگیری عمیق (DL) است. هدف AI ایجاد سیستم‌های هوشمند است، ML بر روی الگوریتم‌هایی تمرکز دارد که از داده‌ها یاد می‌گیرند و DL از شبکه‌های عصبی عمیق استفاده می‌کند.
ریشه‌های AI. حوزه AI در یک کارگاه در کالج دارتموث در سال 1956 متولد شد. تحقیقات ارائه شده در این کارگاه شامل اثبات قضایای ریاضی، پردازش زبان طبیعی، برنامه‌ریزی برای بازی‌ها، برنامه‌های کامپیوتری که می‌توانند از مثال‌ها یاد بگیرند و شبکه‌های عصبی بود.
تمرکز ML. یادگیری ماشین شامل توسعه الگوریتم‌هایی است که به یک کامپیوتر اجازه می‌دهد تا توابع را از یک مجموعه داده (مجموعه‌های مثال) استخراج کند. برای درک مفهوم یادگیری ماشین، نیاز به درک سه اصطلاح داریم: مجموعه داده، الگوریتم و تابع.
3. یادگیری ماشین: استخراج توابع از داده
یک تابع یک نقشه‌برداری قطعی از یک مجموعه مقادیر ورودی به یک یا چند مقدار خروجی است.
نقشه‌برداری‌های قطعی. یک تابع یک نقشه‌برداری قطعی از ورودی‌ها به خروجی‌ها است، به این معنی که برای هر مجموعه خاص از ورودی‌ها، همیشه همان خروجی‌ها را بازمی‌گرداند. هدف یادگیری ماشین یادگیری این توابع از داده‌ها است.
مجموعه‌های داده و الگوریتم‌ها. الگوریتم‌های یادگیری ماشین مجموعه‌های داده را تحلیل می‌کنند تا الگوهای تکراری را شناسایی کنند که سپس به‌عنوان توابع نمایان می‌شوند. این توابع می‌توانند عملیات‌های حسابی ساده، قوانین if-then-else یا نمایش‌های پیچیده‌تری مانند شبکه‌های عصبی باشند.
شبکه‌های عصبی به‌عنوان توابع. یادگیری عمیق، زیرمجموعه‌ای از یادگیری ماشین، بر روی مدل‌های شبکه‌های عصبی عمیق تمرکز دارد. الگوهایی که الگوریتم‌های یادگیری عمیق از مجموعه‌های داده استخراج می‌کنند، توابعی هستند که به‌عنوان شبکه‌های عصبی نمایان می‌شوند.
4. دشواری یادگیری ماشین: نویز و تعصب
اولاً، بیشتر مجموعه‌های داده شامل نویز در داده‌ها هستند، بنابراین جستجوی تابعی که دقیقاً با داده‌ها مطابقت داشته باشد، لزوماً بهترین استراتژی نیست، زیرا معادل یادگیری نویز است.
نویز و مسائل بد-موقعیت. یادگیری ماشین با چالش‌هایی به دلیل نویز در داده‌ها و این واقعیت که مجموعه توابع ممکن اغلب بزرگ‌تر از مجموعه مثال‌ها در مجموعه داده است، مواجه است که این موضوع آن را به یک مسئله بد-موقعیت تبدیل می‌کند.
تعصب استقرایی. برای غلبه بر این چالش‌ها، الگوریتم‌های یادگیری ماشین اطلاعات ارائه شده توسط داده‌ها را با مجموعه‌ای از فرضیات درباره ویژگی‌های بهترین تابع، که به آن تعصب استقرایی الگوریتم گفته می‌شود، تکمیل می‌کنند.
کم‌فیت و بیش‌فیت. انتخاب تعصب استقرایی نادرست می‌تواند منجر به کم‌فیت (تابع خیلی ساده است) یا بیش‌فیت (تابع با نویز داده‌ها مطابقت دارد) شود. یافتن تعادل مناسب بین داده و تعصب استقرایی کلید موفقیت در تعمیم است.
5. یادگیری نظارت‌شده، یادگیری بدون نظارت و یادگیری تقویتی
در یادگیری ماشین نظارت‌شده، هر مثال در مجموعه داده با مقدار خروجی (یا هدف) مورد انتظار برچسب‌گذاری می‌شود.
یادگیری نظارت‌شده. در یادگیری ماشین نظارت‌شده، هر مثال در مجموعه داده با مقدار خروجی (یا هدف) مورد انتظار برچسب‌گذاری می‌شود. الگوریتم با مقایسه خروجی‌های خود با خروجی‌های هدف و تنظیم پارامترهای خود یاد می‌گیرد.
یادگیری بدون نظارت. یادگیری ماشین بدون نظارت معمولاً برای خوشه‌بندی داده‌ها استفاده می‌شود. در یادگیری ماشین بدون نظارت، هیچ مقدار هدفی در مجموعه داده وجود ندارد. در عوض، الگوریتم سعی می‌کند توابعی را شناسایی کند که مثال‌های مشابه را به خوشه‌ها نگاشت کند.
یادگیری تقویتی. یادگیری تقویتی بیشتر برای وظایف کنترل آنلاین، مانند کنترل ربات و بازی‌های ویدیویی مرتبط است. در این سناریوها، یک عامل باید یک سیاست یاد بگیرد که چگونه باید در یک محیط عمل کند تا پاداش بگیرد.
6. مدل‌های ریاضی: معادلات توصیف‌کننده روابط
در ساده‌ترین شکل، یک مدل ریاضی یک معادله است که توصیف می‌کند چگونه یک یا چند متغیر ورودی با یک متغیر خروجی مرتبط هستند.
مدل‌ها به‌عنوان معادلات. یک مدل ریاضی یک معادله است که توصیف می‌کند چگونه متغیرهای ورودی با یک متغیر خروجی مرتبط هستند. این یک نمایش ساده‌شده از یک فرآیند واقعی است.
مدل‌های خطی. یک الگوی ساده برای یک مدل معادله یک خط است: y = mx + c، که در آن y خروجی، x ورودی، m شیب و c عرض از مبدأ است. این پارامترها می‌توانند برای تطبیق مدل با داده‌ها تنظیم شوند.
کاربرد مدل. برای اینکه یک مدل مفید باشد، باید با دنیای واقعی ارتباط داشته باشد. این ارتباط در مورد معنایی که می‌توان به یک متغیر نسبت داد، بیشتر مشهود است.
7. مدل‌های خطی: مجموع وزنی و ورودی‌های چندگانه
ضرب ورودی‌ها در وزن‌ها و سپس جمع آن‌ها به‌عنوان مجموع وزنی شناخته می‌شود.
مجموع وزنی. هسته یک مدل خطی این است که خروجی به‌عنوان مجموع مقادیر ورودی n ضربدر وزن‌های مربوطه محاسبه می‌شود. این محاسبه به‌عنوان مجموع وزنی شناخته می‌شود.
ورودی‌های چندگانه. معادله یک خط می‌تواند به مدل‌هایی با ورودی‌های چندگانه گسترش یابد با افزودن یک وزن جدید برای هر متغیر ورودی. خروجی سپس به‌عنوان مجموع مقادیر ورودی ضربدر وزن‌های مربوطه محاسبه می‌شود.
یادگیری از داده. یادگیری ماشین با یافتن پارامترها (یا وزن‌ها) یک مدل با استفاده از یک مجموعه داده کمک می‌کند. یادگیری انجام شده توسط یادگیری ماشین، یافتن پارامترها (یا وزن‌ها) یک مدل با استفاده از یک مجموعه داده است.
8. شبکه‌های عصبی: نورون‌های متصل
قدرت شبکه‌های عصبی در مدل‌سازی روابط پیچیده ناشی از مدل‌های ریاضی پیچیده نیست، بلکه از تعاملات بین مجموعه‌ای بزرگ از نورون‌های ساده ناشی می‌شود.
واحدهای ساده، شبکه‌های پیچیده. یک شبکه عصبی شامل شبکه‌ای از واحدهای پردازش اطلاعات ساده به نام نورون‌ها است. قدرت شبکه‌های عصبی در مدل‌سازی روابط پیچیده از تعاملات بین مجموعه‌ای بزرگ از نورون‌های ساده ناشی می‌شود.
لایه‌های نورون. نورون‌ها در یک شبکه عصبی به لایه‌ها سازماندهی می‌شوند: یک لایه ورودی، لایه‌های پنهان و یک لایه خروجی. شبکه‌های یادگیری عمیق، شبکه‌های عصبی هستند که دارای لایه‌های پنهان زیادی از نورون‌ها هستند.
اتصالات و وزن‌ها. هر اتصال در یک شبکه دو نورون را به هم متصل می‌کند و وزنی به آن تعلق دارد. وزن یک اتصال بر نحوه پردازش اطلاعاتی که یک نورون از طریق آن اتصال دریافت می‌کند، تأثیر می‌گذارد.
9. توابع فعال‌سازی: معرفی غیرخطی بودن
در واقع، معرفی نقشه‌برداری غیرخطی در پردازش یک نورون دلیل استفاده از توابع فعال‌سازی است.
پردازش دو مرحله‌ای. یک نورون ورودی‌ها را به یک خروجی در دو مرحله نقشه‌برداری می‌کند: محاسبه مجموع وزنی ورودی‌ها و سپس عبور نتیجه از یک تابع فعال‌سازی.
نقشه‌برداری غیرخطی. توابع فعال‌سازی یک نقشه‌برداری غیرخطی به خروجی مجموع وزنی اعمال می‌کنند. این غیرخطی بودن برای توانمندسازی شبکه در یادگیری روابط پیچیده حیاتی است.
توابع فعال‌سازی رایج. نمونه‌هایی از توابع فعال‌سازی شامل آستانه، لجستیک، tanh و ReLU هستند. انتخاب تابع فعال‌سازی می‌تواند تأثیر قابل توجهی بر عملکرد شبکه داشته باشد.
10. پس‌انتشار: آموزش شبکه‌های عصبی
یادگیری انجام شده توسط یادگیری ماشین، یافتن پارامترها (یا وزن‌ها) یک مدل با استفاده از یک مجموعه داده است.
به‌روزرسانی‌های وزنی تکراری. فرآیند استاندارد آموزش یک شبکه عصبی شامل مقداردهی اولیه وزن‌ها به مقادیر تصادفی و سپس به‌روزرسانی تکراری آن‌ها بر اساس عملکرد شبکه بر روی یک مجموعه داده است.
نزول گرادیان. الگوریتم نزول گرادیان برای یافتن مجموعه وزن‌هایی که خطای شبکه را حداقل می‌کند، استفاده می‌شود. این شامل محاسبه گرادیان سطح خطا و به‌روزرسانی وزن‌ها در جهت گرادیان منفی است.
الگوریتم پس‌انتشار. الگوریتم پس‌انتشار برای محاسبه گرادیان‌های خطا برای هر وزن در شبکه استفاده می‌شود. این الگوریتم در دو مرحله کار می‌کند: یک مرحله پیشرو و یک مرحله پسرو.
11. CNNها و RNNها: معماری‌های سفارشی
سفارشی‌سازی ساختار یک شبکه به ویژگی‌های خاص داده‌ها از یک حوزه وظیفه می‌تواند زمان آموزش شبکه را کاهش دهد و دقت آن را بهبود بخشد.
معماری‌های خاص حوزه. سفارشی‌سازی ساختار یک شبکه به ویژگی‌های خاص داده‌ها از یک حوزه وظیفه می‌تواند زمان آموزش شبکه را کاهش دهد و دقت آن را بهبود بخشد.
شبکه‌های عصبی کانولوشنی (CNNها). CNNها برای وظایف شناسایی تصویر طراحی شده‌اند و از اشتراک وزن و تجمع برای دستیابی به عدم وابستگی به ترجمه استفاده می‌کنند. آن‌ها به‌ویژه در استخراج ویژگی‌های بصری محلی مؤثر هستند.
شبکه‌های عصبی بازگشتی (RNNها). RNNها برای پردازش داده‌های توالی طراحی شده‌اند و دارای یک بافر حافظه هستند که خروجی لایه پنهان را برای یک ورودی ذخیره کرده و آن را به همراه ورودی بعدی از توالی به لایه پنهان بازمی‌گرداند.
12. آینده: تفسیرپذیری و سخت‌افزار جدید
در هر فرآیند مبتنی بر داده، عامل اصلی موفقیت دانستن اینکه چه چیزی را اندازه‌گیری کنیم و چگونه اندازه‌گیری کنیم، است.
چالش تفسیرپذیری. یک چالش کلیدی در یادگیری عمیق، عدم تفسیرپذیری است. درک اینکه یک مدل چگونه تصمیمات خود را اتخاذ می‌کند، برای ایجاد اعتماد و اطمینان از انصاف حیاتی است.
سخت‌افزار جدید. تقاضا برای سخت‌افزار سریع‌تر همچنان نوآوری در یادگیری عمیق را پیش می‌برد. محاسبات نورومورفیک و محاسبات کوانتومی دو حوزه تحقیقاتی امیدوارکننده هستند که می‌توانند این حوزه را متحول کنند.
تصمیم‌گیری مبتنی بر داده. یادگیری عمیق به‌طور ایده‌آل برای کاربردهایی که شامل مجموعه‌های بزرگ داده با ابعاد بالا هستند، مناسب است. بنابراین، یادگیری عمیق احتمالاً سهم قابل توجهی در برخی از چالش‌های علمی بزرگ عصر ما خواهد داشت.
آخرین به‌روزرسانی::
نقد و بررسی
کتاب یادگیری عمیق نظرات متنوعی را به خود جلب کرده و میانگین امتیاز آن ۳.۹۱ از ۵ است. بسیاری آن را به عنوان یک مقدمه‌ی آموزنده به مفاهیم یادگیری عمیق ستایش می‌کنند، به‌ویژه برای افرادی که دارای پیش‌زمینه‌ی فنی هستند. با این حال، برخی آن را به دلیل جنبه‌های فنی‌اش برای خوانندگان عمومی بیش از حد پیچیده می‌دانند، با وجود اینکه به عنوان کتابی قابل دسترس معرفی شده است. خوانندگان از زمینه‌ی تاریخی و توضیحات مربوط به شبکه‌های عصبی قدردانی می‌کنند، اما برخی ریاضیات موجود در کتاب را چالش‌برانگیز می‌یابند. این کتاب به خاطر مرور جامع خود مورد تحسین قرار گرفته، اما به دلیل عدم پوشش کافی کاربردهای واقعی و ملاحظات اخلاقی مورد انتقاد قرار می‌گیرد.
