Numsense! Data Science for the Layman

1. علم داده: تصمیم‌گیری آگاهانه فراتر از شهود

به عنوان انسان‌ها، قضاوت‌های ما محدود به تجربیات محدود و ذهنی و دانش ناقص است.

غلبه بر محدودیت‌های انسانی. علم داده یک جایگزین قدرتمند برای تکیه صرف بر قضاوت انسانی ارائه می‌دهد که ممکن است دچار سوگیری و محدودیت باشد. با استفاده از داده‌ها، می‌توانیم روندهای پنهان را شناسایی کنیم، پیش‌بینی‌هایی انجام دهیم و احتمال‌ها را محاسبه کنیم که منجر به تصمیم‌گیری‌های دقیق‌تر و آگاهانه‌تر می‌شود. این موضوع به‌ویژه در زمینه‌هایی مانند پزشکی که تشخیص نادرست می‌تواند عواقب جدی داشته باشد، بسیار حیاتی است.

استفاده از قدرت داده. تکنیک‌های علم داده به ما این امکان را می‌دهند که مجموعه‌های داده وسیع را تحلیل کرده و بینش‌های ارزشمندی استخراج کنیم که از طریق شهود به تنهایی قابل تشخیص نیستند. محاسبات مدرن و الگوریتم‌های پیشرفته به ما اجازه می‌دهند تا:

• روندهای پنهان را در مجموعه‌های داده بزرگ شناسایی کنیم
• از روندها برای پیش‌بینی استفاده کنیم
• احتمال هر نتیجه ممکن را محاسبه کنیم
• نتایج دقیق را به سرعت به‌دست آوریم

رویکرد عملی. این کتاب یک مقدمه ملایم به علم داده ارائه می‌دهد و بر توضیحات شهودی و مثال‌های دنیای واقعی تمرکز دارد. با درک مفاهیم و الگوریتم‌های بنیادی، خوانندگان می‌توانند از نقاط قوت علم داده برای اتخاذ تصمیمات بهتر در زمینه‌های خود بهره‌برداری کنند.

2. آماده‌سازی داده: پایه و اساس تحلیل قابل اعتماد

اگر کیفیت داده‌ها ضعیف باشد، حتی پیشرفته‌ترین تحلیل‌ها نیز تنها نتایج ناامیدکننده‌ای تولید خواهند کرد.

داده‌های بی‌کیفیت، نتایج بی‌کیفیت. کیفیت داده در علم داده از اهمیت بالایی برخوردار است. مهم نیست که الگوریتم‌های استفاده شده چقدر پیشرفته باشند، اگر داده‌ها معیوب یا ناقص باشند، نتایج غیرقابل اعتماد خواهند بود. بنابراین، آماده‌سازی داده یک مرحله حیاتی است که شامل پاک‌سازی، تبدیل و انتخاب داده‌های مناسب برای تحلیل می‌شود.

مراحل کلیدی آماده‌سازی داده:

• فرمت‌دهی داده: سازماندهی داده‌ها در یک فرمت جدولی با ردیف‌هایی که نمایانگر مشاهدات و ستون‌هایی که نمایانگر متغیرها هستند.
• انواع متغیرها: شناسایی و تمایز بین متغیرهای باینری، دسته‌ای، عدد صحیح و پیوسته.
• انتخاب متغیرها: کوتاه کردن فهرست متغیرهای مرتبط‌ترین برای جلوگیری از نویز و بهبود سرعت محاسبات.
• مهندسی ویژگی: ایجاد متغیرهای جدید با ترکیب یا تبدیل متغیرهای موجود برای استخراج اطلاعات مفیدتر.
• مدیریت داده‌های گمشده: رسیدگی به مقادیر گمشده از طریق تقریب، محاسبه یا حذف، در حالی که به سوگیری‌های احتمالی توجه می‌شود.

اطمینان از یکپارچگی داده. آماده‌سازی صحیح داده اطمینان می‌دهد که تحلیل بر اساس یک پایه محکم انجام می‌شود و منجر به نتایج دقیق‌تر و معنادارتر می‌شود. این یک سرمایه‌گذاری است که به شکل بینش‌های قابل اعتماد و تصمیم‌گیری بهتر بازدهی دارد.

3. انتخاب الگوریتم: تطابق ابزارها با وظایف

انتخاب الگوریتم بستگی به نوع وظیفه‌ای دارد که می‌خواهیم انجام دهیم.

انتخاب ابزار مناسب. انتخاب الگوریتم مناسب برای دستیابی به نتیجه مطلوب در علم داده بسیار حیاتی است. الگوریتم‌های مختلف برای وظایف مختلف طراحی شده‌اند، مانند شناسایی الگوها، پیش‌بینی یا بهبود مستمر عملکرد بر اساس بازخورد. سه دسته اصلی وظایف عبارتند از:

• یادگیری بدون نظارت: کشف الگوهای پنهان در داده بدون دانش قبلی.
• یادگیری تحت نظارت: انجام پیش‌بینی‌ها بر اساس الگوهای موجود در داده‌های برچسب‌گذاری شده.
• یادگیری تقویتی: بهبود مستمر پیش‌بینی‌ها با استفاده از بازخورد نتایج.

درک دسته‌بندی‌های الگوریتم. الگوریتم‌های یادگیری بدون نظارت، مانند خوشه‌بندی و قوانین انجمنی، برای کاوش داده و شناسایی ساختارهای زیرین استفاده می‌شوند. الگوریتم‌های یادگیری تحت نظارت، مانند رگرسیون و طبقه‌بندی، برای ساخت مدل‌های پیش‌بینی بر اساس داده‌های برچسب‌گذاری شده استفاده می‌شوند. الگوریتم‌های یادگیری تقویتی، مانند باندیت‌های چندمسلط، برای بهینه‌سازی تصمیمات در طول زمان از طریق آزمایش و خطا استفاده می‌شوند.

فراتر از اصول. علاوه بر وظایف اصلی که انجام می‌دهند، الگوریتم‌ها همچنین در توانایی تحلیل انواع مختلف داده و ماهیت نتایجی که تولید می‌کنند، متفاوت هستند. توجه دقیق به این عوامل برای انتخاب مناسب‌ترین الگوریتم برای یک مشکل خاص ضروری است.

4. تنظیم پارامتر: بهینه‌سازی عملکرد مدل

دقت یک مدل زمانی که پارامترهای آن به‌طور مناسب تنظیم نشده باشد، تحت تأثیر قرار می‌گیرد.

تنظیم دقیق برای دقت. حتی با الگوریتم مناسب، دقت یک مدل می‌تواند به‌طور قابل توجهی بسته به نحوه تنظیم پارامترهای آن متفاوت باشد. پارامترها تنظیماتی هستند که رفتار یک الگوریتم را کنترل می‌کنند و یافتن مقادیر بهینه برای این پارامترها برای حداکثر کردن عملکرد بسیار حیاتی است.

اجتناب از بیش‌برازش و کم‌برازش. بیش‌برازش زمانی رخ می‌دهد که یک مدل به داده‌های آموزشی بسیار حساس باشد و در داده‌های جدید عملکرد ضعیفی داشته باشد. کم‌برازش زمانی اتفاق می‌افتد که یک مدل به اندازه کافی حساس نباشد و نتواند الگوهای زیرین داده را شناسایی کند. تنظیم پارامتر به ایجاد تعادل بین این دو افراط کمک می‌کند.

تنظیم و اعتبارسنجی. تنظیم پارامتر یک تکنیک است که برای جلوگیری از بیش‌برازش با جریمه کردن پیچیدگی مدل استفاده می‌شود. اعتبارسنجی فرآیندی است که برای ارزیابی چگونگی تعمیم یک مدل به داده‌های جدید استفاده می‌شود. با ترکیب تنظیم پارامتر، تنظیم و اعتبارسنجی، می‌توانیم مدل‌هایی بسازیم که هم دقیق و هم قابل اعتماد باشند.

5. خوشه‌بندی: کشف گروه‌های پنهان

با شناسایی ترجیحات یا ویژگی‌های مشترک، می‌توان مشتریان را به گروه‌هایی تقسیم کرد که خرده‌فروشان می‌توانند از آن برای تبلیغات هدفمند استفاده کنند.

گروه‌بندی نقاط داده مشابه. خوشه‌بندی یک تکنیک است که برای گروه‌بندی نقاط داده مشابه بر اساس ویژگی‌های آن‌ها استفاده می‌شود. این می‌تواند برای شناسایی بخش‌های مشتری، درک دسته‌های محصول یا کشف الگوهای پنهان در داده مفید باشد. خوشه‌بندی K-means یک الگوریتم محبوب است که هدف آن تقسیم داده‌ها به k خوشه متمایز است.

تعیین تعداد خوشه‌ها. یکی از چالش‌های کلیدی در خوشه‌بندی، تعیین تعداد بهینه خوشه‌ها است. یک نمودار scree می‌تواند برای تجسم چگونگی کاهش پراکندگی درون خوشه‌ها به‌عنوان تعداد خوشه‌ها افزایش می‌یابد، استفاده شود و به شناسایی تعداد مناسب خوشه‌ها کمک کند.

فرآیند تکراری. خوشه‌بندی K-means با اختصاص تکراری نقاط داده به نزدیک‌ترین مرکز خوشه و سپس به‌روزرسانی موقعیت مراکز خوشه کار می‌کند. این فرآیند ادامه می‌یابد تا زمانی که تغییرات بیشتری در عضویت خوشه وجود نداشته باشد. در حالی که خوشه‌بندی K-means ساده و کارآمد است، بهترین عملکرد را برای خوشه‌های کروی و غیرهمپوشان دارد.

6. PCA: ساده‌سازی پیچیدگی از طریق کاهش ابعاد

تحلیل مؤلفه‌های اصلی (PCA) یک تکنیک است که متغیرهای زیرین (که به عنوان مؤلفه‌های اصلی شناخته می‌شوند) را پیدا می‌کند که بهترین تمایز را برای نقاط داده شما ایجاد می‌کند.

کاهش تعداد متغیرها. تحلیل مؤلفه‌های اصلی (PCA) یک تکنیک کاهش ابعاد است که به ما این امکان را می‌دهد که داده‌ها را با مجموعه‌ای کوچک‌تر از متغیرها به نام مؤلفه‌های اصلی بیان کنیم. هر مؤلفه اصلی یک مجموع وزنی از متغیرهای اصلی است که مهم‌ترین اطلاعات را در داده‌ها به تصویر می‌کشد.

حداکثر کردن پراکندگی داده. PCA ابعادی را شناسایی می‌کند که در آن نقاط داده بیشترین پراکندگی را دارند و فرض می‌کند که این ابعاد همچنین برای تمایز مفیدترین هستند. مؤلفه‌های اصلی برتر می‌توانند برای بهبود تحلیل و تجسم استفاده شوند و درک مجموعه‌های داده پیچیده را آسان‌تر کنند.

نمودارهای scree و محدودیت‌ها. یک نمودار scree می‌تواند برای تعیین تعداد بهینه مؤلفه‌های اصلی که باید حفظ شوند، استفاده شود. در حالی که PCA یک تکنیک قدرتمند است، فرض می‌کند که ابعاد اطلاعاتی بیشتر، بیشترین پراکندگی داده را دارند و نسبت به یکدیگر عمود هستند. همچنین ممکن است تفسیر مؤلفه‌های تولید شده چالش‌برانگیز باشد.

7. قوانین انجمنی: کشف روابط در داده

قوانین انجمنی نشان می‌دهند که اقلام چقدر به‌طور مستقل یا در ارتباط با یکدیگر ظاهر می‌شوند.

کشف الگوهای خرید. قوانین انجمنی برای کشف روابط بین اقلام در یک مجموعه داده استفاده می‌شوند، مانند شناسایی محصولاتی که به‌طور مکرر با هم خریداری می‌شوند. این اطلاعات می‌تواند برای بهبود فروش از طریق تبلیغات هدفمند، قرارگیری محصولات و بسته‌بندی محصولات استفاده شود.

اندازه‌گیری انجمن. سه روش رایج برای اندازه‌گیری انجمن وجود دارد:

• حمایت: نشان می‌دهد که یک مورد چقدر به‌طور مکرر ظاهر می‌شود.
• اعتماد: نشان می‌دهد که مورد Y چقدر به‌طور مکرر زمانی که مورد X وجود دارد، ظاهر می‌شود.
• افزایش: نشان می‌دهد که اقلام X و Y چقدر به‌طور مشترک ظاهر می‌شوند، در حالی که به این نکته توجه می‌شود که هر یک به‌طور مستقل چقدر ظاهر می‌شود.

اصل آپریوری. اصل آپریوری جستجوی مجموعه‌های اقلام مکرر را با حذف بخش بزرگی از اقلام نادر کاهش می‌دهد. این به کاهش پیچیدگی محاسباتی برای یافتن قوانین انجمنی در مجموعه‌های داده بزرگ کمک می‌کند.

8. تحلیل شبکه‌های اجتماعی: نقشه‌برداری و درک ارتباطات

تحلیل شبکه‌های اجتماعی یک تکنیک است که به ما اجازه می‌دهد روابط بین موجودیت‌ها را نقشه‌برداری و تحلیل کنیم.

تحلیل روابط. تحلیل شبکه‌های اجتماعی (SNA) یک تکنیک است که برای نقشه‌برداری و تحلیل روابط بین موجودیت‌ها، مانند افراد، سازمان‌ها یا کشورها استفاده می‌شود. این می‌تواند برای درک دینامیک‌های اجتماعی، شناسایی افراد تأثیرگذار و کشف جوامع مفید باشد.

روش لووین. روش لووین خوشه‌ها را در یک شبکه شناسایی می‌کند به‌گونه‌ای که تعاملات درون خوشه‌ها را حداکثر و تعاملات بین خوشه‌ها را حداقل کند. این روش بهترین عملکرد را زمانی دارد که خوشه‌ها از نظر اندازه برابر و مجزا باشند.

الگوریتم PageRank. الگوریتم PageRank گره‌ها را در یک شبکه بر اساس تعداد لینک‌های آن‌ها و همچنین قدرت و منبع آن لینک‌ها رتبه‌بندی می‌کند. در حالی که این به ما کمک می‌کند تا گره‌های غالب در یک شبکه را شناسایی کنیم، همچنین نسبت به گره‌های جدید سوگیری دارد که زمان کمتری برای ایجاد لینک‌های قابل توجه داشته‌اند.

9. تحلیل رگرسیون: پیش‌بینی روندها و روابط

تحلیل رگرسیون بهترین خط روندی را پیدا می‌کند که از میان یا نزدیک به بیشترین تعداد نقاط داده عبور می‌کند.

یافتن بهترین خط تطبیق. تحلیل رگرسیون یک تکنیک است که برای یافتن بهترین خط روندی که از میان یا نزدیک به بیشترین تعداد نقاط داده عبور می‌کند، استفاده می‌شود. این خط روند می‌تواند برای پیش‌بینی ارزش یک متغیر وابسته بر اساس مقادیر یک یا چند متغیر مستقل استفاده شود.

ضرایب رگرسیون. یک خط روند از ترکیب وزنی پیش‌بین‌ها به‌دست می‌آید. این وزن‌ها به نام ضرایب رگرسیون شناخته می‌شوند که قدرت یک پیش‌بین را در حضور سایر پیش‌بین‌ها نشان می‌دهند.

محدودیت‌ها و فرضیات. تحلیل رگرسیون بهترین عملکرد را زمانی دارد که همبستگی کمی بین پیش‌بین‌ها وجود داشته باشد، هیچ نقطه دورافتاده‌ای وجود نداشته باشد و زمانی که روند مورد انتظار یک خط مستقیم باشد. آگاهی از این محدودیت‌ها هنگام تفسیر نتایج تحلیل رگرسیون مهم است.

10. k-NN و شناسایی ناهنجاری: یافتن غیرمعمول‌ها

تکنیک k-نزدیک‌ترین همسایگان (k-NN) یک نقطه داده را با ارجاع به طبقه‌بندی‌های دیگر نقاط داده نزدیک به آن طبقه‌بندی می‌کند.

طبقه‌بندی بر اساس نزدیکی. تکنیک k-نزدیک‌ترین همسایگان (k-NN) یک نقطه داده را با ارجاع به طبقه‌بندی‌های دیگر نقاط داده نزدیک به آن طبقه‌بندی می‌کند. مقدار k، تعداد همسایگان برای ارجاع، از طریق اعتبارسنجی متقابل تعیین می‌شود.

تنظیم پارامتر و محدودیت‌ها. k-NN بهترین عملکرد را زمانی دارد که پیش‌بین‌ها کم و کلاس‌ها تقریباً هم‌اندازه باشند. با این حال، طبقه‌بندی‌های نادرست ممکن است به‌عنوان ناهنجاری‌های بالقوه شناسایی شوند.

شناسایی ناهنجاری. k-NN همچنین می‌تواند برای شناسایی ناهنجاری‌ها، مانند معاملات تقلبی یا الگوهای غیرمعمول در داده‌ها استفاده شود. با شناسایی نقاط داده‌ای که به‌طور قابل توجهی از هنجارها منحرف شده‌اند، می‌توانیم بینش‌های ارزشمندی به‌دست آوریم و مشکلات بالقوه را شناسایی کنیم.

11. SVM: مرزهای بهینه برای طبقه‌بندی

ماشین بردار پشتیبان (SVM) نقاط داده را به دو گروه طبقه‌بندی می‌کند و مرزی را در وسط بین نقاط داده حاشیه‌ای (یعنی بردارهای پشتیبان) هر دو گروه ترسیم می‌کند.

ترسیم مرزها. ماشین بردار پشتیبان (SVM) نقاط داده را به دو گروه طبقه‌بندی می‌کند و مرزی را در وسط بین نقاط داده حاشیه‌ای (یعنی بردارهای پشتیبان) هر دو گروه ترسیم می‌کند.

مقاومت و کارایی. SVM در برابر نقاط دورافتاده مقاوم است زیرا از یک منطقه حائل استفاده می‌کند که به چند نقطه داده اجازه می‌دهد در سمت نادرست مرز قرار بگیرند. همچنین از ترفند هسته‌ای برای به‌دست آوردن مرزهای منحنی به‌طور کارآمد استفاده می‌کند.

بهترین موارد استفاده. SVM بهترین عملکرد را زمانی دارد که نقاط داده از یک نمونه بزرگ باید به دو گروه متمایز طبقه‌بندی شوند. این یک تکنیک قدرتمند برای انواع مشکلات طبقه‌بندی است.

12. آزمایش A/B و باندیت‌های چندمسلط: بهینه‌سازی انتخاب‌ها

مسئله باندیت‌های چندمسلط به این سؤال می‌پردازد که چگونه می‌توان منابع را به بهترین نحو تخصیص داد—آیا باید از بازده‌های شناخته شده بهره‌برداری کرد یا به دنبال گزینه‌های بهتر بود.

تخصیص منابع. مسئله باندیت‌های چندمسلط به این سؤال می‌پردازد که چگونه می‌توان منابع را به بهترین نحو تخصیص داد—آیا باید از بازده‌های شناخته شده بهره‌برداری کرد یا به دنبال گزینه‌های بهتر بود.

آزمایش A/B در مقابل کاهش اپسیلون. یکی از راه‌حل‌ها این است که ابتدا گزینه‌های موجود را کاوش کنیم و سپس تمام منابع باقی‌مانده را به گزینه با بهترین عملکرد تخصیص دهیم. این استراتژی آزمایش A/B نامیده می‌شود. راه‌حل دیگر این است که به‌طور مداوم منابع تخصیص یافته به گزینه با بهترین عملکرد را در طول زمان افزایش دهیم. این به عنوان استراتژی کاهش اپسیلون شناخته می‌شود.

تجارت‌ها و محدودیت‌ها. در حالی که استراتژی کاهش اپسیلون در اکثر موارد بازده بالاتری نسبت به آزمایش A/B ارائه می‌دهد، تعیین نرخ بهینه برای به‌روزرسانی تخصیص منابع آسان نیست. توجه دقیق به تجارت‌ها برای اتخاذ تصمیمات آگاهانه ضروری است.

آخرین به‌روزرسانی:: February 25, 2025