نکات کلیدی
1. ترنسفورمرها: سنگ بنای انقلاب NLP
از زمان معرفی آن‌ها در سال 1396، ترنسفورمرها به استانداردی غیررسمی برای پردازش طیف وسیعی از وظایف پردازش زبان طبیعی (NLP) در هر دو حوزه‌ی دانشگاهی و صنعتی تبدیل شده‌اند.
تغییر پارادایم. ترنسفورمرها انقلابی در NLP ایجاد کرده‌اند و در کیفیت و کارایی آموزش از معماری‌های بازگشتی پیشی گرفته‌اند. توانایی آن‌ها در پردازش داده‌های توالی به‌صورت موازی، برخلاف RNNها، منجر به پیشرفتهای چشمگیری در وظایف مختلف NLP شده است.
نوآوری‌های کلیدی:
- مکانیزم‌های خودتوجه: به مدل اجازه می‌دهد تا اهمیت بخش‌های مختلف توالی ورودی را وزن‌گذاری کند.
- پردازش موازی: امکان آموزش و استنتاج سریع‌تر نسبت به مدل‌های توالی را فراهم می‌کند.
- یادگیری انتقالی: تسهیل سازگاری مدل‌های پیش‌آموزش‌دیده با وظایف خاص با حداقل داده.
تأثیر همه‌جانبه. از بهبود موتورهای جستجو تا قدرت‌دهی به دستیاران هوش مصنوعی، ترنسفورمرها اکنون جزئی جدایی‌ناپذیر از بسیاری از کاربردها هستند. توانایی آن‌ها در درک زمینه و تولید متن شبیه به انسان، آن‌ها را در حوزه‌ی NLP ضروری کرده است.
2. مکانیزم‌های توجه: کلید درک زمینه‌ای
ایده اصلی پشت مکانیزم توجه این است که به‌جای تولید یک حالت پنهان واحد برای توالی ورودی، کدگذار در هر مرحله یک حالت پنهان تولید می‌کند که کدگشا می‌تواند به آن دسترسی داشته باشد.
شکستن گلوگاه. مکانیزم‌های توجه به گلوگاه اطلاعاتی مدل‌های سنتی کدگذار-کدگشا پاسخ می‌دهند و به کدگشا اجازه می‌دهند تا به تمام حالت‌های پنهان کدگذار دسترسی پیدا کند. این امکان به مدل می‌دهد تا در هر مرحله کدگشایی بر بخش‌های مرتبط توالی ورودی تمرکز کند.
خودتوجه. یک شکل خاص از توجه، خودتوجه، اجازه می‌دهد تا توجه بر روی تمام حالت‌ها در همان لایه شبکه عصبی عمل کند. این نیاز به بازگشت را از بین می‌برد و پردازش موازی را ممکن می‌سازد.
تعبیه‌های زمینه‌ای. با اختصاص وزن‌های مختلف به هر توکن ورودی در هر مرحله کدگشایی، مدل‌های مبتنی بر توجه یاد می‌گیرند که هم‌راستایی‌های غیرمعمولی بین کلمات در ترجمه‌های تولیدشده و آن‌ها در یک جمله منبع ایجاد کنند. این منجر به ایجاد تعبیه‌های زمینه‌ای می‌شود که معنای کلمات را بر اساس زمینه‌های اطراف آن‌ها ضبط می‌کند.
3. یادگیری انتقالی: بهره‌برداری از دانش پیش‌آموزش‌دیده
با معرفی یک چارچوب قابل‌اجرا برای پیش‌آموزش و یادگیری انتقالی در NLP، ULMFiT قطعه گمشده‌ای را فراهم کرد که باعث شد ترنسفورمرها به اوج خود برسند.
پیش‌آموزش و تنظیم دقیق. یادگیری انتقالی شامل پیش‌آموزش یک مدل بر روی یک مجموعه داده بزرگ و متنوع و سپس تنظیم دقیق آن بر روی یک وظیفه خاص با داده‌های برچسب‌گذاری‌شده محدود است. این رویکرد به‌طور قابل‌توجهی نیاز به معماری‌های خاص وظیفه و مقادیر زیادی از داده‌های برچسب‌گذاری‌شده را کاهش می‌دهد.
چارچوب ULMFiT:
- پیش‌آموزش: آموزش یک مدل زبانی بر روی یک مجموعه داده بزرگ برای یادگیری ویژگی‌های عمومی زبان.
- سازگاری دامنه: سازگار کردن مدل زبانی با مجموعه داده‌های درون‌دامنه با استفاده از مدل‌سازی زبان.
- تنظیم دقیق: تنظیم دقیق مدل زبانی با یک لایه طبقه‌بندی برای وظیفه هدف.
تغییر دهنده بازی. یادگیری انتقالی، همراه با معماری ترنسفورمر، انقلابی در NLP ایجاد کرده است و به مدل‌ها این امکان را می‌دهد که با حداقل داده‌های برچسب‌گذاری‌شده به نتایج پیشرفته دست یابند. این امکان را فراهم کرده است که ترنسفورمرها را به طیف وسیعی از وظایف و دامنه‌ها اعمال کنیم.
4. اکوسیستم هاجینگ فیس: دموکراتیزه کردن NLP
این کتابخانه باعث انفجار تحقیقات در زمینه ترنسفورمرها شد و به سرعت به دست‌اندرکاران NLP منتقل شد و ادغام این مدل‌ها را در بسیاری از کاربردهای واقعی امروز آسان کرد.
دسترس‌پذیری و استانداردسازی. اکوسیستم هاجینگ فیس یک رابط استاندارد برای طیف وسیعی از مدل‌های ترنسفورمر فراهم می‌کند و استفاده، آموزش و به اشتراک‌گذاری مدل‌ها را برای دست‌اندرکاران آسان می‌سازد. این امر به‌طور قابل‌توجهی پذیرش ترنسفورمرها را در هر دو حوزه دانشگاهی و صنعتی تسریع کرده است.
اجزای کلیدی:
- ترنسفورمرها: یک کتابخانه که API یکپارچه‌ای برای مدل‌های مختلف ترنسفورمر ارائه می‌دهد.
- توکنایزرها: یک کتابخانه برای توکن‌سازی سریع و کارآمد متن.
- مجموعه داده‌ها: یک کتابخانه برای بارگذاری، پردازش و ذخیره‌سازی مجموعه داده‌های بزرگ.
- تسریع: یک کتابخانه برای ساده‌سازی آموزش توزیع‌شده.
هوش مصنوعی مبتنی بر جامعه. هاب هاجینگ فیس میزبان هزاران مدل و مجموعه داده رایگان است و همکاری و نوآوری در جامعه NLP را تقویت می‌کند. این دموکراتیزه کردن هوش مصنوعی این امکان را فراهم کرده است که هر کسی بتواند برنامه‌های پیشرفته NLP را بسازد و مستقر کند.
5. طبقه‌بندی متن: درک احساسات
طبقه‌بندی متن یکی از رایج‌ترین وظایف در NLP است و می‌تواند برای طیف وسیعی از کاربردها، مانند برچسب‌گذاری بازخورد مشتری به دسته‌ها یا هدایت بلیط‌های پشتیبانی بر اساس زبان آن‌ها استفاده شود.
تحلیل احساسات. طبقه‌بندی متن شامل دسته‌بندی متن به کلاس‌های از پیش تعریف‌شده، مانند تحلیل احساسات، شناسایی موضوع و فیلتر کردن هرزنامه است. تحلیل احساسات به‌ویژه به شناسایی قطبیت یک متن خاص، مانند مثبت، منفی یا خنثی، می‌پردازد.
تنظیم دقیق برای احساسات:
- بارگذاری یک مدل ترنسفورمر پیش‌آموزش‌دیده.
- افزودن یک سر طبقه‌بندی در بالای خروجی‌های مدل پیش‌آموزش‌دیده.
- تنظیم دقیق مدل بر روی یک مجموعه داده برچسب‌گذاری‌شده از مثال‌های متنی و برچسب‌های احساسات مربوطه.
کاربردها. تحلیل احساسات کاربردهای متعددی دارد، از جمله نظارت بر شهرت برند، تحلیل بازخورد مشتری و درک نظر عمومی. با شناسایی خودکار احساسات بیان‌شده در متن، کسب‌وکارها می‌توانند بینش‌های ارزشمندی درباره نیازها و ترجیحات مشتریان خود به‌دست آورند.
6. توکن‌سازی: از متن به اعداد
مدل‌های ترنسفورمر مانند DistilBERT نمی‌توانند رشته‌های خام را به‌عنوان ورودی دریافت کنند؛ بلکه فرض می‌کنند که متن توکن‌سازی و به‌صورت وکتورهای عددی کدگذاری شده است.
شکستن متن. توکن‌سازی فرآیند تقسیم یک رشته متن به واحدهای کوچکتر به نام توکن‌ها است. این توکن‌ها می‌توانند کلمات، بخش‌های کلمات یا کاراکترهای فردی باشند.
استراتژی‌های توکن‌سازی:
- توکن‌سازی کاراکتری: هر کاراکتر را به‌عنوان یک توکن در نظر می‌گیرد.
- توکن‌سازی کلمه‌ای: متن را بر اساس فاصله یا نشانه‌گذاری به کلمات تقسیم می‌کند.
- توکن‌سازی زیرکلمه‌ای: بهترین جنبه‌های توکن‌سازی کاراکتری و کلمه‌ای را با تقسیم کلمات نادر به واحدهای کوچکتر و نگه‌داشتن کلمات متداول به‌عنوان موجودیت‌های منحصر به فرد ترکیب می‌کند.
WordPiece. الگوریتم WordPiece، که توسط BERT و DistilBERT استفاده می‌شود، یک روش توکن‌سازی زیرکلمه‌ای است که بهترین تقسیم‌بندی کلمات به زیرواحدها را از مجموعه داده‌های پیش‌آموزش‌دیده یاد می‌گیرد. این امکان را به مدل می‌دهد تا با کلمات پیچیده و غلط‌های املایی برخورد کند و در عین حال اندازه واژگان را قابل مدیریت نگه دارد.
7. ترنسفورمرهای چندزبانه: شکستن موانع زبانی
با پیش‌آموزش بر روی مجموعه‌های داده بزرگ در زبان‌های مختلف، این ترنسفورمرهای چندزبانه امکان انتقال بین‌زبانی بدون نیاز به آموزش مجدد را فراهم می‌کنند.
انتقال بین‌زبانی بدون نیاز به آموزش مجدد. ترنسفورمرهای چندزبانه بر روی متون در زبان‌های مختلف آموزش دیده‌اند و به آن‌ها این امکان را می‌دهند که انتقال بین‌زبانی بدون نیاز به آموزش مجدد انجام دهند. این بدان معناست که مدلی که بر روی یک زبان تنظیم دقیق شده، می‌تواند به زبان‌های دیگر بدون آموزش بیشتر اعمال شود.
XLM-RoBERTa. XLM-RoBERTa (XLM-R) یک ترنسفورمر چندزبانه است که بر روی یک مجموعه داده عظیم از متون در 100 زبان آموزش دیده است. توانایی آن در انجام انتقال بین‌زبانی بدون نیاز به آموزش مجدد، آن را برای وظایف چندزبانه NLP مناسب می‌سازد.
کاربردها. ترنسفورمرهای چندزبانه می‌توانند برای انواع وظایف، از جمله شناسایی موجودیت‌های نام‌دار، ترجمه ماشینی و تحلیل احساسات استفاده شوند. توانایی آن‌ها در مدیریت چندین زبان، آن‌ها را به ابزارهای ارزشمندی برای کسب‌وکارها و سازمان‌های جهانی تبدیل می‌کند.
8. تولید متن: خلق روایت‌های منسجم
توانایی ترنسفورمرها در تولید متن واقعی منجر به طیف وسیعی از کاربردها شده است، مانند InferKit، Write With Transformer، AI Dungeon و عوامل گفتگویی مانند Meena گوگل.
روش‌های کدگشایی. تولید متن شامل پیش‌بینی تکراری کلمه بعدی در یک توالی است که نیاز به یک روش کدگشایی برای تبدیل خروجی احتمالی مدل به متن منسجم دارد. روش‌های کدگشایی رایج شامل:
- کدگشایی جستجوی حریص: انتخاب توکنی با بالاترین احتمال در هر مرحله.
- کدگشایی جستجوی پرتو: نگه‌داشتن بالاترین b توکن‌های احتمالی بعدی، که در آن b تعداد پرتوها است.
- روش‌های نمونه‌گیری: نمونه‌گیری تصادفی از توزیع احتمالی خروجی‌های مدل.
دمای تولید. پارامتر دما تنوع متن تولیدشده را کنترل می‌کند. دماهای بالاتر متن‌های متنوع‌تری تولید می‌کنند اما کمتر منسجم، در حالی که دماهای پایین‌تر متن‌های منسجم‌تری تولید می‌کنند اما کمتر متنوع.
کاربردها. تولید متن کاربردهای متعددی دارد، از جمله چت‌بات‌ها، تولید محتوا و تکمیل خودکار کد. با تولید متن‌های واقعی و جذاب، ترنسفورمرها می‌توانند تعاملات انسان و کامپیوتر را بهبود بخشند و وظایف نوشتاری مختلف را خودکار کنند.
9. خلاصه‌سازی: فشرده‌سازی اطلاعات
با هدف یافتن یک هدف پیش‌آموزش که به خلاصه‌سازی نزدیک‌تر از مدل‌سازی زبان عمومی باشد، آن‌ها به‌طور خودکار جملاتی را در یک مجموعه داده بسیار بزرگ شناسایی کردند که حاوی بیشتر محتوای پاراگراف‌های اطراف خود بودند.
خلاصه‌سازی انتزاعی در مقابل استخراجی. خلاصه‌سازی متن به‌دنبال فشرده‌سازی یک متن طولانی به نسخه‌ای کوتاه‌تر با تمام حقایق مرتبط است. خلاصه‌سازی می‌تواند انتزاعی باشد، جملات جدید تولید کند، یا استخراجی باشد، گزیده‌هایی از متن اصلی انتخاب کند.
معماری‌های کدگذار-کدگشا. ترنسفورمرهای کدگذار-کدگشا، مانند BART و PEGASUS، برای خلاصه‌سازی متن بسیار مناسب هستند. این مدل‌ها متن ورودی را کدگذاری کرده و سپس آن را کدگشایی می‌کنند تا یک خلاصه تولید کنند.
ROUGE. معیار ROUGE به‌طور رایج برای ارزیابی کیفیت خلاصه‌های تولیدشده استفاده می‌شود. این معیار همپوشانی n-گرم‌ها بین خلاصه تولیدشده و خلاصه مرجع را اندازه‌گیری می‌کند.
10. پرسش و پاسخ: استخراج دانش
در این فصل، ما این فرآیند را برای حل یک مشکل رایج در وب‌سایت‌های تجارت الکترونیک به کار خواهیم برد: کمک به مصرف‌کنندگان برای پاسخ به سوالات خاص به‌منظور ارزیابی یک محصول.
پرسش و پاسخ استخراجی. پرسش و پاسخ (QA) شامل ارائه یک متن و یک سوال به مدل و سپس استخراج بخشی از متن است که به سوال پاسخ می‌دهد. QA استخراجی یک رویکرد رایج است که پاسخ را به‌عنوان بخشی از متن در یک سند شناسایی می‌کند.
معماری بازیاب-خواننده. سیستم‌های QA مدرن بر اساس معماری بازیاب-خواننده هستند که شامل دو جزء اصلی است:
- بازیاب: اسناد مرتبط را برای یک سوال خاص بازیابی می‌کند.
- خواننده: از اسناد ارائه‌شده توسط بازیاب پاسخ را استخراج می‌کند.
Haystack. کتابخانه Haystack فرآیند ساخت سیستم‌های QA را با ارائه مجموعه‌ای از ابزارها و اجزا برای پیاده‌سازی معماری بازیاب-خواننده ساده می‌کند.
11. کارایی در تولید: بهینه‌سازی ترنسفورمرها
در این فصل، ما چهار تکنیک مکمل را بررسی خواهیم کرد که می‌توانند برای تسریع پیش‌بینی‌ها و کاهش حجم حافظه مدل‌های ترنسفورمر شما استفاده شوند: تقطیر دانش، کم‌دقت‌سازی، هرس و بهینه‌سازی گراف با فرمت ONNX و ONNX Runtime (ORT).
عمل متعادل. استقرار ترنسفورمرها در تولید شامل تعادل بین عملکرد مدل، تأخیر و حجم حافظه است. تکنیک‌هایی مانند تقطیر دانش، کم‌دقت‌سازی و هرس می‌توانند برای بهینه‌سازی این عوامل استفاده شوند.
تکنیک‌های بهینه‌سازی:
- تقطیر دانش: آموزش یک مدل دانش‌آموز کوچکتر برای تقلید رفتار یک مدل معلم بزرگ‌تر.
- کم‌دقت‌سازی: نمایش وزن‌ها و فعالیت‌های یک مدل با نوع داده‌های کم‌دقت.
- هرس: حذف کم‌اهمیت‌ترین وزن‌ها در شبکه.
- ONNX و ONNX Runtime: بهینه‌سازی گراف مدل و اجرای آن بر روی انواع مختلف سخت‌افزار.
تأثیر در دنیای واقعی. با ترکیب این تکنیک‌ها، می‌توان عملکرد و کارایی مدل‌های ترنسفورمر را به‌طور قابل‌توجهی بهبود بخشید و آن‌ها را برای استقرار در محیط‌های با منابع محدود مناسب‌تر کرد.
12. یادگیری با داده‌های محدود: NLP با داده‌های محدود
در این فصل دیده‌ایم که حتی اگر فقط چند برچسب یا حتی هیچ برچسبی نداشته باشیم، تمام امیدها از دست نرفته است.
غلبه بر کمبود داده. زمانی که داده‌های برچسب‌گذاری‌شده کم است، تکنیک‌هایی مانند طبقه‌بندی بدون نیاز به آموزش مجدد، افزایش داده و جستجوی تعبیه می‌توانند برای بهبود عملکرد مدل استفاده شوند. این روش‌ها از دانش پیش‌آموزش‌دیده و دستکاری خلاقانه داده‌ها برای جبران کمبود مثال‌های برچسب‌گذاری‌شده بهره می‌برند.
تکنیک‌ها برای داده‌های محدود:
- طبقه‌بندی بدون نیاز به آموزش مجدد: استفاده از یک مدل پیش‌آموزش‌دیده برای طبقه‌بندی متن بدون هیچ تنظیم دقیقی.
- افزایش داده: تولید مثال‌های آموزشی جدید از مثال‌های موجود با اعمال تغییراتی مانند جایگزینی مترادف یا ترجمه معکوس.
- جستجوی تعبیه: استفاده از تعبیه‌های یک مدل زبانی پیش‌آموزش‌دیده برای انجام جستجوی نزدیک‌ترین همسایه و طبقه‌بندی متن بر اساس برچسب‌های نزدیک‌ترین همسایه‌ها.
رویکرد استراتژیک. بهترین رویکرد برای مقابله با داده‌های محدود به وظیفه خاص، مقدار داده‌های موجود و ویژگی‌های مدل پیش‌آموزش‌دیده بستگی دارد. با در نظر گرفتن دقیق این عوامل، می‌توان مدل‌های مؤثر NLP را حتی در غیاب مقادیر زیادی از داده‌های برچسب‌گذاری‌شده ساخت.
آخرین به‌روزرسانی::
نقد و بررسی
کتاب پردازش زبان طبیعی با ترنسفورمرها به خاطر معرفی مختصر و مفید خود از ترنسفورمرها و اکوسیستم هاجینگ فیس مورد تحسین قرار گرفته است. خوانندگان از محتوای خوب نوشته شده، مثال‌های عملی و بینش‌های ارزشمند آن برای مبتدیان و حرفه‌ای‌های با تجربه قدردانی می‌کنند. این کتاب به خاطر پوشش موضوعات پیشرفتهای مانند کارایی مدل و مدیریت داده‌های برچسب‌گذاری شده محدود مورد ستایش قرار گرفته است. در حالی که برخی از خوانندگان به تمرکز بر ابزارهای هاجینگ فیس و نادیده گرفتن ریاضیات پیچیده اشاره می‌کنند، بیشتر آن‌ها این کتاب را منبعی عالی برای درک و به‌کارگیری مدل‌های مبتنی بر ترنسفورمر در وظایف پردازش زبان طبیعی می‌دانند.
