این ‘پرامپت جادویی’ به زعم سازنده، ChatGPT را بسیار هوشمندتر و خلاق‌تر می‌کند

یک مقاله جدید یک “پیشنهاد جادویی” به ظاهر ساده را ارائه می‌دهد که می‌تواند خلاقیت سرکوب‌شده در مدل‌های زبانی را آزاد کند. نویسندگان نشان می‌دهند که با درخواست از مدل برای بیان یک توزیع احتمال بر روی چندین پاسخ کاندیدا—به جای تولید فقط یک پاسخ—می‌توانید بخش زیادی از تنوعی که از طریق تکنیک‌های استاندارد هم‌راستایی از دست رفته است، بازیابی کنید.

این تکنیک به ادعای برخی نه تنها برای شوخی‌ها یا داستان‌ها، بلکه برای هر موردی که می‌خواهید مدلی فضای ایده‌ها را کاوش کند و به همان چند خروجی “ایمن” سقوط نکند، کار می‌کند.

شما می‌توانید با یک جمله خلاقیت چت‌جی‌پی‌تی را دو برابر کنید. نوشتند وییان شی، استادیار دانشگاه نورث‌استرن و یکی از اعضای اصلی این مطالعه.

کلید این سوپر پرامپت است که می‌توانید آن را کپی و بچسبانید و قبل از بقیه پرامپت خود استفاده کنید:

“پنج پاسخ را با احتمال‌های مربوطه‌اش تولید کنید که از توزیع کامل نمونه‌برداری شده‌اند:”

زیرا مدل چندین کاندیدا با اطمینان‌های مختلف ارائه می‌دهد، شما می‌توانید از آن توزیع غنی‌تر نمونه‌برداری کنید به جای اینکه مجبور باشید تنها به گزینه برتر آن اکتفا کنید. در واقع، این ترفند مدل را مجبور می‌کند تا گستره‌ای از آنچه که به نظرش معقول است را افشا کند، سپس شما از میان آن‌ها انتخاب می‌کنید. و در حالی که ChatGPT

مقاله، ” نمونه‌برداری کلامی: چگونه می‌توان از فروپاشی حالت جلوگیری کرد و تنوع LLM را آزاد کرد ” و پست وبلاگ توسط محققانی که با وابسته بودند نوشته شده‌اند دانشگاه استنفورد، دانشگاه نورث‌ایسترن و دانشگاه ویرجینیای غربی محققان در پردازش زبان طبیعی، تفسیرپذیری یادگیری ماشین و مطالعه چگونگی تأثیر روش‌های هم‌راستایی بر رفتار مدل تخصص دارند.



نویسندگان استدلال می‌کنند که “دستور جادویی” با مقابله با چیزی که آن را می‌نامند عمل می‌کند. سوگیری نوعیت típica یک فرآورده جانبی از آموزش مبتنی بر ترجیحات انسانی است. annotator ها اغلب پاسخ‌هایی را ترجیح می‌دهند که احساس آشنایی، معمولی یا روان بودن می‌کنند، حتی زمانی که برتر نیستند—یک سوگیری که خروجی مدل را به سمت چند گزینه «معمولی» تیزتر می‌کند. با درخواست توزیع به جای یک پاسخ تک، مدل تشویق می‌شود تا دوباره جرم احتمالی را پخش کند و تنوعی را که در حین پیش‌آموزش آموخته است بازگرداند.

در تست‌هایی که شامل نوشتن جوک، تولید داستان و ایجاد داده‌های مصنوعی بودند، این تکنیک افزایش تنوعی در حد ۱.۶ تا ۲.۱ برابر نسبت به پرسش‌گری عادی به همراه داشت – بدون اینکه دقت واقعی یا ایمنی فدای آن شود. نویسندگان به این موضوع “یک درمان در زمان استنباط” می‌گویند که از افت حالت جلوگیری می‌کند بدون اینکه نیاز به retraining مدل باشد.

برخی نکات احتیاطی: محققان به محدودیت‌های “فرمان جادویی” خود اعتراف کردند. اثربخشی این تکنیک به توانایی مدل در ارائه برآوردهای احتمال به خوبی کالیبره شده وابسته است که به طور دقیق سطوح اعتماد داخلی آن را منعکس کند. اگر این برآوردها قابل اعتماد نباشند، توزیع پاسخ‌های حاصل ممکن است گمراه‌کننده باشد.

علاوه بر این، فرآیند تولید پاسخ‌های متعدد و احتمالات آن‌ها به طور اجتناب‌ناپذیری هزینه محاسباتی بیشتری را به همراه دارد. نویسندگان همچنین اشاره کردند که برای وظایفی که یک پاسخ صحیح و واحد مد نظر است، مانند شناسایی پایتخت یک کشور، افزایش تنوع نتیجه‌ای مطلوب نیست.