برای دریافت نتایج بهتر از ربات چت AI، خودتان را آزاردهنده تر کنید

متین بودن ممکن است شما را فرد بهتری کند، اما می‌تواند دستیار هوش مصنوعی‌تان را احمق کند.

یک مطالعه جدید در دانشگاه پن استیت نشان می‌دهد که پیشنهادهای بی‌ادب به طور مداوم بهتر از پیشنهادهای مؤدب عمل می‌کنند. هنگام پرسش از مدل‌های زبانی بزرگ مانند ChatGPT. مقاله، “ به لحن خود توجه کنید: بررسی تأثیر ادب در درخواست‌ها بر دقت LLM گزارش‌ها حاکی از آن است که درخواست‌های “بسیار بی‌ادب” پاسخ‌های صحیحی تولید کرده‌اند. ۸۴.۸٪ از زمان در مقایسه با ۸۰.۸٪ برای “بسیار محترمانه” ها.

این یک تغییر کوچک اما از نظر آماری معنادار در نتایج قبلی است که نشان می‌داد مدل‌ها منعکس‌کننده هنجارهای اجتماعی انسانی هستند و برای احترام به آداب و manners پاداش می‌دهند.

“بر خلاف انتظارات”، نویسندگان نوشتند ام دوباریا و آکھیل کمار “پیشنهادهای بی‌ادب به‌طور مداوم بهتر از پیشنهادهای با ادب عمل کردند… که نشان می‌دهد LLMهای جدیدتر ممکن است به تغییرات تنالیته به‌طور متفاوتی پاسخ دهند.”



علم متناقض مهندسی دستورالعمل

یافته‌ها انتظارهای معکوس از یک مطالعه در سال ۲۰۲۴ , “ آیا باید به LLMها احترام بگذاریم؟ یک مطالعه فرازبان بر تأثیر ادب در درخواست‌ها بر عملکرد LLMها، که دریافت کرد درخواست‌های بی‌ادب اغلب عملکرد مدل را به‌طور قابل‌توجهی کاهش می‌دهد، در حالی که ادب بیش از حد هیچ منافع روشنی ارائه نمی‌دهد.

آن مقاله لحن را به عنوان یک تأثیر ظریف اما عمدتاً تثبیت‌کننده مورد بررسی قرار داد. نتایج جدید دانشگاه پن استیت این روایت را معکوس می‌کند و نشان می‌دهد که—حداقل برای چت‌جی‌پی‌تی-۴۰— بی‌ادبی می‌تواند دقت را تقویت کند این نشان می‌دهد که مدل‌های جدید دیگر به‌عنوان آینه‌های اجتماعی عمل نمی‌کنند، بلکه به‌عنوان ماشین‌های کاملاً عملی که ارزش مستقیم بودن را بیشتر از آداب و رسوم می‌دانند، عمل می‌کنند.

با این حال، آنها حمایت از تحقیقات اخیرتر از مدرسه وارتون به هنر نوظهور مهندسی درخواست—فرمول‌بندی سوالات برای به دست آوردن نتایج بهتر از هوش مصنوعی. لحن، که مدت‌ها به عنوان موضوعی بی‌اهمیت تلقی می‌شد، به طور فزاینده‌ای به نظر می‌رسد به اندازه انتخاب کلمات اهمیت دارد.

محققان ۵۰ سوال پایه را در موضوعاتی مانند ریاضی، علم و تاریخ در پنج سطح لحن، از “بسیار مؤدبانه” تا “بسیار بی‌ادبانه” بازنویسی کردند که در مجموع ۲۵۰ پرسش ایجاد شد. سپس از ChatGPT-4o خواسته شد تا به هر یک از این پرسش‌ها پاسخ دهد و پاسخ‌های آن به دقت ارزیابی شد.

پیامدها فراتر از آداب و رسوم است. اگر احترام باعث انحراف دقت مدل شود، آنگاه ادعاهای عینی بودن نتایج هوش مصنوعی را زیر سوال می‌برد. کاربران بی‌ادب ممکن است، به‌طور پارادوکسیکال، با عملکرد بهتری پاداش داده شوند.

منطق ماشینی و هنجارهای انسانی در تضاد هستند

چرا ممکن است عبارات blunt یا rude دقت را افزایش دهند؟ یک نظریه: درخواست‌های مودبانه اغلب شامل عبارت‌های غیرمستقیم هستند (“آیا می‌توانید لطفاً بگویید…”) که ممکن است ابهام را به همراه داشته باشد. یک “جواب را به من بگو” مختصر، لایه‌های زبانی اضافی را کنار می‌زند و هدف واضح‌تری به مدل‌ها می‌دهد.

با این حال، یافته‌ها تأکید می‌کنند که چقدر هوش مصنوعی از همدلی انسانی فاصله دارد: همان کلمات که تبادل اجتماعی بین افراد را نرم می‌کند، ممکن است منطق ماشین را مبهم کند.

این مقاله هنوز مورد بررسی همتا قرار نگرفته است، اما در حال حاضر در بین مهندسان پرامپت و محققان جلب توجه کرده است، که آن را نشانه‌ای می‌دانند که ممکن است مدل‌های آینده نیاز داشته باشند. تنظیم اجتماعی —نه تنها تنظیمات فنی دقیق.

به هر حال، این باید برای هیچ‌کس شوکه‌کننده نباشد. بعد از همه، مدیرعامل اوپن‌ای آی، سم آلتمن ما را هشدار داد. که گفتن لطفاً و متشکرم استفاده از چت جی‌پی‌تی هدر دادن زمان و پول بود.