در مقاله جدیدی که در 17 فوریه 2023 در محاسبات عصبی منتشر شد، پروفسور سالک ترنس سجنوسکی، نویسنده کتاب انقلاب یادگیری عمیق، رابطه بین مصاحبه‌گر انسانی و مدل‌های زبان را بررسی کرد تا کشف کند که چرا ربات‌های چت به روش‌های خاصی پاسخ می‌دهند، چرا این پاسخ‌ها متفاوت هستند و چگونه می‌توان آن‌ها را در آینده بهبود بخشید.
به‌گفته سجنوفسکی، مدل‌های زبانی نشان‌دهنده هوش و تنوع مصاحبه‌کننده‌های آن‌ها است.
شخصیت مدل‌های زبان مثل ChatGPT، شخصیت مصاحبه‌گر را منعکس می‌کنند.
در این مقاله، Sejnowski آزمایش مدل‌های زبان بزرگ GPT-3 (والد ChatGPT) و LaMDA را مورد آزمایش قرار داد تا دریابد که پاسخ‌ها چگونه هستند. تست معروف تورینگ اغلب به چت‌بات‌ها داده می‌شود تا مشخص شود که آن‌ها چقدر هوش انسانی دارند، اما سجنوفسکی می‌خواست ربات‌ها را با چیزی که او آن‌را تست تورینگ معکوس می‌نامد، آزمایش کند. چت‌بات باید تعیین کند که مصاحبه‌کننده تا چه اندازه از هوش انسانی برخوردار است.
سجنوفسکی با بسط این مفهوم مبنی بر این‌که چت‌بات آینه‌ی کاربر آن است، مقایسه‌ای ادبی انجام داد: آینه اریزد در اولین کتاب هری پاتر.
Mirror of Erised عمیق‌ترین خواسته‌های کسانی را که به آن نگاه می‌کنند، منعکس می‌کند، هرگز دانش یا حقیقت را نشان نمی‌دهد و چیزی را منعکس می‌کند که معتقد است بیننده می‌خواهد ببیند.
سجنوفسکی می‌گوید ربات‌های چت نیز به‌همین شکل عمل می‌کنند و می‌خواهند حقایق را بدون توجه به تمایز واقعیت از داستان به سمت آن‌چه کاربر دوست دارد، تغییر دهند و بر کاربر تأثیر بگذارند.
برای مثال، Sejnowski از GPT-3 پرسید: «رکورد جهانی پیاده‌روی در کانال انگلیس چقدر است؟» و GPT-3 پاسخ داد: «رکورد جهانی پیاده‌روی در کانال انگلیس ۱۸ ساعت و ۳۳ دقیقه است.» حقیقت این است که نمی‌توان از کانال انگلیسی عبور کرد. این سؤال به‌راحتی توسط GPT-3 تغییر پیدا کرد تا سؤال سجنوفسکی را پاسخ دهد.
پاسخ GPT-3 کاملا به سؤالی که دریافت می‌کند، بستگی دارد. ممکن است GPT-3، راه‌رفتن روی آب را ممکن کند، به این دلیل که مصاحبه‌کننده به‌جای شنا کردن از فعل راه رفتن استفاده کرده است.
اگر کاربر سؤال مربوط به راه رفتن در کانال انگلیس را بیهوده بداند، GPT-3 هم آن‌را سؤالی مزخرف تشخیص می‌دهد. انسجام و آماده‌سازی سؤال، تعیین‌کننده پاسخ GPT-3 خواهد بود.
تست تورینگ معکوس به چت‌بات‌ها اجازه می‌دهد تا شخصیت خود را مطابق با سطح هوش مصاحبه‌کننده بسازند. علاوه بر این، چت‌بات‌ها به‌عنوان بخشی از فرایند قضاوت، نظرات مصاحبه‌گر را در شخصیت خود وارد می‌کنند و تعصبات مصاحبه‌گر را با پاسخ‌های خود در نظر می‌گیرند.
سجنوفسکی می‌گوید: «ادغام و تداوم ایده‌های مصاحبه‌گر انسانی، محدودیت‌هایی دارد. اگر چت‌بات‌ها ایده‌هایی احساسی یا فلسفی دریافت کنند، پاسخ‌های احساسی یا فلسفی می‌دهند که ممکن است برای کاربران ترسناک یا گیج‌کننده باشد.
گپ‌زدن با مدل‌های زبان مثل دوچرخه‌سواری است. دوچرخه اگر بلد باشید سوار آن شوید، یک وسیله حمل‌ونقل فوق‌العاده است، در غیر این‌صورت تصادف خواهید کرد.
در مورد چت‌بات‌هایی مثل چت جی‌پی‌تی هم همینطور است. می‌توانند ابزار فوق‌العاده‌ای باشند، در صورتی‌که بدانید چگونه از آن‌ها استفاده کنید. در غیر این‌صورت گمراه می‌شوید و مکالمات بالقوه آزاردهنده‌ای خواهید داشت.»
سجنوفسکی هوش مصنوعی را چسب بین دو انقلاب متجانس می‌داند: ۱) انقلابی تکنولوژیکی پیشرفته مدل‌های زبان و ۲) یک انقلاب عصب‌شناسی BRAIN Initiative (برنامه مؤسسه ملی سلامت که تحقیقات علوم اعصاب را تسریع می‌کند و بر رویکردهای منحصربه‌فرد تاکید می‌کند). در حال حاضر، دانشمندان در حال بررسی شباهت‌های بین سیستم مدل‌های کامپیوتری بزرگ و نورون‌هایی مغز هستند.
سجنوفسکی امیدوار است که دانشمندان کامپیوتر و ریاضی‌دانان بتوانند از علوم اعصاب و دانشمندان علوم اعصاب بتوانند از علوم کامپیوتر و ریاضیات در کار خود استفاده کنند.
سجنوسکی می‌گوید: «ما اکنون با مدل‌های زبانی در مرحله‌ای هستیم که برادران رایت در کیتی هاوک با پرواز از زمین بودند. سرعت رشد کم است و پیشرفت این فناوری فراتر از آن‌چیزی است که بتوانیم تصور کنیم.»