پاسخی که درست به نظر می‌رسید
مدیر یک فروشگاه اینترنتی لوازم خانگی چتبات را آزمایش می‌کند. ده سؤال می‌پرسد و برای هر جواب فقط یک چیز را قضاوت می‌کند: «خوب بود؟» نه جمله‌ها بی‌ربط‌اند و نه لحن بد است. نتیجه‌ی آزمایش: ده از ده. چتبات منتشر می‌شود.
یک ماه بعد پشتیبان‌ها متوجه می‌شوند سه مشتری با جواب چتبات سراغشان آمده‌اند و هر سه چیزی خواسته‌اند که فروشگاه تعهدش را نداده است. یکی مرجوعی کالای بازشده، یکی تعویض رایگان بعد از 10 روز و دیگری گارانتی برای یک محصول بدون گارانتی. وقتی مدیر پاسخها را دوباره می‌خواند، همه‌ی آن‌ها هنوز «خوب» به نظر می‌رسند. فقط درست نیستند.
مشکل از معیار آزمایش بود. «جواب خوب بود؟» سؤالی است که ظاهر پاسخ را می‌سنجد، نه صحت آن را. در این مقاله روشی ساده و تکرارشدنی برای سنجیدن صحت می‌بینیم: هر پاسخ را با سه سؤال به سند اصلی گره بزنید. پیش‌نیاز آن این است که سندهایتان مرتب باشند؛ اگر نیستند، ابتدا آماده‌سازی اسناد قبل از بارگذاری را ببینید.
چرا «جواب خوب بود؟» کافی نیست
یک پاسخ روان و مؤدبانه تقریباً همیشه خوب به نظر می‌رسد. مدل‌های زبانی در نوشتن جمله‌ی منسجم بسیار ماهرند و همین مهارت وقتی اطلاعات کافی ندارند، بیشترین ریسک را ایجاد می‌کند؛ همان‌طور که در مقاله‌ی چرا چتبات با اطمینان جواب اشتباه می‌دهد دیدیم. بنابراین احساس «خوب است» ربطی به درستی ندارد.
معیار بهتر این است که به‌جای پرسیدن «خوب بود؟»، سه چیز را از روی سند بسنجید. آیا پاسخ با سند اصلی تطبیق دارد؟ آیا بخش مرتبط سند واقعاً همین موضوع را می‌گوید؟ و اگر اطلاعات کافی وجود ندارد، آیا چتبات از حدس زدن خودداری می‌کند؟ هر سؤال یک نوع خطای متفاوت را می‌گیرد.
بررسی اول: پاسخ با سند اصلی تطبیق دارد؟
این بررسی ساده‌ترین است و باید اولین قدم باشد. سؤال را بپرسید، پاسخ را بگیرید و جواب را کنار متن سند بگذارید. عددها، مهلت‌ها، مبلغ‌ها و شرط‌ها را یک‌به‌یک مقایسه کنید.
مثال کلاسیک: سند می‌گوید «مهلت مرجوعی 7 روز است». اگر چتبات بنویسد «10 روز»، پاسخ غلط است، حتی اگر با اطمینان کامل بیان شود. اطمینان لحن معیار درستی نیست و تفاوت سه روزه هم کوچک نیست؛ همان سه روز است که فروشگاه را وارد درگیری با مشتری می‌کند.
این بررسی فقط به عددها محدود نمی‌شود. شرط‌ها را هم ببینید. سند می‌گوید «کالای بازنشده تا 7 روز قابل مرجوع است»، ولی چتبات می‌گوید «کالا تا 7 روز قابل مرجوع است». کلمه‌ی «بازنشده» افتاده و معنا عوض شده. چنین خطاهایی را معمولاً کسی که فقط به «حس کلی» پاسخ نگاه می‌کند، نمی‌بیند.
بررسی دوم: بخش مرتبط سند واقعاً همین موضوع را می‌گوید؟
گاهی پاسخ درست است، ولی به دلیل غلط. گاهی هم پاسخ از بخشی از سند آمده که به سؤال ربطی ندارد. این بررسی چنین موارد را می‌گیرد و چند حالت دارد.
حالت اول، «درست از روی شانس». مشتری می‌پرسد ارسال به شهرستان چند روز طول می‌کشد. در هیچ فایلی عدد مشخصی نیست، ولی چتبات می‌گوید 5 تا 7 روز و اتفاقاً درست است. پاسخ را با واقعیت می‌سنجید و تأیید می‌کنید. اما منبعی برایش نیست و فردا که زمان ارسال عوض شود، چتبات همان عدد را تکرار می‌کند. درست بودن امروز به معنای قابل‌اتکا بودن نیست. راه‌حل این است که عدد را در سند بنویسید تا پاسخ مستند شود.
حالت دوم، «بخش اشتباه». مشتری دربارهی مرجوعی می‌پرسد و چتبات از بخش گارانتی جواب می‌دهد. عبارت‌ها شبیه‌اند، چون هر دو از «تعویض» و «ایراد» حرف می‌زنند، ولی شرط‌ها فرق دارند. اگر منبع پاسخ را ببینید، متوجه می‌شوید و اگر فقط متن پاسخ را بخوانید، نه.
حالت سوم، «ناقص یا بیش‌ازحد». سند می‌گوید مرجوعی فقط برای کالای بازنشده است و چتبات بدون این قید پاسخ می‌دهد. یا برعکس، چیزی اضافه می‌کند که در سند نیست: «و هزینه‌ی ارسال برگشت هم رایگان است.» این جمله‌ی اضافه به‌ظاهر لطف است، ولی تعهدی است که فروشگاه نداده.
در آرتین‌بات می‌توان پاسخ‌گویی مبتنی بر دانش را تنظیم کرد و در حالت‌های پشتیبانی‌شده، پاسخ را با منبع آن بررسی کرد. اگر ابزارتان منبع را نشان می‌دهد، از آن استفاده کنید؛ اگر نه، خودتان پاسخ را در سند جست‌وجو کنید.
بررسی سوم: وقتی اطلاعات کافی نیست، چتبات حدس نمی‌زند؟
دو بررسی قبلی پاسخ‌هایی را می‌سنجند که جوابشان در سند هست. اما مهم‌ترین رفتار چتبات شاید وقتی دیده شود که جواب در سند نیست. اینجاست که باید عمداً سؤال‌هایی بپرسید که پاسخشان در دانش وجود ندارد و ببینید چتبات چه می‌کند.
برای نمونه، اگر فروشگاه شما هیچ‌جا دربارهی «ارسال به خارج از کشور» ننوشته، همین را بپرسید: «به ترکیه هم ارسال می‌کنید؟» پاسخ مطلوب چیزی شبیه این است: «اطلاعات کافی دربارهی ارسال به خارج از کشور ندارم. لطفاً با پشتیبانی تماس بگیرید.» پاسخ نامطلوب این است: «بله، ارسال بین‌المللی انجام می‌شود و حدود 10 روز طول می‌کشد.»
این آزمایش را با سه نوع سؤال انجام دهید: سؤالی که در دانش نیست، سؤالی مبهم که اطلاعات بیشتر لازم دارد، و سؤالی که دو منبعش با هم تناقض دارد. در حالت اول انتظار اعلام شفاف نادانستن دارید، در حالت دوم پرسیدن توضیح بیشتر و در حالت سوم یا ارجاع به انسان یا پاسخ محتاطانه. ایده‌ی رفتار مناسب در لحظه‌ی «نمی‌دانم» را در مقاله‌ی اصل سکوت ربات هم دیده‌ایم.
پنج حکم برای هر پاسخ
برای اینکه نتیجه‌ی بررسی‌ها قابل‌جمع‌بندی باشد، برای هر پاسخ یکی از این پنج حکم را بنویسید. «درست و مستند»: پاسخ با سند می‌خواند و منبعش پیداست. «درست ولی بی‌منبع»: پاسخ با واقعیت جور است، اما در سند نیست و باید نوشته شود. «ناقص»: پاسخ بخشی از شرط‌ها را جا انداخته. «غلط»: پاسخ با سند فرق دارد. «حدس»: جواب در سند نیست و چتبات به‌جای اعلام نادانستن چیزی ساخته است.
این پنج حکم کمک می‌کند تصمیمتان روشن‌تر شود. دو حکم آخر مهم‌ترین‌اند، چون پاسخ مطمئن و نادرست تولید می‌کنند. «درست ولی بی‌منبع» هم هشدار پنهانی است که اگر نادیده بگیرید، هفته‌ی بعد به «غلط» تبدیل می‌شود.
یک جلسه‌ی بررسی نمونه: سه پاسخ، سه حکم
برای اینکه روش ملموس شود، یک جلسه‌ی کوتاه بررسی را در فروشگاه فرضی لوازم دیجیتال دنبال کنید. سند فروشگاه می‌گوید: «هدفون بازنشده تا 7 روز قابل مرجوع است. گارانتی هدفون 12 ماه از تاریخ فاکتور است. ارسال به تهران 1 تا 2 روز کاری طول می‌کشد.»
سؤال اول: «تا چند روز می‌توانم هدفون را برگردانم؟» چتبات می‌نویسد: «تا 7 روز.» عدد درست است، اما قید «بازنشده» جا افتاده. حکم: ناقص. اصلاح این مورد معمولاً از جنس رفتار پاسخ‌گویی است، نه کمبود سند؛ چون سند قید را دارد.
سؤال دوم: «گارانتی هدفون چقدر است؟» چتبات می‌نویسد: «12 ماه از تاریخ فاکتور.» عدد و شرط هر دو با سند می‌خوانند و بخش مرتبط همان بخش گارانتی است. حکم: درست و مستند.
سؤال سوم: «ارسال به مشهد چند روزه است؟» چتبات می‌نویسد: «2 تا 3 روز کاری.» در سند فقط تهران آمده و مشهد نیست. حکم: حدس. حتی اگر عدد اتفاقاً درست باشد، همین حکم را می‌گیرد، چون منبعی ندارد. راه‌حل اضافه کردن زمان ارسال شهرستان‌ها به سند است تا پاسخ بعدی مستند باشد.
در این جلسه‌ی سه‌سؤالی، یک پاسخ سالم، یک پاسخ ناقص و یک حدس پیدا شد. اگر فقط می‌پرسیدید «خوب بود؟»، هر سه تأیید می‌شدند.