چت‌بات دیروز درست جواب می‌داد، امروز چطور؟
فرض کنید یک ماه است چت‌بات فروشگاه‌تان خوب کار میکند. بعد فایل جدید قیمت‌ها را آپلود می‌کنید، یا دستورالعمل بات را کمی دوستانه‌تر می‌نویسید، یا یک سند قدیمی را حذف می‌کنید. همه چیز ظاهراً سر جایش است. دو هفته بعد مشتری می‌پرسد هزینه‌ی ارسال چقدر است و بات جواب اشتباه می‌دهد. یا بدتر، با اطمینان چیزی می‌گوید که هیچ‌جا نیست.
مشکل این است که هیچ‌کس نفهمیده چه زمانی خراب شده. خرابی بی‌صدا بوده؛ فقط یک مشتری شکایت کرده، و بقیه‌ی مشتری‌ها شاید بی‌آنکه چیزی بگویند رفته‌اند.
این موضوع مخصوص چت‌بات‌هاست. در نرم‌افزار معمولی، تغییر یک بخش را آزمون‌های خودکار می‌گیرند. در چت‌بات، «درست جواب دادن» عددی نیست و هیچ‌چیز خودکار به شما نمی‌گوید که تغییر امروز، جواب دیروز را خراب کرده است.
آرتین‌بات برای همین مسئله «سؤالهای طلایی» دارد: مجموعهای از پرسشهای مرجع که هر بار بات با آن‌ها محک می‌خورد. این مقاله می‌گوید این ابزار چطور کار میکند، چطور آن را درست بسازیم، کجا اشتباه میکند و چه هزینه‌ای دارد.
چرا چت‌بات بعد از تغییر خراب میشود
تقریباً هر تغییری میتواند پاسخ‌ها را جابه‌جا کند. فایل جدیدی که اضافه میشود ممکن است با فایل قدیمی تناقض داشته باشد. سندی که حذف میشود شاید تنها جایی بوده که شرایط مرجوعی در آن آمده بود. دستورالعمل تازه ممکن است لحن را خوب کند و در همان حال بات را از گفتن «نمی‌دانم» بازدارد. تغییر تنظیمات هم همین‌طور.
راه معمول برای بررسی این است که صاحب بات خودش پنج‌شش سؤال بپرسد. اما این سؤال‌ها همان‌هایی‌اند که یادش مانده، و معمولاً همان‌هایی‌اند که بات همیشه درست جواب داده. سؤالهای مشکل‌دار، آن‌هایی که کمتر پرسیده می‌شوند، تقریباً هیچ‌وقت آزمایش نمی‌شوند.
سؤالهای طلایی این کار را سیستماتیک میکند: به‌جای «چند سؤالی که یادم هست»، یک فهرست ثابت و شناخته‌شده که بعد از هر تغییر دوباره اجرا میشود.
سؤال طلایی چیست
سؤال طلایی یک پرسش مرجع است که پاسخ مورد انتظارش را هم دارد. مثلاً: «هزینه‌ی ارسال به شهرستان چقدر است؟» و پاسخ انتظار: «هزینه‌ی ارسال به شهرستان بر اساس وزن محاسبه میشود و از ... شروع میشود». شما مجموعهای از این جفت‌ها می‌سازید.
برای ساختن مجموعهی خوب، از سؤالهای واقعی مشتری شروع کنید، نه از سؤالهایی که خودتان فکر می‌کنید پرسیده میشود. گزارش سؤالهای بی‌پاسخ و خود گفتگوها منبع خوبی است؛ درباره‌ی آن‌ها در مقاله‌ی داشبورد گزارش و کیفیت نوشته‌ایم. از چند دسته سؤال بگذارید: سؤالهای ساده‌ای که بات همیشه باید درست بداند، سؤالهای حساس مثل قیمت و ارسال و مرجوعی، سؤالهای دشوار که چند منبع را با هم می‌خواهند، و سؤالهایی که بات باید جوابشان را نداند.
دسته‌ی آخر مهم‌ترین و کم‌یادشونده‌ترین است. اگر بپرسند «آیا ضمانت‌نامه‌ی دوساله دارید؟» و چنین چیزی در هیچ‌جا نیست، جواب درست «نمی‌دانم و موضوع را به انسان می‌رسانم» است، نه یک جواب ساختگی. وقتی چنین سؤالهایی هم در مجموعه باشد، تغییری که بات را بی‌پروا کند، فوراً لو می‌رود.
چطور اجرا میشود
هر سؤال از همان مسیر واقعی بات اجرا میشود، نه از یک نسخه‌ی آزمایشگاهی جدا. یعنی نتیجه همان چیزی است که مشتری واقعی می‌گیرد. پاسخ بات با پاسخ مورد انتظار مقایسه میشود و یک مدل داوری میکند که آیا پاسخ به اندازه‌ی کافی درست است یا نه. برای هر بات یک نمره‌ی قبولی جدا تعریف میشود.
اجرا دو شکل دارد. می‌توانید دستی بزنید و ببینید. یا اجرای خودکار را روشن کنید تا وقتی دانش یا تنظیمات بات عوض شد، مجموعه خودش اجرا شود. اجرای خودکار با یک فاصلهی زمانی و سقف روزانه کار میکند، تا با هر تغییر کوچک هزینه ساخته نشود. و بدون یک اجرای پایه شروع نمیشود: ابتدا باید یک بار اجرا کنید و «وضعیت سالم» را ثبت کنید تا افت نسبت به چیزی سنجیده شود.
نتیجه روی میز کار دیده میشود: اگر کیفیت افت کند، هشدار لحظه‌ای و نشان «افت کیفیت» می‌آید. هزینه‌ی اجرا از کیف پول کم میشود، اما از سهمیهی پیام ماهانهی بات کسر نمیشود.
نمره‌ی قبولی را چطور انتخاب کنیم
این یک معامله است. نمره‌ی بالا و سخت‌گیرانه یعنی هشدارهای بیشتر، که بعضی‌شان الکی‌اند. بات جوابی داده که از نظر معنا درست است ولی با کلمات دیگری گفته شده، و حساب نشده است. نمره‌ی پایین و آسان‌گیر یعنی خرابی‌های واقعی از زیر دست می‌گذرند.
پیشنهاد عملی این است: اول با نمره‌ای متوسط شروع کنید، چند اجرا را با دقت نگاه کنید و ببینید کجا هشدار الکی بوده و کجا خرابی واقعی از دست رفته. بعد نمره را تنظیم کنید. به‌خصوص برای سؤالهای حساس مثل قیمت، بهتر است هر نمره‌ی کمتر از کامل را خودتان نگاه کنید.
و یک نکته‌ی صریح: داور یک مدل است و ممکن است اشتباه کند. نتیجه‌ی آن را سرنخ بدانید، نه حکم قطعی.
سه سناریوی فرضی
این‌ها نمونه‌ی مشتریان واقعی نیستند؛ سناریوهایی‌اند که شکل کار را نشان می‌دهند.
فایل جدید قیمت. یک فروشگاه فایل قیمت‌های تازه را آپلود میکند. فایل جدید ستون ارسال ندارد و بخشی از اطلاعات ارسال از دانش بات حذف میشود. سؤال طلایی «هزینه‌ی ارسال به شهرستان چقدر است؟» که قبلاً قبول بود، حالا رد میشود. هشدار افت کیفیت می‌آید، صاحب فروشگاه مشکل را همان روز می‌بیند و فایل را اصلاح میکند. بدون سؤال طلایی، اولین نشانه‌ی خرابی شکایت یک مشتری بود.
تغییر لحن. صاحب پیج می‌خواهد بات گرم‌تر حرف بزند و دستورالعمل را عوض میکند. لحن بهتر میشود، اما بات حالا برای سؤالهایی که جوابشان را ندارد هم یک جواب مودبانه می‌سازد. سؤالهای «نمی‌دانم» در مجموعه رد می‌شوند. تغییری که ظاهراً بی‌ضرر بود، یک ریسک واقعی را آشکار کرد.
هشدار الکی. قیمت یک محصول به‌درستی تغییر کرده، ولی پاسخ مورد انتظار در سؤال طلایی هنوز قیمت قدیمی را دارد. سؤال رد میشود، اما خرابی از بات نیست؛ از مجموعه است. این سناریو یک هزینه‌ی پنهان را نشان می‌دهد: مجموعهی سؤالهای طلایی هم مثل هر دانش دیگری باید بهروز بماند.