دو فروشگاه، دو انتخاب، دو مشکل
صاحب یک فروشگاه لوازم دیجیتال تصمیم می‌گیرد برای چت‌باتش «بهترین» مدل را انتخاب کند. فهرست را نگاه میکند، قویترین و گران‌ترین گزینه را برمی‌دارد و خیالش راحت می‌شود. یک ماه بعد صورت‌حساب مصرف را می‌بیند. بیشتر گفت‌وگوها سؤال‌هایی مثل «ارسال چند روزه است؟» و «گارانتی دارد؟» بوده‌اند و برای همین‌ها هم هزینهی یک مدل سنگین پرداخت شده است.
صاحب فروشگاه دوم راه عکس را می‌رود. چون دنبال صرفه‌جویی است، ارزان‌ترین گزینه را انتخاب میکند. برای سؤالهای ساده خوب کار میکند، اما وقتی مشتری می‌پرسد «تفاوت این دو مدل لپ‌تاپ برای کار طراحی چیست؟»، پاسخ سطحی و گاهی گیج‌کننده است. مشتری سراغ رقیب می‌رود.
هر دو فروشگاه یک اشتباه مشترک کرده‌اند: مدل را بر اساس یک ویژگی انتخاب کرده‌اند، نه بر اساس نیاز واقعی. در این مقاله چهار معیار برای تصمیم‌گیری و یک روش ساده‌ی آزمایش را می‌بینیم تا انتخابتان از روی داده باشد، نه از روی شهرت.
چرا «قویترین» همیشه بهترین نیست؟
برای ساخت چتبات، همیشه انتخاب گران‌ترین یا قویترین مدل بهترین تصمیم نیست. دلیلش ساده است: قدرت بیشتر معمولاً هزینهی بیشتر و گاهی پاسخ کندتر دارد. اگر وظیفهی چتبات شما پاسخ به سؤالهای متداول است که جوابشان در سند نوشته شده، شاید نیازی به قویترین گزینه نباشد؛ مثل اینکه برای جابه‌جایی چند بسته در شهر، کامیون سنگین اجاره کنید.
برعکس هم صادق است. اگر چتبات باید محصولات را مقایسه کند، سؤال روشن‌کننده بپرسد و بر اساس نیاز مشتری پیشنهاد بدهد، یک مدل ضعیف‌تر ممکن است در همان لحظه‌های ارزشمند شکست بخورد. پس پرسش درست «کدام مدل بهترین است؟» نیست؛ «کدام مدل برای این وظیفه، با این هزینه و این سرعت، کیفیت کافی را می‌دهد؟» است.
چهار معیار انتخاب
چهار معیار کمک میکند تصمیم‌تان از شهرت فاصله بگیرد: کیفیت، سرعت، هزینه و تناسب با وظیفه. هیچ‌کدام به‌تنهایی کافی نیست و وزن هر کدام به کسب‌وکار شما بستگی دارد. هر چهار را با مثال مرور می‌کنیم.
معیار اول: کیفیت؛ آیا پاسخها دقیق و متناسب با زبان مخاطب‌اند؟
کیفیت فقط «درست بودن» نیست. برای چت‌باتی که با مشتری فارسی‌زبان صحبت میکند، سه جنبه مهم است. اول، دقت: آیا عدد و شرط را درست از سند نقل میکند؟ دوم، زبان: آیا فارسی روان و طبیعی می‌نویسد یا جمله‌هایی شبیه ترجمه‌ی ماشینی دارد؟ سوم، پایبندی به منبع: آیا وقتی اطلاعات کافی نیست، حدس نمی‌زند؟
برای سنجش، روش تطبیق پاسخ با سند را به کار ببرید؛ همان روش سه‌مرحله‌ای که در مقاله‌ی چطور مطمئن شویم چتبات پاسخ را از منبع درست پیدا کرده است توضیح داده‌ایم. تفاوت مدلها معمولاً در سؤالهای آسان دیده نمی‌شود. در سؤالهای مبهم، مقایسه‌ای یا چندبخشی است که فاصله خودش را نشان می‌دهد، پس این نوع سؤالها را در آزمایش بگنجانید.
معیار دوم: سرعت؛ کاربر چقدر منتظر می‌ماند؟
مشتری‌ای که وسط خرید سؤال می‌پرسد، صبر زیادی ندارد. اگر پاسخ چند ثانیه‌ی اضافه طول بکشد، شاید پنجره را ببندد. سرعت هم به مدل بستگی دارد و هم به کانال و شرایط شبکه، پس سنجیدنش باید در موقعیت واقعی باشد، نه فقط یک آزمایش در پنل.
دو نکته را در نظر بگیرید. اول اینکه تحمل انتظار در کانال‌ها فرق دارد: در ابزارک سایت انتظار کوتاه‌تر حس می‌شود، در پیام‌رسان‌ها مشتری عادت دارد کمی صبر کند. دوم اینکه سرعت را فقط روی یک سؤال نسنجید. چند سؤال با طول‌های مختلف بپرسید و زمان هر کدام را یادداشت کنید. اگر مدل قویتر دو برابر کندتر است ولی تفاوت کیفیتش در سؤالهای متداول دیده نمی‌شود، برای وظیفهی ساده‌ی شما ارزشش را ندارد.
معیار سوم: هزینه؛ هر گفتوگو برای کسب‌وکار چقدر تمام می‌شود؟
هزینه را باید به‌جای قیمت یک پیام، به‌صورت هزینهی هر گفتوگو و هر ماه ببینید. فرمول ساده این است: تعداد گفتوگوهای ماهانه ضرب‌در میانگین تعداد پیام هر گفتوگو ضرب‌در هزینهی هر پاسخ. اگر فروشگاه شما ماهانه 3000 گفتوگو دارد و میانگین هر گفتوگو 4 پاسخ است، پس ماهانه 12000 پاسخ تولید می‌شود. حالا اختلاف هزینهی دو مدل را در 12000 ضرب کنید تا اثر واقعی تفاوت را ببینید.
این محاسبه یک نتیجه‌ی مهم دارد: مدلی که به‌ازای هر پاسخ فقط کمی گران‌تر است، در حجم بالا اختلاف قابل‌توجهی می‌سازد. برعکس، در حجم پایین، اختلاف هزینه شاید ناچیز باشد و میتوانید کیفیت بیشتر را بخرید. تصمیم درست به حجم واقعی شما بستگی دارد، نه به قیمت روی کاغذ.
معیار چهارم: تناسب با وظیفه
پاسخ به سؤال متداول با تحلیل پیچیده یکسان نیست. اگر چتبات فقط قوانین ارسال و مرجوعی را از سند نقل میکند، وظیفه‌اش نسبتاً ساده است. اگر باید دو محصول را مقایسه کند، نیاز مشتری را بفهمد و پیشنهاد بدهد، وظیفهی پیچیده‌تری دارد. مدل مناسب برای هر کدام ممکن است فرق کند.
یک فروشگاه لوازم آرایشی را تصور کنید که دو نوع گفتوگو دارد. نوع اول پشتیبانی بعد از خرید است: پیگیری، مرجوعی، ارسال. نوع دوم مشاوره‌ی قبل از خرید است: «کدام کرم برای پوست مختلط مناسب است؟» اگر طرح شما اجازه‌ی چند چتبات می‌دهد، میتوانید برای پشتیبانی یک چتبات با مدل سبکتر و برای مشاوره یک چتبات با مدل قویتر بسازید؛ در آرتینبات انتخاب مدل برای هر چتبات جداگانه است. اینجا انتخاب «یک مدل برای همه» لازم نیست و حتی بهینه هم نیست.
روش عملی: آزمایش با 5 تا 10 سؤال واقعی
برای تصمیم، یک آزمایش ساده کافی است. 5 تا 10 سؤال واقعی از پیام‌های مشتریانتان انتخاب کنید. سؤالها باید تنوع داشته باشند: دو سؤال متداول، یک سؤال مقایسه‌ای، یک سؤال مبهم، یک سؤال چندبخشی و یک سؤال که جوابش عمداً در دانش نیست. فهرست ده سؤال پرتکرار فروشگاه‌ها را در مقاله‌ی ده سؤال اول مشتری فروشگاه اینترنتی میتوانید ببینید.
بعد مدلها را با همان سؤالها، همان منابع دانش و معیارهای یکسان بسنجید. این یعنی دانش چتبات بین آزمایش‌ها نباید عوض شود، وگرنه تفاوت پاسخها را به مدل نسبت می‌دهید در حالی که از دانش آمده است. یک جدول بسازید: سطرها سؤالها، ستون‌ها مدلها و برای هر خانه سه عدد از 1 تا 5: کیفیت، سرعت و تناسب. هزینه را جداگانه با فرمول بخش قبل حساب کنید.
دو نکته‌ی احتیاطی. اول، هر آزمایش را دو بار اجرا کنید، چون پاسخ مدلها در هر بار کمی فرق میکند. دوم، تا جای ممکن کسی که پاسخها را نمره می‌دهد نداند کدام پاسخ از کدام مدل است. این کار سوگیری‌ات را کم میکند.