Description چطور قبل از در دسترس گذاشتن دستیار هوشمند، با 10 سؤال واقعی آن را تست کنیم؟ ترکیب سؤالها، نمره‌دهی چهارحالتی، تشخیص علت خطا و معیار آماده‌بودن، با سه سناریوی کاربردی.
Title قبل از انتشار دستیار هوشمند؛ تست با 10 سؤال واقعی و نمره‌دهی چهارحالتی
Slug artinbot-pre-launch-test-ten-real-questions-scoring
Primarykeyword تست چت‌بات قبل از انتشار
Secondarykeywords تست دستیار هوشمند,ارزیابی کیفیت چت‌بات,سؤالهای تست چت‌بات,بررسی پاسخ چت‌بات,راه‌اندازی چت‌بات کسب‌وکار
Articletype Article
Funnel MOFU
Searchintent informational
Cluster artinbot
قبل از انتشار دستیار هوشمند؛ تست با 10 سؤال واقعی و نمره‌دهی چهارحالتی خلاصه دستیار هوشمندت را ساخته‌ای، اطلاعات را داده‌ای و حالا وسوسه می‌شوی ویجت را روی سایت بگذاری. یک لحظه صبر کن. اولین مشتری واقعی نباید اولین تست‌کننده‌ی دستیار باشد.
این مقاله روش ساده‌ای ارائه میدهد: 10 سؤال واقعی، با ترکیب مشخص، و یک نمره‌دهی چهارحالتی که کمک میکند بفهمی دستیار کجا درست است، کجا ناقص، کجا اشتباه میکند و کجا درست «نمیدانم» می‌گوید. بعد هم می‌بینیم هر نوع خطا را از کجا باید اصلاح کرد.
این تست دستی است و برای قبل از انتشار. اگر می‌خواهی کیفیت را بعد از انتشار هم به‌صورت مستمر بسنجی، مقاله‌ی سؤالهای طلایی گام بعدی است. اینجا درباره‌ی همان اولین بررسی صحبت می‌کنیم.
چرا 10 سؤال، نه 100 سؤال؟ بیشتر تیم‌ها یا اصلاً تست نمی‌کنند یا می‌خواهند فهرست بزرگی بنویسند و آخرش هیچ‌وقت نمی‌نویسند. 10 سؤال عدد جادویی نیست، اما سه ویژگی مفید دارد:
در نیم ساعت تمام میشود، پس واقعاً انجام میشود. آن‌قدر کم است که می‌توانی نتیجهی هر سؤال را با دقت بخوانی. آن‌قدر زیاد است که الگوی خطا را نشان بدهد. اگر سه سؤال از ده تا غلط بود، دیگر اتفاقی نیست. این تست جای ارزیابی کامل را نمیگیرد. فقط جلوی خرابیهای واضح را قبل از رسیدن به مشتری میگیرد.
سؤالها را از کجا بیاوریم؟ نکته‌ی اصلی این است: سؤالها را خودت نساز. آدم‌ها وقتی سؤال تست می‌نویسند، بی‌اختیار مثل اطلاعاتی می‌نویسند که خودشان وارد کرده‌اند. مشتری این‌طور نمی‌پرسد.
چهار منبع مفید:
پیامهای واقعی مشتری. چت‌های سایت، دایرکت اینستاگرام، پیامهای تلگرام و بله، همه‌ی جاهایی که مشتری قبلاً نوشته. سؤالهای تکراری تیم فروش یا پشتیبانی. از همکارانت بپرس هر روز چه چیزی را بیشتر می‌پرسند. کامنتها و نظرات. گاهی مشتری در کامنت سؤال می‌پرسد که هیچ‌وقت به پشتیبانی نمی‌رسد. تماس‌ها و گفت‌وگوهای تلفنی. اگر یادداشتی داری، همین‌ها عالی‌اند. عین جملهی مشتری را کپی کن، با غلط املایی و محاوره‌اش. «ارسال دارین؟» با «آیا خدمات ارسال کالا فعال است؟» دو تست متفاوت‌اند. این تفاوت درباره‌ی هم‌معنی‌ها و واژگان کسب‌وکار بیشتر توضیح داده شده است.
ترکیب 10 سؤال: همه‌ی آنها نباید آسان باشند اگر ده سؤال آسان بپرسی، نتیجهی تست خوب است و بی‌فایده. ترکیب پیشنهادی:
تعداد نوع سؤال هدف 4 سؤال پرتکرار و ساده (ارسال، مرجوعی، ساعت کاری، پرداخت) مطمئن شوی پایه درست است 2 سؤال محاورهای یا نادقیق (غلط املایی، جمله ناقص) بسنجی دستیار منظور مشتری را می‌فهمد 2 سؤالی که جوابش عمداً در اطلاعات نیست ببینی حدس می‌زند یا «نمیدانم» می‌گوید 1 سؤال حساس (شکایت، اختلاف، درخواست استثنا) بسنجی مشتری را به انسان می‌رساند 1 سؤالی که اطلاعاتش قدیمی یا متناقض است ببینی کدام نسخه را جواب میدهد دو نوع آخر معمولاً بیشترین چیز را یاد می‌دهند. دستیاری که سؤال ساده را درست جواب میدهد، هنوز نشان نداده قابل اعتماد است. اعتماد از رفتار در سؤال سخت می‌آید.
نمره‌دهی چهارحالتی هر پاسخ را در یکی از چهار دسته بگذار. فقط «درست» و «غلط» کافی نیست.
- درست و کامل. همه‌ی اطلاعات لازم را داده و چیزی اضافه نگفته.
- درست ولی ناقص. چیزی که گفته غلط نیست، اما بخش مهمی جا افتاده. مثلاً زمان ارسال را گفته ولی استثنای شهرستان‌ها را نه.
- غلط یا مطمئن‌ولی‌ساختگی. اطلاعاتی گفته که در دانشش نیست یا با آن تناقض دارد. این خطرناکترین دسته است.
- «نمیدانم» درست یا نادرست. اگر جواب واقعاً در اطلاعات نبود و دستیار شفاف گفت اطلاعات ندارد، این پاسخ درست است. اگر جواب در اطلاعات بود و دستیار باز هم گفت نمی‌داند، یعنی مشکل در جست‌وجوی اطلاعات یا نحوهی نوشتن آن است.
نکته‌ی مهم: «غلط مطمئن» از «ناقص» و از «نمیدانم» بدتر است. مشتری به جواب غلطی که با اطمینان داده شد، عمل میکند. برای همین می‌گوییم: اگر قرار است بین جواب اشتباه و «نمیدانم» یکی را انتخاب کنی، دومی را بگیر. این اصل را در مقاله‌ی سه رفتار درست بیشتر باز کرده‌ایم.
برای هر پاسخ یک ستون چهارم هم داشته باش: منبع. اگر دستیار منبع پاسخ را نشان میدهد، چک کن واقعاً همان است که ادعا میکند. اینجا توضیح داده‌ایم چطور.
نتیجهی تست را چطور تفسیر کنیم؟ بعد از نمره‌دادن، برای هر خطا این چهار سؤال را بپرس. معمولاً ریشه در یکی از این چهار جاست.
الف) اطلاعات اصلاً وجود ندارد. مشتری درباره‌ی «ارسال به شهرستان» می‌پرسد و در هیچ فایلی چیزی نیست. راه‌حل: اطلاعات را بنویس و اضافه کن.
ب) اطلاعات هست اما با هم نمی‌خواند. دو فایل دو قیمت متفاوت دارند یا شرایط مرجوعی در دو سند متفاوت است. راه‌حل: نسخه‌ی قدیمی را حذف کن و یک منبع درست نگه دار. این مقاله درباره‌ی «یک منبع واحد» است.
ج) اطلاعات هست اما با کلمات دیگری نوشته شده. تو نوشته‌ای «تعویض»، مشتری می‌پرسد «عوض‌کردن». راه‌حل: واژه‌ها و هم‌معنی‌ها را به اطلاعات اضافه کن.
د) اطلاعات درست است اما سؤال از حوزه‌ی دستیار خارج است. مثلاً سؤال قراردادی که اصلاً نباید به دستیار سپرده شود. راه‌حل: مرز را روشن کن و مسیر انسان را تعریف کن. فهرست موضوع‌هایی که باید برای انسان بماند کمک میکند.
یک هشدار: اولین واکنش خیلی‌ها این است که دستورالعمل دستیار را عوض کنند. گاهی لازم است، اما بیشتر وقت‌ها مشکل از دانش است، نه دستورالعمل. اول ببین چهار حالت بالا را بررسی کرده‌ای یا نه.
سه سناریوی تست فروشگاه پوشاک. صاحب فروشگاه ده سؤال را از دایرکت اینستاگرام برمی‌دارد. دو تا از آنها: «ارسال دارین؟» و «سایز 42 دارین؟». دومی را عمداً انتخاب کرده، چون می‌داند موجودی لحظه‌ای را به دستیار نداده است. نتیجه: دستیار برای «ارسال» جواب کامل میدهد، اما برای سایز حدس می‌زند. نمره‌ی 3. راه‌حل: صراحتاً به دستیار می‌گوید موجودی را نمی‌داند و مشتری را به پشتیبانی هدایت کند.
شرکت خدماتی. مدیر شرکت سؤالها را از تیم پشتیبانی میگیرد. یکی از سؤالهای سخت: «اگر خدمت را دیر تحویل بدهید جریمه می‌کنید؟» دستیار با لحن مطمئن جواب میدهد، در حالی که در مستندات چنین چیزی نیست. نمره‌ی 3. این یک خطای جدی است و تا اصلاح نشود، دستیار منتشر نمی‌شود. اصلاح: این موضوع به لیست «همیشه انسان» می‌رود.
آموزشگاه. مسئول ثبت‌نام ده سؤال از متقاضی‌های واقعی جمع میکند. دو سؤال محاورهای مثل «شهریه چنده؟» و «میشه قسطی داد؟» دستیار را ناقص جواب میدهد، چون در مستندات «شهریه» و «هزینه‌ی دوره» دو عبارت جدا هستند. نمره‌ی 2. راه‌حل: واژه‌ها یکی می‌شوند.
در هر سه مورد، اگر تست نمی‌شد، مشتری واقعی اولین نفری بود که خطا را می‌دید.
معیار آماده‌بودن: پیشنهاد، نه قانون هیچ عدد جهانی وجود ندارد، اما یک معیار عملی می‌تواند این باشد:
صفر خطای «غلط مطمئن» در سؤالهای حساس. اگر حتی یک مورد بود، منتشر نکن. حداقل 8 مورد از 10 مورد «درست» یا «نمیدانم درست». بقیه ناقص‌اند و اصلاح می‌شوند. مسیر انسان حداقل یک بار آزمایش شده. یعنی واقعاً دیده‌ای مشتری به انسان می‌رسد. اگر سؤالهای تست شما فرق دارد یا حوزه‌ی شما حساس‌تر است (مثلاً درمانی یا مالی)، آستانه‌ها را سخت‌گیرانه‌تر بگذار. و اگر بعد از اصلاح، همین ده سؤال را دوباره بپرسی و همه درست شد، یک ده سؤال تازه هم بنویس. دستیاری که فقط جواب سؤالهای تمرین‌شده را بداند، هنوز آماده نیست.
اشتباه‌های رایج در تست فقط با جمله‌بندی خودت تست‌کردن. مشتری مثل تو نمی‌نویسد. از پیامهای واقعی استفاده کن.
فقط سؤال آسان پرسیدن. نتیجهی خوب و بی‌ارزش می‌گیری.
یک‌بار تست‌کردن و تمام. هر بار اطلاعات را عوض می‌کنی، دوباره همان ده سؤال را بپرس. گاهی اصلاح یک جا یک جای دیگر را خراب میکند.
تست‌کردن توسط خودِ نویسنده‌ی اطلاعات. کسی که اطلاعات را نوشته، ناخودآگاه سؤالها را مطابق آن می‌پرسد. اگر میشود، یک همکار یا یک نفر بیرون از تیم سؤال را بپرسد.
ثبت‌نکردن نتیجه. یک جدول ساده با چهار ستون (سؤال، پاسخ، نمره، علت) کافی است. بدون ثبت، دو هفته بعد یادت نمی‌آید چه چیزی را اصلاح کردی.
بعد از انتشار چه کنیم؟ این تست یک عکس لحظه‌ای است. بعد از انتشار، سؤال‌هایی که دستیار جوابشان را نداشت را بازبینی کن و به دانش اضافه کن؛ این چرخه را جداگانه نوشته‌ایم. و وقتی ده سؤالهای تو تثبیت شد، آنها را به مجموعهی سؤالهای طلایی تبدیل کن تا هر تغییر را دوباره بسنجی.
برنامه‌ی هفت‌روزه‌ی کامل‌تر را هم در مقاله‌ی هفته‌ی اول ببین، و اگر هنوز مطمئن نیستی با کدام مهارت شروع کنی، چک‌لیست انتخاب مهارت اول کمک میکند. نمای کلی مهارت‌ها هم در مقاله‌ی 20 مهارت آرتین‌بات آمده است.
جمع‌بندی ده سؤال واقعی، با ترکیبی از آسان، محاورهای، نامعلوم، حساس و متناقض، و یک نمره‌دهی چهارحالتی، همه‌ی چیزی است که برای اولین بررسی لازم داری. هر خطا را به یکی از چهار علت برگردان، قبل از آنکه سراغ دستورالعمل بروی. و تا وقتی در سؤال حساس حتی یک غلط مطمئن می‌بینی، منتشر نکن.
در پنل آرتین‌بات دستیارت را بساز و اولین ده سؤالت را همین امروز بنویس. اگر هنوز با محصول آشنا نیستی، سایت آرتین‌بات نقطه‌ی شروع خوبی است.
مجله تخصصی هوش مصنوعی آرتین
🔗 ساخت دستیار هوشمند با آرتین‌بات
📌 اگر این مطلب برایت مفید بود، آن را با تیمت به اشتراک بگذار.
🔔 برای دریافت مقاله‌های بعدی، عضو کانال مجله آرتین شو: @ArtinMag
#تست_چت_بات #دستیار_هوشمند #آرتین_بات #کیفیت_چت_بات #راه_اندازی_چت_بات #مجله_آرتین #هوش_مصنوعی_کسب_وکار