«دقت 95 درصد» یعنی چه؟
در هر ارائه‌ی فروش هوش مصنوعی سازمانی، دیر یا زود یک عدد روی اسلاید می‌آید: «دقت 95 درصد». عدد خوب به نظر می‌رسد. اما اگر لحظه‌ای مکث کنید، چند سوال بی‌پاسخ می‌ماند. 95 درصدِ چه چیزی؟ روی چه سوالهایی؟ چه کسی آن سوالها را نوشته؟ و جواب «نمیدانم» در این حساب چه جایگاهی دارد؟
بدون پاسخ به این‌ها، عدد دقت یک تزیین است، نه یک اطلاعات. سازمانی که بر پایه‌ی آن تصمیم بخرد، در عمل بر پایه‌ی اعتماد به فروشنده تصمیم گرفته است، نه بر پایه‌ی شواهد.
در دانابات رویکرد ما عمداً متفاوت است: عدد دقت کلی اعلام نمی‌کنیم، چون چنین عددی برای سازمان شما معنایی ندارد. به‌جایش دقت را روی سوالهای واقعی خود شما اندازه می‌گیریم. این مقاله توضیح می‌دهد چطور، و چطور شما هم می‌توانید همین را از هر فروشنده‌ای مطالبه کنید.
چهار سوالی که پشت هر عدد دقت باید بپرسید
سوال اول: مجموعه‌ی آزمون چه بود؟ اگر سوالها را خود فروشنده نوشته و پاسخ‌هایشان را از قبل می‌دانسته، آزمون سوگیری دارد. دانش‌آموزی که سوال امتحان را از قبل دیده، نمره‌ی بالایی می‌گیرد اما چیزی از او معلوم نمی‌شود.
سوال دوم: چند سوال؟ عدد 95 درصد روی بیست سوال با 95 درصد روی دو هزار سوال یکی نیست. در بیست سوال، یک پاسخ غلط پنج درصد عدد را عوض می‌کند.
سوال سوم: داده از کجا بود؟ آزمون روی اسناد تمیز و آماده‌ی دمو، چیزی درباره‌ی اسناد واقعی و درهم‌ریخته‌ی سازمان شما نمی‌گوید.
سوال چهارم: پاسخ‌های «نمیدانم» چطور حساب شده‌اند؟ دستیاری که در هر تردید می‌گوید «نمیدانم» ممکن است هیچ پاسخ غلطی ندهد و در عین حال به درد هم نخورد. دستیاری که همیشه جواب می‌دهد ممکن است نرخ پاسخ بالایی داشته باشد و در عین حال خطرناک باشد. یک عدد واحد این دو را از هم جدا نمی‌کند.
سه نوع پاسخ، نه یک نوع
اشتباه رایج این است که هر پاسخ را «درست» یا «غلط» بدانیم. در عمل سه نوع پاسخ وجود دارد که ارزششان یکی نیست.
نوع اول پاسخ درست و مستند است: جواب صحیح است و منبعش را هم نشان می‌دهد. این همان چیزی است که می‌خواهید. نوع دوم «نمیدانم»ِ بهجا است: سوال جوابی در اسناد نداشته و دستیار صادقانه همین را گفته است. این هم یک موفقیت است، نه شکست. نوع سوم پاسخ غلطِ با اطمینان است: دستیار با لحن مطمئن چیزی گفته که در اسناد نیست یا خلاف آن است.
نوع سوم بدترین است. یک «نمیدانم» نابهجا فقط کمی وقت می‌گیرد، اما یک پاسخ غلطِ مطمئن ممکن است تصمیمی غلط را رقم بزند. هر آزمونی که این سه را از هم جدا نکند، تصویر ناقصی می‌دهد. دقیقاً به همین دلیل است که در دانابات پاسخها همراه با منبع نمایش داده میشوند و قرارداد «نمیدانم» جزو اصول محصول است؛ داوری درباره‌ی هر پاسخ باید برای انسان ممکن باشد.
چه چیزهایی را در دمو نباید بپذیرید
دمو برای نشان‌دادن توانایی خوب است، اما برای سنجش دقت ابزار مناسبی نیست. چند نشانه‌ی هشدار را بشناسید. اگر دمو روی اسناد خود فروشنده انجام میشود، چیزی درباره‌ی اسناد شما نمی‌گوید. اگر سوالها را فروشنده انتخاب می‌کند، احتمالاً سوالهایی انتخاب شده‌اند که جواب خوبی دارند. اگر پاسخها بدون نشان‌دادن منبع نمایش داده میشوند، شما نمی‌توانید درستی‌شان را بسنجید. و اگر هیچ سوالی در دمو بی‌پاسخ نمی‌ماند، یا سامانه واقعاً بی‌نقص است، که بعید است، یا آزمون کافی سخت نیست.
بهتر است در دمو چند سوال خودتان را بپرسید، به‌خصوص یکی که پاسخش در اسناد نیست. واکنش سامانه به همان سوال، بیش از ده پاسخ درست، درباره‌ی رفتارش در لحظه‌ی ندانستن می‌گوید.
آزمون خودتان را بسازید
بهترین مجموعه‌ی آزمون، سوالهایی است که کارکنان شما واقعاً می‌پرسند. منبع‌هایش در دسترس است: درخواست‌های ارسال‌شده به واحد فناوری اطلاعات، سوالهایی که به واحد پشتیبانی یا منابع انسانی می‌رسد، ایمیل‌های تکراری. سی تا پنجاه سوال برای شروع کافی است.
این بخش توصیه‌ی عملی است، نه یک قابلیت نرم‌افزاری، اما کیفیت آزمون به همین جزئیات بستگی دارد. چند نوع سوال را عمداً وارد کنید. سوالهای ساده‌ی جست‌وجویی، مثل «مهلت ارسال فلان فرم چقدر است؟». سوالهایی که پاسخشان در چند سند پخش است. سوالهایی که یک عدد دقیق می‌خواهند. سوالهایی که یک مفهوم را با دو عبارت متفاوت می‌پرسند. و مهم‌تر از همه، چند سوال که پاسخشان اصلاً در اسناد نیست؛ آن‌ها نشان می‌دهند دستیار در لحظه‌ی ندانستن چه می‌کند.
اگر دسترسی‌ها برایتان مهم است، چند سوال را از زبان کاربری بپرسید که نباید به آن سند دسترسی داشته باشد. مقاله‌ی حاکمیت داده در دانابات توضیح می‌دهد چرا این آزمون مهم است.
چطور نمره بدهید
نمره‌دادن را به کسی بسپارید که پاسخ درست را می‌داند، نه کسی که سامانه را می‌فروشد. بهتر است داور پاسخها را بدون دانستن اینکه از کدام گزینه آمده‌اند ببیند. برای هر پاسخ، یکی از پنج برچسب را بزنید: درست و مستند، تا حدی درست، غلط، «نمیدانم»ِ بهجا، و «نمیدانم»ِ نابهجا.
در پایان، به‌جای یک عدد، یک جدول داشته باشید. بگویید از 40 سوال، چند تا درست و مستند بودند، چند تا غلطِ با اطمینان، و چند تا «نمیدانم»ِ بهجا. این جدول بیش از هر درصد واحدی اطلاعات می‌دهد.
یک سناریوی فرضی: دو سامانه روی همین 40 سوال امتحان شده‌اند. اولی 34 پاسخ درست و 6 پاسخ غلطِ مطمئن داده است. دومی 30 پاسخ درست، 7 «نمیدانم»ِ بهجا و 3 پاسخ غلطِ مطمئن. اگر فقط «پاسخ درست» را بشمارید، اولی برنده است. اگر از شما بپرسند کدام سامانه را به کارکنان می‌سپارید، احتمالاً دومی را انتخاب می‌کنید.
عدد را چطور بخوانید
چند قاعده‌ی ساده جلوی خوش‌بینی بی‌دلیل را می‌گیرد. اول، اندازه‌ی نمونه. با 40 سوال، هر سوال 2.5 درصد از عدد را تشکیل می‌دهد. تفاوت 90 و 93 درصد در چنین آزمونی در واقع یک پاسخ است و ممکن است فقط نویز باشد. به تفاوت‌های کوچک اعتماد نکنید.
دوم، تفکیک بر اساس نوع سوال. یک عدد کلی می‌تواند ضعف جدی را پنهان کند. اگر سوالهای ساده 100 درصد درست‌اند اما سوالهای چندسندی نصف را اشتباه می‌کنند، عدد میانگین خوب به نظر می‌رسد اما کارمندی که سوال سخت می‌پرسد ناراضی می‌ماند.
سوم، تفاوت میان «کجا اشتباه کرد» و «چرا». گاهی اشتباه از دستیار نیست؛ سند ناقص یا قدیمی است. این تفکیک مهم است چون درمانش متفاوت است. مقاله‌ی گزارش و سوالهای بی‌پاسخ در دانابات همین تفاوت را توضیح می‌دهد.