آزمونِ روز اول قبول شد. شش ماه بعد چه؟
فرض کنید پیش از خرید یک آزمون جدی گرفته‌اید. چهل سؤال واقعی، یک داور آگاه، جدول پنج‌برچسبی و نتیجه‌ای که راضی‌تان کرده است. سامانه راه افتاده، کارکنان سؤال می‌پرسند و همه‌چیز خوب پیش می‌رود. اما آن آزمون دقیقاً چه چیزی را ثابت کرده بود؟ فقط وضعیت همان روز را.
سازمان‌ها ثابت نمی‌مانند. بخشنامه‌ی مرخصی بازنگری میشود، مدیر دانشنامه ده فایل تازه بارگذاری می‌کند، کسی لحن یا طول پاسخ را در تنظیمات عوض می‌کند، دانش‌نامه‌ی دومی به سامانه اضافه میشود. هیچ‌کدام از این‌ها فاجعه نیست. با این حال هر کدام می‌تواند پاسخی را که دیروز درست بود امروز خراب کند، و کسی هم متوجه نشود.
در مقاله‌ی سنجش دقت با سوال‌های واقعی نوشتیم که آزمون را باید بعد از هر تغییر تکرار کرد. توصیه‌ی درستی است، اما در عمل چه کسی هر ماه چهل سؤال را دستی می‌پرسد و پاسخها را با هم مقایسه می‌کند؟ دانابات برای همین شکاف قابلیتی دارد به نام سؤالهای طلایی. این مقاله توضیح میدهد چیست، چطور کار می‌کند و چه چیزهایی را نمی‌تواند نشان دهد.
خرابیِ بی‌صدا چه شکلی دارد؟
نرم‌افزار معمولی وقتی خراب میشود صدا دارد: صفحه‌ای باز نمیشود، پیغام خطا می‌آید، کسی زنگ می‌زند. هوش مصنوعی سازمانی این‌طور خراب نمیشود. پاسخ میدهد، با لحنی مطمئن و ظاهری کاملاً درست، فقط کمی غلط یا کمی کهنه.
چند نمونه‌ی رایج را در نظر بگیرید. نسخه‌ی تازه‌ی یک دستورالعمل بارگذاری میشود، اما نسخه‌ی قدیمی هنوز در دانشنامه است و دو عدد متفاوت در دسترس دستیار قرار می‌گیرد. تنظیمات سخت‌گیرانه‌تر میشود تا پاسخ ساختگی کمتر شود، و ناگهان سؤال‌هایی که پیش‌تر جواب می‌گرفتند با «یافت نشد» روبه‌رو می‌شوند. دانش‌نامه‌ی دومی اضافه میشود که با اولی هم‌پوشانی دارد. هیچ‌کدام صفحه‌ی خطا نمی‌سازد.
سناریوی رایج‌تر ساکت‌تر است. کارکنان بی‌سروصدا اعتمادشان را از دست می‌دهند و دوباره از همکار می‌پرسند، یعنی همان عادتی که قرار بود سامانه تمامش کند. در بدترین حالت هم کسی بر اساس یک پاسخ غلطِ مطمئن تصمیم می‌گیرد. گزارش سوال‌های بی‌پاسخ بخشی از تصویر را نشان میدهد، اما فقط آنجا که سامانه اعتراف می‌کند نمی‌داند. پاسخ غلطِ مطمئن در آن گزارش نمی‌آید.
سؤال طلایی یعنی چه؟
سؤال طلایی یک پرسش مرجع است که پاسخ درستش را از قبل می‌دانید. مدیر دانشنامه یا مدیر ربات فهرستی از این پرسشها می‌نویسد و برای هر کدام پاسخ مورد انتظار را ثبت می‌کند. اسمش از آنجاست که سراغ پرسش‌هایی می‌روید که غلط‌شدن پاسخشان گران تمام میشود: تعداد روزهای مرخصی، مهلت ثبت درخواست‌ها، مبلغ‌ها، رویه‌های ایمنی.
نکته‌ی مهم این است که این پرسشها از همان مسیری عبور می‌کنند که پرسش یک کارمند واقعی عبور می‌کند. این یک آزمایشگاه جداگانه نیست. پس اگر تغییری در اسناد یا تنظیمات چیزی را خراب کرده باشد، همان‌جا دیده میشود. هر پاسخ با پاسخ مورد انتظارش سنجیده میشود و سازمان نمرهی قبولی را خودش تعیین می‌کند: برای دانش‌نامه‌ی آیین‌نامه‌ای سخت‌گیرانه، برای دانش‌نامه‌ی عمومی‌تر آسان‌گیرانه‌تر.
چه زمانی اجرا میشود و بعدش چه می‌بینید؟
سؤالهای طلایی را هر وقت خواستید می‌توانید دستی اجرا کنید. اما ارزش اصلی در اجرای خودکار است: وقتی دانش یا تنظیمات یک دانشنامه یا ربات واقعاً تغییر کند، آزمون خودش اجرا میشود. سامانه تغییر واقعی را از یک ذخیره‌ی بی‌اثر جدا می‌کند و کمی صبر می‌کند تا ویرایش‌های پشت‌سرهم تمام شود، تا برای هر کلیک یک اجرا ساخته نشود. برای اینکه هزینه از دست خارج نشود، سقف اجرای روزانه هم وجود دارد.
اگر کیفیت پایین بیاید، دو چیز می‌بینید: یک هشدار لحظهای و نشانِ افتِ کیفیت روی میز کار. لازم نیست کسی به یاد داشته باشد که چهل سؤال را دوباره بپرسد.
یک نکته‌ی صریح درباره‌ی هزینه: اجرای آزمون یعنی پاسخ‌دهیِ واقعی، و پاسخ‌دهی مصرف دارد. هزینه‌اش از کیف پول سازمان کسر میشود، اما از سهمیهی پرسش یا انتشار کم نمیشود؛ یعنی آزمون‌های شما از ظرفیت پرسش کارکنان نمی‌خورد. به این ترتیب پرسش «از کجا بدانیم چیزی خراب نشده؟» جواب مشخصی پیدا می‌کند، با هزینه‌ای که از قبل می‌دانید وجود دارد.
سه سناریوی فرضی
این‌ها نمونه‌ی مشتریان واقعی نیستند؛ سناریوهایی‌اند که نشان می‌دهند در عمل چه اتفاقی می‌افتد.
مسئول دانش‌نامه‌ی منابع انسانی دستورالعمل جدید مرخصی را بارگذاری می‌کند. در فهرست طلایی سؤالی درباره‌ی تعداد روزهای مرخصی استحقاقی هست و او پاسخ مورد انتظارش را همراه با تغییر بهروز کرده است. اجرای خودکار نشان میدهد این سؤال رد شده: دستیار هنوز عدد قدیمی را می‌گوید. علتش روشن است، نسخه‌ی قدیمی دستورالعمل هنوز در دانشنامه مانده. او آن را منسوخ علامت می‌زند، دوباره اجرا می‌کند و سؤال قبول میشود. این اتفاق پیش از آنکه حتی یک کارمند عدد غلط را ببیند افتاده است.
مدیر فناوری برای کم‌کردن پاسخ‌های ساختگی، حالت سخت‌گیرانه را روشن می‌کند. اجرای سؤالهای طلایی نشان میدهد از سی سؤال، پنج سؤال که قبلاً جواب می‌گرفتند حالا «یافت نشد» میگیرند. این شکست نیست؛ یک مبادله است، اما این بار با عدد. او می‌تواند تصمیم بگیرد این پنج سؤال ارزش سخت‌گیری را دارند یا نه، به‌جای آنکه ماه‌ها بعد از ناراضی‌بودن کارکنان بفهمد.
و سناریوی سوم، کم‌هیجان‌ترین‌شان: یک دانش‌نامه‌ی بزرگ اضافه میشود، آزمون اجرا میشود و هیچ هشداری نمی‌آید. این «هیچ» هم اطلاعات است. مدیر بدون نگرانی می‌فهمد افزودن اسناد چیزی را به هم نزده است.