---
title: "عدد دقت هوش مصنوعی سازمانی را چطور باید خواند؟ آزمونی با سوال‌های واقعی خودتان بسازید"
description: "دقت هوش مصنوعی سازمانی را چطور بسنجیم؟ چهار سوال پشت هر عدد، سه نوع پاسخ، ساخت آزمون با 30 تا 50 سوال واقعی و جدول نمره‌دهی پنج‌برچسبی."
url: "https://artinmag.ir/articles/danabot-accuracy-measurement-real-questions"
author: "مرتضی علیزاده"
category: "چت بات"
published: "2026-10-10T13:50:26.5115452"
updated: "2026-10-10T13:50:26.5115453"
lang: "fa"
publisher: "مجله آرتین — شرکت هوش گستر فردا آرتین"
---

# عدد دقت هوش مصنوعی سازمانی را چطور باید خواند؟ آزمونی با سوال‌های واقعی خودتان بسازید

> عدد دقت کلی («دقت 95 درصد») بدون مجموعه‌ی آزمون، اندازه‌ی نمونه، منبع داده و تعریف «نمی‌دانم» معنایی ندارد. دانابات عدد دقت کلی اعلام نمی‌کند و دقت را روی سوال‌های واقعی هر سازمان اندازه می‌گیرد. پاسخ‌ها سه نوع‌اند: درست و مستند، «نمی‌دانم»ِ به‌جا، و پاسخ غلطِ با اطمینان (بدترین). برای آزمون، 30 تا 50 سوال واقعی از کارکنان جمع کنید، چند سوال بدون پاسخ در اسناد وارد کنید و نتیجه را در یک جدول پنج‌برچسبی بخوانید.

## «دقت 95 درصد» یعنی چه؟

در هر ارائه‌ی فروش هوش مصنوعی سازمانی، دیر یا زود یک عدد روی اسلاید می‌آید: «دقت 95 درصد». عدد خوب به نظر می‌رسد. اما اگر لحظه‌ای مکث کنید، چند سوال بی‌پاسخ می‌ماند. 95 درصدِ چه چیزی؟ روی چه سوال‌هایی؟ چه کسی آن سوال‌ها را نوشته؟ و جواب «نمی‌دانم» در این حساب چه جایگاهی دارد؟

بدون پاسخ به این‌ها، عدد دقت یک تزیین است، نه یک اطلاعات. سازمانی که بر پایه‌ی آن تصمیم بخرد، در عمل بر پایه‌ی اعتماد به فروشنده تصمیم گرفته است، نه بر پایه‌ی شواهد.

در [دانابات](https://dana-bot.ir) رویکرد ما عمداً متفاوت است: عدد دقت کلی اعلام نمی‌کنیم، چون چنین عددی برای سازمان شما معنایی ندارد. به‌جایش دقت را روی سوال‌های واقعی خود شما اندازه می‌گیریم. این مقاله توضیح می‌دهد چطور، و چطور شما هم می‌توانید همین را از هر فروشنده‌ای مطالبه کنید.

## چهار سوالی که پشت هر عدد دقت باید بپرسید

سوال اول: مجموعه‌ی آزمون چه بود؟ اگر سوال‌ها را خود فروشنده نوشته و پاسخ‌هایشان را از قبل می‌دانسته، آزمون سوگیری دارد. دانش‌آموزی که سوال امتحان را از قبل دیده، نمره‌ی بالایی می‌گیرد اما چیزی از او معلوم نمی‌شود.

سوال دوم: چند سوال؟ عدد 95 درصد روی بیست سوال با 95 درصد روی دو هزار سوال یکی نیست. در بیست سوال، یک پاسخ غلط پنج درصد عدد را عوض می‌کند.

سوال سوم: داده از کجا بود؟ آزمون روی اسناد تمیز و آماده‌ی دمو، چیزی درباره‌ی اسناد واقعی و درهم‌ریخته‌ی سازمان شما نمی‌گوید.

سوال چهارم: پاسخ‌های «نمی‌دانم» چطور حساب شده‌اند؟ دستیاری که در هر تردید می‌گوید «نمی‌دانم» ممکن است هیچ پاسخ غلطی ندهد و در عین حال به درد هم نخورد. دستیاری که همیشه جواب می‌دهد ممکن است نرخ پاسخ بالایی داشته باشد و در عین حال خطرناک باشد. یک عدد واحد این دو را از هم جدا نمی‌کند.

## سه نوع پاسخ، نه یک نوع

اشتباه رایج این است که هر پاسخ را «درست» یا «غلط» بدانیم. در عمل سه نوع پاسخ وجود دارد که ارزششان یکی نیست.

نوع اول پاسخ درست و مستند است: جواب صحیح است و منبعش را هم نشان می‌دهد. این همان چیزی است که می‌خواهید. نوع دوم «نمی‌دانم»ِ به‌جا است: سوال جوابی در اسناد نداشته و دستیار صادقانه همین را گفته است. این هم یک موفقیت است، نه شکست. نوع سوم پاسخ غلطِ با اطمینان است: دستیار با لحن مطمئن چیزی گفته که در اسناد نیست یا خلاف آن است.

نوع سوم بدترین است. یک «نمی‌دانم» نابه‌جا فقط کمی وقت می‌گیرد، اما یک پاسخ غلطِ مطمئن ممکن است تصمیمی غلط را رقم بزند. هر آزمونی که این سه را از هم جدا نکند، تصویر ناقصی می‌دهد. دقیقاً به همین دلیل است که در دانابات پاسخ‌ها همراه با منبع نمایش داده می‌شوند و قرارداد «نمی‌دانم» جزو اصول محصول است؛ داوری درباره‌ی هر پاسخ باید برای انسان ممکن باشد.

## چه چیزهایی را در دمو نباید بپذیرید

دمو برای نشان‌دادن توانایی خوب است، اما برای سنجش دقت ابزار مناسبی نیست. چند نشانه‌ی هشدار را بشناسید. اگر دمو روی اسناد خود فروشنده انجام می‌شود، چیزی درباره‌ی اسناد شما نمی‌گوید. اگر سوال‌ها را فروشنده انتخاب می‌کند، احتمالاً سوال‌هایی انتخاب شده‌اند که جواب خوبی دارند. اگر پاسخ‌ها بدون نشان‌دادن منبع نمایش داده می‌شوند، شما نمی‌توانید درستی‌شان را بسنجید. و اگر هیچ سوالی در دمو بی‌پاسخ نمی‌ماند، یا سامانه واقعاً بی‌نقص است، که بعید است، یا آزمون کافی سخت نیست.

بهتر است در دمو چند سوال خودتان را بپرسید، به‌خصوص یکی که پاسخش در اسناد نیست. واکنش سامانه به همان سوال، بیش از ده پاسخ درست، درباره‌ی رفتارش در لحظه‌ی ندانستن می‌گوید.

## آزمون خودتان را بسازید

بهترین مجموعه‌ی آزمون، سوال‌هایی است که کارکنان شما واقعاً می‌پرسند. منبع‌هایش در دسترس است: درخواست‌های ارسال‌شده به واحد فناوری اطلاعات، سوال‌هایی که به واحد پشتیبانی یا منابع انسانی می‌رسد، ایمیل‌های تکراری. سی تا پنجاه سوال برای شروع کافی است.

این بخش توصیه‌ی عملی است، نه یک قابلیت نرم‌افزاری، اما کیفیت آزمون به همین جزئیات بستگی دارد. چند نوع سوال را عمداً وارد کنید. سوال‌های ساده‌ی جست‌وجویی، مثل «مهلت ارسال فلان فرم چقدر است؟». سوال‌هایی که پاسخشان در چند سند پخش است. سوال‌هایی که یک عدد دقیق می‌خواهند. سوال‌هایی که یک مفهوم را با دو عبارت متفاوت می‌پرسند. و مهم‌تر از همه، چند سوال که پاسخشان اصلاً در اسناد نیست؛ آن‌ها نشان می‌دهند دستیار در لحظه‌ی ندانستن چه می‌کند.

اگر دسترسی‌ها برایتان مهم است، چند سوال را از زبان کاربری بپرسید که نباید به آن سند دسترسی داشته باشد. مقاله‌ی [حاکمیت داده در دانابات](https://artinmag.ir/articles/danabot-data-governance-abac-pii-masking) توضیح می‌دهد چرا این آزمون مهم است.

## چطور نمره بدهید

نمره‌دادن را به کسی بسپارید که پاسخ درست را می‌داند، نه کسی که سامانه را می‌فروشد. بهتر است داور پاسخ‌ها را بدون دانستن اینکه از کدام گزینه آمده‌اند ببیند. برای هر پاسخ، یکی از پنج برچسب را بزنید: درست و مستند، تا حدی درست، غلط، «نمی‌دانم»ِ به‌جا، و «نمی‌دانم»ِ نابه‌جا.

در پایان، به‌جای یک عدد، یک جدول داشته باشید. بگویید از 40 سوال، چند تا درست و مستند بودند، چند تا غلطِ با اطمینان، و چند تا «نمی‌دانم»ِ به‌جا. این جدول بیش از هر درصد واحدی اطلاعات می‌دهد.

یک سناریوی فرضی: دو سامانه روی همین 40 سوال امتحان شده‌اند. اولی 34 پاسخ درست و 6 پاسخ غلطِ مطمئن داده است. دومی 30 پاسخ درست، 7 «نمی‌دانم»ِ به‌جا و 3 پاسخ غلطِ مطمئن. اگر فقط «پاسخ درست» را بشمارید، اولی برنده است. اگر از شما بپرسند کدام سامانه را به کارکنان می‌سپارید، احتمالاً دومی را انتخاب می‌کنید.

## عدد را چطور بخوانید

چند قاعده‌ی ساده جلوی خوش‌بینی بی‌دلیل را می‌گیرد. اول، اندازه‌ی نمونه. با 40 سوال، هر سوال 2.5 درصد از عدد را تشکیل می‌دهد. تفاوت 90 و 93 درصد در چنین آزمونی در واقع یک پاسخ است و ممکن است فقط نویز باشد. به تفاوت‌های کوچک اعتماد نکنید.

دوم، تفکیک بر اساس نوع سوال. یک عدد کلی می‌تواند ضعف جدی را پنهان کند. اگر سوال‌های ساده 100 درصد درست‌اند اما سوال‌های چندسندی نصف را اشتباه می‌کنند، عدد میانگین خوب به نظر می‌رسد اما کارمندی که سوال سخت می‌پرسد ناراضی می‌ماند.

سوم، تفاوت میان «کجا اشتباه کرد» و «چرا». گاهی اشتباه از دستیار نیست؛ سند ناقص یا قدیمی است. این تفکیک مهم است چون درمانش متفاوت است. مقاله‌ی [گزارش و سوال‌های بی‌پاسخ در دانابات](https://artinmag.ir/articles/danabot-unanswered-questions-reports-knowledge-gaps) همین تفاوت را توضیح می‌دهد.

## رویکرد دانابات: دقت را روی سوال‌های شما اندازه بگیرید

در مسیر پیشنهادی راه‌اندازی دانابات، یک گام مشخص برای ارزیابی با سوال‌های واقعی کاربران وجود دارد. در آن گام، دقت به یک عدد تبدیل می‌شود، اما عددی که مال سازمان شماست، روی سوال‌های شماست و روی اسناد شما. ما عدد کلی اعلام نمی‌کنیم، چون عدد کلی یک ادعای بازاریابی است، نه یک ویژگی محصول.

برای سامانه‌هایی که از طریق SmartConnect وصل می‌شوند، بخش مدیریتی یک ابزار ارزیابی کیفیت هم دارد. و چون پاسخ‌ها همراه با منبع نمایش داده می‌شوند، داور انسانی می‌تواند هر پاسخ را با سند اصلی مقایسه کند. این یعنی ارزیابی فقط به ادعای ما تکیه نمی‌کند.

## یک مثال از خواندن جدول

فرض کنید آزمون شما 40 سوال دارد و نتیجه را بر اساس نوع سوال تفکیک کرده‌اید. این یک مثال فرضی است، نه نتیجه‌ی واقعی یک مشتری. از 15 سوال ساده، 14 پاسخ درست و مستند و یکی «نمی‌دانم»ِ نابه‌جا بوده است. از 12 سوال چندسندی، 7 پاسخ درست، 3 پاسخ تا حدی درست و 2 پاسخ غلطِ مطمئن. از 8 سوال عددی، 6 درست و 2 غلط. و از 5 سوالی که جوابشان در اسناد نبود، 4 «نمی‌دانم»ِ به‌جا و یک پاسخ غلطِ مطمئن.

عدد کلی «درست و مستند» می‌شود 27 از 40. اما خواندن جدول چیز دیگری می‌گوید: ضعف اصلی در سوال‌های چندسندی است، و یک مورد خطرناک هم در سوال‌های بی‌پاسخ دیده می‌شود که باید جداگانه بررسی شود. درمان هر کدام فرق دارد: برای اولی احتمالاً اسناد باید شفاف‌تر یا کامل‌تر شوند، و برای دومی باید دید چرا دستیار در غیاب پاسخ، پاسخی ساخته است. اگر فقط یک عدد داشتید، هیچ‌کدام از این‌ها دیده نمی‌شد.

## سه سناریو از یک سازمان معمولی

این‌ها نمونه‌ی مشتریان واقعی نیستند؛ سناریوهایی‌اند که نشان می‌دهند این رویکرد در عمل چه شکلی پیدا می‌کند.

مدیر فناوری که دو پیشنهاد دارد. یک فروشنده «دقت 96 درصد» وعده می‌دهد. دیگری از او می‌خواهد روی سوال‌های خود سازمان آزمایش کند. مدیر فناوری هر دو را روی همان 40 سوال امتحان می‌کند و جدول پنج‌برچسبی می‌سازد. تصمیمش دیگر بر اساس عدد روی اسلاید نیست.

واحد منابع انسانی. پس از آزمون، می‌بینند بیشتر پاسخ‌های غلط به یک سند قدیمی دستورالعمل مرخصی برمی‌گردد. سند را اصلاح می‌کنند و همان 40 سوال را دوباره امتحان می‌کنند. تعداد پاسخ‌های غلط پایین می‌آید. این یعنی عدد دقت فقط یک ارزیابی نیست؛ ابزاری برای بهبود است.

سازمانی که مدل محلی و ابری را مقایسه می‌کند. سازمان می‌خواهد بداند مدل محلی برای آن کافی است یا نه. همان مجموعه‌ی آزمون را روی هر دو اجرا می‌کند و تفاوت را می‌بیند. این همان آزمونی است که در مقاله‌ی [On-Prem یا SaaS؟](https://artinmag.ir/articles/danabot-on-prem-vs-saas-deployment-choice) توصیه کرده‌ایم.

## محدودیت‌هایی که باید از قبل بدانید

مجموعه‌ی آزمون کوچک است و هر آزمون کوچکی نویز دارد. سی تا پنجاه سوال برای تشخیص یک مشکل بزرگ کافی است، نه برای مقایسه‌ی دو سامانه‌ی نزدیک.

اگر سوال‌ها را کسی بنویسد که اسناد را خوب می‌شناسد، آزمون سوگیر می‌شود. بهتر است بخشی از سوال‌ها از زبان کسانی باشد که اسناد را نخوانده‌اند.

نتیجه‌ی آزمون با تغییر اسناد یا مدل تغییر می‌کند. آزمونی که امروز عدد خوبی داده، ممکن است شش ماه بعد، پس از تغییر سیاست‌ها، دیگر معتبر نباشد. پس آزمون را باید تکرار کرد، نه یک‌بار انجام داد.

دقت با رضایت کاربر یکی نیست. پاسخ درست که دیر برسد یا نامفهوم باشد، هنوز تجربه‌ی بدی است. این مقاله فقط درباره‌ی درستی پاسخ‌هاست.

و در نهایت، چون ما عدد کلی اعلام نمی‌کنیم، نمی‌توانید دانابات را با یک عدد روی کاغذ با فروشنده‌ی دیگر مقایسه کنید. این یک هزینه‌ی واقعی است: برای مقایسه باید آزمون بسازید و زمان صرف کنید. ما این هزینه را عمداً می‌پذیریم، چون جایگزین آن اعتماد به یک ادعاست.

## از کجا شروع کنیم

یک هفته وقت بگذارید و سی تا پنجاه سوال واقعی جمع کنید، با چند سوال که پاسخشان در اسناد نیست. اسناد را آماده کنید و یک داور مشخص تعیین کنید. آزمون را اجرا کنید و نتیجه را در جدول پنج‌برچسبی ثبت کنید. بعد از اصلاح اسناد یا تغییر تنظیمات، همان آزمون را تکرار کنید.

دانابات نسخه‌ی آزمایشی 14 روزه دارد که همه‌ی ماژول‌ها در آن باز است، با محدودیت مقیاس. می‌توانید همین آزمون را روی آن اجرا کنید؛ از [دانابات](https://dana-bot.ir) درخواست بدهید.

## جمع‌بندی

«دقت 95 درصد» بدون مجموعه‌ی آزمون، اندازه‌ی نمونه، منبع داده و تعریف «نمی‌دانم»، چیزی نمی‌گوید. دقت را روی سوال‌های واقعی خودتان بسنجید، سه نوع پاسخ را از هم جدا کنید، نتیجه را در یک جدول بخوانید نه یک عدد، و آزمون را بعد از هر تغییر تکرار کنید. مرزهایش هم روشن است: نمونه‌ی کوچک نویز دارد، سوگیری نویسنده را باید کنترل کرد و آزمون باید تکرار شود.

برای اجرای همین آزمون روی اسناد واقعی سازمان خودتان، به [دانابات](https://dana-bot.ir) سر بزنید.

## پرسش‌های متداول

### چرا دانابات عدد دقت کلی اعلام نمی‌کند؟

چون عدد کلی برای سازمان شما معنایی ندارد؛ دقت به اسناد و سوال‌های هر سازمان بستگی دارد و باید روی سوال‌های واقعی خود سازمان اندازه‌گیری شود.

### سه نوع پاسخ در آزمون کدام‌اند؟

پاسخ درست و مستند، «نمی‌دانم»ِ به‌جا، و پاسخ غلطِ با اطمینان که بدترین نوع است.

### برای آزمون چند سوال لازم است؟

سی تا پنجاه سوال واقعی برای تشخیص مشکل‌های بزرگ کافی است؛ برای مقایسه‌ی دو سامانه‌ی نزدیک به هم، نمونه‌ی بزرگ‌تری لازم است.

### چه سوال‌هایی باید در آزمون باشد؟

سوال‌های ساده، چندسندی، عددی، بازنویسی‌شده، و چند سوال که پاسخشان در اسناد نیست.

### پاسخ‌ها چطور نمره‌دهی می‌شوند؟

یک داور آگاه به هر پاسخ یکی از پنج برچسب می‌زند: درست و مستند، تا حدی درست، غلط، «نمی‌دانم»ِ به‌جا، «نمی‌دانم»ِ نابه‌جا؛ و نتیجه در جدول خوانده می‌شود.

### آزمون دقت چه محدودیت‌هایی دارد؟

نمونه‌ی کوچک نویز دارد، سوگیری نویسنده‌ی سوال‌ها باید کنترل شود، با تغییر اسناد یا مدل باید تکرار شود و دقت با رضایت کاربر یکی نیست.

---

منبع: [عدد دقت هوش مصنوعی سازمانی را چطور باید خواند؟ آزمونی با سوال‌های واقعی خودتان بسازید](https://artinmag.ir/articles/danabot-accuracy-measurement-real-questions) — مجله آرتین