سوالی که سه ماه بعد از نصب مطرح میشود
در مقاله هفتم این کلاستر گفتیم یکی از رایجترین اشتباهات، نبود معیار موفقیت از پیشتعریفشده و رها کردن ایجنت بدون بازبینی است. این مقاله دقیقاً همان بازبینی را عملیاتی میکند: سه ماه بعد از نصب، دقیقاً به چه چیزی باید نگاه کرد؟
چرا سه ماه بازه مناسبی است
یک هفته یا حتی یک ماه، برای قضاوت درباره یک ابزار جدید کافی نیست — کارکنان هنوز در حال یادگیریاند و الگوهای واقعی استفاده هنوز شکل نگرفته. سه ماه، معمولاً زمان کافی برای عبور از دوره یادگیری اولیه و رسیدن به یک الگوی پایدار و قابلاتکا از استفاده واقعی است.
چهار دسته شاخص برای ارزیابی
۱. شاخص عملکرد فنی
هر معیار قابل اندازهگیری، شامل سطوح بالا و پایین، میتواند کارآمدی یک سیستم را در رسیدن به اهدافش نشان دهد. برای یک ایجنت هوش مصنوعی، این یعنی: چند درصد پاسخها درست بودهاند؟ نرخ خطا یا پاسخ نادرست چقدر است؟ آیا این نرخ در طول سه ماه بهبود یافته یا ثابت مانده؟
۲. شاخص بهرهوری
چقدر زمان واقعی صرفهجویی شده؟ چند کار که قبلاً دستی انجام میشد، حالا خودکار شده؟ این شاخص باید با یک عدد پایه (وضعیت قبل از نصب) مقایسه شود، نه فقط بهتنهایی گزارش شود.
۳. شاخص پذیرش واقعی کارکنان
دسترسی داشتن با استفاده کردن فرق دارد. چند درصد کارکنانی که به این ایجنت دسترسی دارند، واقعاً و بهطور مستمر از آن استفاده میکنند؟ اگر عدد پایین است، حتی با وجود عملکرد فنی خوب، چیزی در فرآیند پذیرش درست کار نکرده.
۴. شاخص هزینه واقعی در برابر برآورد اولیه
هزینه واقعی سهماهه (اجرا، پشتیبانی، زمان تنظیم) را با برآورد اولیه مقایسه کنید. اگر هزینه واقعی بهطور قابلتوجهی بیشتر از برآورد است، این باید در تصمیم گسترش لحاظ شود.