شرکت آمازون وب سرویس (AWS) ابزار رایگان و متنباز جدیدی را منتشر کرده است که امکان ارزیابی عملکرد ایجنتهای هوش مصنوعی را بر اساس معیارهای مختلف فراهم میکند. این ابزار به توسعهدهندگان کمک میکند تا افت کیفیت ایجنتها را پس از اعمال تغییرات ردیابی کنند.
این ابزار که «چارچوب ارزیابی جهانی ایجنت» (UAEF) نام دارد، در روز چهارشنبه در یک پست وبلاگی معرفی شد. ایجنتهای هوش مصنوعی با استفاده از کیتهای نرمافزاری متفاوتی مانند LangChain، LangGraph، Strands Agents و Amazon Bedrock AgentCore توسعه مییابند و از آنجا که هر یک از این ابزارها فرمت ثبت مخصوص به خود را دارند، تیمهای فنی معمولاً مجبورند با هر بار تغییر ابزار، فرآیندهای آزمایشی خود را از نو بسازند.
یک کلید API برای هر مدل اصلی هوش مصنوعی — برخی مدلها رایگان هستند.
رایگان امتحان کنیدابزار UAEF با تبدیل این گزارشها به یک فرمت واحد و مشترک، عملکرد ایجنتها را در ۳۶ معیار مختلف و در قالب هفت حوزه کلیدی امتیازدهی میکند. این ارزیابیها مواردی همچون نحوه بهکارگیری ابزارها، کیفیت پاسخدهی، ایمنی، سرعت و نحوه مدیریت گفتگوهای طولانی یا همکاری با سایر ایجنتها را شامل میشوند. برخی از این امتیازها به صورت مستقیم محاسبه میگردند و برخی دیگر توسط یک مدل هوش مصنوعی دوم در آمازون بیدراک ارزیابی میشوند.
تیمهای توسعه میتوانند نتایج هر آزمون را ذخیره کرده و با نسخههای قبلی مقایسه کنند. چنانچه امتیاز هر بخش بیش از ۵ درصد افت داشته باشد، سیستم آن را به عنوان یک پسرفت شناسایی کرده و در یکی از سطوح خفیف، متوسط یا شدید دستهبندی میکند. بر اساس اعلام AWS، تاکنون ۱۲ سازمان در حوزههای مخابرات، بهداشت و درمان و خدمات مالی از این ابزار برای مقایسه نسخههای مختلف ایجنتها پیش از انتشار بهره بردهاند.
اگرچه استفاده از این ابزار رایگان است، اما فرآیند امتیازدهی با کمک داوران مبتنی بر هوش مصنوعی و ذخیرهسازی نتایج به خدمات ابری آمازون وابسته است. همچنین این شرکت هشدار میدهد که نباید از UAEF برای اتخاذ تصمیمات امنیتی قطعی استفاده کرد.
چالش پایداری و قابلیت اطمینان ایجنتهای هوش مصنوعی همچنان به قوت خود باقی است. آمازون پیشتر اعلام کرده بود که نزدیک به ۹۰ درصد از نمونههای اولیه ساختهشده توسط این شرکت در دو سال گذشته هرگز به مرحله تجاری نرسیدهاند. علاوه بر این، پژوهشگران نشان دادهاند که یک پرامپت منفرد میتواند کنترل ایجنتهای AgentCore را به دست گیرد، موضوعی که از سوی آمازون مورد مناقشه قرار گرفته است.