الوكلاء

ماذا تقيس لوحة الوكلاء؟

هي لوحة الوكلاء في LMArena: مهام متعددة الخطوات يستدعي فيها النموذج أدوات، مثل البحث وقراءة الملفات وتشغيل الأوامر، ثم يقيم الناس النتيجة. الأصوات هنا جلسات كاملة لا إجابات منفردة.

لماذا الأرقام قريبة من الصفر؟

مقياس هذه اللوحة نتيجة متمركزة حول الصفر، تمتد تقريبا من قيم سالبة إلى موجبة، وليست Elo. العمود اسمه «النتيجة» ويعرض ثلاث خانات عشرية. النتيجة فوق الصفر تعني أن الناس فضلوا النموذج أكثر من متوسط نماذج هذه اللوحة، وتحت الصفر أقل. لذلك قارن النماذج داخل هذه اللوحة فقط، ولا تقارن «النتيجة» هنا بأرقام Elo في لوحات النصوص أو البرمجة أو تطوير الويب، فهي مقاييس مختلفة.

هل تنطبق قاعدة الفئات نفسها؟

نعم. تحتاج النماذج إلى 300 صوت على الأقل، ويحسب مكان النموذج بعدد النماذج التي تقع فترة ثقتها 95% كاملة فوق فترته، ثم S أقل من 10%، وA أقل من 30%، وB أقل من 60%، وC أقل من 85%، وD الباقي. الأعمدة الأخرى كما في اللوحات السابقة: السعر لكل مليون رمز، والسياق، واتجاه السعر.

كيف أستخدمها لاختيار نموذج لوكيل؟

• ابدأ بالنماذج ذات النتيجة الموجبة والفئات العليا.
• قارنها في لوحتي البرمجة وتطوير الويب إن كان الوكيل للبرمجة.
• الوكلاء يستهلكون رموزا كثيرة في المهام الطويلة، فاحسب التكلفة الشهرية قبل الاعتماد على نموذج.
• راجع وكلاء البرمجة لترى الأدوات التي تعمل مع هذه النماذج.

ماذا تعني الخانات العشرية الثلاث؟

لأن النتائج متقاربة حول الصفر، يعرض العمود ثلاث خانات عشرية حتى تظهر الفروق الصغيرة. لكن الفرق الصغير في النتيجة لا يعني فرقا حقيقيا: الحكم يكون بفترات الثقة والفئات، لا بالخانة العشرية الأخيرة. نموذجان في الفئة نفسها متقاربان من حيث ما يمكن استنتاجه من الأصوات.

ما الذي يجب الانتباه إليه؟

اللوحة حديثة، ونماذجها أقل من لوحة النصوص، فالترتيب يتغير أكثر. وإطار الوكلاء المستخدم في الساحة ليس بالضرورة الأداة التي ستعمل بها، فالنتيجة الفعلية تعتمد أيضا على الأداة وتعليماتك. المصادر: LMArena agent للتقييمات، وmodels.dev وLiteLLM للأسعار.