في فبراير 2019، قدّمت OpenAI نموذج GPT-2 وعرضت، ضمن أمور أخرى، قدرته على قراءة قصة واستنتاج الكلمة الناقصة في نهايتها. تبدو هذه اليوم مهمة صغيرة. لكنها كانت آنذاك وسيلة لدراسة قدرة أساسية: هل يتابع النموذج ما يحدث في النص، بما يتجاوز وصل الكلمات التي يشيع ظهورها معًا؟
في سبتمبر 2026، يقارن إعلان Grok 4.7 النماذج في اختبارات تطلب تصميم دوائر كهربائية، واكتشاف مخاطر قانونية في العقود، والاستدلال في حالات طبية. فهم التعليمات ليس سوى جزء من هذه المهام؛ إذ يلزم تطبيق المعرفة على حالة محددة واستيفاء متطلباتها. ويقترب التوقع الذي يعكسه الإعلان من تفويض جزء من عمل مختص.
بين هذين التاريخين، تغيرت النماذج، وتغير أيضًا ما نعدّه دليلًا على قدراتها. وتُظهر المختبرات ذلك عند إطلاق النماذج: تختار اختبارات مشتركة، هي الاختبارات المعيارية، وتنشر النتائج وتقارنها بنتائج أنظمة أخرى. تخبرنا الدرجة بما حققه النموذج، بينما يخبرنا نوع الاختبار الذي يُبرَز بما بدأنا نتوقعه منه.
يساعد تتبع المسار منذ نماذج GPT الأولى على فهم هذا التغير: كيف شجعت التطورات على طلب مهام أكثر طموحًا، والبحث عن طرق جديدة للتحقق من قدرة النموذج على إنجازها.
2018–2020: هل يتابع ما يقرأه؟
خضعت نماذج GPT الأولى، منذ 2018، لتقييمات مثل الإجابة عن أسئلة حول نص أو تمييز التناقض بين جملتين. وبالنسبة إلى نظام يتعلم من كميات كبيرة من اللغة، كان نجاحه في هذه التمارين يساعد على اختبار ما إذا كان تعلمه يمكّنه من تفسير ما يُقدَّم إليه للقراءة.
عند إطلاق GPT-2 في فبراير 2019، كان LAMBADA أحد الاختبارات البارزة. وهو يجمع مقاطع نصية يجب إكمال كلمتها الأخيرة. وتكمن الصعوبة في أن النظر إلى الكلمات السابقة مباشرة لا يكفي؛ بل يجب الاستعانة بسياق القصة.
تشرح جوليا لرجل أنها ضبطت التركيز على صديقه بالفعل، وأن كل ما عليه فعله هو الضغط على زر الالتقاط.
«أومأ برأسه، وألقى سيجارته، وأمسك بـ___».
الإجابة المتوقعة: الكاميرا. يتيح السياق استنتاج الشيء الذي يمسكه. والكلمة في النص الإنجليزي الأصلي هي camera.
يمكن أن تأتي أشياء كثيرة بعد «أمسك بـ…». وللوصول إلى «الكاميرا»، يجب ربط زر الالتقاط بالصديق الذي سيُصوَّر وبالشيء الذي ينتقل من يد إلى أخرى. وكانت إجابة من كلمة واحدة تتيح اختبار ما إذا كان النموذج يربط تفاصيل موزعة في النص.
هنا تكمن قيمة السؤال. فقد أعطى النجاح في أمثلة كهذه سببًا للاعتقاد بأن تعلم متابعة النص قد ينتج ما هو أنفع من جمل تبدو معقولة: قدرة على تتبع المواقف والإجابة عنها. وكان الاختبار يقدم إشارة إلى الفهم في مهمة محددة، من دون أن يحسم وحده معنى أن «تفهم» آلة شيئًا.
أجاب GPT-2 إجابة صحيحة عن 63.24 % من تمارين LAMBADA. وفي مايو 2020، وصل GPT-3 إلى 86.4 % عندما تلقى بضعة أمثلة محلولة قبل الإجابة. اختلفت الشروط، وكانت هذه المساعدة جزءًا من الجديد: أمكن توضيح المهمة المطلوبة بأمثلة داخل الطلب نفسه، من دون إعادة تدريب النموذج على كل نشاط.
بين GPT-2 وGPT-3، ظل تمرين LAMBADA يطلب الكلمة الناقصة: «الكاميرا» في مثالنا. وتغير أيضًا أسلوب تقديم الاختبار؛ إذ تلقى GPT-3 أمثلة لما ينبغي فعله. وإلى جانب ربط قرائن القصة، برزت قدرة أخرى يُراد اختبارها: استيعاب المهمة المطلوبة من بضعة أمثلة، بلا تدريب مخصص. وهذا شجّع على تجربة مهام أخرى مثل كتابة الشيفرة.
2021–2023: هل يستطيع استخدام ما يعرفه؟
في 2021، قدّمت OpenAI Codex الأصلي، وهو عائلة من النماذج التي تولّد الشيفرة انطلاقًا من التعليمات. وينبغي تمييزه عن Codex الحالي: تعيد OpenAI استخدام الاسم لمنتجها البرمجي القائم على الوكلاء، والذي يمكن تفويضه بمهام داخل مشاريع برمجية.
قدّم التقرير التقني لذلك الإصدار من Codex اختبار HumanEval: مجموعة من 164 تمرينًا تصف عملية، وعلى النموذج كتابة الدالة التي تنفذها. والدالة جزء من الشيفرة يستقبل بيانات ويُنتج نتيجة. وكان التقييم يشغّلها بمدخلات مختلفة للتحقق من تنفيذ المطلوب.
اكتب دالة تستقبل قائمة أعداد ومسافة قصوى. يجب أن تحدد ما إذا كان هناك عددان يقل الفرق بينهما عن تلك المسافة.
مثلًا: مع القائمة [1.0, 2.0, 3.0] ومسافة تساوي 0.5، هل يوجد زوج من الأعداد يحقق الشرط؟
لا؛ يجب أن تُرجع الدالة القيمة False. أصغر فرق بين عددين في هذه القائمة هو 1. والمهمة هي كتابة شيفرة تعالج حالات أخرى أيضًا، لا مجرد الإجابة عن هذا المثال.
المصدر: HumanEval/0، أول سجل في الملف الرسمي.
بمحاولة واحدة لكل مسألة، حل Codex نسبة 28.8 % من التمارين. كان القصور كبيرًا، لكن التوقع الذي فتحه كان كبيرًا أيضًا: وصف عملية بالكلمات والحصول على شيفرة تنفذها.
ظهر الفرق عن LAMBADA في نوع الإجابة المطلوبة. هناك كان يكفي استنتاج «الكاميرا» من القصة؛ أما HumanEval فطلب بناء دالة تحل حالات مختلفة عند تشغيلها. كان الاختبار يقيس القدرة على تحويل تعليمات إلى إجراء صحيح. وظلت المهمة ضيقة النطاق؛ إذ يُحدَّد للنموذج بدقة ما يجب برمجته.
في 14 مارس 2023، نقل تقديم GPT-4 المقارنة إلى مجال مألوف لجمهور أوسع. وفقًا لـOpenAI، اجتاز النموذج محاكاة لامتحان أمريكي للقبول في مهنة المحاماة، بدرجة وضعته تقريبًا ضمن أفضل 10 % من المتقدمين. بينما وقع GPT-3.5 بالقرب من أدنى 10 %.
اختيار هذا الامتحان نتيجةً بارزة قدّم مرجعًا مختلفًا: تقييم النموذج بأسئلة نستخدمها لقياس استعداد الشخص. وتضمن تقريره التقني أيضًا MMLU، وهي مجموعة أسئلة متعددة الخيارات في 57 مادة. وأجاب GPT-4 إجابة صحيحة عن 86.4 %. وهذا أحد الأسئلة:
أي سياسة تصف على أفضل وجه سياسة مالية تدعم جانب العرض؟
الإجابة المتوقعة: C. تستخدم السياسة المالية الضرائب والإنفاق العام. ويسأل هذا المثال عن إجراء يحفز الإنتاج؛ فتخفيف الضرائب على البحث قد يدعم تطوير تقنيات جديدة.
المصدر: MMLU، الاقتصاد الكلي للمرحلة الثانوية، مجموعة التطوير، السطر 4.
كان النموذج نفسه يجيب عن أسئلة في الاقتصاد والتاريخ والفيزياء والطب والقانون. وكان المقصود إظهار اتساع في المعرفة يسمح بالتعامل معه بوصفه محاورًا مطلعًا في مجالات كثيرة.
توضح المقارنة مع LAMBADA ما تغير: لاستنتاج «الكاميرا»، كانت القرائن موجودة في القصة؛ أما سؤال MMLU فاحتاج إلى معرفة اقتصادية لا يشرحها نص السؤال. وإلى تفسير النص انضم مطلب استخدام المعرفة في مواد عديدة. وهكذا فتحت نتائج GPT-4 الجيدة سؤالًا جديدًا: إلى أين يصل حين تصبح معرفة المادة مجرد الخطوة الأولى لحل المشكلة؟
2023–2024: ماذا يحدث حين تتعقد المسألة؟
في ديسمبر 2023، قدّمت Google نموذج Gemini Ultra، مبرزةً دقة بلغت 90 % في MMLU. وبحسب الإعلان، تجاوز الدرجة المرجعية للخبراء البشر في الاختبار. وكان النظام يولّد عدة مسارات استدلال قبل اختيار الإجابة؛ أي إن الدرجة تعتمد أيضًا على الكيفية التي يُسمح له بها بأداء الامتحان.
في مارس 2024، عاد Claude 3 لمقارنة نفسه بـGPT-4 وGemini في المعرفة والبرمجة والرياضيات. أتاحت الاختبارات المشتركة رؤية الفروق بين الشركات، لكنها بدأت تكشف مشكلة للإصدارات التالية: تقلص هامش التحسن في بعض الاختبارات.
أجاب Claude 3 Opus إجابة صحيحة عن 95 % من GSM8K، وهي مجموعة مسائل رياضيات بمستوى المدرسة الابتدائية. وهذا أحد تمارينها:
تضع بطّات جانيت 16 بيضة يوميًا. تأكل ثلاثًا في الإفطار وتستخدم أربعًا لصنع الكعك، وتبيع الباقي بدولارين للبيضة.
كم يبلغ إيرادها اليومي؟
الإجابة المتوقعة: 18 دولارًا. (16 − 3 − 4) × 2 = 18. التحدي هو متابعة الخطوات مع تذكر ما يجري حسابه.
المصدر: أول سؤال في مجموعة اختبار GSM8K، بصياغة مختصرة.
يتطلب الحل فهم ما يحدث وربط عدة عمليات. لكن عند دقة تبلغ 95 %، يصعب على الجيل التالي التميز في هذا الاختبار. فالقدرة على حل معظم هذه التمارين لا تخبرنا بمدى النجاح في مشكلة أقل اعتيادًا. ولمعرفة ذلك، كان لا بد من تغيير الأسئلة.
برز ذلك خصوصًا في إطلاق o1 في سبتمبر 2024. قدّمته OpenAI كنموذج دُرّب على تخصيص مزيد من الحساب لتطوير الحل قبل الإجابة. ومن اختباراته البارزة AIME، وهو امتحان مسائل رياضية ضمن مسار اختيار الأولمبياد الأمريكي، وGPQA الذي يضم أسئلة متخصصة في الفيزياء والكيمياء والأحياء.
كان التوقع أن يستطيع النموذج متابعة استدلال أكثر تعقيدًا: إيجاد طريقة لمعالجة المشكلة والتقدم نحو الحل، حتى حين لا يكفي التعرف إلى مفهوم أو وصل بعض الحسابات البسيطة. وفي AIME، قارنت OpenAI نموذج GPT-4o السابق بـo1-preview، النسخة الأولية التي أطلقتها للتو، وبـo1 الذي ظل قيد التطوير. وهذه نسب الإجابات الصحيحة بمحاولة واحدة لكل مسألة:
مقياس من 0 إلى 100 %. البيانات من الملحق A في إعلان OpenAI، مع إتاحة الحد الأقصى من الحساب المضبوط لكل نموذج في ذلك التقييم. كانت النسخة المتاحة عند الإعلان هي o1-preview.
فشل الجيل السابق في الغالبية العظمى من تلك المسائل؛ بينما حل o1 نحو ثلاث من كل أربع ضمن شروط الدراسة. واستمر البحث عن مسائل أصعب في تقريب التقييم من الحد الفاصل بين حل التمارين وإنتاج بحث رياضي.
كان التغير المحدد من GSM8K إلى AIME هو صعوبة الاستدلال: من ربط حسابات بيض جانيت إلى إيجاد مسار حل لمسألة منافسة. والمقصود قياس مدى قدرة النموذج على تطوير حل حين تكون العمليات اللازمة أقل وضوحًا. ومع ذلك، كنا لا نزال نعطيه نص مسألة وننتظر جوابًا. أما الخطوة التالية فكانت طلب العمل على ملفات وتطبيقات للوصول إلى نتيجة.
2024–2025: هل يتقدم من دون توجيه في كل خطوة؟
في 22 أكتوبر 2024، بعد أسابيع قليلة من o1، قدّمت Anthropic نسخة جديدة من Claude 3.5 Sonnet. ومن نتائج البرمجة التي أبرزتها حل 49.0 % من SWE-bench Verified. يبدأ هذا الاختبار بأخطاء وطلبات تعديل في مشاريع برمجية حقيقية؛ فيعطي النظام وصف المشكلة وملفات المشروع ويطلب إصلاحًا.
يشرح تقرير خطأ أن Django، وهي أداة لتطوير الويب، تقبل أسماء مستخدمين تنتهي بمحرف سطر جديد، مع أنها ينبغي أن ترفضها.
يجب تحديد الشيفرة التي تتحقق من أسماء المستخدمين وتعديلها لرفض هذه الحالة.
يغيّر الحل المرجعي سطرين من الشيفرة. رغم صغر التعديل، فإن العثور عليه يستلزم فهم ملفات المشروع. ويتحقق التقييم من إصلاح الخطأ واستمرار عمل السلوكيات الأخرى التي تشملها الاختبارات.
المصدر: SWE-bench Verified، مجموعة الاختبار، السطر 31، ومراجعة OpenAI بتاريخ 23 فبراير 2026.
يعيد المثال طرح وعد Codex في 2021، لكنه يغيّر حجم العمل الذي نتركه للنظام. كان HumanEval يصف دالة محددة. أما هنا فعليه معرفة موضع الخطأ وما يلزم تعديله قبل كتابة الحل. وقد يكون سطران من الشيفرة نهاية مهمة تتطلب قدرًا أكبر بكثير من البحث والقراءة والتحقق.
ولذلك يحتاج النموذج إلى أدوات تتيح قراءة الملفات وتعديلها وتشغيل الاختبارات. ويعيد البرنامج المحيط به نتيجة كل إجراء ليقرر كيف يتابع. هذا المزيج هو ما نسميه وكيلًا. ويبدأ التقييم بقياس ما إذا كان النظام يستطيع التقدم عبر سلسلة من الإجراءات.
عرض إعلان Sonnet نفسه استخدام الحاسوب بواسطة لقطات الشاشة والنقرات ولوحة المفاتيح. وفي OSWorld، وهو اختبار لمهام تُنجَز داخل التطبيقات، أكمل 14.9 % من المهام بصورة صحيحة بهذه الطريقة؛ ومع إتاحة خطوات إضافية بلغت النسبة 22.0 %. كان لا يزال يفشل كثيرًا. والجديد هو هدف العرض: أداء المهمة داخل البرنامج، بدل الاكتفاء بشرح كيفية أدائها.
في نوفمبر 2025، أبرزت Google عند إطلاق Gemini 3 اختبارًا يدفع هذه الاستمرارية أبعد: Vending-Bench 2. لم تعد المهمة تنتهي عند إصلاح خطأ؛ بل أصبح المطلوب إبقاء نشاط تجاري يعمل داخل محاكاة.
على النموذج إدارة نشاط تجاري محاكى: شراء المخزون، والتعامل مع الموردين، وتحديد الأسعار، مع استمرار النشاط طوال سنة محاكاة.
يُقاس المال الذي ينتهي به النشاط التجاري. يتطلب تحقيق نتيجة جيدة تنسيق المشتريات والمبيعات وإعادة التزويد طوال المحاكاة. وكل قرار يؤثر في الخيارات المتاحة للقرارات التالية.
المصدر: Vending-Bench 2 من Andon Labs، الذي أُبرز في تقديم Gemini 3. تمر السنة داخل محاكاة.
كان SWE-bench Verified ينتهي بتسليم إصلاح؛ أما Vending-Bench 2 فيلزم بمواصلة اتخاذ القرارات طوال سنة محاكاة. فشراء مخزون يؤثر في المبيعات وإعادة التزويد لاحقًا. وإلى إنجاز مهمة باستخدام أدوات انضمت القدرة على الحفاظ على هدف، وتذكر ما حدث، وتعديل القرارات مع مرور الوقت. هذه هي الزيادة في الاستقلالية التي حاول الاختبار الجديد قياسها، ضمن محاكاة.
في ديسمبر، افتتح GPT-5.2 جدول نتائجه بـGDPval، وهو تقييم لمهام من 44 مهنة. يقارن عروضًا تقديمية وجداول بيانات ووثائق أنتجها النموذج بأعمال بشرية للمهمة نفسها. ووفق OpenAI، فُضلت مخرجات GPT-5.2 Thinking أو اعتُبرت مساوية في الجودة في 70.9 % من المقارنات. تجمع النسبة الفوز والتعادل في تلك المهام، ولا تقيس الجزء الذي يمكن استبداله من مهنة.
بنهاية 2025، وسّعت الاختبارات المعيارية نطاق المهمة وطريقة الحكم عليها. طلب HumanEval دالة وتحقق منها بتشغيل الاختبارات؛ وأضاف SWE-bench فهم المشروع وإصلاحه؛ وقارن GDPval جودة الوثائق وغيرها من المخرجات بعمل البشر. والقدرة المطلوبة هي تحمل مسؤولية خطوات أكثر وإنتاج نتيجة تفي بالمهمة. ويتيح إعلان Grok 4.7 النظر في هذا التوقع وفق معايير محددة في الهندسة والقانون.
2026: هل ينجز مهمة مختص؟
في 2023، دعا عرض درجة GPT-4 في امتحان للمحاماة إلى مقارنته بشخص درس القانون. وبعد ثلاث سنوات، يطلب أحد اختبارات إعلان Grok 4.7 المنشور في 21 سبتمبر 2026 تحليل وثائق شراء شركة وإعداد تقرير عن مخاطرها القانونية. وتقترب المقارنة من عمل قد يتلقاه محامٍ على مكتبه.
يشمل الإعلان نفسه اختبارات للهندسة الكهربائية والاستدلال السريري والبرمجة والعمل المكتبي. وجمعها عند تقديم نموذج يقترح النظر إليه كمرشح لمهام من مهن مختلفة. يمثل كل صف في الجدول اختبارًا، وتقارن أعمدته نتائج النماذج فيه.
| الاختبار | Grok 4.7 xHigh | Grok 4.6 High | GPT-5.6 Sol Max | Fable 5.1 Max |
|---|---|---|---|---|
| البرمجة CursorBench 4.0 | 46.3 % | 40.4 % | 41.7 % | 51.8 % |
| البرمجة DeepSWE v1.1 | 71.0 %* | 65.2 % | 72.7 % | 70.0 % |
| الهندسة الكهربائية EEBench | 64.0 % | 53.0 % | 39.4 % | 56.4 % |
| العمل المكتبي AA-Briefcase v1.1 | 1657 | 1546 | 1487 | 1678 |
| العمل في الطرفية Terminal-Bench 4.0 | 37.6 % | 20.3 % | 37.3 % | 57.9 % |
| العمل القانوني Harvey Legal Agent | 19.6 % | 15.8 % | 2.5 % | 6.7 % |
| الاستدلال السريري HealthBench Professional | 56.7 % | 48.5 % | 60.5 % | 62.1 % |
يوضح اختبار الهندسة EEBench الذي أنشأته atopile ما يعنيه هذا التغير. وهذه إحدى مهامه:
يحتاج عداد كهربائي إلى البقاء مشغّلًا مدة 20 مللي ثانية بعد انقطاع التيار لحفظ القراءة. والمطلوب اختيار مكثفات، وهي مكونات تخزن الطاقة، تستطيع إبقاءه يعمل خلال تلك المدة القصيرة.
يسلّم النموذج ملفًا يصف الدائرة. يحاكي التقييم عملها ويقيّم استيفاء المتطلبات وتكلفة المكونات. ولا تُصنَّع الدائرة في هذا الاختبار.
مثال مبسط من منهجية EEBench. يوضح المخطط هدف المهمة، وليس حلًا كهربائيًا.
تُحكم الإجابة بما تفعله الدائرة عند فقدان التغذية. وتفيد معرفة المكثفات بقدر ما تسمح باستيفاء هذا الشرط. ويتطلب الاختبار الانتقال من شرح مبدأ إلى استخدامه في تصميم يمكن التحقق منه.
يطبق تقييم Harvey القانوني هذا المطلب على مراجعة العقود:
يدرس مشترٍ الاستحواذ على شركة خيالية تسمى Crestview Software Solutions. ويتلقى الوكيل ثمانية عقود ذات صلة، مختلطة بوثائق أخرى.
عليه بيان المخاطر القانونية للشراء وكيفية التعامل معها.
يفقد أحد التراخيص حصريته إذا تغير مالك الشركة. قد يعتمد المشتري على حق استخدام حصري يفقد حصريته بعد الاستحواذ. ويجب على التقرير اكتشاف هذا البند وشرح تبعاته.
كان امتحان GPT-4 يختبر المعرفة القانونية. أما هذه المهمة فتتطلب العثور على بند بين الوثائق وربطه بالشراء والتوصية بإجراء. وتشترط المراجعة استيفاء جميع المعايير الإلزامية لقبول التقرير. وتوضح نسبة 19.6 % التي تعلنها xAI لـGrok 4.7 عدد المهام التي تجاوزت ذلك المستوى: المتطلبات المهنية جزء من الاختبار، حتى إن أخفق النموذج في كثير من المهام.
يظهر الفرق عن امتحانات GPT-4 في تعريف النجاح. كان MMLU يتحقق من اختيار الإجابة الصحيحة؛ ويتحقق EEBench من بقاء العداد يعمل بالدائرة للمدة المطلوبة؛ ويتحقق Harvey من اكتشاف التقرير للمخاطر واستيفاء معايير المراجعة. المطلوب جمع القراءة والمعرفة والقرارات في نتيجة قابلة للتحقق. والقدرة المراد قياسها هي مقدار ما يستطيع النظام إنجازه من مهمة مهنية مع استيفاء متطلباتها.
ما نتوقعه وما لا يزال بحاجة إلى إثبات
تُظهر هذه الإصدارات مجتمعةً كيف اتسع الدور الذي نقترحه للنماذج. بدأنا بالتحقق من متابعة قصة، ثم سألنا عما تعرفه وطرحنا مسائل صعبة، وبعد ذلك منحناها أدوات ومهام تحتاج تنظيم عدة خطوات. وكان كل تقدم يعطي سببًا لتجربة مهمة أكثر طموحًا.
لا يعني هذا المسار أن الفهم أو المعرفة أو الاستدلال مراحل تم تجاوزها نهائيًا. فالاختبارات تتعايش والأخطاء تستمر. كما أن جدولًا تختاره شركة لا يثبت أن نموذجها يستطيع تولي مهنة. لكنه يبين نوع القدرة التي ترى الشركة أهمية في محاولة إظهارها للجمهور.
أتاحت الكلمة الناقصة في LAMBADA دراسة ما إذا كان النموذج يربط قرائن قصة. أما تقرير شراء شركة فيسأل هل يمكنه استخدام هذا الفهم، مع المعرفة والأدوات، لاكتشاف مشكلة تؤثر في قرار. تتغير المهمة ويتغير المعيار الذي نحكم به على الإجابة.
لذلك توجد القصة أيضًا في الأسئلة التي نختارها لتقديم كل جيل. لقد تجرأنا تدريجيًا على طلب جزء أكبر من العمل. وعلى الدرجات أن تخبرنا بمقدار ما يحققه النموذج من هذا التوقع؛ فالإعلان وحده لا يحوله إلى قدرة موثوقة.
المصادر
- OpenAI: نموذج GPT الأول، يونيو 2018 وGPT-2، فبراير 2019. المهام الأولى وجدول فهم النصوص.
- Paperno وزملاؤه: LAMBADA وBrown وزملاؤه: GPT-3، 2020. مثال الكاميرا والأمثلة داخل التعليمات.
- OpenAI: Codex، أغسطس 2021 وChen وزملاؤه: تقرير Codex وHumanEval. توليد الدوال والتحقق منها.
- OpenAI: تقديم GPT-4، مارس 2023 وتقريره التقني. الامتحانات وMMLU وHumanEval.
- Hendrycks وزملاؤه: MMLU وCobbe وزملاؤه: GSM8K. المهام التي تظهر في جداول 2023 و2024.
- Google: Gemini، ديسمبر 2023 وAnthropic: Claude 3، مارس 2024. المقارنة على اختبارات مشتركة.
- OpenAI: o1، سبتمبر 2024. تشبع بعض الاختبارات ونتائج AIME؛ يستخدم الرسم الملحق A.
- Anthropic: تحديث Claude 3.5 Sonnet واستخدام الحاسوب، أكتوبر 2024. SWE-bench Verified وOSWorld.
- Jimenez وزملاؤه: SWE-bench ومجموعة بيانات SWE-bench Verified. الانتقال من الدوال المنفردة إلى المشكلات الفعلية.
- Google: Gemini 3، نوفمبر 2025، وAndon Labs: Vending-Bench 2، وOpenAI: GPT-5.2، ديسمبر 2025. الوكلاء والمهام الطويلة والعمل المهني.
- xAI: Grok 4.7، سبتمبر 2026، وatopile: منهجية EEBench، وHarvey: Legal Agent Benchmark. الجدول الحديث وأمثلته الهندسية والقانونية.
