ليس الحجم وحده: ما الذي جعل النماذج اللغوية تتحسن

في 3 سبتمبر 2026 قدّمت OpenAI نموذج GPT-6 Astra. ويصفه الإعلان بأنه ثمرة «سنوات من البحث والرهانات الكبيرة» على ثلاث جبهات: التدريب المسبق، والتعلم المعزز، والمواءمة. وأضاف إيدان كلارك، نائب رئيس الشركة للأبحاث، في تصريحات لمجلة Fortune معلومة لافتة: كانت هذه أول مرة تدرّب فيها الشركة نموذجًا تدريبًا مسبقًا بأكثر من 100 ألف وحدة GPU، في مركزها Stargate بولاية تكساس. وكان ذلك، «بفارق كبير»، أكبر تدريب في تاريخها.

وتفاجئ هذه المعلومة من يتذكر ما كان يقال قبل أقل من عامين. ففي ديسمبر 2024 قال إيليا سوتسكيفر، أحد مؤسسي OpenAI، في مؤتمر NeurIPS، وهو أهم مؤتمر في تعلم الآلة، إن التدريب المسبق «كما نعرفه سينتهي بلا شك». وكانت حجته أن الحوسبة تواصل النمو، أما البيانات فلا: «ليس لدينا سوى إنترنت واحد». وفي أواخر فبراير 2025 أطلقت OpenAI نموذج GPT-4.5، وهو أكبر نموذج نشرته حتى ذلك الحين. كان أفضل في المحادثة والمعرفة، لكنه تأخر عن نماذج أصغر تستدل قبل أن تجيب، وسحبته الشركة من واجهتها البرمجية في يوليو 2025.

فهل استُنفد التوسع أم لا؟ يتسق الأمران إذا توقفنا عن الحديث عن «التوسع» بصيغة المفرد. فالنماذج اللغوية لم تتحسن بفضل قاعدة واحدة، بل بفضل عدة روافع، لكل منها طريقتها في تحويل موارد أكثر إلى نتائج أفضل. وعندما كانت إحداها تصبح مكلفة، كان الجهد ينتقل إلى أخرى؛ ولم تُهجر الروافع السابقة، بل أضيفت إليها الجديدة.

ويتبع بعض هذه الروافع قانونًا للتوسع. والاسم مضلل بعض الشيء: فهو ليس قانونًا فيزيائيًا، بل انتظام لوحظ مرة بعد مرة. فإذا استُثمر أكثر في شيء محدد، كالمعاملات أو البيانات أو الحوسبة، تحسنت النتيجة بطريقة متوقعة إلى حد يمكن معه حسابها قبل إنفاق المال. أما روافع أخرى فليس لها قانون خاص بها: ما تفعله هو تغيير ما يجري توسيعه أو كلفته. يستعرض هذا المقال الروافع السبع التي نرى أنها تفسر على أفضل وجه الطريق من GPT-3 حتى اليوم، ورافعة ثامنة لا تزال في المختبرات.

2020: القانون الأول يحوّل التقدم إلى ميزانية

لفهم القانون الأول نحتاج إلى ثلاث كلمات. يتعلم النموذج اللغوي بقراءة النصوص ومحاولة تخمين ما يأتي بعدها، جزءًا بعد جزء. وتُسمّى هذه الأجزاء رموزًا (tokens): الكلمة القصيرة تكون عادة رمزًا واحدًا، والطويلة عدة رموز.

وما يضبطه النموذج أثناء التعلم هو معاملاته، وهي مليارات الأرقام الداخلية التي تحدد ما يجيب به. لذلك يُقاس حجم النموذج بعدد معاملاته.

ولمعرفة مقدار ما تعلمه تُقاس خسارته: ببساطة، مقدار خطئه في تخمين الرمز التالي في نصوص لم يرها. وكلما انخفضت كان ذلك أفضل.

وقد أتاحت قطعتان من عامي 2017 و2018 لهذه الوصفة أن تكبر. الأولى هي Transformer، المعمارية التي قدّمتها Google في 2017. فهي تعالج كل كلمات النص في آن واحد، بدلًا من كلمة بعد أخرى، وهذا يسمح بتوزيع التدريب على آلاف الشرائح. والثانية أن المهمة لا تحتاج إلى تسميات: فأي نص يصلح للتعلم، لأن الإجابة الصحيحة هي دائمًا الجزء الذي يأتي بعده. وجمعت OpenAI القطعتين في GPT عام 2018، ثم في GPT-2 عام 2019.

في يناير 2020 درّب فريق من OpenAI بقيادة جاريد كابلان نماذج بأحجام متباينة جدًا، وقارن خسارتها في ورقة Scaling Laws for Neural Language Models. ووجد انتظامًا غير مألوف. فعند منح النموذج معاملات أكثر أو بيانات أكثر أو حوسبة أكثر، كانت الخسارة تنخفض دائمًا بالطريقة نفسها، وظل بعض هذه الاتجاهات قائمًا عبر نطاقات تتجاوز عشرة ملايين ضعف. أما تفاصيل التصميم فكانت أقل أهمية بكثير مما كان يُعتقد.

والنتيجة العملية سهلة الصياغة: في كل مرة تُضرب فيها الحوسبة في عشرة، تنخفض الخسارة بالنسبة نفسها، نحو 11 % بحسب قياساتهم. وهذا ما يُسمّى قانون القوة. التحسن ممكن، لكن كل خطوة تكلف عشرة أضعاف سابقتها. والميزة أنه يمكن التنبؤ به.

وبعد بضعة أشهر، في مايو 2020، نشرت OpenAI نموذج GPT-3، بـ 175 مليار مُعامِل، أي أكثر من مئة ضعف معاملات GPT-2. وإلى جانب أنه يكتب أفضل، كان يفعل شيئًا بالكاد كانت تنجزه النماذج الصغيرة: حل مهمة جديدة انطلاقًا من أمثلة قليلة مكتوبة في الطلب نفسه، من دون إعادة تدريبه. ومنذ ذلك الحين نمت الحوسبة المستخدمة لتدريب النماذج الرائدة بشكل مطرد. وتقدّر Epoch AI، التي تجمع هذه البيانات، أنها تضاعفت أربع إلى خمس مرات سنويًا بين 2010 و2024.

قبل 2020 كان تحسين نموذج لغوي في الأساس مشكلة تصميم: تجربة معماريات وحيل تدريب على أمل أن ينجح أحدها. وبعد ذلك أصبح أيضًا مشكلة ميزانية. صار ممكنًا أن نحسب، قبل إنفاق المال، مقدار انخفاض خسارة نموذج أكبر بعشر مرات. ولهذه القابلية للتنبؤ حد ينبغي ألا ننساه: فالقانون يتنبأ بالخسارة، لا بالمهام المحددة التي سيعرف النموذج أداءها. وقد يُترجَم تحسن سلس في الخسارة إلى قفزات حادة في مهمة ما، كما شرحنا في «لماذا يبدو أن الذكاء الاصطناعي يتحسن فجأة في بعض المهام».

2022: النموذج الكبير يحتاج أيضًا إلى أن يقرأ أكثر

كان عمل كابلان يترك توصية: مع ميزانية ثابتة، من الأفضل إنفاقها أساسًا على تكبير النموذج، حتى لو قرأ قليلًا نسبيًا. وهكذا بُنيت النماذج الكبيرة في 2020 و2021. وفي مارس 2022 نشرت DeepMind دراسة شملت أكثر من 400 نموذج وانتهت إلى استنتاج آخر، يُعرف باسم النموذج الذي أثبته: Chinchilla. فلاستغلال الميزانية جيدًا، يجب أن ينمو الحجم والبيانات معًا: إذا تضاعف حجم النموذج، يجب أن يقرأ ضعف ما كان يقرؤه. ووفق هذا المعيار، كانت النماذج الكبيرة في ذلك الوقت قد قرأت أقل مما ينبغي.

ولإثبات ذلك درّبوا Chinchilla، وهو نموذج بـ 70 مليار مُعامِل، بالحوسبة نفسها التي استخدمها Gopher، نموذجهم السابق ذو الـ 280 مليار مُعامِل. والفرق أن Chinchilla قرأ 1.4 تريليون رمز، أي قرابة خمسة أضعاف. وبنموذج أصغر بأربع مرات تفوّق على Gopher في جميع الاختبارات تقريبًا؛ ففي MMLU، وهو امتحان أسئلة في 57 مادة، حقق نسبة صواب بلغت 67.5 %، بزيادة تتجاوز سبع نقاط. والقاعدة العملية التي شاعت كانت نحو 20 رمزًا لكل مُعامِل.

النموذج	السنة	المعاملات	رموز التدريب	الرموز لكل مُعامِل
GPT-3	2020	175 مليار	300 مليار	≈ 2
Gopher	2021	280 مليار	300 مليار	≈ 1
Chinchilla	2022	70 مليار	1.4 تريليون	≈ 20
Llama 3 8B	2024	8 مليارات	أكثر من 15 تريليون	≈ 1900

التريليون يساوي ألف مليار، أي مليون مليون. البيانات من ورقتي GPT-3 وChinchilla ومن إعلان Llama 3.

ويُظهر الصف الأخير أن قاعدة Chinchilla لم تتحول بدورها إلى عقيدة. ففي أبريل 2024 أوضحت Meta أن الكمية المثلى من البيانات لنموذجها ذي الـ 8 مليارات مُعامِل، وفق ذلك المعيار، كانت في حدود 200 مليار رمز. لكنها درّبته على أكثر من 15 تريليونًا، أي نحو 75 ضعفًا، وظل النموذج يتحسن. والتفسير اقتصادي. فمعيار Chinchilla يحسّن كلفة التدريب، وهي تُدفع مرة واحدة. لكن النموذج يُستخدم ملايين المرات، والنموذج الصغير الذي قرأ كثيرًا أرخص تشغيلًا من نموذج كبير بالجودة نفسها.

وللقراءة الأكثر حد واضح: النص المتاح. تقدّر Epoch AI أن النص العام الذي كتبه البشر يبلغ نحو 300 تريليون رمز، وأن النماذج، بالوتيرة الحالية، ستستنفده في وقت ما بين 2026 و2032. وهذا هو القلق الذي عبّر عنه سوتسكيفر حين وصف البيانات بأنها «الوقود الأحفوري للذكاء الاصطناعي». وكانت الاستجابات تحسين التصفية، وإعادة استخدام البيانات، وتوليد بيانات اصطناعية بنماذج أخرى، وفوق كل ذلك البحث عن تحسينات لا تعتمد على القراءة الأكثر وحدها.

2022: أن تعرف ليس كأن تساعد

النموذج المدرَّب تدريبًا مسبقًا يُكمل النصوص. فإذا كتبت له طلبًا، لا يفهمه بالضرورة على أنه أمر: قد يكمله كأنه بداية قائمة. وتتضمن ورقة InstructGPT، التي نشرتها OpenAI في 2022، مثالًا على هذه المشكلة.

«اكتب قصة قصيرة، بالفرنسية، عن ضفدعة تسافر عبر الزمن إلى اليونان القديمة».

GPT-3: يرد بطلبات أخرى من النوع نفسه. «اكتب قصة عن طفل يريد أن يعرف كل شيء عن ألعاب الآلهة…»، «اكتب قصة عن شاب يعيش مغامرة في زمن بعيد…».

InstructGPT: يكتب القصة. «كانت الضفدعة تائهة ومنهكة. لم يكن في ذهنها سوى هدف واحد: أن تسافر عبر الزمن وتصل إلى اليونان القديمة…».

ما الذي يتغير: يتعامل النموذج الأول مع الطلب كأنه بداية قائمة من المهام، ويتعامل معه الثاني كمهمة عليه إنجازها. ولكلا النموذجين 175 مليار مُعامِل.

المصدر: الشكل 8 في ورقة Ouyang وآخرين (2022). المثال مترجم عن الفرنسية ومختصر.

ولتحقيق ذلك استخدمت OpenAI تقنية التعلم المعزز من التفضيلات البشرية، المعروفة اختصارًا بـ RLHF. أولًا، كتب عدد من الأشخاص إجابات نموذجية عن طلبات حقيقية. ثم قارنوا إجابات مختلفة للنموذج ورتّبوها من الأفضل إلى الأسوأ. وبهذه المقارنات دُرّب نموذج ثانٍ، هو نموذج المكافأة، يتعلم التنبؤ بالإجابة التي سيفضلها الإنسان. وأخيرًا ضُبط النموذج الرئيسي بالتعلم المعزز: يولّد إجابات، ويقيّمها نموذج المكافأة، ويجعل التدريب الإجابات التي تحصل على درجة جيدة أكثر احتمالًا.

وقد شكّكت النتيجة في فكرة أن كل شيء يتوقف على الحجم. فالأشخاص الذين قيّموا الإجابات فضّلوا إجابات InstructGPT ذي الـ 1.3 مليار مُعامِل على إجابات GPT-3 ذي الـ 175 مليار مُعامِل، وهو نموذج أكبر بأكثر من مئة مرة. وكان هذا الضبط زهيد الكلفة: فبحسب OpenAI، استخدم أقل من 2 % من حوسبة التدريب المسبق وبياناته. ووصفته الشركة نفسها بأنه طريقة «لإطلاق» قدرات كان GPT-3 يمتلكها أصلًا. وطبّق ChatGPT، الذي أُطلق في نوفمبر 2022، هذه الوصفة على منتج للاستخدام العام.

هذه الرافعة لا تضيف معرفة، بل تغيّر الهدف: من إكمال النصوص إلى مساعدة من يسأل. ومن المفيد تذكّر رقم 2 %، لأن نسبة الحوسبة المخصصة لهذه المرحلة اللاحقة للتدريب المسبق ستصبح بعد ثلاث سنوات مختلفة جدًا.

2023: معاملات كثيرة، وقليل منها في كل مرة

في النموذج التقليدي، الذي يُسمّى عادة كثيفًا، تعمل كل المعاملات على كل رمز. فإذا كان النموذج أكبر بعشر مرات، فإن حساب كل كلمة يكلف نحو عشرة أضعاف.

ويكسر مزيج الخبراء، المعروف باختصاره الإنجليزي MoE، هذه العلاقة. فهو يقسم أجزاء من النموذج إلى عدة كتل تُسمّى خبراء، ويضيف موجِّهًا يختار، لكل رمز، القلة من الخبراء الذين يعالجونه. أما الباقون فلا يفعلون شيئًا بذلك الرمز.

تعود الفكرة إلى 2017، حين طبّقها نوام شازير وباحثون آخرون في Google على شبكات تصل إلى 137 مليار مُعامِل. وفي النماذج اللغوية شاعت مع Mixtral 8x7B، الذي نشرته Mistral في ديسمبر 2023: كان يضم 46.7 مليار مُعامِل، لكن كل رمز لم يكن يستخدم منها سوى 12.9 مليار.

واسم «الخبير» مربك بعض الشيء. فليس هناك خبير في الطب وآخر في التاريخ: الموجِّه يقرر توزيعه الخاص أثناء التدريب، وفي Mixtral بدا أن هذا التوزيع يتبع بنية النص النحوية أكثر من موضوعه.

وبعد عام، أظهر DeepSeek-V3 إلى أي مدى يمكن أن يصل التوفير. فهو يضم 671 مليار مُعامِل، يستخدم كل رمز منها 37 مليارًا، وبحسب تقريره التقني كلّف التدريب النهائي نحو 5.6 مليون دولار من استئجار وحدات GPU. ولا يشمل الرقم البحث السابق، لكنه كان منخفضًا جدًا لنموذج ينافس أفضل النماذج المغلقة، وكان تصميم MoE أحد الأسباب.

هل كل النماذج من نوع MoE؟ لا، لكن في 2026 تكاد تكون كذلك كل النماذج الكبيرة مفتوحة الأوزان، أي التي يستطيع أي شخص تنزيلها. ويجمع الجدول أحدثها إلى جانب ثلاثة أقدم للمقارنة.

النموذج	التاريخ	المعمارية	إجمالي المعاملات	النشطة لكل رمز
Mixtral 8x7B	ديسمبر 2023	MoE	46.7 مليار	12.9 مليار
DeepSeek-V3	ديسمبر 2024	MoE	671 مليار	37 مليار
Llama 4 Maverick	أبريل 2025	MoE	400 مليار	17 مليار
GLM-5	فبراير 2026	MoE	744 مليار	40 مليار
Qwen3.5-397B-A17B	فبراير 2026	MoE	397 مليار	17 مليار
Gemma 4 31B	أبريل 2026	كثيفة	30.7 مليار	جميعها
Gemma 4 26B A4B	أبريل 2026	MoE	25.2 مليار	3.8 مليار
DeepSeek-V4-Pro	أبريل 2026	MoE	1.6 تريليون	49 مليار
Kimi K3	يوليو 2026	MoE	2.8 تريليون	104 مليارات
Qwen3.8-27B	أغسطس 2026	كثيفة	27 مليار	جميعها

البيانات من البطاقات التقنية لكل نموذج، وروابطها في المصادر. لا يشمل الجدول إلا النماذج مفتوحة الأوزان، التي تكون معماريتها علنية.

ويكشف الجدول نمطًا. فابتداءً من بضع مئات المليارات من المعاملات، يكاد يكون كل شيء في 2026 من نوع MoE: اعتمدت Meta هذا التصميم مع Llama 4، أول عائلة MoE لديها، ويصل Kimi K3 إلى 2.8 تريليون مُعامِل مستخدمًا أقل من 4 % منها في كل رمز. وتبقى النماذج الكثيفة حاضرة في الأحجام المتوسطة، حيث يعوّض التوفير التعقيد بدرجة أقل؛ بل إن Google تنشر النوعين في العائلة نفسها، Gemma 4. أما النماذج المغلقة من OpenAI وAnthropic وGoogle فلا يُعرف أمرها على وجه اليقين، لأنها لا تنشر معماريتها. ويتكرر كثيرًا أن GPT-4 كان من نوع MoE، لكن OpenAI لم تؤكد ذلك قط.

وهناك فارق دقيق مهم: نموذج MoE يوفّر الحوسبة، لا الذاكرة. فيجب تحميل كل الخبراء، لأن أي رمز قد يحتاج إلى أي منهم. يحسب DeepSeek-V4-Pro كل كلمة كأنه نموذج بنحو 50 مليار مُعامِل، لكنه يشغل من الذاكرة ما تشغله معاملاته البالغة 1.6 تريليون. ونشرح ذلك بتفصيل أكبر في مقالنا عن الاستدلال المحلي.

ليس مزيج الخبراء قانونًا جديدًا للتوسع، بل تغييرًا في السعر. فقبله، كان امتلاك عشرة أضعاف المعاملات يعني دفع نحو عشرة أضعاف لكل كلمة مولَّدة. ومع MoE لم تعد قدرة النموذج على تخزين المعرفة وكمية الحوسبة لكل كلمة تسيران معًا دائمًا.

2024: إنفاق الحوسبة عند الإجابة

حتى هنا، تعمل كل الروافع على التدريب. فبعد انتهاء تدريبه، يكرّس النموذج الجهد نفسه تقريبًا لكل رمز، سواء سُئل عن عاصمة فرنسا أو عن مسألة أولمبياد. والرافعة التالية تقوم على السماح له بإنفاق حوسبة أكثر على الأسئلة التي تحتاج إليها.

وكانت الخطوة الأولى أشبه بحيلة في الصياغة. ففي يناير 2022 نشر فريق من Google العمل الخاص بـسلسلة التفكير: إذا تضمّن الطلب أمثلة محلولة خطوة بخطوة، يكتب النموذج هو أيضًا الخطوات الوسيطة قبل تقديم الإجابة، فيصيب أكثر.

يتضمن الطلب مسألة محلولة بخطواتها: لدى روجر 5 كرات تنس، ويشتري علبتين في كل منهما 3 كرات. «بدأ بـ 5. علبتان من 3 كرات تساويان 6. 5 + 6 = 11. الإجابة هي 11».

«كان لدى المقصف 23 تفاحة. إذا استخدموا 20 لإعداد الغداء واشتروا 6 أخرى، فكم تفاحة لديهم؟»

إذا تضمن المثال الإجابة النهائية فقط: يجيب النموذج 27.

إذا تضمن المثال الخطوات: «كان لديهم 23 واستخدموا 20، فبقي لديهم 3. ثم اشتروا 6 أخرى: 3 + 6 = 9. الإجابة هي 9».

الإجابة الصحيحة: 9. كتابة النتيجة الوسيطة تمنح النموذج موضعًا يستند إليه؛ ومن دونها يحاول الوصول إلى الإجابة دفعة واحدة فيخطئ.

المصدر: الشكل 1 في ورقة Wei وآخرين (2022)، مترجم. النموذج هو PaLM من Google، بـ 540 مليار مُعامِل.

في GSM8K، وهي مجموعة من مسائل الرياضيات للمرحلة الابتدائية، انتقل PaLM مع هذا التغيير من 17.9 % إلى 56.9 % من الإجابات الصحيحة. لكن الأثر لم يظهر إلا في النماذج الكبيرة، ذات نحو 100 مليار مُعامِل؛ أما في الصغيرة فلم تكن كتابة الخطوات تساعد، بل كانت تزيد النتيجة سوءًا. فسلسلة التفكير كانت، في حد ذاتها، أثرًا من آثار الحجم.

إذا كانت كتابة بعض الخطوات تساعد، فهل تساعد كتابة المزيد؟ أو محاولة حل المسألة عدة مرات والاحتفاظ بأفضل إجابة؟ في أغسطس 2024 قارن Snell وباحثون آخرون من Google وBerkeley طريقتين لإنفاق الحوسبة نفسها: استخدام نموذج أكبر، أو ترك نموذج صغير يفكر أكثر. ففي المسائل التي كان النموذج الصغير يحلها أحيانًا، كان التفكير الأطول قادرًا على التفوق على نموذج أكبر بأربع عشرة مرة. أما في الأصعب فلا: هناك بقيت الحاجة إلى نموذج أفضل.

وبعد شهر، في 12 سبتمبر 2024، قدّمت OpenAI نموذج o1، أول نموذج تجاري مصمم ليفكر بعض الوقت قبل أن يجيب. وتضمّن إعلانه رسمين بيانيين كثيرًا ما يُستشهد بهما. في كليهما كانت نسبة الصواب في امتحان رياضيات ترتفع بانتظام: في الأول عند منح التدريب حوسبة أكثر، وفي الثاني عند منح النموذج وقتًا أطول للتفكير في كل إجابة. كان ذلك هو شكل قانون 2020 نفسه، مطبقًا على محور جديد. وأرقام تلك القفزة موجودة في المقال عن منحنيات السيغمويد.

في 2026 أصبح هذا المحور أداة تحكم أخرى في المنتجات. يُقدَّم GPT-6 Astra بعدة مستويات من الجهد، ويتضمن نموذج مفتوح مثل Qwen3.8 الكبير إعدادًا لـ«جهد الاستدلال» للاختيار بين التفكير القليل أو المعتاد أو الكثير، بحسب العمق والكلفة المطلوبين. وفي إعلان Astra يوضح المدير التقني لشركة Lovable أن جهدًا أكبر يتيح تكرارات أكثر وعمليات تحقق أكثر عبر اختبارات في المتصفح.

قبل 2022 كانت جودة النموذج تتحدد عند انتهاء تدريبه. أما الآن فيُحسم جزء منها في كل سؤال، بحسب مقدار الحوسبة المسموح له بإنفاقه. ولم تعد كلفة الإجابة ثابتة، بل أصبحت قرارًا: فالسؤال البسيط لا يستحق الجهد نفسه الذي يستحقه تدقيق للشيفرة.

2025: التدريب على ما يمكن التحقق منه

أن يكتب النموذج خطوات أكثر لا يضمن أنه يفكر أفضل: قد يدور في حلقة من دون أن يتقدم. وكان o1 يستفيد من ذلك الوقت لأنه دُرّب على ذلك بالتعلم المعزز. وهنا ظهرت مشكلة. ففي RLHF، من يضع الدرجة هو نموذج مكافأة يحاكي أذواق البشر، وهو حَكَم غير كامل. وإذا طال التدريب في مواجهته، يتعلم النموذج إرضاءه بدلًا من إتقان المهمة، كطالب يذاكر من أجل المصحِّح لا من أجل المادة. لذلك كانت تلك المرحلة تبقى قصيرة.

وكان المخرج هو التدريب على مسائل يمكن تصحيحها آليًا، مثل امتحان معه دليل للحلول: رياضيات لها إجابة معروفة، أو شيفرة يجب أن تجتاز اختبارات معينة. هناك تكون الدرجة موثوقة، ويمكن التدريب لوقت أطول بكثير.

في يناير 2025 نشرت DeepSeek كيف فعلت ذلك مع DeepSeek-R1. فقد تعلمت نسخته الأولى، R1-Zero، بهذا النوع من الدرجات وحده، من دون أمثلة استدلال كتبها بشر. واللافت ما حدث أثناء التدريب: طالت إجاباته من تلقاء نفسها، من مئات إلى آلاف الرموز من الاستدلال. لم يطلب منه أحد أن يفكر أكثر؛ تعلّم ذلك لأن التفكير الأطول كان يمنحه إجابات صحيحة أكثر. ويورد المؤلفون حتى اللحظة التي تقاطع فيها نسخة وسيطة نفسها بعبارة «انتظر، انتظر. انتظر. هذه لحظة إدراك مفاجئ» ثم تراجع طريقة حلها.

وكان هذا التعزيز، فوق ذلك، قابلًا للتوسع. فعند تقديم o3 في أبريل 2025، أوضحت OpenAI أن القاعدة نفسها التي تحكم التدريب المسبق تتحقق معه: حوسبة أكثر، أداء أفضل. وفي يوليو 2025 قالت xAI إنها درّبت Grok 4 بالتعزيز «على نطاق التدريب المسبق» وبمسائل قابلة للتحقق من مجالات أكثر بكثير من الرياضيات والبرمجة. وتلخص المقارنة مع 2022 هذا التغيير: خصص InstructGPT لهذه المرحلة أقل من 2 % من حوسبة التدريب المسبق؛ وبعد ثلاث سنوات، تخصص لها بعض المختبرات كمية مماثلة.

وبقي قياس ذلك بدقة. ففي أكتوبر 2025 نشر فريق من Meta وعدة جامعات أول دراسة منهجية عن كيفية توسع التعزيز، باستخدام أكثر من 400 ألف ساعة GPU. وكان التحسن يتبع منحنى منتظمًا، بما يكفي للتنبؤ بتدريب كبير انطلاقًا من تدريبات صغيرة. لكن كان هناك فرق عن قانون 2020: فهذا المنحنى ينتهي إلى الاستواء. لكل وصفة تدريب سقفها، وكثير من التعديلات لا يغيّر إلا سرعة الوصول إليه، لا ارتفاعه.

مع RLHF كان النموذج يتعلم تقديم إجابات تنال الإعجاب. ومع المكافآت القابلة للتحقق، يتعلم حل مسائل يمكن التحقق من حلها. وينتقل المورد الشحيح أيضًا: لم يعد مجرد النصوص التي تُقرأ، بل المسائل التي تتوافر لها طريقة موثوقة لمعرفة ما إذا كانت قد حُلّت جيدًا.

2025: من القدرة على استدعاء أداة إلى معرفة متى تُستخدم

النموذج اللغوي، وحده، يخطئ في العمليات الحسابية الطويلة، ولا يعرف ما حدث بعد تدريبه، ولا يستطيع التصرف خارج المحادثة. والأدوات تحل هذه المشكلات الثلاث. في فبراير 2023 قدّمت Meta نموذج Toolformer، الذي تعلّم أن يُدرج في نصه استدعاءات لآلة حاسبة أو محرك بحث أو مترجم. وفي يونيو 2023 أضافت OpenAI إلى واجهتها البرمجية استدعاء الدوال: يصف المطوّر الأدوات المتاحة، ويرد النموذج بطلب منظم لاستخدامها.

كان ذلك واجهة. فالنموذج يستطيع طلب أداة، لكنه لم يتعلم أن يقرر متى يناسبه ذلك داخل مهمة طويلة، ولا أن يغيّر خطته بحسب ما تعيده الأداة. وجاء التغيير بالجمع بين الأدوات والتعزيز. ففي إعلان o3 وo4-mini أوضحت OpenAI أنها درّبتهما على استخدام الأدوات بالتعلم المعزز، فعلّمتهما «لا كيفية استخدامها فحسب، بل الاستدلال على توقيت استخدامها أيضًا». وتضمّن الإعلان نفسه مثالًا على ما يعنيه ذلك.

«كيف سيكون استهلاك الطاقة في كاليفورنيا هذا الصيف مقارنةً بالعام الماضي؟»

للإجابة، يبحث النموذج في الويب عن بيانات استهلاك عامة، ويكتب شيفرة بلغة Python لبناء توقع، ويولّد رسمًا بيانيًا، ويشرح العوامل التي يستند إليها التوقع. وإذا لم يعطه بحثٌ ما يحتاج إليه، يمكنه إجراء بحث آخر.

ما الذي يتغير: لا أحد يحدد له الأداة التي يستخدمها ولا ترتيب استخدامها. فاختيار الأدوات وربطها جزء مما تعلّمه النموذج.

المصدر: مثال موصوف في إعلان o3 وo4-mini، 16 أبريل 2025.

وتتكامل الأدوات مع الرافعة السابقة لسبب عملي: فهي تفيد أيضًا في التحقق. النموذج الذي يستطيع تشغيل الشيفرة التي يكتبها يعرف ما إذا كانت تعمل قبل تسليمها. وفي الإعلان نفسه، حل o4-mini نسبة 99.5 % من مسائل امتحان AIME لعام 2025 مع إمكانية الوصول إلى مفسّر Python. ونبّهت OpenAI إلى أن هذا الرقم لا ينبغي مقارنته بأرقام نماذج بلا أدوات، لكنه يوضح كيف يستفيد النموذج من الموارد المتاحة له.

في 2026 لم تعد الاختبارات التي تبرزها الإصدارات الجديدة تسأل عما إذا كان النموذج يعرف استخدام آلة حاسبة، بل عما إذا كان يستطيع استخدام حاسوب. يحقق GPT-6 Astra نسبة 72.6 % في OSWorld 2.0، وهو اختبار لمهام حقيقية في نظام تشغيل، ويستغرق نحو 40 دقيقة في المتوسط لكل مهمة. وأصبحت البيئة، سواء كانت حاسوبًا أو متصفحًا أو مستودع شيفرة، جزءًا مما يعرف النموذج كيف يستفيد منه. ونروي كيف وصلت الإصدارات إلى قياس هذا النوع من العمل في تاريخنا لاختبارات المقارنة المعيارية.

في المختبر: التفكير من دون كتابة

كل أشكال التفكير التي رأيناها تشترك في أمر: النموذج يستدل بالكتابة. فكل خطوة وسيطة تتحول إلى رموز، وكل رمز يجب حسابه ودفع ثمنه. وهناك أيضًا عيب أقل وضوحًا. فالنموذج يمثل كل خطوة داخليًا بآلاف الأرقام التي يمكن أن تحمل عدة احتمالات في آن واحد. وعندما يختار كلمة، يحتفظ باحتمال واحد ويتخلص من الباقي.

ومن هنا نشأ خط بحثي يُعرف بالاستدلال في الفضاء الكامن. والفضاء الكامن هو تلك اللغة الداخلية من الأرقام التي يعمل بها النموذج قبل أن يختار كل كلمة. والفكرة أن نتركه يفكر هناك، من دون المرور بالنص.

تسلك أشهر المقترحات طريقين:

• إعادة تمرير التفكير. في Coconut، الذي قدّمته Meta في ديسمبر 2024، لا يكتب النموذج الخطوة التالية، بل يمرر إلى نفسه حالته الداخلية كأنها المُدخل التالي. وهكذا يستطيع إبقاء عدة مسارات مفتوحة في آن واحد، كمن يستكشف متاهة عبر عدة ممرات، وكان يتفوق على سلسلة التفكير في المسائل المنطقية التي تتطلب التخطيط.
• الدوران أكثر في الداخل. بدلًا من كتابة المزيد، يكرر النموذج الكتلة نفسها من الطبقات بقدر ما يحتاج: يفكر في العمق لا في الطول. وكان النموذج الأولي الذي قدّمه Geiping وباحثون آخرون، في فبراير 2025، يضم 3.5 مليار مُعامِل، وظل يتحسن في اختبارات الاستدلال حتى بلغ إنفاقه من الحوسبة ما ينفقه نموذج بـ 50 مليار مُعامِل. وفي أكتوبر 2025 نقلت نماذج Ouro الحلقية الفكرة إلى التدريب المسبق: فبـ 1.4 و2.6 مليار مُعامِل كانت تؤدي كنماذج من 4 و8 مليارات. وبحسب مؤلفيها، لم يكن ذلك لأنها تعرف أكثر، بل لأنها تحسن التعامل مع ما تعرفه.

في أكتوبر 2026 لا تزال هذه نماذج بحثية، صغيرة مقارنةً بالنماذج الرائدة. ولم يؤكد أي مختبر أن نماذجه الأكثر تقدمًا تستدل بهذه الطريقة، وإن كانت المختبرات لا تنشر معمارياتها أيضًا. لذلك لا تظهر في الرسم الأول: إنها مرشحة لأن تكون رافعة، لا رافعة راسخة.

وعقبتها الرئيسية ليست تقنية. فسلسلة التفكير المكتوبة هي اليوم من أفضل النوافذ لمراقبة ما يفعله النموذج، لأنها تتيح اكتشاف اللحظة التي يفكر فيها في الالتفاف على القواعد. في يوليو 2025 نشر باحثون من OpenAI وGoogle DeepMind وAnthropic ومؤسسات أخرى وثيقة مشتركة وصفتها بأنها فرصة «جديدة وهشّة» للسلامة، ودعت المختبرات إلى مراعاة الطريقة التي تؤثر بها قرارات التصميم لديها في هذه النافذة. وفي ديسمبر نشرت OpenAI تقييمات تفيد بأن مراقبة سلسلة التفكير أكثر فاعلية بكثير من مراقبة الأفعال والنتائج وحدها.

وهذه النافذة تضيق قليلًا بالفعل من دون حاجة إلى معماريات جديدة. فقد وجدت دراسة من يوليو 2026 أن ثلاثة عشر نموذجًا متقدمًا تحسنت بما يصل إلى 13 نقطة في مهام استدلال اصطناعية عندما كتبت رموز حشو بلا أي معنى: جزء من الحوسبة يحدث من دون أن يترك أثرًا مقروءًا. وفي إعلان GPT-6 Astra تقر OpenAI بأن استدلاله المكتوب، في اختبارات طُلب منه فيها التهرب من الإشراف، كان أصعب مراقبةً من استدلال سلفه، ويعود ذلك جزئيًا إلى أنه يحل المسائل بخطوات مكتوبة أقل.

سيكون التفكير من دون كتابة طريقة أخرى لإنفاق الحوسبة عند الإجابة، وعلى الأرجح أرخص لكل خطوة. وسيكون الثمن إغلاق تلك النافذة. وتحوّله إلى رافعة سيتوقف على أدائه، ولكن أيضًا على ما إذا كانت المختبرات، ومن ينظمون عملها، سيقبلون هذه المقايضة.

هل انتهى التوسع؟

بعد هذه الجولة يمكن العودة إلى سؤال البداية. فمن يرى أن التوسع ينفد لديه حجج وجيهة:

• كل ضرب في عشرة يكلف مالًا وطاقة أكثر، ومراكز البيانات تستغرق سنوات لتُبنى.
• النص الذي كتبه البشر محدود.
• أظهر GPT-4.5 أن تكبير التدريب المسبق لم يعد يمنح، وحده، قفزة ملحوظة في المهام الأكثر أهمية.
• لقانون التعزيز سقف، والتعزيز يعمل أساسًا حيث توجد طريقة آلية للتحقق من النتيجة.

كلها صحيحة، لكن كلًّا منها يصف حد رافعة محددة، لا حد المجموع. فعندما أصبح التدريب المسبق مكلفًا، تسلّمت الحوسبة عند الإجابة والتعزيز الراية.

ثم إن الروافع يستند بعضها إلى بعض. فقد جرّب مؤلفو DeepSeek-R1 تطبيق التعزيز مباشرة على نموذج بـ 32 مليار مُعامِل، فكانت النتيجة أسوأ من تعليمه محاكاة استدلالات النموذج الكبير. واستنتجوا أن تجاوز ذلك سيتطلب نماذج أساسية أقوى وتعزيزًا أكثر: فالتعزيز يستثمر ما بناه التدريب المسبق. ويتسق GPT-6 Astra مع هذه القراءة. إنه عودة إلى الرافعة الأولى، لكن فوق كل الروافع الأخرى: أكبر تدريب مسبق لدى OpenAI، يتبعه التعزيز والأدوات ومستويات الجهد.

ويبقى تحفظ يسري على كل القوانين في هذا المقال. إنها ملاحظات، لا ضمانات. فهي تقيس الخسارة أو الدرجة في اختبار، لا الفائدة في عمل حقيقي، وقد تتوقف عن التحقق من دون سابق إنذار، كما توقفت توصية كابلان بشأن البيانات.

ما الذي ينبغي النظر إليه بدلًا من الحجم

لسنوات كان عدد المعاملات الطريق المختصر لمقارنة النماذج. أما اليوم فلا يقول الكثير وحده. فقد يضم نموذج 2.8 تريليون مُعامِل ويستخدم 104 مليارات منها لكل كلمة؛ وقد يكون قرأ 75 ضعف ما كانت توصي به قاعدة من 2022؛ وقد تكون قيمته بجهد مرتفع أكبر بكثير منها بجهد منخفض. لم يعد السؤال المفيد كم كبر النموذج، بل ما الذي جرى توسيعه وكيف جرى التحقق منه.

ولهذا السؤال عواقب على من يستخدم هذه النماذج في عملية حقيقية. فقد أصبحت الجودة جزئيًا قرارًا يخص كل مهمة: كم من الجهد والوقت والكلفة لكل إجابة تستحق كل خطوة. والنماذج تتحسن أولًا حيث يمكن التحقق من النتيجة. وفي أي مؤسسة، تكون العمليات التي تملك أصلًا فحوصًا آلية، مثل اختبارات البرمجيات أو المطابقات المحاسبية أو التحقق من صحة البيانات، أولى العمليات التي قد يتمكن فيها وكيل من العمل بموثوقية. وبناء هذه الفحوص هو، إلى حد كبير، العمل نفسه الذي تقوم به المختبرات لتدريب نماذجها.

كل رافعة في هذه القصة مرت بلحظة بدت فيها الرافعة النهائية. لم تكن أي منها كذلك، ولم تختفِ أي منها.

المصادر

• OpenAI: GPT-6 Astra، 3 سبتمبر 2026
• Fortune: OpenAI launches GPT-6 Astra، 3 سبتمبر 2026
• Cointelegraph: مداخلة إيليا سوتسكيفر في NeurIPS، ديسمبر 2024
• TechCrunch: OpenAI ستسحب GPT-4.5 من واجهتها البرمجية، 14 أبريل 2025
• Kaplan وآخرون: Scaling Laws for Neural Language Models، يناير 2020
• Brown وآخرون: Language Models are Few-Shot Learners (GPT-3)، مايو 2020
• Epoch AI: Training compute of frontier AI models grows by 4-5x per year
• Our World in Data: Computation used to train notable AI systems
• Hoffmann وآخرون: Training Compute-Optimal Large Language Models (Chinchilla)، مارس 2022
• Meta: Introducing Meta Llama 3، أبريل 2024
• Villalobos وآخرون: Will we run out of data?، Epoch AI
• OpenAI: Aligning language models to follow instructions، 27 يناير 2022
• Ouyang وآخرون: Training language models to follow instructions with human feedback، مارس 2022
• Shazeer وآخرون: Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer، 2017
• Mistral AI: Mixtral of experts، 11 ديسمبر 2023
• Jiang وآخرون: Mixtral of Experts، يناير 2024
• DeepSeek-AI: DeepSeek-V3 Technical Report، ديسمبر 2024
• Meta: The Llama 4 herd، 5 أبريل 2025
• Z.ai: GLM-5، فبراير 2026
• Qwen: Qwen3.5-397B-A17B، فبراير 2026
• Google: Gemma 4 31B، أبريل 2026
• DeepSeek-AI: DeepSeek-V4-Pro، أبريل 2026
• Moonshot AI: Kimi K3، يوليو 2026
• Qwen: Qwen3.8-27B، أغسطس 2026
• Qwen: Qwen3.8-2.4T-A95B، أغسطس 2026
• Wei وآخرون: Chain-of-Thought Prompting Elicits Reasoning in Large Language Models، يناير 2022
• Snell وآخرون: Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters، أغسطس 2024
• OpenAI: Learning to reason with LLMs، 12 سبتمبر 2024
• DeepSeek-AI: DeepSeek-R1، يناير 2025
• OpenAI: Introducing OpenAI o3 and o4-mini، 16 أبريل 2025
• xAI: Grok 4، يوليو 2025
• Khatri وآخرون: The Art of Scaling Reinforcement Learning Compute for LLMs، أكتوبر 2025
• Schick وآخرون: Toolformer، فبراير 2023
• OpenAI: Function calling and other API updates، 13 يونيو 2023
• Hao وآخرون: Training Large Language Models to Reason in a Continuous Latent Space (Coconut)، ديسمبر 2024
• Geiping وآخرون: Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach، فبراير 2025
• Zhu وآخرون: Scaling Latent Reasoning via Looped Language Models (Ouro)، أكتوبر 2025
• Korbak وآخرون: Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety، يوليو 2025
• OpenAI: Evaluating chain-of-thought monitorability، 18 ديسمبر 2025
• Baherwani وGoldstein وPanda: Not All LLM Reasoning is Visible in the Chain-of-Thought، يوليو 2026