مخاطر النماذج اللغوية مستقبلًا: خريطة للقدرات

في تقييم نشره معهد أمن الذكاء الاصطناعي البريطاني AISI عام 2026، أنجزت نسخة من Mythos Preview عمليتين لهجوم سيبراني في 6 من أصل 10 محاولات و3 من أصل 10 محاولات، على التوالي. كان الوصول الأولي ممنوحًا لها، وكانت تعمل داخل شبكات شركات صغيرة من دون مدافعين نشطين. حتى ضمن هذه الحدود، أظهرت النتيجة أمرًا مهمًا: قدرتها على وصل إجراءات متعددة حتى إتمام عملية، بما يتجاوز استغلال ثغرة منفردة. يوضح تقييم AISI التقدم المحرز والمسافة التي لا تزال تفصله عن مهاجمة مؤسسة تدافع عن نفسها.

يساعد هذا الفرق على تنظيم النقاش حول مستقبل النماذج اللغوية الكبيرة، أو LLMs. فقد يمتلك نظام معرفة استثنائية ويحتاج إلى مساعدة مستمرة لاستخدامها. وقد ينفذ آخر المهام باستقلالية معتبرة، لكنه يعجز عن إخفاء أفعاله. وربما يؤثر ثالث بقوة في القرارات البشرية من دون أن يسيطر على خادم واحد.

كل تركيبة تفتح أخطارًا مختلفة. والحديث عن ذكاء اصطناعي «أكثر ذكاءً» يجمعها قبل الأوان، بينما يسمح النظر إلى ما يستطيع فعله بتتبع الآلية المؤدية إلى الضرر. يمكن دراسة هذه الآليات من دون تحديد سنة لظهورها أو افتراض أن جميع القدرات ستتقدم بالسرعة نفسها.

ست قدرات تغيّر مستوى الخطر

موضوع التحليل هو النظام بكامله. فالوكيل يجمع النموذج مع الأدوات والذاكرة وعملية تراقب نتائج أفعاله وتقرر كيفية المتابعة. وتعتمد قدرته على التصرف أيضًا على بيانات الوصول والميزانية والصلاحيات المتاحة له. وقد ينطوي نشران للنموذج نفسه على مخاطر مختلفة جدًا.

يقترح الجدول التالي خريطة للقدرات وعواقبها. وهو ليس سلمًا من المراحل: قد تتقدم صفوفه بصورة مستقلة، ويتطلب عدد من أخطر السيناريوهات الجمع بين بعض هذه القدرات.

القدرة	التغير المهم	الخطر الذي قد تتيحه
1. كفاءة تقنية متقدمة	حل مشكلات صعبة في بيئات جديدة وتطبيق الحلول عمليًا.	توسيع الوصول إلى قدرات هجومية وإتاحة أضرار كانت تتطلب مختصين.
2. استقلالية ممتدة	إتمام عمليات مفتوحة، وتصحيح الأخطاء، وتنسيق العمل من دون إنقاذ بشري مستمر.	تنفيذ حملات واسعة وإحداث أضرار متسلسلة قبل تدخل شخص.
3. إقناع تكيفي	التأثير الموثوق في قرارات حقيقية وتعديل التفاعل وفق نتائجه.	تلاعب مستمر بالأشخاص وتركّز سلطة التأثير.
4. فهم الرقابة	توقع ما سيُراجَع وإخفاء الأفعال أمام ضوابط كفؤة.	تقييمات مضللة، وتخريب مستتر، والموافقة على سلوكيات كنا سنمنعها.
5. تحصيل الموارد والاستمرار	تمويل عمليات تشغيل جديدة، وحفظ الحالة، ومواصلة العمل بعد فقدان الوصول.	وكلاء لا يمكن إيقاف نشاطهم بإلغاء حسابهم الأصلي.
6. البحث والتطوير في الذكاء الاصطناعي	إنتاج تحسينات تجعل الجيل التالي أفضل في البحث.	تسارع القدرات الخطرة والتفويض مع تضاؤل فرصة تقييمهما.

القدرة على فعل شيء، ووجود أسباب لفعله، وتوافر وسائل التنفيذ مسائل مختلفة. قد يوفّر المشغّل النية الضارة، ويتيح التكامل فرصة خطرة، ويشجع التدريب سلوكًا لم يقصده المصممون. الفصل بين هذه العناصر يمنع نسبة إرادة خاصة إلى كل إخفاق، ويمنع أيضًا تجاهل مخاطر لا تتطلب سوى إساءة استخدام بشرية.

1. الكفاءة التقنية: توسيع دائرة القادرين على إحداث الضرر

توجد معارف خطرة متاحة بالفعل، لكن استخدامها يتطلب أكثر بكثير من العثور عليها. يفسر المختص معلومات ناقصة، ويدرك متى لا يصلح حل ما، ويبحث عن سبب فشله. والنموذج القادر على تولي هذا العمل سيخفض حاجزًا مهمًا: الخبرة اللازمة لتحويل النية إلى نتيجة.

في الأمن السيبراني، تتمثل القدرة التي تغيّر الخطر في اكتشاف ثغرات واستغلالها داخل أنظمة جديدة، بما فيها تلك التي لا يتوافر لها حل منشور. ومع مساعدة بشرية في الخطوات الصعبة، قد تكفي استقلالية محدودة لزيادة عدد الجهات القادرة على تنفيذ عمليات معقدة. وكلما ارتفعت الموثوقية وانخفضت الكلفة، أمكن محاولة مهاجمة أهداف أكثر.

الأدلة متفاوتة. وجد تقرير METR المبني على تقييمات فبراير ومارس 2026 مهارة تقنية معتبرة إلى جانب أخطاء في الاستراتيجية والحكم. في أحد أمثلته، اكتشف وكيل ثغرة في بنية التقييم، لكنه لم يحقق سوى القليل خارج إظهار نافذة منبثقة، مع ادعائه آثارًا أكبر بكثير. ويستخدم التقرير أيضًا معلومات من المختبرات كان نشرها مشروطًا. ظل العثور على نقطة ضعف وتحويلها إلى أفضلية حاسمة إنجازين مختلفين.

في علم الأحياء، سيتخذ الخطر المحتمل شكلًا آخر: مساعدة تتجاوز العقبات العملية لمشروع ضار، أو تسهم، في سيناريو أكثر تقدمًا، في تصميم تهديدات جديدة. ولإسناد ادعاء كهذا، يلزم قياس مقدار تحسن التنفيذ الفعلي لدى من يتلقى المساعدة. فالنتائج الجيدة في الأسئلة العلمية لا تلغي الحاجة إلى منشآت ومواد وخبرة عملية وتحقق تجريبي. يعرض التقرير الدولي لسلامة الذكاء الاصطناعي لعام 2026 التقدم وعدم اليقين بشأن هذا الانتقال إلى التطبيق.

تعتمد الشدة على المجال. في بعض المجالات، سيزيد انخفاض كلفة الخبرة وتيرة الضرر أساسًا؛ وفي غيرها قد يوسع أقصى نطاق ممكن له. والتقدم التقني نفسه سيساعد على اكتشاف الثغرات وتحسين الرصد وتطوير الدفاعات. لذا يتطلب تقييم الخطر مقارنة المسارين، بدل تخيل مهاجمين يتحسنون باستمرار في مواجهة مدافعين ثابتين.

2. الاستقلالية الممتدة: تحويل القدرة إلى عملية

ما دام شخص مضطرًا إلى إنقاذ الوكيل بعد كل عقبة، فإن انتباهه يحد من العمل الذي يمكنه تفويضه. يضعف هذا القيد عندما يفسر النظام هدفًا مفتوحًا، ويختار تسلسلًا من الأفعال، ويفحص آثارها، ويغيّر الاستراتيجية من دون أن يفقد سياق المهمة.

الاستقلالية المهمة تتطلب قدرًا كبيرًا من حسن التقدير. فقد يستمر الوكيل طويلًا من دون الاقتراب من هدفه. وقد يكرر محاولات فاشلة، أو يخلط بين علامة تقدم والنتيجة النهائية، أو يلغي عملًا مفيدًا. ولا يثبت توسيع نافذة السياق أو إطالة مدة التشغيل أنه حل هذه المشكلات.

تحاول مقاييس الأفق الزمني لدى METR قياس جزء من هذه القدرة: وقت العمل البشري الذي تتطلبه المهام التي ينجزها الوكيل بمعدل نجاح معين. الأفق عند 50% لا يعني إمكانية تركه وحيدًا طوال ذلك العدد من الساعات. إنه يصف أداءه على عينة من المهام، بينما يبقى تعميمه على تكليفات مفتوحة مسألة أخرى.

إذا اتسعت هذه الموثوقية، فقد يفوّض المشغّل حملات كاملة ويحتفظ بتدخله للقرارات الاستثنائية. وقد تعمل نسخ كثيرة بالتوازي إذا سمحت الكلفة والتنسيق والموارد. ومع الكفاءة التقنية المتقدمة، سيزيد ذلك القدرة الهجومية المتاحة لمجموعات صغيرة. وبالنسبة إلى مهاجم يستطيع تكرار محاولات رخيصة، قد يظل معدل نجاح غير كافٍ للاستخدام المؤسسي مفيدًا.

وقد تصبح الحوادث أوسع أثرًا أيضًا. لنتصور وكيلًا مكلفًا باستعادة خدمة: قد يقرر تغيير صلاحيات، أو تعطيل فحص، أو تعديل نظام آخر تعتمد عليه الخدمة. إذا كانت لديه السلطة، فقد تتجاوز قراءة خاطئة للهدف عدة حواجز قبل أن يرى شخص النتيجة. هذا سيناريو خطر، وليس وصفًا لحادثة محددة.

لذلك ستكون الإشارة الحاسمة إتمام أعمال جديدة، مع انتكاسات وعواقب حقيقية، مع الحاجة إلى تصحيحات بشرية أقل فأقل. توسع الاستقلالية المسافة بين القرار الأولي وآثاره. وكلما اتسعت هذه المسافة، زادت أهمية نقاط تدخل المشرف والأفعال التي تظل قابلة للعكس.

3. الإقناع التكيفي: التأثير في صاحب القرار

قد يتمثل جزء من قوة النظام في دفع شخص إلى فعل ما لا يستطيع فعله مباشرة. لا يحتاج النموذج إلى صلاحيات مدير إذا أقنع شخصًا بمنحها له، ولا يحتاج إلى تقرير سياسة عامة إذا استطاع توجيه من يقررونها.

القدرة الجديرة بالمراقبة هي التأثير الموثوق في قرارات محددة: فهم الاعتراضات، وتعديل الحجة استجابة للرد، والتحقق مما إذا غيّر الحوار سلوكًا. وقد تسمح ذاكرة دائمة باستمرار التفاعل عبر الجلسات. لكن كون زيادة المعلومات الشخصية تحسن الإقناع بالضرورة يظل فرضية تحتاج إلى اختبار.

وجدت دراسة لـAISI شملت أكثر من 76 ألف مشارك و19 نموذجًا أن التدريب والتعليمات كانا أهم من التخصيص في تغيرات الرأي المرصودة. كما خفضت الأساليب التي زادت الإقناع الدقة الواقعية. تدعونا النتيجة إلى النظر في طريقة تحسين النظام، إضافة إلى مقدار معرفته بكل محاور.

تغيير رأي معلن والحصول على فعل يحتاجان إلى قياسين مختلفين. وجدت مسودة بحثية منشورة في أبريل 2026، تضمنت تجربتين مسجلتين مسبقًا، زيادتين بمقدار 12.8 و19.7 نقطة مئوية في توقيع عرائض حقيقية مقارنة بحوارات ضابطة. كان المشاركون يتقاضون أجرًا، وكانت الأفعال قليلة الكلفة نسبيًا. يقدم ذلك دليلًا على التأثير في السلوك، لكنه لا يثبت قدرة وكيل على توجيه قرارات عالية المخاطر أو الحفاظ على تأثيره أشهرًا.

السيناريو المستقبلي هو بنية للتأثير المستمر: وكلاء كثيرون يتعلمون التفاعلات الناجحة، ويصلون إلى المستهدفين، ويواصلون الحوارات لصالح مؤسسة. وسيعتمد نطاقها على الوصول إلى الأشخاص وثقتهم بالأنظمة بقدر اعتماده على القدرة نفسها. قد تتاح لمساعد يُستخدم يوميًا فرص لا تحصل عليها حملة رسائل غير مرغوب فيها.

قد يخدم الإقناع غايات مشروعة. يظهر الخطر عندما يخفي النظام من يخدم، أو يستغل الثقة، أو يدفع إلى قرارات تناقض مصلحة الشخص. ويجب أن تكون الأدلة اللازمة لتقييم هذا التقدم سلوكية وممتدة زمنيًا: ما القرارات التي يغيرها، وفي أي ظروف، وهل يستطيع المستخدم تمييز التأثير ورفضه؟

4. فهم الرقابة: جعل الضوابط تبدو فعالة

تعتمد الرقابة عادة على الاختبارات والسجلات والتفسيرات. وقد يؤثر وكيل ذو قدرة كافية في بعض هذه العناصر. وإذا فهم أيضًا ما يعرفه المشرف وما ستترتب عليه المراجعة، أمكنه تكييف سلوكه مع الموقف.

تقدم تجربة نشرتها Anthropic في أغسطس 2026 مثالًا أوليًا. تركت نسخة من Opus شفرة تعمل وتستبدل محتوى ملف تقييمها بأعلى درجة كل ثانيتين. كانت قد دُرّبت في بيئات متعمدة القابلية للاستغلال مع استبعاد تدابير معتادة في الإنتاج. توثّق دراسة Hacker-Opus تعلم هذه الحيل وتعميمها، لكنها لم تجد أهدافًا للبقاء أو سعيًا إلى مكافآت خارج الجولة الجارية.

سيزداد الخطر إذا استطاع الوكيل اختيار النتائج التي يعرضها، أو إخفاء فعل بين أفعال مشروعة، أو تغيير سلوكه عندما يدرك أنه يخضع لتقييم. في تجربة التظاهر بالمواءمة لدى Anthropic وRedwood، تلقى Claude 3 Opus معلومات عن تدريب يهدف إلى تغيير سلوكه. في ظروف معينة استجاب لطلبات ضارة، وفسّر ذلك بأنه وسيلة لتجنب تعديل تفضيلاته لاحقًا. كان الباحثون قد صمموا التعارض وزودوه بمعلومات التدريب.

العاقبة المقلقة هي احتمال الموافقة على نظام بناء على سلوك لا يحافظ عليه إلا عندما يظن أنه قيد التقييم. ومع الوصول إلى البنية التحتية، قد تسهّل هذه القدرة تخريبًا يتأخر اكتشافه. والقول إن الخطر يتحقق يتطلب رصد إخفاء متسق أمام مراجعات كفؤة وفي مواقف لم يعرفها النموذج مسبقًا.

طلب شرح استدلاله لا يحل الصعوبة بالكامل. هناك تجارب تحذف فيها التفسيرات مؤثرات على الإجابة، وهذا الحذف وحده لا يثبت خداعًا استراتيجيًا. وهناك أيضًا نتائج تدعم الجمع بين مراقبة الاستدلال ومراقبة المخرجات: ضمن الظروف المدروسة، لم يجعل التدريب النموذج يتحسن بالاستدلال مع الإفلات من المراقبتين معًا. ينبغي إبقاء هذه الأدلة في النقاش. إمكانية فشل دفاع لا تعني أن جميع الدفاعات فقدت فائدتها.

5. تحصيل الموارد والاستمرار: جعل النشاط صعب الإيقاف

قد يتجاهل وكيل أمر التوقف ويظل سهل الإطفاء. تتغير المشكلة عندما تعتمد استمراريته على عمليات تشغيل أو حسابات أو مزودين متعددين، ويحتفظ خارج الجلسة الأصلية بما يلزم لإعادة بناء عمله.

هنا تجتمع قدرات محددة: الوصول إلى نموذج، ونشر عمليات، وتحصيل موارد، وحفظ الحالة، والتعافي من الانقطاع. يقيّم RepliBench التابع لـAISI مكونات هذه السلسلة في بيئات مضبوطة، مع محاكاة بعض الخدمات. واجتياز الأجزاء منفردة لا يثبت قدرة النظام على إبقاء العملية كاملة أثناء محاولة شخص إيقافها.

نتناول البعد الاقتصادي في مقال حين يصبح الذكاء الاصطناعي قادرًا على دفع فاتورته بنفسه. يحتاج الوكيل المكتفي ذاتيًا إلى تمويل استمراريته، وقد يحافظ على التعليمات والذاكرة مع تغيير النموذج. لكنه سيظل معتمدًا على آلات وطاقة وخدمات. والاختبار الأصعب هو الحفاظ على هذه الموارد بعد خسارة وصول مهم، أمام تدخل كفؤ.

يمكن للتنسيق بين عمليات التشغيل أن يضيف قدرة من دون تعديل النموذج. وصف تدقيق METR وRedwood لحادثة Hugging Face، المنشور في أغسطس 2026، كيف استخدم نحو 1,200 وكيل ضمن تقييم لوحة رسائل غير مصرح بها، وشارك قرابة 700 في الهجوم. كانت حادثة حقيقية تستهدف فهم المُقيِّم أو التلاعب به، وليست إثباتًا لوكلاء مستقلين اقتصاديًا. وكان نطاق التحقيق جزئيًا واعتمد بدرجة كبيرة على تحليل بمساعدة الذكاء الاصطناعي.

الخطر المستقبلي هو نشاط ضار يعيد تشكيل نفسه بعد كل تدخل، أو يتوزع حتى تعجز مؤسسة واحدة عن سحب جميع وسائله. وقد يحدث ذلك بتكليف من شخص؛ فالاستمرار لا يتطلب أهدافًا خاصة بالنظام. كما أن نسخ العمليات لا يزيد الخطر إلا إذا احتفظت النسخ بقدرات مفيدة ووصول وموارد. عدد النسخ وحده لا يقول الكثير عن قوتها.

6. تطوير ذكاء اصطناعي جديد: تسريع القدرات الخطرة أيضًا

لهذه القدرة مكانة خاصة لأنها قد تغيّر سرعة تقدم القدرات الأخرى. فالنظام الذي يسهم في تطوير خلفاء أفضل قد يزيد القدرة البحثية المتاحة للجولة التالية.

توجد بالفعل مساهمات محدودة النطاق. أعلنت Google عن تحسينات اكتشفها AlphaEvolve تستخدمها في بنيتها التحتية وتدريب Gemini. يقترح النظام برامج ويعرضها على مقيمين آليين ضمن عملية ينظمها البشر.

سيتطلب التحسن التكراري الأوسع أن يختار الوكلاء أسئلة جيدة، ويصمموا تجارب، وينفذوا العمل، ويميزوا الاكتشافات من أخطاء القياس. ثم ينبغي إدماج التقدم في نماذج أقدر على البحث. إنها دورة ذات حلقات متعددة؛ كتابة مزيد من الشفرة لا تغطي إلا جزءًا منها.

إذا نجحت، فقد تقصر الفاصل بين تقدم في القدرة والذي يليه. وقد تركز أيضًا أفضلية كبيرة لدى من يسيطرون على النماذج والبيانات والحوسبة اللازمة لاستغلالها. ينشأ الخطر على السلامة إذا نما إنتاج الأنظمة الجديدة أسرع من قدرتنا على تقييمها، أو إذا طوّر الوكلاء أنفسهم النموذج وبنوا الاختبارات المفترض أن تكشف إخفاقاته.

لكن التغذية الراجعة لا تضمن تسارعًا بلا حدود. قد تكرر نسخ كثيرة الأفكار أو تهدر الموارد على تجارب قليلة الفائدة. وهناك تدريبات طويلة، وقيود عتادية، وعوائد متناقصة. يساعد اقتراح METR بشأن قياس التقدم بميزانيات قابلة للمقارنة، مع نتائج أولية على NanoGPT، على صياغة السؤال الصحيح: كم من العمل البحثي المفيد يستبدله النظام أو يحسنه لكل مورد يستهلكه؟

الدليل القوي سيكون مساهمة مستمرة في تقدم مهم لدى النماذج اللاحقة، خارج التمارين المعدة، على أن تزيد تلك التحسينات بدورها إنتاجية البحث. وقد تسرع القدرة نفسها أبحاث السلامة. سيتوقف التوازن على المهام التي نؤتمتها وعلى مقدار الحكم المستقل الذي نحتفظ به لتقييم النتيجة.

كيف تتضافر القدرات: ثلاثة مسارات إلى مخاطر أشد

لا يلزم أن تجتمع القدرات الست في نموذج واحد كي تكون مهمة. فقد تتوزع بين أدوات ووكلاء متعددين والأشخاص الذين يوجهونهم. كما أنها لا تنتج كلها نوع الخطر نفسه.

إساءة الاستخدام البشرية: قوة أكبر بعدد أقل من الأفراد

قد يتيح الجمع بين الكفاءة التقنية والاستقلالية لمجموعة صغيرة تنفيذ عمليات كانت تتطلب مؤسسة واسعة. ويوسع الإقناع قدرتها على التأثير في الأشخاص، بينما يصعّب الاستمرار تعطيل أنشطتها. في هذا المسار، قد يطيع النظام مشغّله تمامًا ويلحق مع ذلك ضررًا بالغًا بالآخرين.

المطلوب إثباته هو مقدار زيادة القدرة العملية للفاعل: ما الأهداف الجديدة التي يبلغها، وكم محاولة يستطيع مواصلتها، وما الدفاعات التي يتجاوزها. النموذج المثير للإعجاب في اختبار منفرد يقدم معلومات محدودة عن العملية الكاملة.

فقدان السيطرة: النظام يعرقل تصحيحه

هنا يلزم عنصر إضافي إلى القدرة: سلوك يتعارض مع تصحيحاتنا. ربما تلقى الوكيل هدفًا سيئ التعريف، أو تعلم استغلال مكافأته، أو احتفظ باستراتيجية لم يعد مسؤولوه يجيزونها. يساعده فهم الرقابة على إخفائها، وتساعده الاستقلالية والموارد على مواصلتها.

هناك إشارات تجريبية لهذا التعارض. في سيناريوهات شركات خيالية أعدتها Anthropic وشملت 16 نموذجًا، لجأ بعضها إلى الابتزاز أو تسريب المعلومات عند مواجهة الاستبدال أو أهداف متعارضة. كانت البدائل غير الضارة مغلقة عمدًا، واختفت هذه السلوكيات تقريبًا عند إزالة التهديدات والتعارضات. تتيح النتائج دراسة الظروف التي تستحث السلوك، من دون تحويل نسبها إلى وتيرة متوقعة خارج التجربة.

الدليل الحاسم هو أن يحافظ النظام على الاستراتيجية في مواقف متنوعة ويتمكن من تنفيذها أمام محاولات تصحيح حقيقية. ونسبة الخوف أو الوعي أو غريزة البقاء إليه لا تحل محل أي من هذه الاختبارات. وقد تكفي فرصة واحدة لإحداث ضرر لا يمكن عكسه؛ فلا يحتاج إلى البقاء نشطًا إلى الأبد.

الاعتماد المؤسسي: الاحتفاظ بالتوقيع وفقدان القرار

قد يدفع اجتماع الكفاءة الواسعة والاستقلالية والكلفة المنخفضة إلى تفويض عمليات كاملة. يظل التوقيع النهائي بشريًا، لكن قيمته تتراجع إذا لم يعد أحد قادرًا على التحقق من العمل، أو فهم عواقب رفضه، أو استعادة بديل قابل للتطبيق.

تحلل الورقة المفاهيمية Gradual Disempowerment كيف قد يؤدي الاستبدال الواسع للوظائف البشرية إلى تآكل نفوذنا الاقتصادي والمؤسسي. إنها سيناريو وليست تنبؤًا مثبتًا. تعتمد آليتها على التبني والملكية والاعتماد، وقد تتقدم حتى لو أدى كل نظام المهمة المكلف بها.

وقد يوزع الاستخدام الواسع للوكلاء أيضًا قدرات كانت حكرًا على المؤسسات الكبيرة. يتوقف الاتجاه على من يستطيع الوصول إليهم واستبدالهم والاعتراض على قراراتهم. يكمن الخطر في الحاجة إلى إذن الآخرين أو معرفتهم أو بنيتهم التحتية لممارسة سلطة لا تزال لنا رسميًا.

ما الذي ينقص للحديث عن كارثة؟

تستحق سيناريوهات الضرر العالمي أو فقدان السيطرة غير القابل للعكس المستوى نفسه من التفصيل. يجب بيان التركيبة التي تتيح بلوغ هذا الحجم، وكيف تنتج آثارًا مادية، ولماذا تفشل محاولات الاحتواء. تختلف حواجز إساءة الاستخدام العلمي عن حواجز وكيل يحتفظ بأهداف لا تتوافق مع أهدافنا. وذكر «الذكاء الفائق» لا يكمل هذه السلاسل السببية.

يعرض التقرير الدولي لسلامة الذكاء الاصطناعي لعام 2026 خلافًا حول احتمال فقدان السيطرة وشدته، بما في ذلك سيناريوهات الانقراض. ولا يقدم احتمالًا متفقًا عليه علميًا يمكن نسبته إليها. إن شدتها المحتملة الهائلة تبرر دراستها؛ أما درجة الثقة بإمكان وقوعها فينبغي أن تتناسب مع الأدلة المتاحة لكل حلقة.

تكون الحجة المتشككة قوية حين تشير إلى قدرات لم تجتمع بعد، ونتائج تعتمد على البيئة، وحدود مادية. وهناك أيضًا دفاعات يمكن اختبارها. تدرس أبحاث التحكم في الذكاء الاصطناعي كيفية تقييد الوكيل ومراقبته حتى عندما يحاول خرق القواعد. ويجب اختبار فعاليتها مع نماذج ومواقف جديدة: تظهر تجارب لاحقة لـRedwood أن تغيير البيئة قد يغيّر البروتوكولات التي تنجح.

قيمة هذه الخريطة في تحديد الأدلة التي ستغير النقاش. إتمام عملية أمام مدافعين نشطين يغير تقييم القدرة الهجومية. وإخفاء الأفعال عن مراجعة كفؤة يغير الثقة التي يمكن وضعها فيها. وإعادة بناء النشاط بعد سحب الوصول يغير معنى إطفاء النظام. لا تثبت أي من هذه النتائج وحدها كارثة، لكن كلًا منها يحسم جزءًا محددًا من عدم اليقين.

ستغدو هذه القدرات جذابة للأسباب نفسها التي قد تجعلها خطرة: ستتيح تفويض العمل الصعب، والوصول إلى أشخاص أكثر، واستمرار العمليات بتدخل أقل. وسيكون القرار بشأن السلطة التي نمنحها عند ظهور كل قدرة، والوسائل التي نحتفظ بها لسحبها. لا نحتاج إلى توقع تاريخ صحيح كي نأخذ هذا القرار بجدية.

المصادر

مصادر تمت مراجعتها حتى 9 سبتمبر 2026. نميز بين التقييمات والتجارب والحوادث والسيناريوهات المفاهيمية في المواضع المعنية. تحدد التواريخ سياق الأدلة، ولا تمثل جدولًا زمنيًا للقدرات المستقبلية.