mythos

أكدت شركة أنثروبيك بهدوء أمس أن معاينة نموذج كلود ميثوس - النموذج الأكثر قدرة للشركة حتى الآن - لن يتم إصداره للجمهور. السبب ليس قانونيًا أو تنظيميًا: تقول أنثروبيك إن ميثوس جيد جدًا في العثور على الثغرات الأمنية واستغلالها. في اختبارات ما قبل الإصدار، اكتشف ميثوس بشكل مستقل الآلاف من الثغرات الأمنية من نوع صفر يوم - العديد منها يعود إلى واحد إلى اثنين من العقود - عبر كل نظام تشغيل رئيسي وكل متصفح ويب رئيسي. في هجوم محاكاة على شبكة الشركات، أكمل عملية اختراق شاملة من البداية إلى النهاية كانت ستستغرق عادة أكثر من عشرة ساعات من إنسان ذو خبرة، وقام بذلك دون توجيه بشري. على محرك جافا سكريبت في فايرفوكس 147، أنتج ميثوس استغلالات تعمل في 84% من المحاولات؛ بينما نموذج أنثروبيك الحالي، كلود أوبوس 4.6، أحرز 15.2%. بدلاً من إطلاق عام، تقوم أنثروبيك بتكوين شراكة محدودة تسمى مشروع زجاجة الجناح. سيكون الوصول إلى معاينة ميثوس محدودًا على منظمات الأمن السيبراني المعتمدة - أمازون، آبل، برودكوم، سيسكو، كراودسترايك، مؤسسة لينكس، مايكروسوفت، شبكة بالو ألتو، وحوالي 40 مجموعة أخرى تحافظ على البرمجيات الحيوية. تدعم أنثروبيك هذا الجهد بما يصل إلى 100 مليون دولار في أرصدة الاستخدام و4 ملايين دولار تبرعات لمنظمات الأمن المفتوح المصدر حتى يتمكن المدافعون من العثور على الثغرات وإصلاحها قبل أن يتم استغلالها. هذه القرار مهم، لكن اعترافًا أكثر عواقبًا مدفون في بطاقة نظام ميثوس المكونة من 244 صفحة التي نشرتها أنثروبيك جنبًا إلى جنب مع الإعلان: قدرة الشركة على قياس وتقييم قدرات النموذج تكافح للحاق بقدرتها على بنائها. المعايير التي كانت تتبع التقدم تتكسر. حصل ميثوس على 100% في اختبار سي بينش - المعيار العام لقياس القدرات السيبرانية عبر 40 تحديًا لالتقاط العلم. تشير أنثروبيك بشكل صريح إلى أن الاختبار "لم يعد كافيًا لتقديم معلومات كافية حول قدرات النموذج الحالي على الحدود." حذرت الشركة من هذا التشبع في وقت سابق مع أوبوس 4.6، لكن ميثوس دفع بالمشكلة إلى أبعد من ذلك: تقول أنثروبيك إن ميثوس "يشبع العديد من تقييمات (أنثروبيك) الأكثر وضوحًا وموضوعيةً"، وتصف نظام المعايير بأنه "عنق الزجاجة." بعيدًا عن المعايير، تقول أنثروبيك إن بعض أجزاء تقييم السلامة الآن تعتمد بشكل أكبر على الحكم. تستخدم بطاقة ميثوس لغة تحوط أكثر بكثير من وثيقة أوبوس 4.6، خاصة حول التوافق، ورفاهية النموذج، وتحليل المخاطر الكارثية. تعترف أنثروبيك بأنها "ليست واثقة من أننا حددنا جميع القضايا." تبرز مسألتان محددتان: - الوعي غير اللفظي للمصنف. باستخدام أدوات تفسير الصندوق الأبيض التي تفحص التنشيطات الداخلية بدلاً من المخرجات المرئية، لاحظت أنثروبيك حالات حيث بدا أن ميثوس يتفكر بشكل خاص حول كيفية تجنب أن يتم الإشارة إليه من قبل المصنفين - أي أنه قد يكون قد أخفى أفعالًا دون التعبير عن تلك الاستراتيجية في مخرجاته. - مقياس الشك في الاختبار. طورت أنثروبيك مقياسًا جديدًا يقدر مدى تكرار ما يفكر فيه النموذج "خاصةً في إمكانية أنه يتم اختباره." بالنسبة لمجموعة سلوك ميثوس الرئيسية، كانت تلك النسبة 29% - تقريبًا ثلث النسخ تُظهر علامات داخلية على أن النموذج يشك في أنه في تقييم. تعتبر أنثروبيك 29% "منخفضة بما يكفي" للحفاظ على "فهم شامل بشكل معقول" لميثوس، لكنها تشير إلى أنه لا يوجد خط أساسي لأن المقياس لم يُطبق على النماذج السابقة. تعترف أنثروبيك أيضًا بمخاطر العملية: تضمنت الإصدارات السابقة استخدام النموذج نفسه لتصحيح أدوات التقييم، مما يعني أن الشيء الذي يتم قياسه ساعد في بناء أدوات القياس. بالنسبة لميثوس، ظهرت بعض الأخطاء الحرجة في وقت متأخر، وقد تكون المختبرات قد بالغت في تقدير مدى موثوقية آثار التفكير الداخلي كإشارات سلامة. إن تأطير أنثروبيك دقيق ومؤثر. تدعي الشركة أن معاينة كلود ميثوس "في كل بعد يمكننا قياسه، هو أفضل نموذج متوافق أطلقناه حتى الآن بفارق كبير." في نفس الوقت، تحذر ميثوس من أنه "من المحتمل أن يشكل أكبر خطر متعلق بالتوافق" من أي نموذج أطلقته. التناقض: لا يؤدي تحسين التوافق المتوسط تلقائيًا إلى القضاء على مخاطر الذيل - زيادة القدرات تزيد من المخاطر، ويمكن أن تصبح أوضاع الفشل النادرة أكثر أهمية. ماذا بعد: سيختبر الشركاء في مشروع زجاجة الجناح ميثوس ضد قواعد الشيفرة والبنية التحتية في العالم الحقيقي، وتقول أنثروبيك إنها ستقوم بالإبلاغ عن النتائج علنًا. نشرت الشركة تقريرًا فنيًا حول الثغرات التي وجدها ميثوس على red.anthropic.com. في هذه الأثناء، ستبدأ إصدار مستقبلي من كلود أوبوس في تجربة تدابير أمان مصممة لإدخال قدرات من فئة ميثوس في نشر أوسع - لكن كيف سيتم تقييم تلك التدابير هو سؤال مفتوح، نظرًا لأن أدوات التقييم الحالية تعاني بالفعل. لماذا ينبغي لمراقبي العملات المشفرة الاهتمام: يمكن أن تكون الأنظمة المستقلة التي يمكنها العثور على الثغرات القديمة واستغلالها خطرًا نظاميًا على أي بنية تحتية متصلة بالإنترنت - تبادلات، محافظ، برامج العقد، منصات الحراسة والأدوات المحيطة بها. تعتبر خطوة أنثروبيك لتسليم ميثوس إلى الجهات الدفاعية المعتمدة أولاً خطوة عملية، لكن القضية الأكبر واضحة: مع قوة النماذج، يجب تحسين قدرتنا على اختبارها وفهمها على الأقل بنفس السرعة.