OPenAI تقيس قراءة الوكلاء لبيانات المختبر وGPT Astra-6 يحرز 66.7%

أبرز النقاط

1. أوبن إيه آي تطلق معيار BioBasicsBench بـ100 مهمة من تجارب مختبرية حقيقية بالتعاون مع شركة ليغو لتصميم الإنزيمات.
2. GPT-6 Astra يحرز 66.7% من الرصيد المتاح مقابل 43.8% لـGPT-5.6 Sol، من 18,500 نتيجة مقيّمة على 100 مهمة.
3. أوبن إيه آي تقول إن النتائج الأعلى لا تعني بعد حكماً مختبرياً موثوقاً، وتربط تطور القدرة بتقييم تبعات السلامة الحيوية.

خبر:

يحرز GPT-6 Astra نسبة 66.7% من الرصيد المتاح على معيار جديد يختبر قدرة وكلاء الذكاء الاصطناعي على قراءة البيانات الخام لتجارب المختبر الرطب، مقابل 43.8% لـGPT-5.6 Sol. المعيار، واسمه BioBasicsBench، أعلنته أوبن إيه آي في 6 نوفمبر بالتعاون مع شركة ليغو المتخصصة في تصميم الإنزيمات، ويضم 100 مهمة مأخوذة من تجارب حقيقية لا من رسوم الأوراق العلمية المنقّحة.

تفصيل:

• فكرة المعيار: تقول أوبن إيه آي إن الرسوم والصور المستخرجة من الأوراق العلمية تغفل فوضى العمل اليومي في المختبر، وإن “العمل المختبري اليومي يتضمن أيضاً تجارب فاشلة وصوراً ملتبسة وملاحظات متضاربة واستكشافاً للأعطال”. لذلك بُنيت المهام من بيانات خام يواجهها الباحث على طاولته لا من نتائج جاهزة منقّحة للنشر.
• المجالات والمدخلات: تغطي المهام طرق البروتين، والتصوير وقياس التدفق الخلوي، والقياس الكمي والمقايسات، وطرق الأحماض النووية، والاستنساخ الجزيئي. وتشمل المدخلات صور الجل واللطخات، وأطباق المستعمرات، ورزم المجهر، وقراءات التسلسل، وملفات قارئ الأطباق، وصور الطاولة، ومقاطع البروتوكولات، إضافة إلى مراجع مثل مخططات السلالم وخرائط البلازميد.
• طريقة التقييم: يعيد الوكيل استنتاجاً أو قياساً أو توصية في صيغة منظمة، وتمنح قواعد التصحيح رصيداً للنتيجة الرقمية وللتعليل المساند وللاعتراف بأن الأدلة غير كافية. وتُحسب النتيجة متوسط مكافأة، أي متوسط درجة المهمة نسبةً إلى الرصيد المتاح، على 37 إعداداً لنماذج ومستويات تفكير مختلفة وخمس محاولات لكل مهمة، بمجموع 18,500 نتيجة.
• بناء المهام: كتب علماء المهام من تجاربهم الخاصة ووضعوا قواعد تصحيحها. ومرّت كل مهمة بثلاث مراجعات: مراجعة داخلية من عالم في ليغو لم يكتبها، ومراجعة خارجية من عالم مختبر رطب بدرجة الدكتوراه، ثم مراجعة داخلية أخيرة. وحُسبت فترات الثقة بإعادة أخذ عينات من المهام كاملة مع إبقاء محاولاتها الخمس معاً.
• الأرقام: سجّل GPT-6 Astra نسبة 66.7% بفترة ثقة 95% بين 60.3% و73.1% بمتوسط 4,704 رموز خرج لكل مهمة، فيما سجّل GPT-5.6 Sol نسبة 43.8% بفترة بين 37.6% و50.0% بمتوسط 9,099 رمزاً. وجرى التقييم عند أعلى مستوى تفكير لسبعة نماذج كلها من أوبن إيه آي، ولا تضم المقارنة المنشورة نماذج منافسة.
• ما تحسّن: في تصوير الخلايا نبّه Astra إلى أن تداخل نوافذ الكشف قد يسمح بتداخل صبغة ثانية وطلب فصل العينات الضابطة، بينما صنّف Sol الخلايا ميتة من إشارة الصبغة وحدها. وفي الاستنساخ لاحظ Astra أن طبق الضبط السلبي موسوم بالكاناميسين لا بالأمبيسيلين المستخدم فرفضه ضابطاً، وتعرّف على رزمة مقاطع مجهرية حيث بحث Sol عن تفسير بيولوجي.
• ما أخفق: في تفاعل البوليميراز للمستعمرات اختار Astra المسارات 4 و6 و7 و8 على افتراض أن الناتج الأكبر يعني نجاح الاستنساخ، بينما اختار المرجع 5 و9 و10. وعمّم أن الفجوات أغمق من محيطها رغم دليل مخالف في الصورة نفسها، وأفرط في عدّ المستعمرات بنحو 12% لعجزه عن فصل المتجاورة وتجاهله مستعمرات ظاهرة ووسمه آغاراً فارغاً.
• تحذير الشركة: تؤكد أوبن إيه آي أن النتائج الأعلى لا ترقى بعد إلى حكم مختبري موثوق، وتقول إنها ستستخدم تطوّر هذه القدرات في تقييم تبعاتها على السلامة الحيوية والأمن الحيوي. ولم تحدد الشركة في إعلانها ما إذا كان المعيار سيُتاح مفتوح المصدر للباحثين خارجها.