Microsoft’s Satya Nadella says AI models need an ‘emergency brake’

ساتیا نادلا، مدیرعامل مایکروسافت، می‌گوید مدل‌های هوش مصنوعی به «رمز اضطراری» نیاز دارند

مدیرعامل مایکروسافت در مطلبی در صبح شنبه نوشت که زمان آن رسیده است «تا عقب‌نشینی کنیم و معماری اعتماد» هوش مصنوعی را ارزیابی نماییم.
Satya Nadella at Microsoft Ignite 2023
Image Credits: Dan DeLong

ساتیا نادلا، مدیرعامل مایکروسافت، آخرین مدیر ارشد فناوری است که نظرات مفصلی درباره چگونگی بهبود ایمنی هوش مصنوعی ارائه می‌دهد.

نادلا در مطلبی در صبح شنبه در شبکه اجتماعی X نوشت که زمان آن رسیده است «تا عقب‌نشینی کنیم و معماری اعتماد» هوش مصنوعی را ارزیابی نماییم.

نادلا با استفاده از اصطلاح ترجیحی دولت ترامپ برای هوش مصنوعی، نوشت: «ما نمی‌توانیم با ابرهوش مانند مجموعه‌ای از جعبه‌های سیاه تو در تو برخورد کنیم و صرفاً توصیه‌ها، پاسخ‌ها و اقدامات آن را بپذیریم یا رد کنیم.»

همان‌طور که نادلا تشریح کرد، این رویکرد «به معنای جدا کردن مدل از ابزاری است که کارهای آن را هماهنگ می‌کند» و همچنین «برون‌سپاری کنترل‌ها و safeguards (ملاحظات ایمنی)» است. او همچنین خواستار آن شد که «هر اقدام معنادار مدل» با «شواهد غیرقابل دستکاری و قابل خواندن توسط انسان» مستند شود و سیستمی ایجاد شود که در آن «یک فرد مجاز» همیشه توانایی «متوقف کردن یا خاموش کردن مدل در میانه‌ کار» را داشته باشد.

او گفت: «ما باید فرض کنیم که یک مدل دچار نقص یا نفوذ شده و ازهمان ابتدا آن را مهار کنیم. به آن مانند یک ترمز اضطراری فکر کنید.»

اظهارات نادلا در حالی مطرح می‌شود که شرکت‌های پیشرو هوش مصنوعی بیش از پیش به حوادثی اذعان می‌کنند که در آن‌ها به نظر می‌رسید کنترل مدل‌های خود را از دست داده‌اند، و پس از آن منتشر شد که داریو آمودی، مدیرعامل آنتروپیک، برنامه‌ای را برای توسعه محتاطانه‌تر هوش مصنوعی منتشر کرد.

نظر مهندس بهمن آبادی: به عنوان یک توسعه‌دهنده، هشدارهای نادلا را زنگ خطری جدی برای بازنگری در معماری سیستم‌های خودمختار می‌دانم؛ وابستگی صرف به خروجی جعبه‌های سیاه خطرناک است و باید لایه‌های کنترل انسانی، مانیتورینگ دقیق و مکانیزم‌های «Fail-Safe» غیرقابل دورزدن را از همین امروز در زیرساخت کدنویسی خود پیاده‌سازی کنیم.

منبع: https://techcrunch.com/2026/10/10/microsofts-satya-nadella-says-ai-models-need-an-emergency-brake/