AI hallucination of Chinese nuclear components almost led to US military attack

توهم هوش مصنوعی در خصوص قطعات هسته‌ای چین تقریباً به یک حمله نظامی از سوی ایالات متحده منجر شد

اما به نظر می‌رسد استفاده کلی ارتش از هوش مصنوعی در حال شتاب گرفتن است.

بر اساس گزارشی از CNN، ایالات متحده بر اساس یک گزارش اطلاعاتی «کاملاً نادرست» که با کمک ابزارهای هوش مصنوعی تولید شده بود، در آستانه بازرسی و توقیف یک کشتی چینی قرار داشت که به طور خطرناکی از آن جلوگیری شد.

به گفته «چهار منبع مطلع از این ماجرا» که CNN به آن‌ها استناد کرده است، این اطلاعات نادرست که توسط یکی از تحلیلگران فرماندهی عملیات ویژه ایالات متحده ارائه شده بود، ادعا می‌کرد که این کشتی چینی در حال انتقال قطعات برنامه تسلیحات هسته‌ای از طریق خاورمیانه است. ارتش ایالات متحده پیش از اینکه مقامات متوجه شوند چت‌بات مورد استفاده در تهیه این گزارش «ماده‌ای را که کشتی حمل می‌کرد به اشتباه شناسایی کرده است»، در حال آماده شدن برای رهگیری و ورود به عرشه کشتی با پشتیبانی هوایی بود.

یک منبع به CNN گفت که این افتضاح مبتنی بر هوش مصنوعی «تقریباً جنگی را به راه انداخته بود».

بدترین اتفاقی که ممکن است رخ دهد چیست؟

بر اساس گزارش CNN، تحلیلگر مورد نظر از یک چت‌بات برای تحلیل گزارش‌های اطلاعاتی مربوط به مانیفست کشتی چینی استفاده کرده بود که به این نتیجه نزدیک به فاجعه منجو شد. به گفته CNN، آن چت‌بات «اطلاعات منبع‌باز را با اطلاعات سیگنال‌های محرمانه موجود در نهادهای دولتی ترکیب کرده بود» و این اطلاعات در قالب یک گزارش اطلاعاتی بسته‌بندی شد که تقریباً زنجیره‌ای از حوادث فاجعه‌بار را به راه انداخته بود.

این حادثه نزدیک به فاجعه، یکی از بارزترین و پیامددارترین نمونه‌های توهم هوش مصنوعی است که اعتبار یک گزارش حرفه‌ای را زیر سوال می‌برد. از زمانی که «توهم زدن» به عنوان واژه سال ۲۰۲۳ در فرهنگ لغت کمبریج انتخاب شد، ما شاهد نمونه‌های برجسته‌ای از نویسندگان آثار غیرداستانی، روزنامه‌نگاران، پژوهشگران دانشگاهی، قضات، پزشکان، بخش‌های پلیس، مرکز تماس شرکت‌ها و افراد دیگری بوده‌ایم که فریب ابزارهای هوش مصنوعی را خورده‌اند که وقتی داده‌های آموزشی آن‌ها زمینه کافی را فراهم نمی‌کند، به سادگی از خودشان مطلبی را می‌سازند. و با وجود برخی تلاش‌های ستودنی برای استفاده از دستورات «توهم نزن»، برخی پژوهشگران پیشنهاد می‌کنند که ممکن است جلوگیری کامل از توهم زدن مدل‌های زبانی بزرگ (LLM) غیرممکن باشد.

انسان انتظار دارد که ارتش ایالات متحده هنگام تکیه بر هوش مصنوعی برای تحلیل گزارش‌های اطلاعاتی، از چنین مشکلاتی آگاه باشد. اما وزارت دفاع در ماه ژانویه «استراتژی شتاب‌دهی هوش مصنوعی» را معرفی کرد که به دنبال آن بود تا «تمام داده‌های مناسب را در سراسر سیستم‌های فناوری اطلاعات فدرال برای بهره‌برداری هوش مصنوعی، از جمله سیستم‌های مأموریت در هر سرویس و مؤلفه‌ای، در دسترس قرار دهد».

پیت هگستث، وزیر دفاع، هنگام رونمایی از این ابتکار گفت: «هوش مصنوعی تنها به خوبی داده‌هایی است که دریافت می‌کند، و ما مطمئن خواهیم شد که این داده‌ها فراهم شوند.»

دسامبر گذشته، وزارت دفاع اعلام کرد که از نسخه Gemini برای دولت گوگل به عنوان پایه و اساس پلتفرم سفارشی خود یعنی «GenAI.mil» استفاده خواهد کرد. ماه گذشته، این وزارتخانه Grok برای دولت را به عنوان یک گزینه به این پلتفرم اضافه کرد. شرکت Anthropic نیز نسخه سفارشی‌شده‌ای از Claude را برای کارهای جاسوسی ایالات متحده ارائه می‌دهد.

در ماه ژوئن، یک نماینده پنتاگون به کنگره بالید که آن‌ها از هوش مصنوعی مولد برای کمک به نوشتن گزارش‌های الزامی کنگره استفاده می‌کنند و ۱.۵ میلیون پرسنل فعال وزارت دفاع از ابزارهای هوش مصنوعی مولد ارتش استفاده کرده‌اند.

در سال ۲۰۲۳، «بیانیه وزارت امور خارجه در مورد استفاده مسئولانه نظامی از هوش مصنوعی و خودمختاری» تأکید کرد که استفاده «اصولی» از هوش مصنوعی توسط نیروهای مسلح «باید شامل بررسی دقیق خطرات و مزایا باشد و همچنین باید تعصبات و حوادث ناخواسته را به حداقل برساند.» این گزارش همچنین اصرار داشت که استفاده «پاسخگو» از سیستم‌های هوش مصنوعی باید همیشه شامل «یک انسان در حلقه، یک زنجیره فرماندهی و کنترل انسانی مسئول» باشد.

با این حال، در سال‌های پس از آن، ما شاهد بوده‌ایم که پهپادهای تهاجمی کاملاً خودکار در درگیری روسیه در اوکراین مورد استفاده قرار گرفتند و توسط پیمانکاران نظامی تحت حمایت ناتو آزمایش شدند. در ماه مارس، وزارت دفاع شرکت Anthropic را به دلیل مخالفت این شرکت با استفاده از مدل‌هایش در سیستم‌های تسلیحاتی خودکار در فهرست سیاه قرار داد؛ اقدامی که یک قاضی فدرال ماه گذشته گفت «یک تلافی غیرقانونی و نقض ممیزی متمم اول قانون اساسی است».

این حادثه نزدیک به فاجعه در حالی رخ می‌دهد که هشدارهای سطح انقراض از سوی محققان هوش مصنوعی منجر به یک گفتگوی ملی برجسته جدید در مورد ایمنی هوش مصنوعی شده است، از جمله درخواست‌ها برای تنظیم‌گری (رگولاتوری) و «تنظیم سرعت» پژوهش‌های هماهنگ از سوی آزمایشگاه‌های پیشرو هوش مصنوعی.

نظر مهندس بهمن آبادی: این حادثه نشان می‌دهد که اتکا به مدل‌های زبانی در حوزه‌های حساس نظامی، فراتر از خطای فنی، یک ریسک راهبردی امنیتی است. به عنوان مدرس، همیشه تأکید می‌کنم که توهم (Hallucination) در LLMها یک باگ موقتی نیست، بلکه ذاتیِ معماری آن‌هاست؛ بنابراین، مفهوم «انسان در حلقه» (Human-in-the-loop) نباید تنها یک شعار فرمایشی باشد، بلکه باید به عنوان یک پروتکل سخت‌گیرانه برای راستی‌آزمایی خروجی‌ها پیاده‌سازی شود تا از بروز فجایع غیرقابل‌برگشت جلوگیری گردد.

منبع: https://arstechnica.com/ai/2026/09/report-us-almost-boarded-chinese-ship-over-hallucinated-ai-arms-report