تصمیم‌گیری نظامی با هوش مصنوعی غیرقابل توضیح
این منبع که مقاله‌ای از وبسایت «War on the Rocks» است و توسط اندرو هیل و داستین بلر نوشته شده، به چالش استفاده نظامی از هوش مصنوعی (AI) پیشرفته می‌پردازد.
این مقاله با عنوان «غیب‌گویان بیگانه: تصمیم‌گیری نظامی با هوش مصنوعی غیرقابل توضیح» استدلال میکند که سیستم‌های هوش مصنوعی استراتژی‌هایی بسیار خلاقانه و مؤثر ارائه خواهند داد که ممکن است برای فرماندهان انسانی کاملاً غیرقابل درک و غیرمنطقی به نظر برسند.
نویسندگان با استفاده از تشابهی تاریخی از جنگ داخلی آمریکا، توضیح می‌دهند که چرا قابلیت‌های بالای هوش مصنوعی در درک الگو و یادگیری مستقل، به طور معکوس با قابلیت درک انسان نسبت دارد.
در نهایت، این منبع یک راه‌حل پیشنهاد میکند: به جای تلاش برای توضیح عملکرد هوش مصنوعی، ارتش باید با استفاده از مکانیسم‌های «کالیبراسیون از طریق اجماع» و «کالیبراسیون از طریق اختلاف نظر» که در آن چندین عامل هوش مصنوعی به طور مستقل نتایج خود را تأیید می‌کنند، اعتماد موجهی به توصیه‌های ماشین ایجاد کند.
تصمیم‌گیری نظامی با هوش مصنوعی غیرقابل توضیح
این سؤالی کلیدی است که با ظهور سیستم‌های پیشرفته هوش مصنوعی (AI) در فرماندهی نظامی مطرح می‌شود و منبع به آن اشاره میکند .
این وضعیت یک معضل فرماندهی-هوش مصنوعی (AI-command dilemma) ایجاد میکند: چگونه رهبران نظامی می‌توانند به این «پیشگویان بیگانه» (alien oracles) اعتماد توجیه‌شده (justified trust) داشته باشند، در حالی که منطق آن‌ها به طور کامل قابل درک نیست؟ .
در پاسخ به این چالش، منابع راهکاری را پیشنهاد می‌کنند که بر کالیبراسیون و تأیید خروجی‌ها تمرکز دارد، نه بر قابل توضیح بودن (explainability) فرایندهای درونی هوش مصنوعی.
در اینجا نحوه دستیابی رهبران نظامی به اعتماد به استراتژی‌های هوش مصنوعی غیرقابل درک آمده است:
۱. پذیرش محدودیت‌های توضیح‌پذیری
باید پذیرفت که سیستم‌های هوش مصنوعی پیشرفته (AI) به دلیل قابلیت‌های استراتژیک بالا و رابطه معکوس بین خلاقیت و درک‌پذیری، راهبردهایی را پیشنهاد می‌کنند که منطق آن‌ها برای فرماندهان انسانی بیگانه، غیرمتعارف و دشوار است.
- خلاقیت هوش مصنوعی در برابر شهود انسانی: مکانیسم‌هایی که نتایج استراتژیک واقعاً نوآورانه و برتر را ممکن می‌سازند، اغلب باعث می‌شوند که آن راه‌حل‌ها برای درک انسانی مبهم باشند [۸]. فرماندهان ممکن است راه‌حل‌های بهینه هوش مصنوعی را که بر اساس اکتشافی‌های فراانسانی (trans-human heuristics) کار می‌کنند و نه بر اصول آشنا، به سختی درک کنند یا به آن‌ها اعتماد کنند.
- محدودیت‌های عملی توضیحات: حتی چارچوب‌های توضیح‌پذیر هوش مصنوعی (Explainable AI) نیز با این محدودیت عملی مواجه هستند که ارائه یک توضیح کاملاً قابل درک برای انسان‌ها در زمان واقعی تصمیم‌گیری، غیرممکن است.
- در زمان جنگ، فشار زمانی شدید، تجزیه و تحلیل کامل برای رمزگشایی یا تأیید توضیحات پیچیده هوش مصنوعی را به یک هدف غیرواقعی تبدیل میکند.
۲. ایجاد اعتماد توجیه‌شده از طریق مکانیسم‌های کالیبراسیون
چالش اصلی این است که در نبردهای آینده که سرعت بالایی دارند، نظارت انسانی در حلقه (human-on-the-loop oversight) نمی‌تواند با سرعت وقایع هماهنگ شود؛ بنابراین، باید اعتماد را از طریق روش‌های تأیید سریع و ماشینی ایجاد کرد.
این رویکرد، اصول نظامی آزمایش‌شده‌ای مانند تأیید مستقل داده‌های شلیک توپخانه را اقتباس میکند. اعتماد توجیه‌شده نه با توضیح تصمیمات، بلکه با تأیید خروجی‌های سازگار از هوش مصنوعی‌های متعدد و توسعه‌یافته مستقل تولید می‌شود.
پیشنهاد می‌شود که نظارت انسانی با دو دروازه با سرعت ماشین محدود شود تا تنها خروجی‌هایی که از بررسی‌های متقابل مستقل جان سالم به در می‌برند، به فرمانده برسند :
الف) کالیبراسیون از طریق اجماع (Calibration by Consensus)
این رویکرد از چندین عامل هوش مصنوعی مستقل (که ممکن است الگوریتم‌ها یا داده‌های آموزشی متفاوتی داشته باشند) برای تجزیه و تحلیل یک مسئله یکسان استفاده میکند.
- درست همانطور که مأموریت‌های توپخانه تنها زمانی ادامه می‌یابند که راه‌حل‌های شلیک مستقل محاسبه‌شده در محدوده تحمل مطابقت داشته باشند، یک راه‌حل هوش مصنوعی زمانی اعتماد توجیه‌شده کسب میکند که عوامل هوش مصنوعی متنوع بر خروجی‌های همخوان منطبق شوند.
ب) کالیبراسیون از طریق عدم توافق (Calibration by Disagreement)
این مکانیسم فرایند تنظیم آتش توپخانه را منعکس میکند، جایی که انتظار می‌رود شلیک‌های اولیه به هدف نخورند و انحراف آن‌ها اطلاعات ضروری را برای اصلاح فراهم میکند .
- تشخیص انحراف: هنگامی که چندین عامل هوش مصنوعی توصیه‌های متضادی ایجاد می‌کنند، خود عدم توافق به عنوان یک سیگنال تشخیصی عمل میکند.
- مزیت: این انحراف، سوگیری‌های پنهان، ناهنجاری‌های داده‌ها یا رفتارهای غیرقابل پیش‌بینی مدل را آشکار می‌سازد که نیاز به بررسی دقیق انسانی دارند.
- نتیجه: اعتماد نه از طریق فرض شفافیت در «ذهن» هوش مصنوعی، بلکه از طریق فرآیند قابل مشاهده و قابل تأیید همگرایی (convergence) به دست می‌آید، جایی که انحراف به طور عمدی آشکار، بازجویی و برای اصلاح مسیر قبل از اجرای تصمیمات استفاده می‌شود.
۳. تکیه بر نتایج و تجربه
در نهایت، مانند کمپین جسورانه گرانت (Grant) در ویکسبرگ (Vicksburg) که برای ژنرال شرمن (Sherman) بی‌پروا به نظر می‌رسید، اعتماد از طریق نتایج به دست می‌آید.
استراتژی‌های تأثیرگذار هوش مصنوعی اغلب منطق انسانی را به چالش می‌کشند. کلید پرورش اعتماد توجیه‌شده در این «پیشگویان مبهم» کالیبراسیون دقیق و اعتمادی است که بر اساس تجربه ایجاد شده است، نه توضیح‌پذیری.
برای کسب مزیت قاطع در فضاهای نبرد پیچیده آینده، ارتش ایالات متحده باید روش‌های کالیبراسیونی را توسعه دهد که فرماندهان را قادر سازد تا با اطمینان و سرعت نقشه‌های تولید شده توسط هوش مصنوعی را اجرا کنند، حتی اگر نبوغ زیربنایی آن‌ها یک راز باقی بماند.
روش‌های کالیبراسیون پیشنهادی برای مدیریت ریسک هوش مصنوعی در تصمیم‌گیری نظامی چیست؟
تمرکز اصلی برای مدیریت ریسک‌های مرتبط با هوش مصنوعی غیرقابل درک (Unexplainable AI) در تصمیم‌گیری نظامی، بر توسعه مکانیسم‌های نظارتی است که به جای تلاش برای توضیح تصمیمات هوش مصنوعی، بر تأیید خروجی‌های سازگار از چندین سیستم هوش مصنوعی مستقل متکی باشند. این رویکرد، اصول نظامی آزموده‌شده برای مدیریت سیستم‌های پیچیده و پرخطر (مانند تأیید مستقل داده‌های شلیک توپخانه) را تطبیق می‌دهد.
در منابع، دو دروازه با سرعت ماشین برای محدود کردن نظارت انسانی پیشنهاد شده‌اند که به آن‌ها «روش‌های کالیبراسیون» گفته می‌شود:
۱. کالیبراسیون از طریق اجماع (Calibration by Consensus)
این روش که نمونه‌ای از یادگیری گروهی (ensemble learning) است، از چندین عامل هوش مصنوعی مستقل برای تجزیه و تحلیل یک مسئله مشترک استفاده میکند [۱۵]. این عوامل ممکن است دارای الگوریتم‌ها یا داده‌های آموزشی متفاوتی باشند.
- مکانیسم اعتماد: اعتماد توجیه‌شده در یک راه‌حل هوش مصنوعی زمانی حاصل می‌شود که عوامل هوش مصنوعی متنوع بر خروجی‌های همخوان و منطبق همگرا شوند.
- تشبیه نظامی: این روش مشابه آن است که مأموریت‌های توپخانه تنها زمانی ادامه می‌یابند که راه‌حل‌های شلیک مستقل محاسبه‌شده در محدوده تحمل مورد انتظار با یکدیگر مطابقت داشته باشند.
۲. کالیبراسیون از طریق عدم توافق (Calibration by Disagreement)
این روش مکانیسم تنظیم آتش توپخانه را منعکس میکند. در فرایند تنظیم آتش، انتظار می‌رود شلیک‌های اولیه خطا داشته باشند و انحراف آن‌ها از هدف، اطلاعات ضروری را برای تصحیح فراهم میکند.
- تشخیص ریسک: هنگامی که چندین عامل هوش مصنوعی توصیه‌های متضادی را تولید می‌کنند، خود این عدم توافق به عنوان یک سیگنال تشخیصی عمل میکند.
- عملکرد: این سیگنال ناهنجاری‌های داده‌ها، سوگیری‌های پنهان، یا رفتارهای غیرقابل پیش‌بینی مدل را آشکار می‌سازد که نیاز به بررسی دقیق انسانی دارند.
- تولید اعتماد: اعتماد به سیستم هوش مصنوعی نه از طریق فرض شفافیت در فرآیندهای درونی هوش مصنوعی (ذهن هوش مصنوعی)، بلکه از طریق فرآیند قابل مشاهده و قابل تأیید همگرایی حاصل می‌شود.
- مدیریت ریسک: در این روش، اختلاف نظر به طور عمدی آشکار، بازجویی و برای اصلاح مسیر استفاده می‌شود، پیش از آنکه تصمیمات اجرا شوند. در نتیجه، خطاهای پنهان و سوگیری‌ها از طریق واگرایی آشکار می‌شوند و تنها توصیه‌هایی که از این بررسی متقابل سخت‌گیرانه جان سالم به در می‌برند، برای اقدام مورد اعتماد قرار می‌گیرند .
اهمیت کالیبراسیون در مدیریت معضل فرماندهی-هوش مصنوعی
این روش‌های کالیبراسیون دو هدف کلیدی را دنبال می‌کنند:
- سرعت: آن‌ها نظارت انسانی را با سرعت ماشین محدود می‌کنند تا خروجی‌های هوش مصنوعی بدون اینکه دچار افت سرعت به مقیاس انسانی شوند، به فرمانده برسند.
- جایگزینی توضیح‌پذیری: این مکانیسم‌ها این امکان را فراهم می‌آورند که فرماندهان اعتماد توجیه‌شده‌ای در توصیه‌های هوش مصنوعی (که ممکن است «نابغه» و غیرقابل درک باشند) پیدا کنند، حتی زمانی که نبوغ زیربنایی آن‌ها یک راز باقی بماند. در صورت عدم وجود دروازه‌های کالیبراسیون، نظارت انسانی در حلقه (on-the-loop oversight) به یکی از این دو حالت سقوط میکند: یا صرفاً تأیید خودکار خروجی‌های هوش مصنوعی (rubber-stamping) یا کاهش سرعت تصمیم‌گیری تا سرعت انسانی، که دقیقاً همان چیزی است که نبردهای مبتنی بر هوش مصنوعی طراحی شده‌اند تا از آن فرار کنند.
چگونه خلاقیت هوش مصنوعی با قابلیت توضیح برای فرماندهان نظامی ارتباط دارد؟
ارتباط بین خلاقیت هوش مصنوعی (AI) و قابلیت توضیح (Comprehensibility) آن برای فرماندهان نظامی، یک رابطه معکوس است.
این بدان معناست که هرچه یک سیستم هوش مصنوعی راهکار استراتژیک خلاقانکوس است.
این بدان معناست که هرچه یک سیستم هوش مصنوعی راهکار استراتژیک خلاقانه‌تر و برتری پیشنهاد دهد، درک و توضیح آن برای فرماندهان انسانی دشوارتر خواهد بود.
این دینامیک یکی از سه عامل اصلی است که «معضل فرماندهی-هوش مصنوعی» (AI-command dilemma) را ایجاد میکند.
در اینجا نحوه ارتباط این دو مفهوم آمده است:
۱. اصل رابطه معکوس (The Inverse Comprehensibility-Creativity Relationship)
- خلاقیت بالا، درک پایین: درجه خلاقیت و غیرعادی بودن قضاوت استراتژیک هوش مصنوعی، نسبت معکوسی با درک‌پذیری فوری آن برای فرماندهان انسانی دارد. مکانیسم‌هایی که نتایج استراتژیک واقعاً نوآورانه و برتر را ممکن می‌سازند، اغلب باعث می‌شوند که آن راه‌حل‌ها برای درک انسانی مبهم باشند.
- مزیت اکتشافی فراانسانی: سیستم‌های هوش مصنوعی پیشرفته، برخلاف انسان‌ها، می‌توانند بر اساس اکتشافی‌های (heuristics) برآمده و فراانسانی عمل کنند که صرفاً برای عملکرد بهینه شده‌اند، نه برای تفسیر انسانی. این قابلیت، راه‌حل‌هایی را تولید میکند که از سوگیری‌های انسانی یا سوابق تاریخی رها هستند.
۲. چالش درک منطق بیگانه (Alien Logic)
- ناهمخوانی با شهود انسانی: فرماندهان نظامی به توضیحاتی عادت دارند که ریشه در اصول آشنا، قیاس‌های تاریخی و پیوندهای علت و معلولی روشن دارند. در مقابل، هوش مصنوعی می‌تواند راهکارهایی را پیشنهاد دهد که برای درک شهودی آن‌ها دشوار است.
- نمونه‌های تاریخی و مدرن:
- تاریخی: درست همانطور که طرح جسورانه ژنرال گرانت برای کمپین ویکسبرگ (Vicksburg) در سال ۱۸۶۳، که بر خلاف تمام اصول نظامی رایج آن زمان بود، توسط ژنرال شرمن «بی‌پروایی» تلقی شد، هوش مصنوعی نیز استراتژی‌هایی پیشنهاد خواهد داد که برای فرماندهان بیگانه، غیرمتعارف، اما احتمالاً تعیین‌کننده هستند.
- مدرن: حرکت ۳۷ آلفاگو (AlphaGo) در برابر لی سدول، نمونه‌ای از این موضوع است؛ حرکتی که در ابتدا توسط اساتید بازی «گو» (Go) یک اشتباه تلقی شد، اما در نهایت یک بازی استراتژیک محوری و درست بود . این ظرفیت بهینه‌سازی غیرمتعارف، به حوزه‌های استراتژیک پیچیده‌تری مانند استارکرفت II (StarCraft II) نیز گسترش می‌یابد، جایی که آلفااستار (AlphaStar) استراتژی‌هایی را به کار گرفت که توسط بازیکنان برتر انسانی «به‌شکلی غیرقابل تصور غیرعادی» تلقی می‌شد.
۳. افزایش بار شناختی و محدودیت‌های عملی
- افزایش بار شناختی: به دلیل این ناهمخوانی بین منطق بیگانه هوش مصنوعی و شهود انسانی، هرچه هوش مصنوعی از نظر استراتژیک زیرک‌تر و واقعاً نوآورانه‌تر شود، بار شناختی بر دوش فرماندهان انسانی برای درک اینکه چرا یک تصمیم بهینه است، افزایش می‌یابد و از مرزهای درک شهودی فراتر می‌رود.
- محدودیت عملی توضیح‌پذیری: حتی چارچوب‌های توضیح‌پذیر هوش مصنوعی (Explainable AI) نیز با محدودیت‌های عملی مواجه هستند: ارائه یک توضیح کاملاً قابل درک برای انسان در زمان واقعی تصمیم‌گیری، خصوصاً برای خلاقانه‌ترین بینش‌ها، غیرممکن است. در زمان جنگ، فشار زمانی شدید، تجزیه و تحلیل کامل برای رمزگشایی یا تأیید توضیحات پیچیده هوش مصنوعی را به یک هدف غیرواقعی تبدیل میکند.
بنابراین، خلاقیت هوش مصنوعی مستقیماً به کاهش قابلیت توضیح منجر می‌شود و فرماندهان را با یک دوگانگی روبه‌رو میکند: پذیرش توصیه‌هایی که به‌طور کامل درک نمی‌کنند، یا رد آن قضاوت‌ها و ریسک شکست خوردن توسط یک دشمن مجهز به هوش مصنوعی. به همین دلیل، سیستم‌های کالیبراسیون و اعتماد مبتنی بر نتایج (و نه توضیح‌پذیری)، برای موفقیت نظامی در آینده حیاتی هستند.