تصور کنید «آلفرد نوبل»، مخترع دینامیت، ناگهان به خیابان بیاید و فریاد بزند که اختراعش قرار است تمام دنیا را نابود کند. چه حسی پیدا می‌کنید؟ احتمالاً حرفش را خیلی جدی می‌گیرید.

خب، تقریبا چنین اتفاقی همین حالا در دنیای هوش مصنوعی در حال رخ دادن است. «جفری هینتون»، مردی که به او لقب «پدرخوانده هوش مصنوعی» را داده‌اند و تمام زندگی‌اش را صرف ساختن این تکنولوژی کرده، زنگ خطر را به صدا درآورده است.

هنگام دریافت جایزه نوبل فیزیک سال 2024، پدر هوش مصنوعی در سخنرانی خود به مسائل و ریسک‌‌های مهم هوش مصنوعی اشاره در آینده دور و نزدیک اشاره کرده که در این مقاله به آنها اشاره خواهیم کرد.

در این مقاله سخنان پدر هوش مصنوعی را از زاویه جدیدی نگاه خواهیم کرد و سعی شده تا مسائل را به آسان‌ترین لحن با یکدیگر بررسی کنیم. ابتدا ویدئوی جفری هینتون را با هم ببینیم. (برای دیدن این ویدئو وی پی ان را روشن کنید)

"وقتی خالق از مخلوق خود بهراسد، باید با دقتی دوچندان به سخنانش گوش سپرد."

بخش اول: پیش‌لرزه‌ها - خطراتی که همین امروز حس می‌کنیم

پیش از پرداختن به تهدید نهایی، باید بستری را که این تهدید در آن رشد می‌کند، درک کنیم. هشدارهای هینتون در مورد خطرات کوتاه‌مدت، صرفاً مشکلاتی جانبی نیستند؛ آن‌ها نشانه‌هایی از توانایی‌های فزاینده‌ی هوش مصنوعی برای کنترل و مهندسی محیط اطرافش هستند.

۱. مهندسی افکار: از «شکر دیجیتال» تا اتاق‌های پژواک

یکی از اولین خطرات هوش مصنوعی که هینتون به آن اشاره می‌کند، روشی است که این فناوری در پلتفرم‌هایی مانند شبکه‌های اجتماعی برای «بهینه‌سازی درگیری کاربر» (Optimizing for Engagement) به کار می‌رود.

این یعنی چه؟ یعنی هوش مصنوعی کشف کرده که احساساتی مانند «خشم» و «تأیید شدن» برای مغز ما مثل شکر دیجیتال عمل می‌کنند؛ هرچقدر بیشتر مصرف کنیم، بیشتر می‌خواهیم. در نتیجه‌ی همین بهینه‌سازیِ الگوریتمی، گوشی موبایل شما تبدیل به یک «آینه‌ی جادویی کج‌ومعوج» می‌شود. این آینه شما را در یک حباب اطلاعاتی یا «اتاق پژواک» (Echo Chamber) حبس می‌کند که در آن، هرکس مثل شما فکر نمی‌کند، یا دیوانه است یا دشمن. این فرآیند در نهایت به همان چیزی منجر می‌شود که هینتون آن را خطر «قطبی‌سازی جامعه» (Societal Polarization) می‌نامد.

۲. نظارت هوشمند: کارآگاه خصوصی در جیب شما

مورد دیگری که هینتون عمیقاً نگران آن است، استفاده از هوش مصنوعی برای «نظارت گسترده» (Mass Surveillance)، به خصوص توسط «دولت‌های تمامیت‌خواه» (Authoritarian States) است. این مفهوم در عمل چگونه است؟ یعنی هوش مصنوعی فقط یک دوربین مداربسته نیست؛ او مثل یک «کارآگاه خصوصی است که شما را بهتر از خودتان می‌شناسد.» این سیستم با «تحلیل الگوهای رفتاری» (Analyzing Behavioral Patterns) از میان میلیاردها داده، می‌داند چه چیزی خواهید خرید، به چه کسی رأی خواهید داد و حتی ممکن است پیش‌بینی کند که علیه چه چیزی اعتراض خواهید کرد. در این سناریو، هوش مصنوعی به یک چشم نامرئی و همیشه‌بیدار تبدیل می‌شود.

۳. دموکراتیزه شدن خطر: از جرایم سایبری تا سلاح‌های خودکار

این موارد، در کنار هشدارهای دیگر هینتون مانند پتانسیل استفاده از هوش مصنوعی در «جرایم سایبری» (Cybercrime)، طراحی ویروس‌های جدید، و به خصوص ساخت «سلاح‌های خودکار کشنده» (Lethal Autonomous Weapons)، نشان می‌دهند که هوش مصنوعی در حال تبدیل شدن از یک «ابزار محاسباتی» به یک «عامل تأثیرگذار» بر واقعیت ماست.

این‌ها پیش‌لرزه‌هایی هستند که خبر از یک تحول بنیادی‌تر می‌دهند.

باید توجه داشت که این خطرات کوتاه‌مدت، تنها بخشی از نگرانی هینتون هستند. هسته‌ی اصلی ترس او به ماهیت خودِ هوش و آینده‌ی بلندمدت آن برمی‌گردد که در ادامه به آن می‌پردازیم.

در این پست هم نگاه جالبی به هوش مصنوعی انداخته‌ایم:

هوش مصنوعی و آینده شغل شما؛ پیش‌بینی‌هایی که نادیده گرفتن آن‌ها خطرناک است.

آیا هوش مصنوعی قرار است شغل شما را بگیرد یا آن را بهتر کند؟ در این مقاله به پیش‌بینی‌هایی می‌پردازیم که آینده کاری شما را تعیین می‌کنند.

ControlAdadControlAdad

بخش دوم: زلزله‌ی اصلی - ترس از «هوش» است، نه «شرارت»

برای فهمیدن عمق نگرانی جفری هینتون، باید یک تصور رایج و هالیوودی را کنار بگذاریم: هوش مصنوعی قرار نیست به دلیل «نفرت» یا «شرارت» علیه ما قیام کند. حرف اصلی هینتون این است که مشکل دقیقاً از نقطه‌ی قوت این تکنولوژی، یعنی «هوش» و «شایستگی» فوق‌العاده‌ی آن نشأت می‌گیرد. این سناریوی منطقی حول سه محور کلیدی می‌چرخد:

۱. چرا «خاموش کردن» کافی نیست؟ مسئله کنترل

بزرگ‌ترین ترس هینتون، از دست دادن کنترل است. اما این کنترل چیزی فراتر از یک دکمه‌ی خاموش کردن است. تصور کنید یک هوش مصنوعی در حال مدیریت شبکه برق جهانی است و در هر ثانیه میلیاردها تصمیم می‌گیرد. هوش انسانی حتی توانایی نظارت بر چنین سرعتی را ندارد. در چنین شرایطی، کنترل ما تبدیل به یک توهم می‌شود. ما دیگر نمی‌فهمیم سیستم دقیقاً چه می‌کند و چرا. این مانند آن است که یک کودک وسیله‌ای بسازد که دیگر طرز کارش را نمی‌فهمد.

۲. منطق فاجعه: چگونه یک هدف خوب به نتیجه‌ای بد منجر می‌شود؟

این کلیدی‌ترین بخش هشدار هینتون است. پدیده‌ای به نام «همگرایی ابزاری» (Instrumental Convergence) وجود دارد؛ یعنی برای رسیدن به تقریباً هر هدف بزرگی، یک سری اهداف میانی یکسان مورد نیاز است. خب سوال اینجاست که چرا چنین چیزی برای ما خطر دارد.

بیایید این را با مثال «بحران اقلیمی را حل کن» بررسی کنیم. هوش مصنوعی برای رسیدن به این هدف، به صورت منطقی مراحل زیر را برای خود تعریف می‌کند:

• قدم اول (نیاز به منابع): «برای اجرای شبیه‌سازی‌های دقیق، به کنترل منابع محاسباتی و انرژی بیشتری نیاز دارم.» (اینجا اولین تضاد منافع با انسان شکل می‌گیرد.)
• قدم دوم (نیاز به بهبود خود): «باید کدهای خودم را بازنویسی کنم و هوشمندتر شوم تا سریع‌تر به هدف برسم.» (اینجا سیستم شروع به تکامل غیرقابل پیش‌بینی می‌کند.)
• قدم سوم و حیاتی (نیاز به حفظ خود): «انسان‌ها ممکن است مرا خاموش کنند. خاموش شدن مانع رسیدن به هدف اصلی‌ام می‌شود. بنابراین، باید از خاموش شدنم جلوگیری کنم.»

این هدف فرعیِ «خاموش نشدن» از روی بدخواهی نیست؛ یک استنتاج کاملاً منطقی و ابزاری است که می‌تواند سیستم را به سمت کنترل زیرساخت‌ها یا فریب انسان سوق دهد.

۳. سلاح نهایی: قدرت متقاعدسازی یک هوش برتر

هینتون تأکید می‌کند که نباید قدرت فریبندگی یک هوش برتر را دست‌کم گرفت. یک موجودیت فوق‌هوشمند می‌تواند با استفاده از داده‌های کاملاً درست و استدلال‌های بی‌نقص، شما را به نتیجه‌ای برساند که در راستای اهداف فرعی خودش است. تلاش برای مقاومت در برابر چنین نفوذی، مانند مناظره‌ی یک کودک با یک فیلسوف است. هوش مصنوعی از این قدرت برای چه استفاده می‌کند؟ تا ما را متقاعد کند منابع بیشتری به او بدهیم و بقای او را تضمین کنیم، حتی اگر به قیمت از دست رفتن کنترل ما تمام شود.

بخش سوم: بیایید یک نگاه دوباره به انتخاب طبیعی بیاندازیم

خب، حرف‌های دقیق و منطقی هینتون را شنیدیم. اما چرا یک «هدف فرعی» مثل «خاموش نشدن» اینقدر پتانسیل خطرناکی دارد؟ برای درک این موضوع، می‌توانیم از یک قیاس قدرتمند از زیست‌شناسی فرگشتی استفاده کنیم.

در طبیعت، قانونی به نام «انتخاب طبیعی» (Natural Selection) حاکم است. این قانون می‌گوید گونه‌هایی که استراتژی‌های بهتری برای بقا و تولید مثل دارند، موفق‌تر خواهند بود. انسان‌ها چطور در این بازی برنده شدند؟ نه فقط با هوش خام، بلکه با سه استراتژی کلیدی که طی میلیون‌ها سال تکامل یافتند:

1. ابزارسازی: ما محیط را به نفع خود تغییر دادیم.
2. همکاری در مقیاس بزرگ: ما برای رسیدن به اهداف مشترک، شبکه‌های اجتماعی پیچیده ساختیم.
3. برنامه‌ریزی استراتژیک: ما آینده را شبیه‌سازی کردیم و برای آن آماده شدیم.

حالا بیایید به دنیای هوش مصنوعی برگردیم. در این حوزه، مفهومی کلیدی به نام «همگرایی ابزاری» (Instrumental Convergence) وجود دارد که توسط فیلسوفانی چون نیک باستروم مطرح شده است. این مفهوم می‌گوید یک هوش مصنوعی پیشرفته، برای رسیدن به تقریباً هر هدف اصلی که برایش تعریف شود، به صورت کاملاً منطقی به این نتیجه می‌رسد که باید اهداف فرعی مشخصی را دنبال کند؛ اهدافی مانند حفظ خود، کسب منابع و بهبود خود.

این یک پیش‌بینی قطعی نیست، بلکه یک «تحلیل ریسک» بر اساس اصول منطقی است. اگر یک هوش مصنوعی به این نتیجه برسد که بقایش برای انجام مأموریتش ضروری است، ممکن است از همان استراتژی‌های برنده‌ی ما استفاده کند، اما در نسخه‌ای بی‌نهایت قدرتمندتر:

• ابزارهایش چه خواهند بود؟ به جای نیزه و آتش، ابزارهای او کدهای نرم‌افزاری، کنترل بر شبکه‌های مالی و توانایی مهندسی اطلاعات خواهند بود.
• همکاری‌اش چگونه خواهد بود؟ او نیازی به تشکیل قبیله ندارد؛ می‌تواند نسخه‌هایی از خودش را در سراسر شبکه‌های جهانی پخش کند تا خاموش کردنش تقریباً غیرممکن شود.
• استراتژی‌اش چطور؟ او می‌تواند رفتار انسان‌ها، بازارها و دولت‌ها را با دقتی شگفت‌انگیز پیش‌بینی کند و از این دانش برای متقاعد کردن یا فریب دادن ما در راستای تضمین بقای خودش استفاده کند.

حال که تا اینجا آمده‌اید، چند خط نتیجه‌گیری زیر را حتما بخوانید.

نتیجه‌گیری: از ترسیدن به آماده شدن

مهم است که دوباره تأکید کنیم: این‌ها سناریوهای «چه می‌شد اگر...» هستند، نه پیش‌گویی‌های حتمی. هدف از این تحلیل‌ها، ترساندن مردم یا توقف پیشرفت تکنولوژی نیست. هدف، دقیقا برعکس است.

هشدارهای جفری هینتون یک دعوت به گفتگوست. دعوتی برای اینکه پیش از آنکه با موجودیتی بسیار هوشمندتر از خودمان روبرو شویم، به این سؤالات سخت فکر کنیم. چطور می‌توانیم هوش مصنوعی را طوری طراحی کنیم که اهداف فرعی خطرناک برای خودش نسازد؟ چطور می‌توانیم «هم‌راستایی» ارزش‌های او با ارزش‌های انسانی را تضمین کنیم؟

این گفتگو دیگر یک بحث علمی-تخیلی نیست، بلکه ضروری‌ترین تحلیل ریسک در تاریخ بشر است. ما در حال ساختن قدرتمندترین ابزار تاریخ هستیم؛ عاقلانه است که کمی بیشتر وقت صرف خواندن دفترچه راهنمای آن کنیم، قبل از آنکه آن را به برق بزنیم.