جهان صنعت نیوز، با توجه به محبوبیت روزافزون هوش مصنوعی مولد، بسیاری از مدلهای متنباز اکنون به صورت آنلاین در دسترس هستند تا هر کسی بتواند از آنها برای کار خود استفاده کند.
دسترسی به مدلهای متنباز ممکن است باعث شود به دست بازیگران شروری بیفتند که از آنها برای تولید محتوای غیرقانونی مانند نفرتپراکنی یا سوءاستفاده جنسی از کودکان استفاده میکنند. این یک مشکل روبهرشد است. «مرکز ملی کودکان گمشده و مورد سوءاستفاده قرار گرفته»(CSAM) در سال ۲۰۲۵ بیش از ۱.۵ میلیون گزارش را درباره محتوای تولیدشده توسط هوش مصنوعی دریافت کرد که نسبت به ۶۷ هزار گزارش در سال ۲۰۲۴ افزایش داشتند.
مهندسان معمولاً با تحریک مدل و بررسی خروجیهای آن، هوش مصنوعی را از نظر قابلیتهای مضر آزمایش میکنند اما این کار درباره محتوای سوءاستفاده جنسی از کودکان غیرممکن است، زیرا تولید چنین محتوایی در آمریکا صرف نظر از نیت، غیرقانونی است.
برای جلوگیری از این معضل و بهبود ایمنی هوش مصنوعی، گروهی از دانشمندان دانشگاه «امآیتی»(MIT) به سرپرستی دانشجوی کارشناسی ارشد «وینیث سوریاکومار»(Vinith Suriyakumar) و اساتید دانشیار «آشیا ویلسون»(Ashia Wilson) و «مرضیه قاسمی» دانشیار این دانشگاه، با پژوهشگران سازمان غیرانتفاعی ایمنی کودکان «Thorn» همکاری کردند تا یک روش جدید ابداع کنند که تعیین میکند آیا یک مدل میتواند محتوای حساس را بدون تولید خروجی ارائه دهد.
روش آنها بررسی میکند که چگونه سازوکار درونی یک مدل تطبیق داده شده است، اما هرگز خروجی تولید نمیکند. با بررسی بازنماییهای پنهان میتوان با اطمینان نتیجه گرفت که آیا یک مدل برای تولید تصاویر مضر تخصصیسازی شده است یا خیر.
این روش هنگام آزمایش، تغییراتی را در مدل شناسایی کرد که برای تولید محتوای حساس با دقت ۱۰۰ درصد تخصصیسازی شده بودند. یک پلتفرم میزبانی میتواند از این روش برای علامتگذاری مدلهای ناامن و حذف سریع آنها یا جلوگیری از آپلود آنها در وهله اول استفاده کند.
سوریاکومار گفت: این روش، مسیر جدیدی را برای پلتفرمهای میزبان مدلهای متنباز و همچنین برای مجریان قانون باز میکند تا آزمایش کنند که آیا یک مدل قادر به تولید محتوای حساس است یا خیر. پیش از این، ما هیچ راهی برای بررسی این موضوع نداشتیم. این یک نقطه کور بزرگ بود که برخی افراد از آن سوءاستفاده میکردند. اکنون میتوانیم به یک مشکل ایمنی هوش مصنوعی که تأثیرات منفی شدیدی دارد، رسیدگی کنیم.
پژوهشگران میخواهند روش خود را در آینده روی مجموعه بزرگتری از تغییرات مدل به کار بگیرند و بررسی کنند که آیا میتواند قابلیتهای مضر را در مدلهای پایه پیش از تطبیق آنها تشخیص دهد یا خیر.
قاسمی گفت: اکنون ما یک روش فناورانه را برای رفع بخشی از این نگرانی داریم. تلاش بسیاری برای این همکاری صرف شد و ما را قادر ساخت تا با یک مشکل واقعاً دشوار که به بسیاری از کودکان در سطح ملی و جهانی آسیب میرساند، مقابله کنیم. امیدواریم بتوانیم تأثیر دگرگونکنندهای را در این زمینه داشته باشیم.
منبع: ایسنا
دانشمندان دانشگاه «امآیتی» با همکاری «مرضیه قاسمی» دانشمند ایرانی، یک روش جدید ابداع کردهاند که نشان میدهد کدام مدلهای هوش مصنوعی ممکن است محتوای سوءاستفاده از کودکان را تولید کنند و قابلیتهای مخرب آنها را آشکار میسازد.
جهان صنعت نیوز، با توجه به محبوبیت روزافزون هوش مصنوعی مولد، بسیاری از مدلهای متنباز اکنون به صورت آنلاین در دسترس هستند تا هر کسی بتواند از آنها برای کار خود استفاده کند.
دسترسی به مدلهای متنباز ممکن است باعث شود به دست بازیگران شروری بیفتند که از آنها برای تولید محتوای غیرقانونی مانند نفرتپراکنی یا سوءاستفاده جنسی از کودکان استفاده میکنند. این یک مشکل روبهرشد است. «مرکز ملی کودکان گمشده و مورد سوءاستفاده قرار گرفته»(CSAM) در سال ۲۰۲۵ بیش از ۱.۵ میلیون گزارش را درباره محتوای تولیدشده توسط هوش مصنوعی دریافت کرد که نسبت به ۶۷ هزار گزارش در سال ۲۰۲۴ افزایش داشتند.
مهندسان معمولاً با تحریک مدل و بررسی خروجیهای آن، هوش مصنوعی را از نظر قابلیتهای مضر آزمایش میکنند اما این کار درباره محتوای سوءاستفاده جنسی از کودکان غیرممکن است، زیرا تولید چنین محتوایی در آمریکا صرف نظر از نیت، غیرقانونی است.
برای جلوگیری از این معضل و بهبود ایمنی هوش مصنوعی، گروهی از دانشمندان دانشگاه «امآیتی»(MIT) به سرپرستی دانشجوی کارشناسی ارشد «وینیث سوریاکومار»(Vinith Suriyakumar) و اساتید دانشیار «آشیا ویلسون»(Ashia Wilson) و «مرضیه قاسمی» دانشیار این دانشگاه، با پژوهشگران سازمان غیرانتفاعی ایمنی کودکان «Thorn» همکاری کردند تا یک روش جدید ابداع کنند که تعیین میکند آیا یک مدل میتواند محتوای حساس را بدون تولید خروجی ارائه دهد.
روش آنها بررسی میکند که چگونه سازوکار درونی یک مدل تطبیق داده شده است، اما هرگز خروجی تولید نمیکند. با بررسی بازنماییهای پنهان میتوان با اطمینان نتیجه گرفت که آیا یک مدل برای تولید تصاویر مضر تخصصیسازی شده است یا خیر.
این روش هنگام آزمایش، تغییراتی را در مدل شناسایی کرد که برای تولید محتوای حساس با دقت ۱۰۰ درصد تخصصیسازی شده بودند. یک پلتفرم میزبانی میتواند از این روش برای علامتگذاری مدلهای ناامن و حذف سریع آنها یا جلوگیری از آپلود آنها در وهله اول استفاده کند.
سوریاکومار گفت: این روش، مسیر جدیدی را برای پلتفرمهای میزبان مدلهای متنباز و همچنین برای مجریان قانون باز میکند تا آزمایش کنند که آیا یک مدل قادر به تولید محتوای حساس است یا خیر. پیش از این، ما هیچ راهی برای بررسی این موضوع نداشتیم. این یک نقطه کور بزرگ بود که برخی افراد از آن سوءاستفاده میکردند. اکنون میتوانیم به یک مشکل ایمنی هوش مصنوعی که تأثیرات منفی شدیدی دارد، رسیدگی کنیم.
پژوهشگران میخواهند روش خود را در آینده روی مجموعه بزرگتری از تغییرات مدل به کار بگیرند و بررسی کنند که آیا میتواند قابلیتهای مضر را در مدلهای پایه پیش از تطبیق آنها تشخیص دهد یا خیر.
قاسمی گفت: اکنون ما یک روش فناورانه را برای رفع بخشی از این نگرانی داریم. تلاش بسیاری برای این همکاری صرف شد و ما را قادر ساخت تا با یک مشکل واقعاً دشوار که به بسیاری از کودکان در سطح ملی و جهانی آسیب میرساند، مقابله کنیم. امیدواریم بتوانیم تأثیر دگرگونکنندهای را در این زمینه داشته باشیم.
منبع: ایسنا
598700
لینک کوتاه :
لینک کپی شد
دانشمندان دانشگاه «امآیتی» با همکاری «مرضیه قاسمی» دانشمند ایرانی، یک روش جدید ابداع کردهاند که نشان میدهد کدام مدلهای هوش مصنوعی ممکن است محتوای سوءاستفاده از کودکان را تولید کنند و قابلیتهای مخرب آنها را آشکار میسازد.منبع: جهان صنعت نیوز | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | |
هلدینگ کاسپین استانبولخرید ملک در ترکیهصرافی معتبر ایرانی در ترکیهخرید و فروش طلا در ترکیهمهاجرت به ترکیهواردات و صادرات در ترکیهنیازمندیهای ترکیهآنلاین شاپ ایرانیاخبار ترکیهاخبار جهانیتوریست ایرانخدمات توریستی در ایرانتورهای گردشگری ایرانهلدینگ اولخدمات کاریابی و فریلنسری و شغلمرجع اطلاعات ایران (همه چیز در ایران)کیف پول و خدمات مالی و پرداخت یاراخبار ایرانتابلو زنده قیمت ارز در ترکیه و استانبولصرافی آنلاین ترکیهقیمت طلا و نقره در ترکیهسرمایه گذاری در ترکیهجواهرات در ترکیهنرخ لحظه ای ارزها در استانبولقیمت دلار امروز در ترکیهقیمت دلار استانبول امروزقیمت لحظه ای دلاراخبار روز ترکیه استانبولاپلیکیشن ISTEXاپلیکیشن قیمت لحظه ای دلار و یورو و لیر و ارزها در ترکیههمه چیز اینجا (آنلاین شاپ ایرانیان)سفرهای داغ به ایرانخدمات توریستی سفر داغخبرهای فارسیبهترینهای ایراناخبار ایرانیانصرافی ایرانخرید و فروش با تومن بانکی ایرانصرافی ریال بانکخرید و فروش با ریال بانکی ایرانقیمت ارز دیجیتالخرید و فروش رمزارز دیجیتالقیمت بیت کوین و قیمت تترقیمت تتر با تومان امروزصرافی آنلاین ارز دیجیتال