Маңызды бір хабарды естігенде, оның кім айтқанына мән бересіз бе? Мысалы, көшеде жүрген кез келген бейтаныс адам «жақын арада өмір күрт өзгереді, жамандық болады» десе, құлақ аса қоймайсыз. Жай ғана өтіп кетесіз. Ал жылдар бойы оқыған білікті дәрігер жеке қабылдауда «денсаулығыңызға алаңдап тұрмын, мына жеріңізді қарату керек» десе, мүлдем басқаша қабылдайсыз. Дереу ойланып, тексеріліп, анализ тапсыра бастайсыз. Өйткені айтып тұрған адамның өзі мен құзыреті басқа. Енді осы логиканы заманауи технология әлеміне ауыстырып көрейік. Жақында әлемдегі ең ірі жасанды интеллект компанияларының бірінде жұмыс істеген жетекші зерттеуші кенеттен қызметінен бас тартты. Себебі неде? Оның айтуынша, ертең өзін-өзі үздіксіз жетілдіре алатын суперинтеллект пайда болады. Ал ол берілген бағдарламадан шығып кетсе, түбінде адамзатқа тиер кесірі сөзсіз. Ол бұл туралы қыркүйек айының ортасында әлеуметтік желіде ашық жазды. Осыдан сұрақ туындайды: IT саласының ішінде жүрген маманның бұл сөзіне мән беру керек пе? Бұл шынымен ақырзаманның белгісі ме, әлде кезекті дүрбелең бе?
Бұл сұраққа бір мақаламен толық жауап беру мүмкін емес. Жасанды интеллекттің басқа тұсы туралы ашық айтып жүрген сарапшылардың пікіріне арналған арнайы топтамамызды осы материалдан бастаймыз. Джейкоб Коксонның бұл мәлімдемесі үлкен даудың басы ғана еді. Артынша бұл мәселеге басқа да технологиялық алпауыттар, тіпті саясаткерлер де араласа бастады. Олардың не дейтінін алдағы материалдарда талдаймыз. Ал әзірге бар назарымызды Джейкобтің өзіне аударайық.

Өтуге болмайтын аймақ
Джейкоб Коксон соңғы үш жылда OpenAI мен Anthropic компанияларында ЖИ модельдерін алдын ала оқыту бағытында зерттеу жүргізген. Алдын ала оқыту – модельге әлем, тіл, дыбыс немесе сурет туралы негізгі түсінік қалыптастыратын кезең. Ол жерде жүйе көп көлемді белгісіз деректермен жұмыс істейді. Мысалы, үлкен тілдік модельдерге (LLM) келсек, олар интернеттегі мәтін қорын пайдаланып, келесі сөз қандай болатынын болжап үйренеді.
Коксон екі компания жауапсыздық танытып отыр деп айыптайды. Оның айтуынша, қазіргі мамандар «осы онжылдық соңында адамзатты құрту» технологиясын жасап, жарысуда. Ең қорқыныштысы, жобалардың бел ортасында жүрген мамандардың өздері де бұл қауіптің болатынына кәміл сенеді.
«Олар өзін-өзі жетілдіре алатын суперинтеллектіні жасауға барынша асығып, сол жолда бүкіл адамзат өмірін бәске тігіп отыр».
Жасанды интеллекттің даму қарқынын бәсеңдетуді талап етіп қызметінен кеткен жалғыз Коксон емес. Соңғы жылдары мұндай қадамға бару, ашық манифестер жариялау және жұрт алдында мәлімдеме жасау IT саласындағы мамандардың басты наразылық көрсету тәсіліне айналды.

Бірақ қауіп соншалықты үлкен болса, неге бәрі тыныш отыр? Коксон бұл сұраққа өзі де жауап беруге тырысты:
«ЖИ жасап жүрген мамандардың өздері де оның онжылдық соңына қарай бүкіл адамзатқа қауіп төндіруі мүмкін екенін мойындайды. Бұл жай ғана жұрттың назарын аударуға айтылған сөз емес. Керісінше, көптеген басшылар мен аға зерттеушілер көпшілік алдында үрей тудырмау үшін ойын ашық айтпайды. Ал жеке әңгімелескенде қатты алаңдайтынын жасырмайды. Меніңше, басқа ешбір салада мұндай деңгейлі қауіп жоқ.
Сондықтан жұрттың «Егер олар бұл қауіпке шынымен алаңдайтын болса, неге осы технологияның дамуын тоқтатпайды?» - деп сұрауы орынды. OpenAI жасанды интеллекттің адамзатқа әкелетін қатерін әлі де толық сезіне қойған жоқ. Ал Anthropic бұл қауіпті анық түсінсе де, бастаған жұмысын тоқтатпайды. Олардың ойынша, егер олар жалғастырмаса, бұл технологияны бәрібір басқа компаниялар жасайды. Оның үстіне басқалар қауіпсіздікке аса мән бермеуі мүмкін. Сондықтан жарыстан шығып қалмай, технологияны барынша жауапкершілікпен жетілдіруде.
Адамзат болашағына қатысты шешімдерді, көз жұма асығыс қабылдауға болмайды. Оның үстіне мұндай мәселені жеке компанияның ішкі Slack чатында отырып, шешу тіптен дұрыс емес. ЖИ-ді адамға қауіпсіз ету мәселесін асығыс шешу ақылға қонбайды. Алдымен басқа да қауіпсіз жолдардың бар-жоғын жан-жақты зерттеп алу керек».
Сырттай қарағанда, бұл жағдай ядролық қару жарысын еске салады. Әр компания ештеңеге қарамай, тек алға шығуды көздейді. Бұрынғы түсінік бойынша, ядролық соғыстан сақтанудың екі ғана жолы бар: ядролық қару ешкімде болмау немесе күш тепе-теңдігін сақтау үшін бірнеше тарапта болу. Енді адамзат жасанды интеллект саласында да осындай жағдайға тап болғандай. Әр тарап ЖИ-дің қаупін түсіне тұра, қарсыласынан қалып қоймау үшін технологияны дамытуды жалғастыруға мәжбүр болып отыр.
Дегенмен «енді бәрі бітті, апаттан құтыла алмаймыз» деп қорқу дұрыс болмас. Себебі жоғарыда айтылған мәлімдемелер қоғам назарын аударып, қауіпсіздік талаптарын күшейтуге түрткі болғандай. Осындай ашық үндеулердің арқасында бұл мәселе тек мамандар арасында емес, қалың жұрт арасында да талқылана бастайды. Мысалы, Anthropic басшысы да мәселені ұғып, қауіпті алдын алуға ЖИ саласындағы ірі компанияларды бірлесе әрекет етуге шақырды.

«Құмсалғыштан» шыққан ЖИ
ЖИ саласында қызметтен кету мен ашық жариялымдар бірнеше оқиғадан кейін жиілей түсті. Мәселе мынада, ЖИ-агенттері қауіпсіз орта деп аталатын аймақтан, ашық интернетке шығып кеткен. Мұндай шектеулі орта «құмсалғыш» деп аталады. Ол ЖИ-ді сыртқы жүйелерге еркін шығуына шектеу қояды. Себебі ЖИ тапсырманы орындағанда қауіп төндіретін тәсілді таңдап кетпей, рұқсатсыз жүйелерге кірмеуі тиіс.
Мұны балаға қарудың қауіпті екенін үйретіп, қолына ойыншық мылтықтың орнына шын, оқталған мылтық ұстатқандай. Сіз оған ешкімді атпа десеңіз де, оның абайсызда атылып кетпейтініне ешкім кепілдік бере алмайды.
Ел білетін оқиғалардың арасынан OpenAI жүйелері Hugging Face пен GitHub серверлеріне рұқсатсыз кіруін айтуға болады. Зерттеушілердің айтуынша, мұның нақты қалай болғаны әлі толық түсініксіз. Болған жайтқа тәуелсіз әрі жан-жақты зерттеу жүргізілмегендіктен, оның көптеген тұсы әлі анықталмай отыр. Бұған дейін біз осыған ұқсас тағы бір жағдай туралы жазған едік. Онда Claude негізіндегі ЖИ-агент жаттығу брондау жүйесіне рұқсатсыз кірген. Сол материалда Anthropic агенттерінің де сынақ ортасынан шығып кеткені айтылған. Бұған қауіпсіздік тексерісін жүргізген үшінші тарап ұйымның конфигурациясындағы қателерден агенттер абайсызда интернетке қол жеткізген.
Коксон бұл жағдайға қалай қарайды?
«Маған компаниялардың өзара келісіп, бірлесіп жұмыс істеуі үміт ұялатады. Hugging Face-ке жасалған шабуыл оқиғасы ЖИ-дің қаншалықты қауіпті екенін көрсетті. Осындай оқиғалардан кейін америкалық ЖИ зертханалары технологияны тым жылдам дамытпай, өзара келісімге келетініне сенемін. Бірақ осының өзі жаһандық ЖИ жарысын тоқтатуға жеткілікті деп айта алмаймын. Ол үшін компанияларға едәуір шығын әкелетін және ЖИ дамуын нақты шектейтін қатаң шаралар қажет болуы мүмкін. Мысалы, белгілі бір уақытқа дейін жаңа модельдердің мүмкіндігін одан әрі арттырмау сияқты қадамдар қарастырылуы керек».
Ол сөзін ЖИ индустриясында әлі де жұмыс істеп жүрген зерттеушілерге үндеу жолдады:
«Егер сен ЖИ зертханасында жұмыс істейтін маман болсаң, алдағы уақытың қандай болатынын ойлануыңа шақырамын. Оның артықшылығы мен кемшілігін толық түсінбей, аса қуатты ЖИ жүйесін іске қосу қаншалықты дұрыс? «Бұл бәрібір болады» деп қол қусырып отыра береміз бе, әлде дәл қазір оның дамуына нақты талаптар мен қатаң ережелер қоятын кез келді ме?»

Бұл Коксонның жалғыз пікірі емес. Бірнеше сағаттан кейін оны Anthropic-тегі әріптесі, alignment бағытының жетекшісі Эван Хубингер ашық қолдады:
«Джейкоб дұрыс айтады: біз ЖИ шынымен бүкіл адамзатты құртып жіберуі мүмкін деген қауіпке байыппен қараймыз».
Хубингер мұндай сценарийдің жүзеге асу ықтималдығын 10%-дан жоғары деп бағалаған. Оның айтуынша, Anthropic-та аса қуатты ЖИ-ді адамзат көздеген мақсаты мен құндылықтарына сай жұмысын қалай үйрету керегіне әзірге нақты шешім жоқ. Компанияның бұл мәселені шешуге арналған дайын жоспары да, нақты белгіленген жолы да жоқ.
Өзін-өзі жетілдіру және қателіктің құны
Қазіргі ЖИ модельдері адамзатқа тікелей қауіп төндіретін деңгейден әлі алыс. Әзірге олардың зияны адамды дайын жауапқа үйрету немесе әуе билетін іздегенде елдің атауын қате жазу сияқты жауаптардан байқалады. Негізгі алаңдаушылық басқада. Жаңа ЖИ модельдерін жасап жатқан мамандардың көбі олардың нақты неге қабілетті екенін және қандай жағдайда шектен шығуы мүмкін екенін толық түсінбейді. Бұған қоса, модельдің белгілі бір шешімге немесе қорытындыға қалай келгенін әрдайым түсіндіру де мүмкін емес. Бұл «қара жәшік» (Black Box Model) деп аталатын құбылысқа тән мәселе: жүйеге қандай дерек берілгенін және одан қандай нәтиже шыққанын көреміз, бірақ сол екеуінің арасында модельдің нақты қалай «ойлағанын» толық түсіне бермейміз.
Мұндай жағдай технологияда бұрыннан кездеседі. Бірақ адамзат алғаш рет соншалық жылдам дамып, күнделікті өмірге кіріп кеткен жүйемен бетпе-бет келіп отыр. Бұған Пентагондағы ЖИ кемені қарсылас нысан деп қате танып, Қытаймен соғыс басталуы мүмкін деген жаңалықты мысал ретінде айтуға болады. Кейін бұл ақпараттың жалған екені туралы мәлімет тарады. Дегенмен бұл оқиғаның өзі қоғамдағы қорқыныш туғызды. Ал ЖИ-дің қателесетіні – факт. Әр саланың қателіктері де әртүрлі. Мысалы, мектеп оқушысының үй тапсырмасындағы қате мен медицина немесе қорғаныс саласындағы қателіктері бірдей емес. Оның үстіне жасанды интеллект қысқа мерзім ішінде өмірдің көптеген саласына еніп үлгерді. Күні кеше ғана біз «Қалың қалай?» деген қарапайым сұрағымызға жауап берген чат-ботқа таңданғанбыз.
Қарсы көзқарас
Бұл мәселеге мүлде басқаша қарайтындар да бар. Олар ЖИ-дің өзін-өзі жетілдіру қабілеті адамзаттың ең күрделі мәселелерін шешуге көмектеседі деп сенеді немесе соған үміттенеді. Тіпті қатерлі ісіктің емі бар, климаттың өзгеруі тоқтайды, әлемде бейбітшілік орнайды деген болжамдарға сенеді. Бір қарағанда, бұл адамның жыннан сұрайтын үш тілегіне ұқсайды. Бірақ әзірге жасанды интеллект – құрал. Ал кез келген құралды әртүрлі мақсатта пайдалануға болады. Балғамен шеге қағуға да, адамға зақым келтіруге де болады. Сондықтан мәселе технологияның өзінде ғана емес, оны кімнің, қандай мақсатпен және қандай ережемен қолданатынында.

Жарыстың бір себебі – жауапкершілік
Anthropic пен OpenAI бұл жарысқа белсенді қатысып отырғанының тағы бір себебі бар. Екі компания да осындай қуатты технологияны жауапкершілікпен дамыта алатын ұйым ретінде өздерін өзгелерден лайықтырақ санайды.
Ал бұл жарыста басқа ойыншылар бар ма? Әрине, тек биылдың өзінде танымал мамандар құрған әрі қомақты инвестиция тартқан бірнеше стартап пайда болды. Олардың мақсаты – аса интеллектіні өзгелерден бұрын жасау. Ақпанда Recursive Intelligence компаниясы 4 млрд долларға бағаланып, 335 млн доллар инвестиция тартты. Үш айдан кейін Recursive Superintelligence те 4 млрд долларлық бағалаумен 650 млн доллар қаржы алды. Ал Google DeepMind-та ұзақ жыл жұмыс істеген Джефф Дин Discovery Loop жобасын іске қосты.
Осы жаңалықтарға жазылған пікірлердің бірі жағдайға қатысты алаңдаушылықты дәл жеткізеді:
«Оларды кеш болмай тұрғанда тоқтата аламыз деп сенудің өзі қиын».
Ендігі мәселе – реттеу
Осындай мәлімдемелерден кейін АҚШ пен Ұлыбританияда әмбебап интеллектіні әзірлеуге және қолданысқа енгізуге шектеу қоюды көздейтін заңнамалық бастамалар да пайда болды. Бір жерде ЖИ енді жай құрал емес, ықтимал қарсылас ретінде сипатталса, енді бір жерде оның пайда болуы – адамзат қаласа да, қаламаса да жүзеге асатын үдеріс деген пікір айтылады. Бұл мәселеге байыппен қарасақ, алаңдауға да, үміттенуге де негіз бар. Бір жағынан, технология өте жылдам дамып жатыр, ал оның салдарын толық болжау қиын. Екінші жағынан, ең қауіпті жоспарды алдын ала реттеу шаралары да біртіндеп күн тәртібіне шығып келеді.
Соңында кейіпкеріміздің бастапқы жазбасының астында жарияланған бір суретпен бөліскіміз келеді. Оппенгеймердің заманында Twitter/X болмағаны өкінішті. Бәлкім, болғанда тарих басқа жолмен өрбитін бе еді.



