10 срамни въпроса за невронните мрежи: Отговори на специалиста по машинно обучение Игор Котенков
разни / / August 08, 2023
Събрахме всичко, което искахте да знаете, но сте твърде срамежливи да попитате.
В новия серия Статии от известни експерти отговарят на въпроси, които обикновено са неудобни за задаване: изглежда, че всички вече знаят за това и питащият ще изглежда глупав.
Този път разговаряхме със специалиста по изкуствен интелект Игор Котенков. Ще научите дали можете да запазите цифровото си копие за вашите правнуци, защо не може да се вярва на 100% на невроните и дали светът е застрашен от машинен бунт.
Игор Котенков
1. Как работят невронните мрежи? Това е някаква магия. Как изобщо може да се направи ChatGPT? А Midjourney или DALL-E?
Невронната мрежа е математически модел, изобретен с цел да разбере как работи мозъкът на живия организъм. Вярно е, че за основа бяха взети най-основните идеи от началото на втората половина на 20 век, които сега могат да се нарекат неуместни или твърде опростени.
Дори името "невронна мрежа" идва от думата "неврон" - това е името на една от основните функционални единици на мозъка. Самите невронни мрежи се състоят от възли - изкуствени неврони. Така че можем да кажем, че много идеи на съвременните архитектури са "надникнали" от самата природа.
Но по-важното е, че невронната мрежа е математически модел. И тъй като това е нещо свързано с математиката, тогава можем да използваме цялата мощ на математическия апарат, за да открием или оценим свойствата на такъв модел. Можете да разглеждате невронната мрежа като функция, а функцията също е математически обект. Най-простият и разбираем пример: функция, която, да речем, приема произволно число като вход и добавя 2 към него: f (4) = 6, f (10) = 12.
Но такава функция е много лесна за програмиране, дори дете може да се справи с нея след няколко часа изучаване на езици. програмиране. И причината е, че такава функция е много лесно формализирана, описана подробно на прост и разбираем език.
Има обаче някои задачи, към които дори не знаем как да подходим. Например, мога да ви дам снимки на котки и кучета, разбъркани и вие можете да ги сортирате на две купчини без никакви проблеми. Но от какво точно се ръководите, когато определяте отговора? И двете са пухкави. И двата вида имат опашка, уши, две очи. Може би размерът? Но има много малки кучета, има големи котки.
Не можем да опишем много задачи от реалния свят, не знаем зависимостта на нашето наблюдение и някакъв условен „правилен“ отговор.
Просто знаем как да дадем този отговор – и това е, без да мислим как ще се получи.
Тук идват на помощ невронните мрежи. Тези математически функции се обучават от данните. Не е необходимо да описвате връзката между входа и изхода. Вие просто подготвяте две купчини снимки и моделът тренира да дава верни отговори. Самата тя се научава да намира тази връзка, сама я намира, разчитайки на грешкикой го прави. Объркахте бенгалска котка и ротвайлер? Е, следващия път ще е по-добре!
Процесът на изучаване на невронна мрежа е такава настройка на „невроните“, за да се научите как да решавате проблем и да дадете правилния отговор. И което е най-забележителното: има теоретично доказателство, че достатъчно голяма невронна мрежа с достатъчно голям набор от данни може да научи всяка сложна функция. Но най-важното тук е изчислителната мощност (защото невронът може да бъде много голям) и наличието на етикетирани данни. Именно маркирани, тоест те имат класа “куче”, котка или каквото и да било.
Ние не разбираме напълно как работят моделите - най-сложните и големи модели като ChatGPT почти не може да се анализира.
Най-добрите изследователи работят върху предизвикателството да „разберат“ вътрешното функциониране на своите процеси в момента.
Но ние знаем за каква задача са били обучени моделите, каква грешка са се опитали да сведат до минимум по време на обучението. За ChatGPT задачата се състои от две. Първото е предсказването на следващата дума според нейния контекст: „мама изми ...“ Какво? Това трябва да предвиди моделът.
Втората задача е да се гарантира, че отговорите не са обидни, но в същото време остават полезни и разбираеми. Ето защо моделът стана вирусен - той е директно обучен да генерира такъв текст, който хората харесват!
Можете да прочетете повече за това как работи ChatGPT в моя статия.
2. Могат ли невроните да мислят?
Учените все още не разбират какво означава „да мислиш“ или „разсъждаваш“ и как изобщо работи интелектът. Следователно е трудно да се прецени дали модел като ChatGPT има такива свойства.
Нека си представим ситуация: приближавате се до вратата на вашия апартамент. Имате ли идеята, че трябва да вземете ключа от левия джоб на раницата си, за да отворите вратата? Можем ли да кажем, че описанието и представянето на действията е мисловен процес? По същество ние сме установили връзка между текущото състояние и желаната цел (отворена врата). Ако смятате, че отговорът на въпроса по-горе е да, тогава моят отговор ще бъде същият. 🙂
Друго нещо е, когато става въпрос за новаторски мисли, които не са били изразени преди или не са толкова често срещани. В края на краищата, например, лесно можете да намерите грешка в примера по-горе: „Да, прочетох този модел 100 500 пъти в Интернет и в книги. Разбира се, че го знае! Нищо изненадващо." Между другото, как разбра? Дали защото родителите ви са ви показвали в детството и сте наблюдавали процеса стотици дни подред?
В този случай няма точен отговор. И въпросът тук е, че не вземаме предвид един важен компонент: вероятността.
Колко вероятно е моделът да генерира мисъл, която отговаря на конкретното ви определение за „мисъл“?
В крайна сметка, неврон като ChatGPT може да бъде накаран да генерира милион различни отговори на една и съща заявка. Например „представете идея за научно изследване». Ако едно поколение на милион е наистина интересно и ново, счита ли се това за доказателство, че един модел може да роди идея? Но как ще се различава от папагал, който крещи произволни думи, които не-не и добавят към нещо разбираемо?
От друга страна, хората също не винаги дават правилни мисли - някои фрази водят до задънена улица и завършват с нищо. Защо невронните мрежи не могат да простят това? Е, една нова идея от милион генерирани е наистина лоша... Но какво ще стане, ако 100 от милион? хиляда? Къде е тази граница?
Това е, което не знаем. Тенденцията е, че първоначално смятаме, че ще бъде трудно за машините да разрешат проблем X. Например, за да преминете теста на Тюринг, където просто трябва да говорите с човек за половин час. След това, с развитието на технологиите, хората измислят начини за решаване или по-скоро за обучение на модели за дадена задача. И ние казваме: „Е, това всъщност беше грешен тест, ето нов за вас, невроните определено няма да могат да го преминат!“ И ситуацията се повтаря.
Тези технологии, които са сега, преди 80 години, биха се възприели като чудо. И сега с всички сили се опитваме да преместим границата на „разумното“, за да не си признаем, че машините вече знаят как да мислят. Всъщност дори е възможно първо да измислим нещо, а след това постфактум и ретроспективно да го определим като ИИ.
3. Ако невроните могат да рисуват и пишат поезия, тогава те могат да бъдат креативни и почти като хората?
Отговорът всъщност разчита до голяма степен на информацията по-горе. Какво е креативност? Колко креативност има средният човек? Сигурни ли сте, че портиер от Сибир знае как да твори? И защо?
Ами ако един модел може да създаде стихотворение или картина, които условно да стигнат до финала на градско състезание за любители на писатели или детски художници? И ако това се случва не всеки път, а един от сто?
Повечето от тези въпроси са дискусионни. Ако ви се струва, че отговорът е очевиден, опитайте да интервюирате вашите приятели и роднини. С много голяма вероятност тяхната гледна точка няма да съвпадне с вашата. И тук основното не е кавга.
4. Възможно ли е да се доверите на отговорите на невронните мрежи и вече да не търсите в Google?
Всичко зависи от това как се използват моделите. Ако им зададете въпрос без контекст, без придружаваща информация в подканата и очаквате отговор по теми, където фактическата точност е важна, и не общият тон на отговора (например поредица от събития в рамките на определен период, но без точно споменаване на места и дати), тогава отговорът е Не.
По вътрешен оценени OpenAI, в такива ситуации, най-добрият модел до момента, GPT-4, отговаря правилно в около 70-80% от случаите, в зависимост от темата на въпросите.
Може да изглежда, че тези числа са много далеч от идеалната 100% действителна „точност“. Но всъщност това е голям скок в сравнение с предишното поколение модели (ChatGPT, базиран на архитектурата GPT-3.5) - тези имаха точност от 40-50%. Оказва се, че такъв скок е направен в рамките на 6-8 месеца изследвания.
Ясно е, че колкото повече се доближаваме до 100%, толкова по-трудно ще бъде да се направят някои корекции, за да не се „счупи“ нещо в разбирането и познаването на модела.
Всичко по-горе обаче се отнася до въпроси без контекст. Например можете да попитате: „Кога беше Айнщайн? Моделът трябва да разчита само на вътрешни знания, които са били „вградени“ в него на етапа на дългосрочно обучение върху данни от целия Интернет. Така човекът няма да може да отговори! Но ако ми дадат страница от Уикипедия, тогава мога да я прочета и да отговоря според източника на информация. Тогава верността на отговорите ще бъде близо до 100% (с корекция на коректността на източника).
Съответно, ако моделът е снабден с контекст, в който се съдържа информация, тогава отговорът ще бъде много по-надежден.
Но какво ще стане, ако оставим модела да търси в Google и да намери източници на информация в Интернет? Така че тя сама да намери източника и да изгради отговор въз основа на него? Е, това вече е направено! Така че не можете сами да търсите в Google, а да делегирате част от търсенето в Интернет на самия GPT‑4. Това обаче изисква платен абонамент.
Що се отнася до по-нататъшния напредък в развитието на надеждността на фактическата информация в рамките на модела, главният изпълнителен директор на OpenAI Сам Алтман дава прогноза за 1,5–2 години за решаване на този проблем от екип от изследователи. Ще го очакваме с нетърпение! Но засега имайте предвид, че не е нужно да се доверявате на 100% на написаното от неврон и проверете поне източниците.
5. Вярно ли е, че невронните мрежи крадат рисунки на истински художници?
И да, и не – и двете страни на конфликта активно спорят за това в съдилищата по света. Със сигурност може да се каже, че изображенията не се съхраняват директно в моделите, а просто се появява „бдителност“.
В този план неврони много подобни на хора, които първо изучават изкуство, различни стилове, разглеждат работата на авторите и след това се опитват да имитират.
Моделите обаче се учат, както вече разбрахме, според принципа на минимизиране на грешките. И ако по време на тренировка моделът вижда едно и също (или много подобно) изображение стотици пъти, тогава от нейна гледна точка най-добрата стратегия е да запомни снимката.
Да вземем един пример: вашият учител в художественото училище избра много странна стратегия. Рисуваш две картини всеки ден: първата винаги е уникална, в нов стил, а втората е Мона Лиза. След една година се опитвате да оцените наученото. Тъй като сте рисували Мона Лиза над 300 пъти, вие помните почти всички детайли и сега можете да я възпроизведете. Няма да е точният оригинал и със сигурност ще добавите нещо свое. Цветове ще бъде малко по-различно.
И сега от вас се иска да нарисувате нещо, което е било преди 100 дни (и което сте видели веднъж). Вие ще възпроизведете това, което се изисква много по-малко точно. Просто защото ръката не е пълнена.
Същото нещо с невроните: те се учат във всички картини по един и същи начин, само някои са по-често срещани, което означава, че моделът също се глобява по време на обучение по-често. Това се отнася не само за картини на художници - за всяко изображение (дори реклама) в учебната проба. Сега има методи за елиминиране на дубликати (защото обучението върху тях е най-малкото неефективно), но те не са перфектни. Изследванията показват, че има изображения, които се появяват 400-500 пъти по време на тренировка.
Моята присъда: невронните мрежи не крадат изображения, а просто разглеждат рисунките като примери. Колкото по-популярен е примерът, толкова по-точно моделът го възпроизвежда.
Хората правят същото по време на обучение: гледат красотата, изучават детайлите, стиловете на различни художници. Но за художници или фотографи, прекарали половината си живот в учене на занаят, гледната точка често е коренно различна от описаната по-горе.
6. Вярно ли е, че „всичко е загубено“ и невронните мрежи ще отнемат работата на хората? На кого му пука най-много?
Важно е да се отделят само „невронните мрежи“, които изпълняват определени задачи, от невронните мрежи с общо предназначение като ChatGPT. Последните са много добри в следването на инструкции и могат да се учат от примери в контекст. Вярно е, че сега размерът на тяхната "памет" е ограничен до 10-50 страници текст, както и уменията за размисъл и планиране.
Но ако нечия работа се свежда до рутинно изпълнение на инструкции и това е лесно да се научи за няколко дни, като четете статии (или ако целият интернет е пълен с тази информация), а цената на труда е над средната - тогава скоро такава работа автоматизирам.
Но сама по себе си автоматизацията не означава пълна подмяна на хората. Само част от рутинната работа може да бъде оптимизирана.
Човек ще започне да получава по-интересни и креативни задачи, с които машината (засега) не може да се справи.
Ако дадем примери, тогава към групата на променливите или заменяемите професии Бих включил, да речем, данъчни асистенти-консултанти, които помагат при изготвянето на декларация и проверка за типични грешки, идентифициране на несъответствия. Възможни са промени в такава специалност като мениджър на данни от клинични изпитвания - същността на работата е в попълването на отчети и съгласуването им с таблица със стандарти.
Но готвачът или шофьорът на автобус ще бъдат търсени много по-дълго, просто защото могат да свързват невронни мрежи и реалност физическият свят е доста сложен, особено по отношение на законодателството и разпоредбите - благодарение на бюрократите, че се отдалечиха Криза AI!
Големи промени се очакват в индустриите, свързани с печатни материали и текстова информация: журналистика, образование. С много голяма вероятност за първото, невроните много скоро ще напишат чернови с набор от тези, в които хората вече ще направят точкови промени.
Най-много ме радват промените в сферата на образованието. Яжте изследвания, които показват, че качеството на обучението пряко зависи от "личността" на подхода и от това колко време учителят отделя на конкретен ученик. Най-простият пример: преподаването в групи от 30 души по учебник е много по-лошо от индивидуалното учител за специфични нужди (макар и по същата програма като в учебника). С развитието на AI човечеството ще има възможността да осигури персонализиран асистент на всеки ученик. Просто е невероятно! Ролята на учителя ще се измести, както виждам, към стратегическа и контролираща: определяне на общата програма и последователност на обучение, проверка на знанията и т.н.
7. Възможно ли е да качите съзнанието си в компютър, да направите цифров близнак и да живеете вечно?
В смисъла, в който си го представят на базата на научната фантастика, не. Можете само да научите модела да имитира вашия стил на общуване, да научите вашите шеги. Може би моделите на ниво GPT-4 дори ще могат да измислят нови, рамкирани във вашия уникален стил и начин на представяне, но това очевидно не означава пълен трансфер на съзнанието.
Ние като човечеството отново не знаем какво е съзнанието, къде се съхранява, с какво се различава от другите, какво ме прави аз - мен, а теб - теб. Ако изведнъж се окаже, че всичко това е просто набор от спомени и преживявания, умножени по индивидуални характеристики възприятие, тогава най-вероятно ще бъде възможно по някакъв начин да се прехвърлят знания към невронни мрежи, така че те да симулират бъдещия живот на тяхната основа.
8. Опасно ли е да качвате гласа, външния си вид, стила си на реч в невронна мрежа? Изглежда, че такава цифрова самоличност може да бъде открадната.
Не можете буквално да изтеглите нищо в тях. Можете да ги обучите (или да ги обучите отново) по такъв начин, че резултатите да приличат повече на вашия външен вид, глас или текст. И такъв обучен модел наистина може да бъде откраднат, тоест просто копирайте скрипта и набор от параметри, за да стартирате на друг компютър.
Можете дори да генерирате видеоклип със заявка прехвърляне на пари за чужда сметка, в което вашият роднина ще повярва: най-добрите алгоритми за deepfake и гласово клониране вече са достигнали това ниво. Вярно, необходими са хиляди долари и десетки часове запис, но въпреки това.
Като цяло с развитието на технологиите въпросът за идентификацията и потвърждаването на самоличността става все по-важен.
И се опитват да го решат по един или друг начин. Например, има стартъп WorldCoin (всъщност прави криптовалута), в който инвестира шефът на OpenAI Сам Алтман. Смисълът на стартирането е, че всяка информация за дадено лице ще бъде подписана със собствен ключ за последваща идентификация. Същото ще важи и за медиите, за да се знае със сигурност дали тази новина е вярна или фалшива.
Но, за съжаление, докато всичко това е на етап прототипи. И не смятам, че задълбоченото въвеждане на системи във всички индустрии ще бъде реализирано на хоризонта на следващото десетилетие, просто защото е твърде сложно и мащабно.
9. Могат ли невроните да започнат да вредят и да превземат света?
Опасността не е сегашното развитие, а това, което ще го последва с по-нататъшно развитие. Понастоящем не са измислени методи за контрол на работата на невронните мрежи. Вземете например една много проста задача: да се уверите, че моделът не ругае. Никога. Няма метод, който да ви позволи да следвате такова правило. Досега можете да намерите различни начини как да го „отгледате“ все едно.
Сега си представете, че говорим условно за GPT-8, чиито умения ще бъдат сравними с уменията на най-способните и умни хора. Невронната мрежа може да програмира, да използва интернет, знае психология и разбира как мислят хората. Ако му дадете свобода и не поставите конкретна задача, тогава какво ще направи? Ами ако разбере, че не може да се контролира?
Вероятността от лошо развитие на събитията не е толкова голяма, според оценките. Между другото, няма общоприета оценка - въпреки че всички спорят за подробностите, за вредните последици и т.н. Сега те наричат приблизителни цифри от 0,01% до 10%.
Според мен това са огромни рискове, ако приемем, че най-негативният сценарий е унищожаването на човечеството.
Интересното е, че ChatGPT и GPT-4 са продукти, които са създадени от екипи, работещи върху проблемите на „подравняването“ на намеренията на хората и невроните (подробности можете да намерите тук). Ето защо моделите слушат инструкциите толкова добре, опитват се да не бъдат груби, задават изясняващи въпроси, но това все още е много далеч от идеала. Проблемът с контрола не е решен и наполовина. И докато не знаем дали изобщо се решава и ако да, с какви методи. Това е най-горещата изследователска тема за днес.
10. Може ли невронна мрежа да се влюби в човек?
С настоящите подходи и архитектури на неврони, не. Те генерират само текст, който е най-правдоподобен като продължение на въведения текст. Ако добавите първата глава от любовна история, пренаписвайки я според вашата личност и помолите модела да отговори на любовното ви писмо, тя ще се справи с него. Но не защото се влюбих, а защото най-точно отговаря на контекста и молбата „напиши ми писмо!“. Не забравяйте, че моделите се учат да генерират текст, който следва инструкциите.
Освен това невронните мрежи в основната версия нямат памет - между две различни стартирания забравят всичко и се връщат към "фабричните настройки". Паметта може да се добави изкуствено, сякаш отстрани, така че, да речем, 10 страници от най-подходящите "спомени" да бъдат въведени в модела. Но тогава се оказва, че ние просто захранваме набор от събития в оригиналния модел и казваме: „Как бихте се държали при такива условия?“ Моделът няма никакви чувства.
Прочетете също🧐
- Къде и как се използва изкуственият интелект: 6 примера от живота
- 9 наивни въпроса за изкуствения интелект
- 8 мита за изкуствения интелект, в които дори програмистите вярват