Вчитися, вчитися і вчитися. Навіщо Google нейронні мережі-малюки
Кілька століть, з часів першої промислової революції, на Землі стрімко зростало виробництво і споживання енергії. В останні десятиліття цей ріст сповільнюється, до радості екологів. Але людство не зупинилося у технологічному розвитку, а "переключилася" на зростання виробництва і споживання інформаційної продукції — від цифрових кінофільмів і телепередач до всіляких онлайн-ресурсів, включаючи наукові і статистичні бази даних.
У цього зростання, забезпечуваного мініатюризацією елементів мікросхем, теж вже намацується межа. Щоб подолати його, потрібні зовсім нові технології типу квантових комп'ютерів. Але поки фізики працюють над їх створенням, людство, схоже, вже "перемикається" на новий напрямок росту під назвою " штучний інтелект.
Навіть якщо енергетика, комп'ютери, інтернет взагалі припинять зростання і заспокояться на досягнутому, ІІ-технології будуть вільно розвиватися, причому вибуховими темпами. Секрет цього — у машинному навчанні. Ні, машини не навчаться любити, ненавидіти, співчувати і каятися, як люди. Однак вони вчаться один у одного, робити висновки з інформації — тієї самої, яку ми виробляємо у все більш грандіозних обсягах, але не вміємо толком перетравлювати і засвоювати.
Поки що цей вибухове зростання не дуже помітний для нас, бо машини ще занадто дурні. В основному вони тільки підбираються до того, що вміємо робити ми. Але вже зараз в деяких сферах вони починають нас обганяти. За прикладами далеко ходити не треба — досить поглянути на всім добре знайомий Google.
AutoML буде доступна кожному
Компанія Google оголосила про черговий великий крок у розробці штучного інтелекту, розповівши про новий підхід до машинного навчання, за допомогою якого нейронні мережі можна буде використовувати для створення ще більш ефективних нейронних мереж. По суті, мова йде про навчання машини створювати собі подібних.
Штучні нейронні мережі розробляються з урахуванням імітації процесу навчання мозку, і, згідно з Google, її нова технологія, що отримала назву AutoML, здатна зробити ці мережі ще потужніше, ефективніше і простіше у використанні.
Генеральний директор Google Сундар Пичаи показав приклад роботи AutoML, виступаючи на конференції Google I/O 2017 — щорічному заході для розробників програмного і апаратного забезпечення, де зазвичай компанія представляє свої нові продукти.
"Працює це так: ми беремо набір кандидатів у нейронні мережі, — назвемо їх нейронними мережами-малюками, — і багаторазово проганяємо через них на предмет пошуку помилок вже готову нейронну мережу до тих пір, поки не отримаємо ще більш ефективну нейронну мережу", — сказав Пичаи.
Цей процес називається стимулированным навчанням: якщо зміна вільних параметрів мережі поліпшує її результати (підвищує її здатність знаходити помилки), це зміна закріплюється, після чого починається пошук ще більш вдалих варіантів. За тим же принципом, наприклад, навчають новим трюкам собак. Зрозуміло, у разі комп'ютерів тут потрібно наявність величезної обчислювальної потужності, проте потужність обладнання Google вийшла вже на такий рівень, що одна нейронна мережа може без праці аналізувати роботу іншого нейронної мережі.
Для створення нейронної мережі потрібна справжня команда експертів з комп'ютерної інженерії та величезну кількість часу, однак завдяки AutoML в майбутньому практично будь-який користувач зможе побудувати свою власну ІІ-систему і запрограмувати її на виконання самих різних завдань.
"Сьогодні проектування нейронних мереж надзвичайно трудомістким і вимагає досвіду, що недоступно для невеликих співтовариств учених і інженерів. Ось чому ми створили підхід під назвою AutoML, завдяки якому нейронні мережі можуть створювати нейронні мережі. Ми сподіваємося, що AutoML буде володіти здібностями кількох докторів наук і дозволить через три-п'ять років сотням тисяч розробників створювати нові нейронні мережі для своїх конкретних потреб", — написав Пичаи в офіційному блозі.
Машинне навчання намагається наділити комп'ютер здатністю робити свої власні висновки на базі наявної інформації. Воно включає два важливих аспекти: процес навчання і здатність самостійно робити висновки на його базі. З навчанням все більш-менш зрозуміло. Покажи комп'ютера сотню тисяч картинок з котиками і собачками, і він зрозуміє, яка комбінація пікселів становить кожне з цих тварин. З другою частиною дещо складніше. Адже саме тут від машини потрібно показати, чого вона навчилася, і на основі цього навчання самостійно прийти до логічної здогаду. Зробити висновок.
А тепер замініть кішечок і собачок на нейронні мережі, і ви отримаєте уявлення про те, як працює AutoML, яка замість розпізнавання тварин розпізнає, яка з представлених систем є найбільш розумною. Якщо вірити Google, навіть зараз рівень AutoML вже такий, що вона може бути ефективніше експертів-людей у питанні пошуку кращих підходів для вирішення конкретних проблем. У перспективі це дозволить істотно спростити процес створення нових ІІ-систем, так як, по суті, їх будуть створювати собі подібні.
На даний момент AutoML раніше знаходиться на ранньому етапі свого розвитку, говорить Google, однак ІІ, машинне навчання і глибинне машинне навчання (просунуті методи навчання машин, що базуються на імітації роботи нейронів мозку людини) — всі вони так чи інакше вже знаходять своє застосування в тих додатках і сферах, які ми використовуємо і в яких ми перебуваємо щодня.
В рамках демонстрації на сцені конференції I/O інженери Google показали, як їх технологія машинного навчання здатна істотно освітлити дуже темні зображення або, наприклад, прибрати з них різні шуми. І всі ці дії машина здатна виконувати, тільки покладаючись на інформацію, отриману в рамках аналізу мільйонів інших чітких зразків знімків. У Google відзначають, що їх суперкомп'ютери тепер стали ефективніше людини в процесі розпізнавання того, що на фото. На базі цієї технології незабаром вийде користувальницьке додаток Google Lens, здатне ефективно визначати, який квітка (чи квіти) знаходиться зараз перед вами (або на знімках), через камеру смартфона.
За допомогою технології AutoML ІІ-платформи стануть швидше навчатися і будуть набагато розумнішими. "Ми думаємо, що ця технологія призведе до появи нових нейронних мереж та відкриття можливостей, коли навіть експерти не зможуть створювати свої особисті нейронні мережі для певних своїх потреб. Це, в свою чергу, збільшить здатність технологій машинного навчання впливати на нас усіх", — вважають наукові фахівці Google Куок Ле і Баррет Зоф.
GoogleTranslate сплітає всі мови в один
Прикладом успішності глибинного машинного навчання може служити онлайн-перекладач Google Translate. Років п'ять тому це був глюканутый перекладач з потішними переказами, який годився хіба що для забави. Але поступово він став показувати все більш якісні результати.
Особливо помітні і швидкі поліпшення стали спостерігатися після того, як у вересні 2016 р. до системі Google Translate підключили нейронну мережу Google Neural Machine Translation (GNMT) на основі штучного інтелекту для прискорення процесів перекладу на кілька найпоширеніших мов. А незабаром машинний перекладач навчився розпізнавати і ті мови, які не були закладені в нього спочатку. Це стало можливим із-за того, що штучний розум самостійно створив "проміжне" наріччя, яке використовується для перекладу з однієї мови на іншу.
Google Translate, на відміну від інших онлайн-перекладачів, переводить пропозицію цілком, не розбиваючи його на окремі слова. Звичайно, якість все ще далеко від ідеалу, але воно постійно поліпшується. З-за граматичною різниці між мовами для перекладу фраз і пропозицій необхідно використовувати різні мовні модулі, які свої для кожної мови. Нейронна мережа GNMT, систематизувавши інформацію цих модулів, створила власний "середній" варіант, який і використовується для перекладу.
Таким чином, спочатку система переводить мову на цей "середній" вигаданий, а вже з нього здатна зробити переклад будь-якої іншої. Приміром, спочатку систему навчили перекладу між англійською та японською мовами, а також англійською та корейською. Далі система сама навчилася робити переклад з японської на корейський, минаючи англійська мова.
Багато фахівців бачать в даній системі великий потенціал. Наприклад, фахівець з семантикою з Нью-Йоркського університету Кьюнгхун Чо стверджує: "Реалізований фахівцями компанії Google метод перекладу є більш складним методом, ніж будь-який інший. Але, тим не менш, цей напрямок розвивається дуже швидкими темпами, і в найближчому часі такі системи стануть основним засобом автоматичного перекладу. Я не сумніваюся, що ми створимо і навчимо систему автоматичного переведення на базі єдиної нейронної мережі, яка опанує більш ніж сотнею різних мов".
Після запуску проекту інженери Google постійно збільшували пул мов нейромережі GNMT. 20 квітня 2017 р. компанія оголосила, що Google Translate тепер буде використовувати нейронный переклад для перекладу між українською та англійською мовами. "Наступного разу, коли ви будете використовувати Google Translate, ви, можливо, помітите, що переклад став більш точним і простим для розуміння. Це тому, що слова і пропозиції, які ви переводите між англійською та українською мовами, тепер використовують нашу передову технологію нейронного перекладу", — йдеться в повідомленні.
Перевагою використання машинного навчання вважається сам підхід до обробки тексту. Якщо звичайні онлайн-перекладачі обробляють кожне слово окремо, то нейромережа GNMT переводить пропозиції цілком з урахуванням контексту і множинних смислів, при цьому звіряючись з граматикою. Технологія все ще далека від ідеальної, але підвищення якості машинного перекладу Google Translate на українську можна буде відчути вже найближчим часом. У нейромережі немає нестачі даних для обробки і навчання. За статистикою пошукового гіганта, через Google Translate щодня переводиться до 140 млрд слів на 103 мови.
GoogLeNet допоможе медикам
Подібні надпотужні алгоритми на базі глибинного навчання у майбутньому, напевно, знайдуть застосування і в медицині. Системи, що працюють на їх базі, будуть визначати на знімках ознаки злоякісних утворень і в більшості випадків робити це набагато ефективніше професійних хірургів.
Як відомо, діагностика захворювання має не менше значення, ніж його лікування. Але часто в силу різних причин вона може бути утруднена. Між тим захворювання начебто онкології потребують як можна більш швидкій діагностиці. І фахівці Google вже пропонують використовувати алгоритми машинного навчання для поліпшення діагностики захворювань.
Прийти на допомогу медикам співробітники компанії Google вирішили через те, що, згідно зі статистикою, в питаннях наявності у пацієнтів деяких форм раку молочної та передміхурової залоз думки лікарів можуть не збігатися в половині випадків або навіть частіше. Щоб вирішити дану проблему, і було запропоновано використати допомогу ІІ. Для створення програми дослідники використовували знімки органів, уражених онкологією, надані медичним центром університету Неймегена. Для цих цілей непогано підійшов вже існуючий алгоритм під назвою Inception, або GoogLeNet.
В ході навчання системі "згодували" велика кількість теплових карт, тобто знімків, що показують, які частини тканин можуть бути вражені. Після деякої модифікації алгоритму підготовлені за його допомогою теплові карти були настільки вдосконалені, що їх точність досягла 89% в порівнянні з початковими знімками, що містять велику кількість "шумів". Далі було вирішено порівняти результати роботи та висновки Inception з висновками, які давали б лікарі. У підсумку після аналізу 130 знімків з'ясувалося, що Inception на 16% ефективніше людини визначає ділянки ураження.
Незважаючи на гарні результати, автори алгоритму стверджують, що модель все ще далека від досконалості. Вона не звертає уваги на наявність супутніх патологій, які можуть побічно свідчити про наявність захворювання. Але якщо доповнити програмою-діагностом роботу людину, це може значно збільшити кількість виявлених захворювань, які раніше могли бути упущені.
Google Brain навчається покращувати якість зображень
Пам'ятаєте, як у фільмі "той, що Біжить по лезу" Рик Декард, попиваючи бренді з масивного келиха, голосовими командами збільшував і зменшував різні зони зображення на екрані свого комп'ютера в пошуках доказів? Якість картинки нітрохи не страждало від цього: не було видно ні нагромаджень пікселів, ні артефактів. Зрозуміло, до такого наука поки не дійшла, зате штучний інтелект, створений інженерами Google, цілком може помітно поліпшити якість растрового зображення завдяки хитрим алгоритмам.
Команда фахівців Google Brain створила систему на базі двох нейронних мереж, яка здатна відчутно збагатити деталями зображення низького дозволу. Перша нейронна мережа зіставляє зображення низького дозволу зі схожими картинками високого дозволу, щоб зрозуміти, як приблизно воно повинно або може виглядати в підсумку. Друга нейронна мережа моделює більш чітке зображення на основі отриманих першою мережею даних, намагаючись при цьому досягти найбільш правдоподібного результату.
Поки що результати подібних поліпшень все ще далекі від ідеалу. Але в деяких випадках у ІІ виходить дуже близько наблизитися до оригіналу зображення. На абсолютно незрозумілою, на перший погляд, фото 8 на 8 пікселів система здатна розпізнати обличчя людини і навіть спробує відновити його максимально точно зі своєї точки зору. Такі системи володіють величезним потенціалом, так як якщо дослідникам все ж вдасться навчити їх працювати з високою точністю, цією технологією можуть зацікавитися військові, спецслужби і поліція, які постійно мають справу з розпізнаванням осіб на відеозаписах і фотографіях низької якості.
