Deep Learning обучение глубоких нейронных сетей

Transcript

DEEP LEARNING Обучение глубоких нейронных сетей Дмитрий Коробченко Инженер в области глубокого обучения NVIDIA МАШИННОЕ ОБУЧЕНИЕ 2 МАШИННОЕ ОБУЧЕНИЕ Математическая оптимизация Информатика Машинное обучение Статистика 3 3 МАШИННОЕ ОБУЧЕНИЕ Вход Выход Модель Параметры 4 4 МАШИННОЕ ОБУЧЕНИЕ Вход Выход Модель Параметры Обучающая выборка Обучение с учителем (supervised) 5 5 МАШИННОЕ ОБУЧЕНИЕ Данные с метками Обучение с учителем supervised Данные Неразмеченные данные Обучение без учителя unsupervised Данные о вознаграждении Обучение с подкреплением reinforcement 6 6 МАШИННОЕ ОБУЧЕНИЕ: ЗАДАЧИ Регрессия Классификация y??? x? 7 7 МАШИННОЕ ОБУЧЕНИЕ: ЗАДАЧИ Регрессия Классификация y x 8 8 МАШИННОЕ ОБУЧЕНИЕ: ЗАДАЧИ Регрессия Классификация y x 9 9 НЕЙРОННЫЕ СЕТИ 10 НЕЙРОННЫЕ СЕТИ Вход Выход 11 11 НЕЙРОННЫЕ СЕТИ Нейрон 12 12 НЕЙРОННЫЕ СЕТИ Нейрон 13 13 НЕЙРОННЫЕ СЕТИ Нейрон Функция активации f(a) a Sigmoid f(a) a ReLU 14 14 НЕЙРОННЫЕ СЕТИ Нейрон Многослойный персептрон 15 15 НЕЙРОННЫЕ СЕТИ Прямое распространение Слой 1 Слой 2 Слой 3 Слой НЕЙРОННЫЕ СЕТИ Прямое распространение Слой 1 Слой 2 Слой 3 Слой НЕЙРОННЫЕ СЕТИ? 18 18 НЕЙРОННЫЕ СЕТИ? 19 19 НЕЙРОННЫЕ СЕТИ? 20 20 НЕЙРОННЫЕ СЕТИ? 21 21 НЕЙРОННЫЕ СЕТИ? Выход сети - распределение вероятностей принадлежности к классу 22 22 ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ 23 НЕЙРОННЫЕ СЕТИ: ОБУЧЕНИЕ Обучение с учителем (на примерах) Обучающая выборка 24 24 НЕЙРОННЫЕ СЕТИ: ОБУЧЕНИЕ Обучение с учителем (на примерах) Обучение Обучающая выборка 25 25 НЕЙРОННЫЕ СЕТИ: ОБУЧЕНИЕ Обучение с учителем (на примерах) Обучение Обучающая выборка 26 26 НЕЙРОННЫЕ СЕТИ: ОБУЧЕНИЕ Обучение с учителем (на примерах) Обучение Обучающая выборка 27 27 НЕЙРОННЫЕ СЕТИ: ОБУЧЕНИЕ Градиентный спуск Итерационный процесс 28 28 НЕЙРОННЫЕ СЕТИ: ОБУЧЕНИЕ Стохастический градиентный спуск Образец На итерации t: 29 29 НЕЙРОННЫЕ СЕТИ: ОБУЧЕНИЕ Стохастический градиентный спуск Образец На итерации t: 30 30 НЕЙРОННЫЕ СЕТИ: ОБУЧЕНИЕ Стохастический градиентный спуск На итерации t: Образец Предсказание 31 31 НЕЙРОННЫЕ СЕТИ: ОБУЧЕНИЕ Стохастический градиентный спуск На итерации t: Образец Предсказание Как сильно мы ошиблись? 32 32 НЕЙРОННЫЕ СЕТИ: ОБУЧЕНИЕ Стохастический градиентный спуск На итерации t: Образец Предсказание Как сильно мы ошиблись? Поправить веса! 33 33 НЕЙРОННЫЕ СЕТИ: ОБУЧЕНИЕ Обратное распространение ошибки Слой 1 Слой 2 Слой 3 Слой НЕЙРОННЫЕ СЕТИ???? Данные легко разделимы 35 35 СЛОЖНЫЕ ЗАДАЧИ 36 КОМПЬЮТЕРНОЕ ЗРЕНИЕ Описание Семантическая информация Изображение Или Видео 37 37 КОМПЬЮТЕРНОЕ ЗРЕНИЕ: ЗАДАЧИ Классификация Котик 38 38 КОМПЬЮТЕРНОЕ ЗРЕНИЕ: ЗАДАЧИ Классификация Детектирование объектов Котик Человек Собака Стул 39 39 КОМПЬЮТЕРНОЕ ЗРЕНИЕ: ЗАДАЧИ Семантическая сегментация 40 40 ТРУДНОСТИ 41 41 ТРУДНОСТИ??? 42 42 ТРУДНОСТИ Много неструктурированной информации B G R = 43 43 ПРИЗНАКИ 44 44 ПРИЗНАКИ Признаки 45 45 ПРИЗНАКИ Признаки Lenna 46 46 ПРИЗНАКИ + НЕЙРОННАЯ СЕТЬ Признаки Lenna 47 47 СВЕРТКА * 48 48 СВЕРТКА * 49 49 СВЕРТКА * 50 50 СВЕРТКА * 51 51 СВЕРТКА * 52 52 СВЁРТОЧНАЯ НЕЙРОННАЯ СЕТЬ Lenna Обучаемые признаки 53 53 ПРОБЛЕМЫ НЕ ЗАКОНЧИЛИСЬ шесть Легко 54 54 ПРОБЛЕМЫ НЕ ЗАКОНЧИЛИСЬ шесть Легко? = Сложно 55 55 56 56 ИЕРАРХИЯ ПРИЗНАКОВ Пиксели Границы Фрагменты Объекты 57 57 ИЕРАРХИЯ ПРИЗНАКОВ Пиксели Границы Фрагменты Объекты ГЛУБОКИЕ НЕЙРОННЫЕ СЕТИ Котик 58 58 DEEP LEARNING Обучение иерархии признаковых представлений 59 DEEP LEARNING Обучение иерархии признаковых представлений Признаки Обучаемые признаки Иерархия (много уровней) 60 ТИПЫ СЛОЕВ Свёрточный слой * 61 61 ТИПЫ СЛОЕВ Понижение размерности (pooling) Локальное усреднение Локальный максимум 62 62 ТИПЫ СЛОЕВ Полносвязный слой 63 63 ПРИМЕР СВЁРТОЧНЫЙ НЕЙРОННОЙ СЕТИ Вход Выход Свертка Pooling Свертка Pooling Полносвязный 64 64 ПРИЛОЖЕНИЯ 65 РАСПОЗНАВАНИЕ ЛИЦ Идентификация Пол, возраст, эмоции 66 66 МЕДИЦИНА: ДИАГНОСТИКА Анализ медицинских изображений и выявление аномалий 67 67 АВТОПИЛОТ 68 68 УМНЫЕ УСТРОЙСТВА 69 69 ДОПОЛНЕННАЯ РЕАЛЬНОСТЬ 70 70 ДРУГИЕ НЕЙРОННЫЕ СЕТИ 71 РЕКУРЕНТНЫЕ НЕЙРОННЫЕ СЕТИ 72 72 РЕКУРЕНТНЫЕ НЕЙРОННЫЕ СЕТИ 73 73 РЕКУРЕНТНЫЕ НЕЙРОННЫЕ СЕТИ 74 74 ОБРАБОТКА ЕСТЕСТВЕННОГО ЯЗЫКА Мама мыла раму Машинный перевод Умная клавиатура Чат боты 75 75 РАСПОЗНАВАНИЕ РЕЧИ Ok, Google Siri П Р И В Е Т 76 76 ИЗОБРАЖЕНИЕ ТЕКСТ Man in black shirt is playing guitar Construction worker in orange safety vest is working on road Two young girls are playing with lego toy 77 77 ОБУЧЕНИЕ С ПОДКРЕПЛЕНИЕМ 78 78 ОТ РАСПОЗНАВАНИЯ К СИНТЕЗУ 79 СИНТЕЗ РЕЧИ И МУЗЫКИ Сегодня отличная погода, на правда ли? WaveNet 80 80 СВЕРХ-РАЗРЕШЕНИЕ Bicubic interpolation Deep Learning 81 81 ПЕРЕНОС СТИЛЯ Признаки G Текстурные признаки 82 82 СОСТЯЗАТЕЛЬНЫЕ СЕТИ (GAN) Генератор 83 83 СОСТЯЗАТЕЛЬНЫЕ СЕТИ (GAN) Дискриминатор Генератор Реальные изображения Реальная или синтезированная? 84 84 ТЕКСТ ИЗОБРАЖЕНИЕ This flower has overlapping pink pointed petals surrounding a ring of short yellow filaments This bird is white with some black on its head and wings, and has a long orange beak This bird has a yellow belly and tarsus, grey back, wings, and brown throat, nape with a black face 85 85 ИЗОБРАЖЕНИЕ ИЗОБРАЖЕНИЕ 86 86 ВИДЕО ВИДЕО Вход Выход 87 87 ПРИЧИНЫ УСПЕХА ГЛУБОКОГО ОБУЧЕНИЯ Совершенствующиеся алгоритмы и архитектуры Доступные объемы данных Ускорение обучения и вывода с помощью GPU 88 88 DEEP LEARNING INSTITUTE СПАСИБО 90 МАСТЕР-КЛАСС https://goo.gl/vo8vsk 91