Глубокое обучение на R

[html]Глубокое обучение - Deep learning - это набор алгоритмов машинного обучения, которые моделируют высокоуровневые абстракции в данных, используя архитектуры, состоящие из множества нелинейных преобразований. Согласитесь, эта фраза звучит угрожающе. Но всё не так страшно, если о глубоком обучении рассказывает Франсуа Шолле, который создал Keras - самую мощную библиотеку для работы с нейронными сетями. Познакомьтесь с глубоким обучением на практических примерах из самых разнообразных областей. Книга делится на две части, в первой даны теоретические основы, вторая посвящена решению конкретных задач. Это позволит вам не только разобраться в основах DL, но и научиться использовать новые возможности на практике.Книга "Глубокое обучение на R" написана для людей с опытом программирования на R, желающих быстро познакомиться с глубоким обучением на практике, и является переложением бестселлера Франсуа Шолле "Глубокое обучение на Python", но использующим примеры на базе интерфейса R для Keras.СОДЕРЖАНИЕ книги Франсуа Шолле "Глубокое обучение на R"Предисловие . 16Благодарности . 17Об этой книге . 19Об авторах 23Об иллюстрации на обложке . 24ЧАСТЬ I. ОСНОВЫ ГЛУБОКОГО ОБУЧЕНИЯ 25Глава 1. Что такое глубокое обучение? . 261.1. Искусственный интеллект, машинное и глубокое обучение . 271.1.1. Искусственный интеллект . 271.1.2. Машинное обучение . 281.1.3. Обучение представлению данных . 291.1.4. "Глубина" глубокого обучения . 311.1.5. Принцип действия глубокого обученияв трех картинках . 331.1.6. Какой ступени развития достигло глубокое обучение 351.1.7. Не верьте рекламе 361.1.8. Перспективы ИИ . 371.2. Что было до глубокого обучения:краткая история машинного обучения 381.2.1. Вероятностное моделирование . 391.2.2. Первые нейронные сети 391.2.3. Ядерные методы . 401.2.4. Деревья решений, случайные леса и градиентный бустинг 411.2.5. Назад к нейронным сетям . 421.2.6. Отличительные черты глубокого обучения 431.2.7. Современный ландшафт машинного обучения . 441.3. Почему глубокое обучение? Почему сейчас? . . . . . . . . . . . . . . . . . . .451.3.1. Оборудование . 451.3.2. Данные . 461.3.3. Алгоритмы 471.3.4. Новая волна инвестиций . 481.3.5. Демократизация глубокого обучения 491.3.6. Ждать ли продолжения этой тенденции? . 49Глава 2. Прежде чем начать: математические основы нейронных сетей 512.1. Первое знакомство с нейронной сетью . 522.2. Представление данных для нейронных сетей . 562.2.1. Скаляры (тензоры нулевого ранга) 572.2.2. Векторы (тензоры первого ранга) . 572.2.3. Матрицы (тензоры второго ранга) . 572.2.4. Тензоры третьего и высшего рангов 582.2.5. Ключевые атрибуты 582.2.6. Манипулирование тензорами в R 592.2.7. Пакеты данных . 602.2.8. Практические примеры тензоров с данными 602.2.9. Векторные данные 612.2.10. Временные ряды, или последовательности 612.2.11. Изображения 622.2.12. Видео . 632.3. Шестеренки нейронных сетей: операции с тензорами . 632.3.1. Поэлементные операции . 642.3.2. Операции с тензорами, имеющими разные размерности 652.3.3. Скалярное произведение тензоров 652.3.4. Изменение формы тензора 682.3.5. Геометрическая интерпретация операций с тензорами 692.3.6. Геометрическая интерпретация глубокого обучения 702.4. Механизм нейронных сетей: оптимизация на основе градиента 712.4.1. Что такое производная? 722.4.2. Производная операций с тензорами: градиент 732.4.3. Стохастический градиентный спуск . 742.4.4. Объединение производных:алгоритм обратного распространения ошибки . 772.5. Взгляд назад на первый пример . 78Краткие итоги главы . 80Глава 3. Начало работы с нейронными сетями 813.1. Анатомия нейронной сети 823.1.1. Слои: строительные блоки глубокого обучения . 833.1.2. Модели: сети слоев . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .843.1.3. Функции потерь и оптимизаторы: ключи к настройкепроцесса обучения . 843.2. Введение в Keras 853.2.1. Keras, TensorFlow, Theano и CNTK 863.2.2. Установка Keras 873.2.3. Разработка с использованием Keras: краткий обзор . 883.3. Настройка рабочей станции для глубокого обучения 903.3.1. Подготовка Keras: два варианта 903.3.2. Запуск заданий глубокого обучения в облаке: за и против 913.3.3. Выбор GPU для глубокого обучения 913.4. Классификация отзывов к фильмам:пример бинарной классификации . 923.4.1. Набор данных IMDB 923.4.2. Подготовка данных . 943.4.3. Конструирование сети 943.4.4. Проверка решения 983.4.5. Использование обученной сети для предсказанийна новых данных 1023.4.6. Дальнейшие эксперименты . 1023.4.7. Итоги 1033.5. Классификация новостных лент:пример классификации в несколько классов . 1033.5.1. Набор данных Reuters . 1043.5.2. Подготовка данных . 1053.5.3. Конструирование сети 1063.5.4. Проверка решения 1073.5.5. Предсказания на новых данных 1083.5.6. Другой способ обработки меток и потерь 1093.5.7. Важность использования достаточно большихпромежуточных уровней . 1093.5.8. Дальнейшие эксперименты . 1103.5.9. Итоги . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1103.6. Предсказание цен на дома: пример регрессии 1113.6.1. Набор данных с ценами на жилье в Бостоне 1113.6.2. Подготовка данных . 1123.6.3. Конструирование сети 1133.6.4. Оценка решения методом перекрестной проверкипо K блокам 1143.6.5. Подведение итогов . 118Краткие итоги главы . 118Глава 4. Основы машинного обучения 1204.1. Четыре раздела машинного обучения . 1204.1.1. Контролируемое обучение 1214.1.2. Неконтролируемое обучение . 1214.1.3. Самоконтролируемое обучение . 1224.1.4. Обучение с подкреплением . 1224.2. Оценка моделей машинного обучения 1244.2.1. Тренировочные, проверочные и контрольныенаборы данных . 1244.2.2. Что важно помнить . 1284.3. Обработка данных, конструирование признакови обучение признаков 1284.3.1. Предварительная обработка данныхдля нейронных сетей 1294.3.2. Конструирование признаков . 1314.4. Переобучение и недообучение . 1334.4.1. Уменьшение размера сети . 1334.4.2. Добавление регуляризации весов . 1374.4.3. Добавление прореживания . 1384.5. Обобщенный процесс решения задач машинного обучения 1414.5.1. Определение задачи и создание набора данных 1414.5.2. Выбор меры успеха . 1424.5.3. Выбор протокола оценки 1434.5.4. Предварительная подготовка данных 1434.5.5. Разработка модели более совершенной,чем базовый случай 1444.5.6. Масштабирование по вертикали:разработка модели с переобучением . 1454.5.7. Регуляризация модели и настройка гиперпараметров 146Краткие итоги главы . 147ЧАСТЬ II. ГЛУБОКОЕ ОБУЧЕНИЕ НА ПРАКТИКЕ 149Глава 5. Глубокое обучениедля распознавания образов 1505.1. Введение в сверточные нейронные сети . 1505.1.1. Операция свертывания . 1535.1.2. Выбор максимального значения из соседних (max-pooling) 1595.2. Обучение сверточной нейронной сети с нуляна небольшом наборе данных 1615.2.1. Целесообразность глубокого обучениядля решения задач с небольшими наборами данных . 1625.2.2. Загрузка данных . 1625.2.3. Конструирование сети 1655.2.4. Предварительная обработка данных . 1675.2.5. Расширение данных 1705.3. Использование предварительно обученной сверточнойнейронной сети 1745.3.1. Выделение признаков . 1755.3.2. Дообучение 1855.3.3. Итоги 1905.4. Визуализация знаний, заключенных в сверточнойнейронной сети 1905.4.1. Визуализация промежуточных активаций 1915.4.2. Визуализация фильтров сверточных нейронных сетей . 1985.4.3. Визуализация тепловых карт активации класса . 203Краткие итоги главы . 208Глава 6. Глубокое обучение для текстаи последовательностей . 2096.1. Работа с текстовыми данными 2106.1.1. Прямое кодирование слов и символов . 2126.1.2. Использование векторного представления слов 2146.1.3. Объединение всего вместе: от исходного текстак векторному представлению слов 2216.1.4. Итоги 2276.2. Рекуррентные нейронные сети . 2286.2.1. Рекуррентный уровень в Keras 2316.2.2. Слои LSTM и GRU 2346.2.3. Пример использования слоя LSTM из Keras 2386.2.4. Подведение итогов . 2396.3. Улучшенные методы использования рекуррентныхнейронных сетей 2406.3.1. Задача прогнозирования температуры 2406.3.2. Подготовка данных . 2436.3.3. Базовое решение без привлечения машинного обучения . 2476.3.4. Базовое решение c привлечением машинного обучения 2486.3.5. Первое базовое рекуррентное решение 2506.3.6. Использование рекуррентного прореживаниядля борьбы с переобучением 2526.3.7. Наложение нескольких рекуррентных уровнейдруг на друга 2546.3.8. Использование двунаправленных рекуррентныхнейронных сетей 2556.3.9. Что дальше . 2606.3.10. Подведение итогов . 2606.4. Обработка последовательностей с помощью сверточныхнейронных сетей 2616.4.1. Обработка последовательных данных с помощьюодномерной сверточной нейронной сети . 2626.4.2. Выбор соседних значений в одномернойпоследовательности данных . 2636.4.3. Реализация одномерной сверточной сети 2636.4.4. Объединение сверточных и рекуррентных сетейдля обработки длинных последовательностей . 2656.4.5. Подведение итогов . 270Краткие итоги главы . 270Глава 7. Лучшие практики глубокого обученияпродвинутого уровня . 2727.1. За рамками последовательной модели: функциональный API фреймворка Keras 2737.1.1. Введение в функциональный API . 2767.1.2. Модели с несколькими входами . 2787.1.3. Модели с несколькими выходами 2807.1.4. Ориентированные ациклические графы уровней . 2837.1.5. Повторное использование экземпляров слоев . 2887.1.6. Модели как слои . 2897.1.7. Подведение итогов 2907.2. Исследование имониторинг моделей глубокого обучения с использованием обратных вызовов Keras иTensorBoard . 2907.2.1. Применение обратных вызовов для воздействияна модель в ходе обучения . 2917.2.2. Введение в TensorBoard:фреймворк визуализации TensorFlow . 2947.2.3. Подведение итогов . 3007.3. Извлечение максимальной пользы из моделей 3007.3.1. Шаблоны улучшенных архитектур . 3007.3.2. Оптимизация гиперпараметров . 3047.3.3. Ансамблирование моделей 3067.3.4. Подведение итогов . 308Краткие итоги главы . 309Глава 8. Генеративное глубокое обучение . 3108.1. Генерирование текста с помощью LSTM . 3128.1.1. Краткая история генеративных рекуррентных сетей 3128.1.2. Как генерируются последовательности данных? 3138.1.3. Важность стратегии выбора 3148.1.4. Реализация посимвольной генерации текстана основе LSTM 3168.1.5. Подведение итогов . 3218.2. DeepDream 3228.2.1. Реализация DeepDream в Keras . 3238.2.2. Подведение итогов . 3288.3. Нейронная передача стиля . 3298.3.1. Функция потерь содержимого . 3318.3.2. Функция потерь стиля . 3318.3.3. Нейронная передача стиля в Keras 3328.3.4. Подведение итогов . 3388.4. Генерирование изображений с вариационнымиавтокодировщиками . 3388.4.1. Выбор шаблонов из скрытых пространств изображений 3408.4.2. Концептуальные векторыдля редактирования изображений 3418.4.3. Вариационные автокодировщики 3428.4.4. Подведение итогов . 3498.5. Введение в генеративно-состязательные сети 3508.5.1. Реализация простейшей генеративно-состязательной сети 3528.5.2. Набор хитростей . 3528.5.3. Генератор . 3548.5.4. Дискриминатор . 3558.5.5. Состязательная сеть . 3558.5.6. Как обучить сеть DCGAN . 3568.5.7. Подведение итогов . 359Краткие итоги главы . 359Глава 9. Заключение 3609.1. Краткий обзор ключевых понятий 3619.1.1. Разные подходы к ИИ 3619.1.2. Что делает глубокое обучение особеннымсреди других подходов к машинному обучению . 3619.1.3. Как правильно воспринимать глубокое обучение 3629.1.4. Ключевые технологии . 3639.1.5. Обобщенный процесс машинного обучения . 3649.1.6. Основные архитектуры сетей 3659.1.7. Пространство возможностей 3709.2. Ограничения глубокого обучения . 3729.2.1. Риск очеловечивания моделей глубокого обучения . 3739.2.2. Локальное и экстремальное обобщение 3759.2.3. Итоги 3779.3. Будущее глубокого обучения 3779.3.1. Модели как программы . 3789.3.2. За границами алгоритма обратного распространенияошибки и дифференцируемых уровней . 3809.3.3. Автоматизированное машинное обучение . 3819.3.4. Непрерывное обучение и повторное использованиемодульных подпрограмм . 3829.3.5. Долгосрочная перспектива . 3849.4. Как не отстать от прогресса в быстро развивающейся области . 3859.4.1. Практические решения реальных задач на сайте Kaggle 3859.4.2. Знакомство с последними разработками на сайте arXiv 3859.4.3. Исследование экосистемы Keras 3869.5. Заключительное слово . 387Приложение A. Установка Kerasи его зависимостей в Ubuntu . 388A.1. Обзор процесса установки . 388A.2. Установка системных библиотек 388A.3. Настройка поддержки GPU . 389A.3.1. Установка CUDA 389A.3.2. Установка cuDNN 390A.3.3. Настройка окружения для CUDA 390A.4. Установка Keras и TensorFlow . 391Приложение B. Запуск RStudio Serverна экземпляре EC2 GPU . 393B.1. Зачем использовать AWS для глубокого обучения? . 393B.2. Когда нежелательно использовать AWSдля глубокого обучения? 393B.3. Настройка экземпляра AWS GPU . 394B.3.1. Установка R и RStudio Server . 396B.3.2. Настройка CUDA . 397B.3.3. Подготовка библиотек для Keras . 397B.4. Настройка доступа к RStudio Server 398B.5. Установка Keras . 399[/html]