Глубокое обучение с точки зрения практика

[html]Интерес к машинному обучению зашкаливает, но завышенные ожидания нередко губят проекты еще на ранней стадии. Как машинное обучение - и особенно глубокие нейронные сети - может изменить вашу организацию? Книга "Глубокое обучение с точки зрения практика" не только содержит практически полезную информацию о предмете, но и поможет приступить к созданию эффективных сетей глубокого обучения.Авторы сначала раскрывают фундаментальные вопросы глубокого обучения - настройка, распараллеливание, векторизация, конвейеры операций - актуальные для любой библиотеки, а затем переходят к библиотеке Deeplearning4j (DL4J), предназначенной для разработки технологических процессов профессионального уровня. На реальных примерах читатель познакомится с методами и стратегиями обучения глубоких сетей с различной архитектурой и их распараллеливания в кластерах Hadoop и Spark.Содержание книги "Глубокое обучение с точки зрения практика"Предисловие.................................................................................................................... 14Глава 1. Обзор машинного обучения.......................................................................... 20Обучающиеся машины...................................................................................................... 20Как машины могут обучаться?..................................................................................... 21Биологические корни.................................................................................................... 23Что такое глубокое обучение?...................................................................................... 24Вниз по кроличьей норе............................................................................................... 25Формулировка вопросов................................................................................................... 26Математические основания машинного обучения: линейная алгебра......................... 26Скаляры.......................................................................................................................... 26Векторы.......................................................................................................................... 26Матрицы........................................................................................................................ 27Тензоры.......................................................................................................................... 27Гиперплоскости............................................................................................................. 28Математические операции........................................................................................... 28Преобразование данных в векторы............................................................................. 28Решение систем уравнений.......................................................................................... 30Математические основания машинного обучения: статистика.................................... 32Вероятность................................................................................................................... 32Условные вероятности.................................................................................................. 34Апостериорная вероятность......................................................................................... 34Распределения вероятности......................................................................................... 35Выборка и генеральная совокупность......................................................................... 37Методы с перевыборкой............................................................................................... 37Смещение выборки....................................................................................................... 37Правдоподобие.............................................................................................................. 38Как работает машинное обучение?.................................................................................. 38Регрессия........................................................................................................................ 38Классификация.............................................................................................................. 40Кластеризация............................................................................................................... 40Недообучение и переобучение..................................................................................... 41Оптимизация................................................................................................................. 41Выпуклая оптимизация................................................................................................ 42Градиентный спуск....................................................................................................... 43Стохастический градиентный спуск............................................................................ 45Квазиньютоновские методы оптимизации................................................................ 46Порождающие и дискриминантные модели............................................................... 46Логистическая регрессия.................................................................................................. 47Логистическая функция................................................................................................ 48Интерпретация результата логистической регрессии................................................ 48Оценивание модели.......................................................................................................... 49Матрица неточностей................................................................................................... 49Итоги.................................................................................................................................. 52Глава 2. Основы нейронных сетей и глубокого обучения...................................... 53Нейронные сети................................................................................................................. 53Биологический нейрон................................................................................................. 55Перцептрон.................................................................................................................... 57Многослойные сети прямого распространения.......................................................... 60Обучение нейронных сетей.............................................................................................. 64Обучение методом обратного распространения........................................................ 65Функции активации.......................................................................................................... 71Линейная функция........................................................................................................ 71Сигмоида........................................................................................................................ 72Функция tanh................................................................................................................. 73Функция hardtanh.......................................................................................................... 73Функция softmax........................................................................................................... 73Линейная ректификация.............................................................................................. 74Функции потерь................................................................................................................. 76Применяемые обозначения......................................................................................... 76Функции потерь для регрессии.................................................................................... 77Функции потерь для классификации........................................................................... 78Функции потерь для реконструкции........................................................................... 80Гиперпараметры................................................................................................................ 81Скорость обучения........................................................................................................ 81Регуляризация............................................................................................................... 82Импульс.......................................................................................................................... 82Разреженность............................................................................................................... 82Глава 3. Основания глубоких сетей............................................................................. 83Определение глубокого обучения.................................................................................... 83Что такое глубокое обучение?...................................................................................... 83Как организована эта глава.......................................................................................... 92Общие архитектурные принципы глубоких сетей.......................................................... 92Параметры..................................................................................................................... 93Слои................................................................................................................................ 93Функции активации...................................................................................................... 94Функции потерь............................................................................................................. 95Алгоритмы оптимизации............................................................................................. 96Гиперпараметры............................................................................................................ 98Итоги............................................................................................................................ 102Строительные блоки глубоких сетей.............................................................................. 102Ограниченные машины Больцмана.......................................................................... 103Автокодировщики....................................................................................................... 108Вариационные автокодировщики............................................................................. 109Глава 4. Основные архитектуры глубоких сетей.................................................... 111Сети, предобученные без учителя.................................................................................. 111Глубокие сети доверия................................................................................................ 111Порождающие состязательные сети.......................................................................... 114Сверточные нейронные сети (СНС)............................................................................... 117Биологические корни.................................................................................................. 118Интуитивное описание............................................................................................... 119Общий взгляд на архитектуру СНС............................................................................ 120Входной слой............................................................................................................... 121Пулинговые слои......................................................................................................... 128Полносвязные слои..................................................................................................... 129Другие применения СНС............................................................................................ 129Самые известные СНС................................................................................................ 130Итоги............................................................................................................................ 130Рекуррентные нейронные сети...................................................................................... 131Моделирование времени............................................................................................ 131Трехмерный вход........................................................................................................ 133Почему не марковские модели?................................................................................. 135Общая архитектура рекуррентной нейронной сети................................................. 136LSTM-сети.................................................................................................................... 136Предметно-ориентированные приложения и гибридные сети............................... 143Рекурсивные нейронные сети........................................................................................ 144Архитектура сети......................................................................................................... 144Разновидности рекурсивных нейронных сетей....................................................... 145Применение рекурсивных нейронных сетей............................................................ 145Итоги и обсуждение........................................................................................................ 145Приведет ли глубокое обучение к отмиранию всех прочих алгоритмов?.............. 146Оптимальный метод зависит от задачи.................................................................... 146Когда мне может понадобиться глубокое обучение?................................................ 147Глава 5. Построение глубоких сетей.......................................................................... 148Выбор глубокой сети для решения задачи.................................................................... 148Табличные данные и многослойные перцептроны.................................................. 148Изображения и сверточные нейронные сети............................................................ 149Последовательности, временные ряды и рекуррентные нейронные сети............. 150Применение гибридных сетей................................................................................... 151Инструментарий DL4J..................................................................................................... 151Векторизация и DataVec.............................................................................................. 152Среды выполнения и ND4J......................................................................................... 152Основные концепции DL4J API....................................................................................... 153Загрузка и сохранение моделей................................................................................. 153Получение входных данных для модели................................................................... 154Задание архитектуры модели..................................................................................... 154Обучение и оценивание.............................................................................................. 155Моделирование CSV-данных с помощью многослойных перцептронов.................... 156Подготовка входных данных...................................................................................... 158Задание архитектуры сети.......................................................................................... 159Обучение модели......................................................................................................... 161Оценивание модели.................................................................................................... 161Моделирование рукописных цифр с помощью СНС.................................................... 162Реализация СНС LeNet на Java.................................................................................... 163Загрузка и векторизация входных изображений...................................................... 165Архитектура сети LeNet в DL4J................................................................................... 165Обучение СНС.............................................................................................................. 168Моделирование последовательных данных с помощью рекуррентнойнейронной сети............................................................................................................... 169Порождение текста в стиле Шекспира с помощью LSTM-сети................................ 169Классификация временных рядов, содержащих показания датчика,с помощью LSTM-сети................................................................................................ 177Применение автокодировщиков для обнаружения аномалий.................................... 183Java-программа автокодировщика............................................................................ 183Подготовка входных данных...................................................................................... 187Архитектура и обучение сети автокодировщика...................................................... 187Оценивание модели.................................................................................................... 188Использование вариационных автокодировщиков для реконструкции цифриз набора MNIST.............................................................................................................. 189Программа реконструкции цифр для набора MNIST............................................... 190Изучение модели VAE................................................................................................. 192Применение глубокого обучения в обработке естественного языка........................... 195Обучение погружениям слов с помощью Word2Vec................................................. 196Распределенные представления предложений с помощью векторов абзацев....... 201Применение векторов абзацев для классификации документов............................ 204Глава 6. Настройка глубоких сетей............................................................................ 209Основные концепции настройки глубоких сетей......................................................... 209Интуитивное описание построения глубоких сетей................................................ 209Преобразование интуитивных представлений в пошаговую процедуру............... 210Подбор сетевой архитектуры, соответствующей входным данным............................ 211Итоги............................................................................................................................ 212Соотнесение назначения модели с выходным слоем................................................... 213Выходной слой регрессионной модели..................................................................... 213Выходной слой модели классификации.................................................................... 213Количество слоев, количество параметров и объем памяти........................................ 216Многослойные нейронные сети прямого распространения.................................... 216Управление количеством слоев и параметров.......................................................... 217Оценка требований к объему памяти........................................................................ 219Стратегии инициализации весов................................................................................... 220Ортогональная инициализация весов в РНС................................................................. 221Выбор функции активации......................................................................................... 221Сводная таблица функций активации....................................................................... 223Применение функций потерь......................................................................................... 223Скорость обучения.......................................................................................................... 225Использование отношения обновлений к параметрам........................................... 226Конкретные рекомендации по заданию скорости обучения................................... 227Как разреженность влияет на обучение......................................................................... 228Применение методов оптимизации.............................................................................. 229Рекомендации по применению СГС.......................................................................... 230Применение распараллеливания и GPU для ускорения обучения.............................. 231Онлайновое обучение и параллельные итеративные алгоритмы........................... 232Распараллеливание СГС в DL4J................................................................................... 234Графические процессоры........................................................................................... 236Управление периодами и размером мини-пакета....................................................... 237Компромиссы при определении размера мини-пакета........................................... 238О применении регуляризации....................................................................................... 239Априорная функция как регуляризатор.................................................................... 239Регуляризация по максимальной норме................................................................... 240Прореживание............................................................................................................. 240Другие вопросы, связанные с регуляризацией......................................................... 242Дисбаланс классов........................................................................................................... 242Методы выборки из классов....................................................................................... 244Взвешенные функции потерь..................................................................................... 244Борьба с переобучением................................................................................................. 245Использование статистики сети из интерфейса настройки........................................ 246Обнаружение неудачной инициализации весов....................................................... 248Обнаружение неперемешанных данных................................................................... 249Обнаружение проблем, относящихся к регуляризации........................................... 251Глава 7. Настройка глубоких сетей с конкретной архитектурой......................... 253Сверточные нейронные сети (СНС)............................................................................... 253Общие архитектурные паттерны сверточных сетей................................................ 254Конфигурирование сверточных слоев....................................................................... 257Конфигурирование пулинговых слоев...................................................................... 261Перенос обучения........................................................................................................ 262Рекуррентные нейронные сети...................................................................................... 263Входные данные и входной слой сети....................................................................... 264Выходные слои и RnnOutputLayer.............................................................................. 264Обучение сети.............................................................................................................. 265Отладка типичных проблем в LSTM.......................................................................... 267Дополнение и маскирование...................................................................................... 267Применение маскирования для оценивания и скоринга........................................ 268Варианты архитектуры рекуррентных сетей............................................................ 269Ограниченные машины Больцмана............................................................................... 269Скрытые блоки и моделирование доступной информации.................................... 270Типы блоков................................................................................................................. 271Регуляризация в ОМБ.................................................................................................. 271Глубокие сети доверия.................................................................................................... 272Применение импульса................................................................................................ 272Применение регуляризации....................................................................................... 273Задание числа скрытых блоков.................................................................................. 273Глава 8. Векторизация.................................................................................................. 274Введение в векторизацию в машинном обучении....................................................... 274Зачем нужно векторизовать данные?........................................................................ 275Стратегии обработки табличных исходных данных................................................. 277Конструирование признаков и методы нормировки............................................... 279Применение библиотеки DataVec для ETL и векторизации......................................... 285Векторизация изображений........................................................................................... 286Представление изображений в DL4J.......................................................................... 286Нормировка данных изображения с помощью DataVec........................................... 288Векторизация последовательных данных..................................................................... 289Основные виды источников последовательных данных......................................... 289Векторизация последовательных данных с помощью DataVec............................... 290Векторизация текста....................................................................................................... 294Мешок слов.................................................................................................................. 295TF-IDF........................................................................................................................... 296Сравнение Word2Vec и векторной модели................................................................ 299Работа с графами............................................................................................................. 300Глава 9. Глубокое обучение и DL4J на платформе Spark...................................... 301Введение в использование DL4J совместно с Spark и Hadoop...................................... 301Запуск Spark из командной строки............................................................................ 303Конфигурирование и настройка Spark........................................................................... 305Выполнение Spark в кластере Mesos.......................................................................... 306Выполнение Spark поверх YARN................................................................................ 307Общее руководство по настройке Spark.................................................................... 309Настройка задач DL4J для Spark................................................................................. 311Подготовка проекта Maven для Spark и DL4J................................................................. 312Шаблон секции зависимостей в файле pom.xml....................................................... 314Настройка POM-файла для CDH 5.X........................................................................... 317Настройка POM-файла для HDP 2.4........................................................................... 317Отладка Spark и Hadoop.................................................................................................. 318Типичные проблемы при работе с ND4J.................................................................... 318Параллельное выполнение DL4J на платформе Spark.................................................. 319Минимальный пример обучения на платформе Spark............................................. 320Рекомендации по использованию DL4J API для Spark.................................................. 322Пример многослойного перцептрона на платформе Spark......................................... 323Конфигурирование архитектуры МСП для Spark...................................................... 326Распределенное обучение и оценивание модели..................................................... 327Создание и выполнение задачи Spark....................................................................... 328Порождение текстов в стиле Шекспира с помощью Spark и LSTM-сети..................... 328Конфигурирование архитектуры LSTM-сети............................................................ 330Обучение, наблюдение за ходом работы и интерпретация результатов................ 331Моделирование набора MNIST с помощью сверточной нейронной сетив кластере Spark............................................................................................................... 332Конфигурирование задачи Spark и загрузка набора данных MNIST....................... 334Конфигурирование и обучение СНС LeNet............................................................... 335Приложение А. Что такое искусственный интеллект?........................................... 337Положение на данный момент....................................................................................... 338Определение глубокого обучения.............................................................................. 338Определение искусственного интеллекта................................................................. 338Зима не за горами............................................................................................................ 345Приложение В. RL4J и обучение с подкреплением............................................... 347Введение........................................................................................................................... 347Марковский процесс принятия решений.................................................................. 347Терминология.............................................................................................................. 348Различные варианты....................................................................................................... 349Безмодельное обучение.............................................................................................. 349Наблюдаемое состояние............................................................................................. 349Однопользовательские и состязательные игры........................................................ 349Q-обучение....................................................................................................................... 350От политики к нейронным сетям............................................................................... 350Перебор политик......................................................................................................... 352Исследование и использование.................................................................................. 355Уравнение Беллмана................................................................................................... 356Выборка начальных состояний.................................................................................. 357Реализация Q-обучения.............................................................................................. 358Моделирование Q(s,a)................................................................................................. 359Воспроизведение опыта............................................................................................. 359Сверточные слои и предварительная обработка изображений............................... 360Обработка истории...................................................................................................... 361Двойное Q-обучение................................................................................................... 361Ограничение................................................................................................................ 362Масштабирование вознаграждений.......................................................................... 362Приоритетное воспроизведение................................................................................ 362График, визуализация и среднее значение Q................................................................ 362RL4J................................................................................................................................... 365Заключение...................................................................................................................... 366Приложение С. Числа, которые должен знать каждый......................................... 367Приложение D. Нейронные сети и обратное распространение:математическое описание........................................................................................... 368Введение........................................................................................................................... 368Обратное распространение в многослойном перцептроне......................................... 369Приложение Е. ND4J API.............................................................................................. 372Дизайн и основы использования................................................................................... 372Что такое NDArray?...................................................................................................... 373Общий синтаксис ND4J............................................................................................... 374Основы работы с массивами NDArray........................................................................ 375Класс Dataset................................................................................................................ 377Создание входных векторов........................................................................................... 378Основы создания векторов......................................................................................... 378Класс MLLibUtil................................................................................................................ 379Преобразование INDArray в вектор MLLib................................................................. 379Преобразование вектора MLLib в INDArray............................................................... 379Получение предсказаний от модели в DL4J................................................................... 380Совместное использование DL4J и ND4J................................................................... 380Приложение F. Библиотека DataVec.......................................................................... 382Загрузка данных для машинного обучения................................................................... 382Загрузка CSV-данных для многослойного перцептрона.............................................. 384Загрузка изображений для сверточной нейронной сети.............................................. 385Загрузка последовательных данных для рекуррентных нейронных сетей................. 386Подготовка данных средствами DataVec....................................................................... 387Преобразования DataVec: основные понятия........................................................... 388Преобразования DataVec: пример.............................................................................. 389Приложение G. Работа с DL4J на уровне исходного кода.................................... 391Проверка, установлен ли Git........................................................................................... 391Клонирование основных проектов, связанных с DL4J.................................................. 391Скачивание исходного кода в виде zip-файла............................................................... 392Сборка библиотеки из исходного кода с помощью Maven........................................... 392Приложение Н. Подготовка проектов на базе DL4J............................................... 393Создание нового проекта на базе DL4J.......................................................................... 393Java................................................................................................................................ 393Работа с Maven............................................................................................................. 394Интегрированные среды разработки (IDE)............................................................... 395Настройка других POM-файлов Maven.......................................................................... 396ND4J и Maven............................................................................................................... 396Приложение I. Подготовка проектов на базе DL4J к работе с GPU.................... 397Переключение библиотек в режим работы с GPU......................................................... 397Выбор GPU.................................................................................................................... 397Обучение на системе с несколькими GPU................................................................. 398CUDA на разных платформах.......................................................................................... 398Мониторинг производительности GPU......................................................................... 399Приложение J. Отладка проблем с установкой DL4J............................................. 400Предыдущая установка................................................................................................... 400Ошибки нехватки памяти при сборке из исходного кода............................................ 400Старые версии Maven...................................................................................................... 400Maven и переменная среды PATH................................................................................... 400Недопустимые версии JDK.............................................................................................. 401C++ и другие средства разработки.................................................................................. 401Windows и путь к включаемым файлам......................................................................... 401Мониторинг GPU.............................................................................................................. 401Использование JVisualVM............................................................................................... 401Работа с Clojure................................................................................................................ 402Поддержка чисел с плавающей точкой в OS X............................................................... 402Ошибка разветвления-соединения в Java 7................................................................... 402Предостережения............................................................................................................. 402Клонирование других репозиториев......................................................................... 402Проверьте зависимости Maven................................................................................... 403Переустановка зависимостей..................................................................................... 403Если ничего не помогает............................................................................................ 403Различные платформы.................................................................................................... 403OS X.............................................................................................................................. 403Windows........................................................................................................................ 403Linux............................................................................................................................. 404Предметный указатель................................................................................................ 405Об авторах...................................................................................................................... 416Об иллюстрации на обложке...................................................................................... 417[/html]