Глубокое обучение. Погружение в мир нейронных сетей

[html]"Глубокое обучение. Погружение в мир нейронных сетей" - первая книга о глубоком обучении, написанная на русском языке. Глубокие модели оказались ключом, который подходит ко всем замкам сразу: новые архитектуры и алгоритмы обучения, а также увеличившиеся вычислительные мощности и появившиеся огромные наборы данных, привели к революционным прорывам в компьютерном зрении, распознавании речи, обработке естественного языка и многих других типично "человеческих" задачах машинного обучения. Эти захватывающие идеи, вся история и основные компоненты революции глубокого обучения, а также самые современные достижения этой области, доступно и интересно изложены в книге. Максимум объяснений, минимум кода, серьезный материал о машинном обучении и увлекательное изложение - в этой уникальной работе замечательных российских ученых и интеллектуалов.Оглавление книги Николенко С. И., Кадурин А. А., Архангельская Е. О. "Глубокое обучение. Погружение в мир нейронных сетей"Часть I. Как обучать нейронные сетиГлава 1. От биологии к информатике, или We need to go deeper . . . . . . . . . 61.1. Революция обучения глубоких сетей . . . . . . . . . . . . . . . . . . . . . . . 71.2. Искусственный интеллект и машинное обучение . . . . . . . . . . . . . . 111.3. Немного о словах: каким бывает машинное обучение . . . . . . . . . . . 171.4. Особенности человеческого мозга. . . . . . . . . . . . . . . . . . . . . . . . . . 211.5. Пределы нейробиологии: что мы на самом деле знаем? . . . . . . . . . . 261.6. Блеск и нищета современных нейронных сетей . . . . . . . . . . . . . . . . 30Глава 2. Предварительные сведения, или Курс молодого бойца . . . . . . . . . 382.1. Теорема Байеса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392.2. Функции ошибки и регуляризация . . . . . . . . . . . . . . . . . . . . . . . . . 532.3. Расстояние Кульбака - Лейблера и перекрестная энтропия. . . . . . . 632.4. Градиентный спуск: основы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 692.5. Граф вычислений и дифференцирование на нем . . . . . . . . . . . . . . . 752.6. И о практике: введение в TensorFlow и Keras. . . . . . . . . . . . . . . . . . 81Глава 3. Перцептрон, или Эмбрион мудрого компьютера . . . . . . . . . . . . . . 933.1. Когда появились искусственные нейронные сети . . . . . . . . . . . . . . 943.2. Как работает перцептрон . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 973.3. Современные перцептроны: функции активации. . . . . . . . . . . . . . .1053.4. Как же обучаются настоящие нейроны . . . . . . . . . . . . . . . . . . . . . .1133.5. Глубокие сети: в чем прелесть и в чем сложность? . . . . . . . . . . . . . .1173.6. Пример: распознавание рукописных цифр на TensorFlow . . . . . . . .123Часть II. Основные архитектурыГлава 4. Быстрее, глубже, сильнее, или Об оврагах, долинах и трамплинах .1374.1. Регуляризация в нейронных сетях . . . . . . . . . . . . . . . . . . . . . . . . .1384.2. Как инициализировать веса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1424.3. Нормализация по мини-батчам. . . . . . . . . . . . . . . . . . . . . . . . . . . .1534.4. Метод моментов: Ньютон, Нестеров и Гессе . . . . . . . . . . . . . . . . . .1644.5. Адаптивные варианты градиентного спуска . . . . . . . . . . . . . . . . . .169Глава 5. Сверточные нейронные сети и автокодировщики,или Не верь глазам своим . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1765.1. Зрительная кора головного мозга . . . . . . . . . . . . . . . . . . . . . . . . . .1775.2. Свертки и сверточные сети . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1825.3. Свертки для распознавания цифр . . . . . . . . . . . . . . . . . . . . . . . . . .1995.4. Современные сверточные архитектуры . . . . . . . . . . . . . . . . . . . . . .2065.5. Автокодировщики . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2145.6. Пример: кодируем рукописные цифры . . . . . . . . . . . . . . . . . . . . . .219Глава 6. Рекуррентные нейронные сети,или Как правильно кусать себя за хвост . . . . . . . . . . . . . . . . . . . .2316.1. Мотивация: обработка последовательностей . . . . . . . . . . . . . . . . . .2326.2. Распространение ошибки и архитектуры RNN . . . . . . . . . . . . . . . .2366.3. LSTM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2426.4. GRU и другие варианты . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2496.5. SCRN и другие: долгая память в обычных RNN . . . . . . . . . . . . . . . .2536.6. Пример: порождаем текст символ за символом . . . . . . . . . . . . . . . .259Часть III. Новые архитектуры и примененияГлава 7. Как научить компьютер читать,или Математик ?? Мужчина + Женщина = ... . . . . . . . . . . . . . . . .2787.1. Интеллектуальная обработка текстов . . . . . . . . . . . . . . . . . . . . . . .2797.2. Распределенные представления слов: word2vec . . . . . . . . . . . . . . . .2857.3. Русскоязычный word2vec на практике . . . . . . . . . . . . . . . . . . . . . .2977.4. GloVe: раскладываем матрицу правильно . . . . . . . . . . . . . . . . . . . .3057.5. Вверх и вниз от представлений слов . . . . . . . . . . . . . . . . . . . . . . . .3137.6. Рекурсивные нейронные сети и синтаксический разбор . . . . . . . . .322Глава 8. Современные архитектуры, или Как в споре рождается истина . . .3308.1. Модели с вниманием и encoder-decoder . . . . . . . . . . . . . . . . . . . . .3318.2. Порождающие модели и глубокое обучение . . . . . . . . . . . . . . . . . .3418.3. Состязательные сети . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3488.4. Практический пример и трюк с логистическим сигмоидом . . . . . . .3538.5. Архитектуры, основанные на GAN . . . . . . . . . . . . . . . . . . . . . . . . .359Глава 9. Глубокое обучение с подкреплением,или Удивительное происшествие с чемпионом . . . . . . . . . . . . . . .3729.1. Обучение с подкреплением. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3739.2. Марковские процессы принятия решений. . . . . . . . . . . . . . . . . . . .3799.3. От TDGammon к DQN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3919.4. Бамбуковая хлопушка . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3999.5. Градиент по стратегиям и другие применения . . . . . . . . . . . . . . . . .405Глава 10. Нейробайесовские методы,или Прошлое и будущее машинного обучения . . . . . . . . . . . . . . .40910.1. Теорема Байеса и нейронные сети . . . . . . . . . . . . . . . . . . . . . . . . .41010.2. Алгоритм EM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .41210.3. Вариационные приближения . . . . . . . . . . . . . . . . . . . . . . . . . . . .41910.4. Вариационный автокодировщик . . . . . . . . . . . . . . . . . . . . . . . . . .42610.5. Байесовские нейронные сети и дропаут. . . . . . . . . . . . . . . . . . . . .43810.6. Заключение: что не вошло в книгу и что будет дальше . . . . . . . . . .446Благодарности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .450Литература . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .451[/html]