Python и машинное обучение

[html]Машинное обучение и прогнозная аналитика преобразуют традиционную схему функционирования предприятий и других организаций. Полноцветная книга "Python и машинное обучение" предоставит вам доступ в мир прогнозной аналитики и продемонстрирует, почему Python является одним из ведущих языков науки о данных. Если вы хотите глубже и точнее анализировать данные либо нуждаетесь в усовершенствовании и расширении систем машинного обучения, эта книга окажет вам неоценимую помощь. Ознакомившись с широким кругом мощных программных библиотек Python, в том числе scikit-learn, Theano и Keras, а также получив советы по всем вопросам начиная с анализа мнений и заканчивая нейронными сетями, вы сможете принять важные решения, во многом определяющие деятельность вашей организации.Чему вы научитесь, прочитав эту книгу:- исследовать, как используются разные машинно-обучаемые модели, которые формулируют те или иные вопросы в отношении данных;- конструировать нейронные сети при помощи библиотек Theano и Keras;- писать красивый и лаконичный программный код на Python с оптимальным использованием созданных вами алгоритмов;- встраивать вашу машинно-обучаемую модель в веб-приложение для повышения ее общедоступности;- предсказывать непрерывнозначные результаты при помощи регрессионного анализа;- обнаруживать скрытые повторяющиеся образы и структуры в данных посредством кластерного анализа;- организовывать данные с помощью эффективных методов предобработки и использовать передовые практические подходы к оценке машиннообучаемых моделей;- осуществлять анализ мнений, позволяющий подробнее интерпретировать текстовые данные и информацию из социальных сетей.Если вы хотите узнать, как использовать Python, чтобы начать отвечать на критические вопросы в отношении ваших данных, возьмите данную книгу - и неважно, хотите ли вы приступить к изучению науки о данных с нуля или же намереваетесь расширить о ней свои знания, это принципиальный ресурс, который нельзя упускать."Python и машинное обучение" - крайне необходимое издание по новейшей предсказательной аналитике для более глубокого понимания методологии машинного обучения!Об авторе книги:Себастьян Рашка - аспирант докторантуры в Мичиганском университете, США, занимающийся разработкой новых вычислительных методов в области вычислительной биологии. Веб-сайтом Analytics Vidhya сообщества увлеченных профессионалов в области науки о данных отмечен первым местом среди наиболее влиятельных аналитиков данных на GitHub. За его плечами многолетний опыт программирования на Python; он также проводит ряд семинаров по практическому применению науки о данных и машинного обучения. Регулярные выступления и публикации на тему науки о данных, машинного обучения и языка Python на деле мотивировали его написать эту книгу, с тем чтобы помочь людям разрабатывать управляемые данными решения без обязательного наличия предварительной квалификации в области машинного обучения.Он также является активным соавтором проектов с открытым исходным кодом и автором собственных методов, которые теперь успешно применяются в конкурсах по машинному обучению, таких как Kaggle. В свое свободное время он работает над моделями для спортивного прогнозирования, и если не сидит перед компьютером, то любит проводить время, занимаясь спортом.Содержание книги Себастьян Рашка "Python и машинное обучение" Предисловие...................................................................................................................................11Об авторе...........................................................................................................................................12О рецензентах................................................................................................................................13Введение............................................................................................................................................15Глава 1. Наделение компьютеров способностью обучатьсяна данных..........................................................................................................................................25Построение интеллектуальных машин для преобразования данных в знания............25Три типа машинного обучения.......................................................................................................26Выполнение прогнозов о будущем на основе обучения с учителем...........................26Задача классификации - распознавание меток классов .........................................27Задача регрессии - предсказание значений непрерывной целевойпеременной...............................................................................................................................28Решение интерактивных задач на основе обучения с подкреплением......................29Обнаружение скрытых структур при помощи обучения без учителя.......................30Выявление подгрупп при помощи кластеризации.....................................................30Снижение размерности для сжатия данных.................................................................31Введение в основополагающую терминологию и систему обозначений........................32Дорожная карта для построения систем машинного обучения..........................................33Предобработка - приведение данных в приемлемый вид..............................................34Тренировка и отбор прогнозной модели...............................................................................35Оценка моделей и прогнозирование на ранее не встречавшихся экземплярахданных..............................................................................................................................................36Использование Python для машинного обучения...................................................................36Установка библиотек Python....................................................................................................37Блокноты (записные книжки) Jupyter/IPython................................................................38Резюме....................................................................................................................................................40Глава 2. Тренировка алгоритмов машинного обучениядля задачи классификации..................................................................................................42Искусственные нейроны - краткий обзор ранней истории машинногообучения.................................................................................................................................................42Реализация алгоритма обучения перcептрона на Python.....................................................48Тренировка перcептронной модели на наборе данных цветков ириса......................50Адаптивные линейные нейроны и сходимость обучения.....................................................54Минимизация функций стоимости методом градиентного спуска............................55Реализация адаптивного линейного нейрона на Python................................................57Крупномасштабное машинное обучение и стохастическийградиентный спуск ......................................................................................................................62Резюме....................................................................................................................................................67Глава 3. Обзор классификаторов с использованиембиблиотеки scikit-learn...........................................................................................................68Выбор алгоритма классификации.................................................................................................68Первые шаги в работе с scikit-learn..............................................................................................69Тренировка перcептрона в scikit-learn...................................................................................69Моделирование вероятностей классов логистической регрессии.....................................73Интуитивное понимание логистической регрессии и условные вероятности.......74Извлечение весов логистической функции стоимости...................................................77Тренировка логистической регрессионной модели в scikit-learn................................79Решение проблемы переобучения при помощи регуляризации..................................81Классификация с максимальным зазором на основе метода опорных векторов.........84Интуитивное понимание максимального зазора...............................................................85Обработка нелинейно разделимого случая при помощи ослабленныхпеременных.....................................................................................................................................86Альтернативные реализации в scikit-learn.................................................................................88Решение нелинейных задач ядерным методом SVM.............................................................88Использование ядерного трюка для нахождения разделяющихгиперплоскостей в пространстве более высокой размерности ....................................90Обучение на основе деревьев решений.......................................................................................93Максимизация прироста информации - получение наибольшей отдачи ...............94Построение дерева решений.....................................................................................................98Объединение слабых учеников для создания сильного при помощислучайных лесов......................................................................................................................... 100k ближайших соседей - алгоритм ленивого обучения....................................................... 103Резюме................................................................................................................................................. 106Глава 4. Создание хороших тренировочных наборов -предобработка данных........................................................................................................ 107Решение проблемы пропущенных данных............................................................................. 107Устранение образцов либо признаков с пропущенными значениями.................... 109Импутация пропущенных значений................................................................................... 110Концепция взаимодействия с оценщиками в библиотеке scikit-learn.................... 110Обработка категориальных данных.......................................................................................... 112Преобразование порядковых признаков........................................................................... 112Кодирование меток классов................................................................................................... 113Прямое кодирование на номинальных признаках......................................................... 114Разбивка набора данных на тренировочное и тестовое подмножества........................ 116Приведение признаков к одинаковой шкале......................................................................... 117Отбор содержательных признаков............................................................................................ 119Разреженные решения при помощи L1-регуляризации.............................................. 119Алгоритмы последовательного отбора признаков......................................................... 125Определение важности признаков при помощи случайных лесов................................ 130Резюме................................................................................................................................................. 132Глава 5. Сжатие данных путем снижения размерности............................. 133Снижение размерности без учителя на основе анализа главных компонент............. 133Общая и объясненная дисперсия......................................................................................... 135Преобразование признаков.................................................................................................... 138Анализ главных компонент в scikit-learn.......................................................................... 140Сжатие данных с учителем путем линейного дискриминантного анализа................. 143Вычисление матриц разброса................................................................................................ 145Отбор линейных дискриминантовдля нового подпространства признаков............................................................................ 147Проецирование образцов на новое пространство признаков..................................... 149Метод LDA в scikit-learn......................................................................................................... 150Использование ядерного метода анализа главных компонентдля нелинейных отображений...........................................................................................................151Ядерные функции и ядерный трюк..................................................................................... 152Реализация ядерного метода анализа главных компонент на Python.................... 156Пример 1. Разделение фигур в форме полумесяца.................................................. 157Пример 2. Разделение концентрических кругов...................................................... 159Проецирование новых точек данных.................................................................................. 162Ядерный метод анализа главных компонент в scikit-learn......................................... 165Резюме................................................................................................................................................. 166Глава 6. Изучение наиболее успешных методов оценкимоделей и тонкой настройки гиперпараметров................................................ 167Оптимизация потоков операций при помощи конвейеров............................................... 167Загрузка набора данных Breast Cancer Wisconsin.......................................................... 167Совмещение преобразователей и оценщиков в конвейере......................................... 169Использование k-блочной перекрестной проверки для оценки качествамодели.................................................................................................................................................. 170Метод проверки с откладыванием данных....................................................................... 171k-блочная перекрестная проверка....................................................................................... 172Отладка алгоритмов при помощи кривой обучения и проверочной кривой.............. 176Диагностирование проблем со смещением и дисперсией при помощикривых обучения........................................................................................................................ 176Решение проблемы переобучения и недообучения при помощипроверочных кривых................................................................................................................ 179Тонкая настройка машиннообучаемых моделей методом сеточного поиска ............. 181Настройка гиперпараметров методом поиска по сетке параметров........................ 181Отбор алгоритмов методом вложенной перекрестной проверки............................. 183Обзор других метрик оценки качества..................................................................................... 184Прочтение матрицы несоответствий.................................................................................. 185Оптимизация верности и полноты классификационной модели ........................... 186Построение графика характеристической кривой......................................................... 188Оценочные метрики для многоклассовой классификации........................................ 191Резюме................................................................................................................................................. 192Глава 7. Объединение моделей для методов ансамблевогообучения......................................................................................................................................... 193Обучение при помощи ансамблей............................................................................................. 193Реализация простого классификатора с мажоритарным голосованием ..................... 197Объединение разных алгоритмов классификации методоммажоритарного голосования.................................................................................................. 202Оценка и тонкая настройка ансамблевого классификатора ............................................ 205Бэггинг - сборка ансамбля классификаторов из бутстрап-выборок............................. 210Усиление слабых учеников методом адаптивного бустинга ............................................ 214Резюме................................................................................................................................................. 221Глава 8. Применение алгоритмов машинного обученияв анализе мнений...................................................................................................................... 222Получение набора данных киноотзывов IMDb.................................................................... 222Концепция модели мешка слов................................................................................................... 224Преобразование слов в векторы признаков..................................................................... 225Оценка релевантности слова методом tf-idf..................................................................... 226Очистка текстовых данных.................................................................................................... 228Переработка документов в лексемы.................................................................................... 229Тренировка логистической регрессионной модели для задачиклассификации документов......................................................................................................... 232Работа с более крупными данными - динамические алгоритмы и обучениевне ядра................................................................................................................................................ 234Резюме................................................................................................................................................. 237Глава 9. Встраивание алгоритма машинного обученияв веб-приложение.................................................................................................................... 239Сериализация подогнанных оценщиков библиотеки scikit-learn................................... 239Настройка базы данных SQLite для хранения данных...................................................... 242Разработка веб-приложения в веб-платформе Flask........................................................... 244Наше первое веб-приложение Flask.................................................................................... 245Валидация и отображение формы....................................................................................... 246Превращение классификатора кинофильмов в веб-приложение................................... 249Развертывание веб-приложения на публичном сервере.................................................... 256Обновление классификатора киноотзывов...................................................................... 258Резюме................................................................................................................................................. 259Глава 10. Прогнозирование значений непрерывной целевойпеременной на основе регрессионного. анализа.............................................. 260Введение в простую линейную регрессионную модель .................................................... 260Разведочный анализ набора данных Housing........................................................................ 261Визуализация важных характеристик набора данных................................................. 263Реализация линейной регрессионной модели обычным методомнаименьших квадратов .................................................................................................................. 266Решение уравнения регрессии для параметров регрессии методомградиентного спуска................................................................................................................. 267Оценивание коэффициента регрессионной модели в scikit-learn............................ 270Подгонка стабильной регрессионной модели алгоритмом RANSAC............................ 272Оценивание качества работы линейных регрессионных моделей................................. 274Применение регуляризованных методов для регрессии................................................... 277Превращение линейной регрессионной модели в криволинейную -полиномиальная регрессия.......................................................................................................... 278Моделирование нелинейных связей в наборе данных Housing................................ 280Обработка нелинейных связей при помощи случайных лесов................................. 283Регрессия на основе дерева решений............................................................................ 283Регрессия на основе случайного леса........................................................................... 285Резюме................................................................................................................................................. 287Глава 11. Работа с немаркированными данными -кластерный анализ.................................................................................................................. 289Группирование объектов по подобию методом k средних................................................. 289Алгоритм k-средних++............................................................................................................ 292Жесткая кластеризация в сопоставлении с мягкой....................................................... 294Использование метода локтядля нахождения оптимального числа кластеров............................................................ 296Количественная оценка качества кластеризации методом силуэтныхграфиков....................................................................................................................................... 298Организация кластеров в виде иерархического дерева...................................................... 302Выполнение иерархической кластеризации на матрице расстояний..................... 303Прикрепление дендограмм к теплокарте.......................................................................... 307Применение агломеративной кластеризации в scikit-learn........................................ 308Локализация областей высокой плотности алгоритмом DBSCAN............................... 309Резюме................................................................................................................................................. 313Глава 12. Тренировка искусственных нейронных сетейдля распознавания изображений................................................................................ 315Моделирование сложных функций искусственными нейронными сетями............... 315Краткое резюме однослойных нейронных сетей............................................................ 317Введение в многослойную нейросетевую архитектуру ............................................... 318Активация нейронной сети методом прямого распространения сигналов........... 320Классификация рукописных цифр............................................................................................ 322Получение набора данных MNIST...................................................................................... 323Реализация многослойного персептрона.......................................................................... 328Тренировка искусственной нейронной сети........................................................................... 339Вычисление логистической функции стоимости........................................................... 339Тренировка нейронных сетей методом обратного распространения ошибки............ 341Развитие интуитивного понимания алгоритма обратного распространенияошибки................................................................................................................................................. 344Отладка нейронных сетей процедурой проверки градиента............................................ 345Сходимость в нейронных сетях.................................................................................................. 350Другие нейросетевые архитектуры............................................................................................ 351Сверточные нейронные сети.................................................................................................. 352Рекуррентные нейронные сети............................................................................................. 354Несколько последних замечаний по реализации нейронной сети................................. 355Резюме................................................................................................................................................. 355Глава 13. Распараллеливание тренировки нейронных сетейпри помощи Theano................................................................................................................ 356Сборка, компиляция и выполнение выражений в Theano................................................ 356Что такое Theano?..................................................................................................................... 358Первые шаги с библиотекой Theano................................................................................... 359Конфигурирование библиотеки Theano............................................................................ 360Работа с матричными структурами..................................................................................... 362Завершающий пример - линейная регрессия................................................................. 364Выбор функций активации для нейронных сетей с прямымраспространением сигналов......................................................................................................... 367Краткое резюме логистической функции......................................................................... 368Оценивание вероятностей в многоклассовой классификациифункцией softmax...................................................................................................................... 370Расширение выходного спектра при помощи гиперболического тангенса........... 371Эффективная тренировка нейронных сетей при помощи библиотеки Keras............ 373Резюме................................................................................................................................................. 378Приложение А............................................................................................................................ 380Оценка моделей................................................................................................................................ 380Что такое переобучение?......................................................................................................... 380Как оценивать модель?............................................................................................................ 381Сценарий 1. Элементарно обучить простую модель............................................... 381Сценарий 2. Натренировать модель и выполнить тонкую настройку(оптимизировать гиперпараметры).............................................................................. 382Сценарий 3. Построить разные модели и сравнить разные алгоритмы(например, SVM против логистической регрессии против случайныхлесов и т. д.)........................................................................................................................... 383Перекрестная проверка. Оценка качества оценщика.................................................... 384Перекрестная проверка с исключением по одному....................................................... 386Пример стратифицированной k-блочной перекрестной проверки......................... 387Расширенный пример вложенной перекрестной проверки........................................ 387А. Вложенная кросс-валидация: быстрая версия..................................................... 388Б. Вложенная кросс-валидация: ручной подход с распечаткоймодельных параметров...................................................................................................... 388В. Регулярная k-блочная кросс-валидация для оптимизации моделина полном наборе тренировочных данных................................................................. 389График проверочной (валидационной) кривой.............................................................. 389Настройка типового конвейера и сеточного поиска...................................................... 391Машинное обучение....................................................................................................................... 393В чем разница между классификатором и моделью?................................................... 393В чем разница между функцией стоимости и функцией потерь?............................ 394Обеспечение персистентности моделей scikit-learn на основе JSON...................... 395Глоссарий основных терминов и сокращений................................................... 400Предметный указатель........................................................................................................ 408[/html]