Искусственный интеллект .NET: речь, язык и поиск

[html]Книга "Искусственный интеллект .NET: речь, язык и поиск" рассказывает о применении когнитивных служб компании Microsoft и применении на практике набора простых API. В доступной форме описано создание приложений на основе искусственного интеллекта в среде разработки Visual Studio, создание разговорного интерфейса, применение API для обработки распознавания и интерпретации устной речи. Описаны различные модели языка в искусственном интеллекте.Предназначена для широкого круга читателей, интересующихся искусственным интеллектом и возможностями его практического применения, знающих на уровне пользователя базовые сервисы Microsoft.Содержание книги "Искусственный интеллект .NET: речь, язык и поиск"Об авторе.......................................................................................................................... 11О соавторе........................................................................................................................ 12О техническом рецензенте........................................................................................... 13Признательности............................................................................................................. 14Введение........................................................................................................................... 15Примечания переводчика............................................................................................. 18Глава 1. Начало работы с основами ИИ...................................................................... 19Правда и вымысел............................................................................................................. 20История и эволюция.......................................................................................................... 21Нынешнее состояние дел.............................................................................................. 23Превращение ИИ в товар.............................................................................................. 24Microsoft и ИИ.................................................................................................................... 25Фундаментальные понятия.............................................................................................. 26Машинное обучение..................................................................................................... 28Язык................................................................................................................................ 31Речь..................................................................................................................................... 33Компьютерное зрение.................................................................................................. 34Когнитивные службы Microsoft........................................................................................ 37Зрение............................................................................................................................ 38Речь................................................................................................................................. 39Язык................................................................................................................................ 39Знание............................................................................................................................ 40Поиск.............................................................................................................................. 41Резюме................................................................................................................................ 41Глава 2. Создание приложения с поддержкой ИИ в среде Visual Studio............ 43Необходимые условия для использования Когнитивных служб.................................... 44Подготовка среды разработки.......................................................................................... 44Получение ключа подписки Azure для Когнитивных служб........................................... 45Шаг 1. Зарегистрировать учетную запись Azure......................................................... 45Шаг 2. Создать новую учетную запись Когнитивных служб....................................... 48Шаг 3. Получить ключ (ключи) подписки.................................................................... 50Тестирование API............................................................................................................... 51Что вы хотите сделать................................................................................................... 52Как это сделать.............................................................................................................. 52Создание первого ИИ-ориентированного приложения................................................. 55Исходный код................................................................................................................ 56Пошаговый анализ........................................................................................................ 57Результат........................................................................................................................ 61Более интересный вариант приложения......................................................................... 61Извлечение текста из изображений............................................................................. 61Исходный код................................................................................................................ 62Пошаговый анализ........................................................................................................ 64Результат........................................................................................................................ 64Резюме................................................................................................................................ 65Глава 3. Конструирование разговорного интерфейса с применениемтехнологий Microsoft...................................................................................................... 66Что такое разговорный интерфейс пользователя?......................................................... 68Краткая история................................................................................................................ 69В самом начале: интерфейс командной строки......................................................... 69И затем появился графический интерфейс пользователя......................................... 71Очередная эволюция: разговорный интерфейс пользователя ................................. 72Роль ИИ в разговорном интерфейсе пользователя..................................................... 75Ловушки разговорного интерфейса пользователя..................................................... 76Будущее может быть за гибридным интерфейсом пользователя(разговорный + графический)...................................................................................... 78Принципы разработки...................................................................................................... 79Инфраструктура Microsoft Bot Framework........................................................................ 80Создание приложения с разговорным интерфейсом в среде Bot Framework............... 81Шаг 0. Подготовка среды разработки........................................................................... 82Шаг 1. Создание нового проекта приложения Bot Framework.................................... 82Шаг 2. Первое сообщение и сообщение по умолчанию.............................................. 83Шаг 3. Выполнение, тестирование и отладка вашего бота......................................... 85Шаг 4. Планирование визита к врачу........................................................................... 88Шаг 5. Обработка системных сообщений.................................................................... 91Следующие шаги........................................................................................................... 92Резюме................................................................................................................................ 92Глава 4. Применение технологии понимания естественного языка..................... 93Что такое понимание ЕЯ?................................................................................................. 94История развития методов понимания естественного языка....................................... 97Почему машины с трудом понимают естественный язык .......................................... 100Сложности естественного языка................................................................................ 100Статистические модели в качестве решения недостаточны................................... 102Многообещающее будущее........................................................................................ 104Облачная служба LUIS..................................................................................................... 105Архитектура программного приложения на основе LUIS ....................................... 106За кадром..................................................................................................................... 109Масштабная тренировка – основа всему................................................................... 110Получение подписки Azure для облачной службы LUIS............................................... 112Демонстрационный пример: приложение DefinitionApp............................................ 114Примечания................................................................................................................. 116Резюме.............................................................................................................................. 117Глава 5. Исследование когнитивной модели языка............................................... 118API Bing проверки орфографии ..................................................................................... 118Что это такое?.............................................................................................................. 121Как его использовать.................................................................................................. 122Интеграция с облачной службой LUIS....................................................................... 125API анализа текста .......................................................................................................... 127Идентификация языка................................................................................................ 127Выделение ключевых фраз......................................................................................... 131Анализ мнений............................................................................................................ 133Идентификация темы................................................................................................. 135Идеи использования................................................................................................... 138API веб-модели языка (WebLM) ..................................................................................... 139Разбиение на слова..................................................................................................... 141Совместная вероятность............................................................................................. 142Условная вероятность................................................................................................. 143Предсказание следующего слова............................................................................... 145API лингвистического анализа ...................................................................................... 146Разбиение на предложения и лексемизация............................................................. 147Частеречная разметка................................................................................................. 150Синтаксический анализ на основе грамматики составляющих.............................. 152Резюме.............................................................................................................................. 154Глава 6. Потребление и применение облачной службы LUIS.............................. 155Планирование своего приложения................................................................................ 156Что бот должен уметь делать?.................................................................................... 156Какая информация нужна боту от пользователя?.................................................... 157Что должно быть сделано в облачной службе LUIS?................................................. 157Что должно быть сделано в Bot Framework?.............................................................. 158Создание приложения с поддержкой LUIS.................................................................... 159Добавление намерений................................................................................................... 160Добавление/разметка высказываний............................................................................ 160Публикация своего приложения..................................................................................... 162Добавление сущностей.................................................................................................... 164Простые сущности....................................................................................................... 166Составные сущности................................................................................................... 168Иерархические сущности........................................................................................... 171Предварительно подготовленные сущности............................................................. 173Добавление списка фраз................................................................................................. 174Рекомендуемые последующие шаги.............................................................................. 175Активное обучение посредством рекомендованных высказываний...................... 175Использование API LUIS для автоматизации............................................................ 176Интеграция LUIS со средой Bot Framework.................................................................... 176Создание проекта в Visual Studio............................................................................... 177Обработка намерения без сущностей........................................................................ 178Подготовка своего бота для использования HealthCheckupDialog.......................... 178Тестирование бота в эмуляторе................................................................................. 179Обработка намерения с полным комплектом сущностей....................................... 179Обработка намерения с составными сущностями.................................................... 181Обработка намерения None........................................................................................ 183Добавление бота в Skype................................................................................................. 184Публикация своего бота.............................................................................................. 184Регистрация своего бота............................................................................................. 184Резюме.............................................................................................................................. 186Глава 7. Взаимодействие с API обработки речи...................................................... 187Способы взаимодействия с речью.................................................................................. 188API когнитивного поиска........................................................................................... 189Распознавание речи.................................................................................................... 189Начало работы................................................................................................................. 190Сначала получение JWT-токена ..................................................................................... 190API персонализированной обработки речи................................................................... 192Синтез речи...................................................................................................................... 193Механизм распознавания речи.................................................................................. 196Служба персонализированной обработки речи............................................................ 197Персонализированная акустическая модель............................................................ 197Персонализированная модель языка......................................................................... 207Данные произношения............................................................................................... 209Персонализированная конечная точка преобразования речи в текст.................... 210Распознавание говорящего............................................................................................. 213Верификация говорящего против идентификации говорящего............................. 213Регистрация для верификации говорящего.............................................................. 214Верификация говорящего........................................................................................... 217Регистрация для идентификации говорящего.......................................................... 217Идентификация говорящего...................................................................................... 219Состояние операции................................................................................................... 219Резюме.............................................................................................................................. 220Глава 8. Применение поисковых предложений...................................................... 221Поиск повсюду................................................................................................................. 222Повсеместность, предсказательность, проактивность (три «П» поиска).................... 222История Bing.................................................................................................................... 224В чем уникальность Bing?............................................................................................... 226API поиска........................................................................................................................ 226API Bing автозаполнения............................................................................................ 226Как использовать API Bing автозаполнения ............................................................. 227API Bing поиска изображений........................................................................................ 231Как использовать API Bing поиска изображений...................................................... 232API Bing поиска новостей ............................................................................................... 237API Bing поиска видео .................................................................................................... 240Как использовать API Bing поиска видео ...................................................................... 240API Bing поиска в сети .................................................................................................... 244Как использовать API Bing поиска в сети ................................................................. 244Резюме.............................................................................................................................. 248Глава 9. Работа с рекомендациями........................................................................... 249Понимание основ............................................................................................................ 250Рекомендация товаров, часто приобретаемых вместе................................................. 251Рекомендация «от предмета к предмету»...................................................................... 252Рекомендация на основе предыстории......................................................................... 253Как эти рекомендации работают?.................................................................................. 253Модели и типы рекомендаций....................................................................................... 258Сборка обычной модели рекомендаций ....................................................................... 259Сборка модели рекомендации на основе FBT .............................................................. 262Сборка модели рекомендаций на основе ранжирования............................................. 265Сборка модели рекомендации на основе SAR .............................................................. 267Установление правил в сборке....................................................................................... 270Офлайновое оценивание................................................................................................ 270Веб-интерфейс API рекомендаций................................................................................ 271Резюме.............................................................................................................................. 275Глава 10. ИИ в ближайшем будущем........................................................................ 276Почему ИИ имеет такую популярность?........................................................................ 277Рост вычислительной мощности.................................................................................... 277Открытия в алгоритмах ИИ............................................................................................ 278Данные – это новая валюта............................................................................................. 279Возникновение облачных вычислений......................................................................... 280Службы против решений?............................................................................................... 281Когнитивные категории.................................................................................................. 281Проблемы и будущее понимания ЕЯ.............................................................................. 282Проблемы и будущее обработки речи............................................................................ 283Проблемы и будущее поиска.......................................................................................... 284Проблемы и будущее рекомендаций............................................................................. 284Прежде всего ИИ.............................................................................................................. 285Интеллектуальная периферия........................................................................................ 285Устранение задач, а не рабочих мест............................................................................. 286Так куда же мы катимся?................................................................................................ 289Тематический указатель.............................................................................................. 291[/html]