Что такое обработка естественного языка (НЛП)?


Как ИИ извлекать смысл из текста? Это не так просто—и, безусловно, не так просто, как можно подумать.

What is Natural Language Processing (NLP)?

В сентябре, Аллен институт искусственного интеллекта (в AI2) представила компьютерную программу с названием Аристо, которые могут правильно ответить более чем на 90% вопросов по восьмой класс тест наука. Прохождение среднего школьного экзамена может показаться обыденным, но это сложно для компьютеров.

Аристо нашли свои ответы из миллиардов документов с помощью обработки естественного языка (НЛП), отделение информатики и искусственного интеллекта, что позволяет компьютерам для извлечения смысла из неструктурированных текстов. Хотя мы все еще далеко от машин, которые могут понимать и говорить человеческим языком, НЛП стала ключевой во многих приложениях, которыми мы пользуемся каждый день, включая электронные помощники, интернет-поиска, электронной почты, а также машинного перевода.

Слова Жесткий

Тиражирование обработкой языковых возможностей человеческого разума является историческим болевая точка для искусственного интеллекта. Представьте себе агента AI, который должен реагировать на погодные условия запросов; он должен понимать все по-разному кто-то может спросить о погоде:

  • Какая сегодня погода?
  • Будет ли завтра дождь?
  • Когда закончится дождь?
  • Это Солнечный в Чикаго?
  • Будет теплее завтра?
  • Что солнечные дни на следующей неделе?

И во многих случаях, язык несет скрытые смыслы, которые подразумевают общие знания о мире и как объекты связаны. Рассмотрим следующие запросы:

  • Будет хорошая погода на завтра в футбол?
  • Снег идет на кухне?

Любой человек, услышав первую фразу будет знать, что вы неявно задаете ли будет солнечно завтра—или, возможно, просто ли это не дождь. Что касается второго предложения, люди знают, что снег-не на кухне. Но кодирование такого рода фоновых знаний и рассуждений в системах искусственного интеллекта всегда было трудной задачей для исследователей.

Классические подходы к обработке естественного языка, используемых знаковых систем ИИ, в которой программисты явно заданным правилам разбора значение языка. Процесс был трудоемкий и имели ограниченное применение. Например, разработчикам придется вручную запишите все способы, пользователь может задать погоду и затем предоставить соответствующий ответ.

Эти системы работали только до тех пор, как пользователи оставались в пределах их определенное поведение. Как только они получат новый запрос, который будет немного отличаться от их закодированные правила, они могли бы разбиться. Для этого требуется задавать пользователям регулировать свое поведение в рамках системы AI, который будет для ошибок и разочарований.

В рамках основанной на правилах системы стало еще более очевидным, когда они обрабатываются длинные отрывки текста, состоящий из нескольких предложений, которые требуют много контекстных знаний. Это было особенно верно в таких областях, как перевод, где преобразование длинный текст с одного языка требует информацию об источнике и языки назначения, а также истории и культуры. В этих случаях поведение ИИ стала настолько непредсказуемой, что использовать его станет почти невозможно использовать, разве что для очень простых задач.

Глубокое изучение и НЛП

Последние несколько лет произошла настоящая революция в глубокое обучение, метод ИИ, который особенно хорош при обработке неструктурированной информации, такой как изображения, звук и текст. Вместо того чтобы вручную определять поведение глубокие алгоритмов обучения, инженеры-программисты «тренировать» их, предоставляя им много примеров.

Для подготовки метеорологической информации алгоритм, инженеры предоставлять ему множество различных примеров того, как пользователи задают погоду и должным образом на них ответить. Алгоритм анализирует создает статистическую модель, которая отражает общие черты в последовательности слов, используемых, чтобы спросить о погоде. Затем он может карты новые предложения, он не видел, чтобы правильные ответы.

Не только глубокое изучение устраняет необходимость инженерной поведение вручную, но это также помогает выполнять гораздо более сложные задачи НЛП, такие как перевод.

Глубокий-алгоритм обучения, обучающихся по большой корпус документов на английском языке и их соответствующие французской версии могут найти умные способы, чтобы сделать больше, чем дословный перевод, такие как поиск эквивалентных фразеологизмов и пословиц в языке. В 2016 году компания Google увидел внезапное улучшение своего сервиса перевести после перешел на его глубокое изучение.

Сегодня большинство приложений НЛП использовать некоторые формы глубокого изучения.

Приложения

НЛП оставляет свой след во многих областях, но в нескольких областях, достижения в области даже открыли путь для новых приложений.

Цифровые ассистенты: Алекса, Сири и Кортана использует обработки естественного языка, чтобы сопоставить предложения специальных навыков и приложений. Благодаря достижениям в области НЛП, вы можете поговорить с вашим помощником в почти случайным образом. Цифровые помощники могут реагировать на изменения в простые команды, такие как установка будильника и напоминаний, проигрывание музыки, включение света и выключение.

Дуплекс сервиса Google-это пример того, как достижения в НЛП пришел: с некоторыми оговорками, двухуровневые можете делать заказы от имени пользователя и вступать в разговоры с администраторами. Он также может контролировать разговоры и выявить пригодные элементы из чатов и электронных писем.

Чатботов: достижений в области обработки естественного языка, в последние годы возобновился интерес к чатботов, приложений, заменить элементы пользовательского интерфейса (кнопки, меню и т. п.) с разговорным интерфейсов, таких как Messenger и социальных медиа-приложений.

Вы найдете catbots приложений в различных областях, включая здравоохранение, банковский, обслуживание клиентов, и новости. Пользователи могут взаимодействовать с бота, как будто они взаимодействуют с человеком (почти), такие как врач или банковский советник.

Веб-поиска: ранее, поиск в интернете сводился к поиску ключевых слов на веб-страницах. В настоящее время поисковые системы используют технологии, такие как слово встраивания, тип ИИ модели, которая ищет ключевые слова и термины, относящиеся к первоначальной поисковый запрос.

Совсем недавно, компания Google включила Берт, государство-оф-искусство модель языка, в свой поисковик, чтобы улучшить результаты поиска. Аристо АИ упоминалось ранее, также используется вариант Берт, чтобы найти ответы на научные вопросы в корпус научного материала.

Адрес электронной почты: многие почтовые сервисы используют НЛП для обнаружения и фильтрации спама. Кроме того, такие функции, как автозаполнение и умный сочинять используют НЛП, чтобы взять на себя некоторые из пользовательского ввода, особенно на мобильных устройствах.

Социальные медиа: социальные медиа-платформы используют НЛП для решения различных задач, включая обнаружение ненависти (или пытаются), оценка настроения после содержимого и маркировки суицидальные посты.

Пределы текущих НЛП

Несмотря на гибкость глубокое изучение приносит к НЛП, текущие ИИ по-прежнему далеки от понимания языка, на то, как люди делают.

Глубокое изучение модели обязаны своей точностью на огромные объемы данных, которые они проходят обучение на. Чем больше примеров ИИ видит, тем больше вероятность того, чтобы найти ответы на вопросы, он должен ответить. В его сердце, глубокое изучение делает соответствующий шаблон, используя сложную математику на карте входы в выходы, основанные на статистике и сходства. И сопоставление с образцом, отличающееся от понимания смысла слов и предложений.

В самом деле, языковые модели, основанные на глубоком изучении все еще страдает от некоторых из тех же фундаментальные проблемы, что их правило на основе предшественники. Когда они вовлечены в задачи, которые требуют общих знаний о людях и вещах, глубокого изучения языка модели часто делают глупые ошибки. Именно поэтому многие компании по-прежнему нанимают тысячи операторов рулить алгоритмов ИИ в правильном направлении.

Чтобы быть справедливым, обработке естественного языка, вероятно, не будет возможно, пока мы взломать код человеческого уровня AI, вид искусственного интеллекта, который действительно работает подобно человеческому мозгу. Но, как мы движемся к этой недостижимой цели, наши открытия помогают преодолеть разрыв связи между людьми и компьютерами.

Понравилась статья? Поделиться с друзьями:
Гуру ПК
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: