Bing Search: как работает система исправления правописание на 100 языках

Одна особенность поисковых систем заключается в том, что они могут понять, когда вы ошиблись в написании слова, и исправить его. Эта, казалось бы, простая функция экономит много времени в жизни обычного пользователя Интернета, но мы не совсем знаем, как это работает. Однако теперь Microsoft объяснила, как исправить орфографические ошибки на 100 языках, когда пользователи вводят свои поисковые запросы.

Как Microsoft Bing исправляет неправильное написание

Учитывая, что 15% запросов поисковых систем, которые она получает, содержат орфографические ошибки, компании требовалась надежная система для решения этой проблемы. Конечно, система исправления орфографии была разработана для того, чтобы в целом улучшить работу с Microsoft Bing.

Microsoft заявляет, что считает исправление орфографии важной функцией, обеспечивающей бесперебойную работу поисковой системы. Компания использовала многие из этих методов в других продуктах, и система получила несколько улучшений до того, как появилась на Bing.

Однако, чтобы убедиться, что исправление орфографии работает с английским и более чем 100 языками, Microsoft использовала AI в масштабе. Эта платформа поддерживает ИИ в приложениях следующего поколения, особенно с использованием обучения на больших моделях, глубокого обучения и НЛП.

Однако для исправления орфографии на нескольких языках компания создала коллективную технологию под названием Speller100. Он был разработан, чтобы наилучшим образом использовать движок ИИ.

Компания поняла, что не может использовать традиционную технологию исправления орфографии для всех языков мира. Поэтому, классифицируя языки на основе их корней и структуры, Microsoft объединила несколько технологий, часто черпая вдохновение у других технологических гигантов.

Например, компания утверждает, что использовала BART, предварительное обучение автоэнкодера s2s с шумоподавлением на уровне слов для генерации, перевода и понимания естественного языка. Facebook AI Research разработал BART, и это помогло Microsoft сделать функцию шумоподавления более эффективной.

Мы считаем, что Speller100 — это самая полная система исправления орфографии из когда-либо созданных с точки зрения языкового охвата и точности. С помощью этой технологии мы улучшили результаты поиска для всех пользователей Bing, расширив точную коррекцию орфографии на более чем 100 языков.

заявили в Microsoft