Рекомендательные системы как ответ на дигитализацию экономики или разумное использование Big Data

441
Минин Алексей
директор института прикладного анализа данных «Делойт», СНГ
Рекомендательные системы вот уже несколько десятилетий остаются одним из самых известных, легко монетизируемых и тиражируемых применений систем искусственного интеллекта.

Многие слышали историю о рекомендательной системе в супермаркете, которая по списку покупок поняла, что юная девушка беременна, и начала присылать рекламу памперсов раньше, чем о беременности узнали ее родители...

Десять лет назад знаменитый конкурс, организованный компанией Netflix для рекомендации фильмов, привел к новым моделям и серьезным прорывам в области рекомендательных систем. Рынок подобных систем после этого увеличился более чем в десять раз, и с тех пор исследований, новых идей и моделей становится все больше, а рынок продолжает расти. Но для начала давайте разберемся, что же это такое — рекомендательная система?

В супермаркете рекомендательная система занимается тем, что на основании вашего поведения в магазине, того, как часто вы заходите, каков ваш маршрут через магазин, мимо каких стоек с товаром вы проходите, чем интересуетесь, на что смотрите, вообще всего, к чему вы прикасаетесь и что покупаете, делать выводы относительно того, что еще можно вам предложить так, чтобы вы это с высокой вероятностью купили. Цель системы — продать вам побольше; в идеальном случае работает совершенно магически: вы только успели о чем-то подумать, а тут как раз скидка на нужный вам товар прямо у вас на глазах. А в общем цель рекомендательной системы — помогать бизнесу продавать больше за счет своевременных рекомендаций клиенту в правильном месте, в правильное время и через правильный канал коммуникации.

Однако есть два вредных стереотипа, которые до сих пор мешают еще более широкому применению рекомендательных систем и других похожих моделей и методов. Во-первых, в сознании как широкой публики, так и бизнесменов рекомендательные системы до сих пор ассоциируются скорее с «развлекательными» применениями. Для бизнеса «рекомендательные системы» — это что-то про Netflix, IMDB, last. fm, Pandora... Еще, конечно, можно рекомендовать товары и в супермаркетах, и в интернет-магазинах — Amazon тоже находится на передовой; но и только. Во-вторых, многим кажется, что даже если теоретически рекомендательная система и могла бы пригодиться, в реальности это слишком сложно, заумно и требует полной перестройки всего процесса сбора и обработки данных, а также изменение бизнес процессов, логистики и принципов управления запасами, а на это мало кто готов пойти. Бизнесмены, которые пошли дальше, никак не могут понять, каков же ROI от инвестиций в подобные истории (с учетом трансформации бизнес-модели), и поэтому тоже пока воздерживаются от инвестиций, почитывая в СМИ и социальных сетях истории о том, как хорошо у кого-то получилось. В этой статье мы попробуем развеять эти стереотипы, ведь на самом деле рекомендательные системы могут быть полезны практически любому бизнесу, а чтобы начать рекомендовать, обычно вполне достаточно тех данных, которые уже собираются по ходу дела, причем ROI достаточен для того, чтобы начинать проект прямо сейчас.

Что такое рекомендательная система, как она обычно устроена? Классическая задача коллаборативной фильтрации (collaborative filtering) — это задача предсказания того, какие продукты (в самом широком смысле этого слова) понравятся пользователям, на основе того, какие продукты нравились им в прошлом. Математически эту задачу можно представить себе как задачу дополнения таблицы: представьте себе огромную таблицу, строки которой — это пользователи, столбцы — продукты, а в ячейках стоят оценки того, насколько этому пользователю понравился этот продукт: например, рейтинг фильма в звездочках или оценка купленного в интернет-магазине товара. Про подавляющее большинство элементов этой таблицы мы ничего не знаем — обычно один клиент может оценить только очень малую часть всех продуктов — но в некоторых ячейках все-таки стоят известные оценки, которые и представляют собой входные данные для этой задачи. И задача системы, которую мы хотим построить, состоит в том, чтобы предсказать, насколько клиенту понравятся те продукты, которые он еще не оценивал, а затем порекомендовать самые лучшие продукты лично для него. Рекомендовать можно или просто те продукты, которые скорее всего понравятся, или с учетом прибыли, которую они принесут бизнесу. Решается такая задача обычно по принципу «like like like» («подобным нравится подобное»): похожим пользователям будут нравиться одни и те же продукты, а похожесть между пользователями можно оценить через то, какие продукты нравились им в прошлом...

На этом месте руководитель контент-провайдера или даже магазина обычно горестно вздыхает и говорит: «Но у меня же нет никаких рейтингов... База клиентов есть, да, я знаю, какие продукты они покупали/читали/использовали, но откуда мне знать, что клиентам не понравилось?..» Не беда: есть много методов для одноклассовой коллаборативной фильтрации (one-class collaborative filtering), в которой достаточно знать только сам факт потребления, без всяких отрицательных оценок. Например, facebook знает, какие лайки ставили пользователи, но вряд ли имеет техническую возможность записывать, куда пользователь мог бы поставить лайк, но не поставил. Эти методы чуть сложнее математически (многие из них основаны, например, на неотрицательном разложении матриц), но для бизнеса суть не меняется: по базе данных, состоящей из действий клиентов, можно оценить похожесть между клиентами или продуктами и экстраполировать эту похожесть на новые рекомендации.

Главная сложность во всех системах коллаборативной фильтрации, хоть с рейтингами, хоть без, — это холодный старт (cold start): как рекомендовать продукты, которых еще почти никто не видел, и что рекомендовать пользователям, которые только что пришли в систему; обычно приходится прибегать к более простым, неперсонализованным схемам рекомендаций (самые популярные продукты и т. п.), а потом уже, по мере набора статистики, переходить к персонализованным схемам.

На этом месте контент-провайдеры и магазины уже в деле, но руководитель банка вздыхает не менее горестно: «Хорошо вам, у вас один пользователь прочитал десяток статей на сайте, и вот уже статистика, можно рекомендовать что-то. А у нас все клиенты новые — много ли одному человеку нужно депозитов или ипотек в одном банке? Один сплошной холодный старт; не работают эти ваши рекомендации для нас...» Но и здесь ответ найдется! Ответ обычно состоит в том, чтобы использовать дополнительную информацию, которая есть у бизнеса о его клиентах.

К примеру, как может выглядеть рекомендательная система для банка? Когда человек становится клиентом банка, а зачастую даже еще когда только думает об этом, банк обычно уже знает о человеке очень много. Паспортные данные уже предоставляют информацию о поле, возрасте и семейном положении, а также географическую привязку (где клиент живет); анкеты, которые обычно заполняют новые клиенты, дают информацию об уровне дохода, структуре потребления клиента и так далее. Это позволяет перейти от рассмотрения отдельных клиентов, которые определяются только их пожеланиями и их опыта взаимодействия с продуктами, к обобщенным моделям, которые выделяют общие предпочтения клиентов, в чем-то схожих между собой, например «25-30-летних девушек из Тверского района города Москвы». В таких моделях коллаборативная фильтрация обычно дополняется методами кластеризации, разбиения большого множества объектов на подмножества объектов, похожих друг на друга. Стоит отметить, что здесь возможна не только естественная демографическая сегментация, которую многие банки и сейчас делают вручную (или даже автоматически), но и использование гораздо более детальной и интересной информации, например структуры расходов клиента, которую можно оценить по движению средств на его банковской карте.

Все вышеперечисленное, как правило, не требует от бизнеса никаких серьезных телодвижений и больших дополнительных затрат: нужно просто подготовить для аналитиков специальные наборы данных, которые и так уже есть в CRM-системе, которую вы используете, и основная содержательная часть проекта будет заключаться в обучении систем искусственного интеллекта и тестировании моделей на этих (уже исторических) данных, анализе и улучшении получающихся рекомендаций с учетом пожеланий бизнеса. И только уже на этапе окончательного применения, интеграции готовых рекомендаций в бизнес-процессы может потребоваться какое-то содержательное взаимодействие между командой аналитиков, бизнес-функцией и IT-отделом бизнеса.

Итак, рекомендательные системы — это большой класс моделей, которые могут помочь практически каждому бизнесу, какими бы ни были его специфика и предметная область.

Методические рекомендации по управлению финансами компании



Подписка на статьи

Чтобы не пропустить ни одной важной или интересной статьи, подпишитесь на рассылку. Это бесплатно.

Школа

Школа

Проверь свои знания и приобрети новые

Записаться

Самое выгодное предложение

Самое выгодное предложение

Воспользуйтесь самым выгодным предложением на подписку и станьте читателем уже сейчас

Живое общение с редакцией

А еще...


Рассылка




© 2007–2016 ООО «Актион управление и финансы»

«Финансовый директор» — практический журнал по управлению финансами компании

Зарегистрировано Федеральной службой по надзору в сфере связи,
информационных технологий и массовых коммуникаций (Роскомнадзор)
Свидетельство о регистрации Эл №ФС77-43625 от 18.01.2011
Все права защищены. email: fd@fd.ru


  • Мы в соцсетях
×
Зарегистрируйтесь на сайте,
чтобы скачать образец документа

В подарок, на адрес электронной почты, которую Вы укажете при регистрации, мы отправим форму «Порядок управления дебиторской задолженностью компании»

У меня есть пароль
напомнить
Пароль отправлен на почту
Ввести
Я тут впервые
И получить доступ на сайт
Займет минуту!
Введите эл. почту или логин
Неверный логин или пароль
Неверный пароль
Введите пароль
Зарегистрируйтесь на сайте,
чтобы продолжить чтение статьи

Еще Вы сможете бесплатно:
Скачать надстройку для Excel. Узнайте риск налоговой проверки в вашей компании Прочитать книгу «Запасной финансовый выход» (раздел «Книги»)

У меня есть пароль
напомнить
Пароль отправлен на почту
Ввести
Я тут впервые
И получить доступ на сайт
Займет минуту!
Введите эл. почту или логин
Неверный логин или пароль
Неверный пароль
Введите пароль