Рекомендации, не подвластные времени: новый подход к динамическим данным

от

Автор: Денис Аветисян

В статье представлен инновационный вероятностный фреймворк, позволяющий повысить устойчивость рекомендательных систем к изменениям во времени и обеспечивающий более точные прогнозы в реальных условиях.

🧐

Купил акции по совету друга? А друг уже продал. Здесь мы учимся думать своей головой и читать отчётность, а не слушать советы.

Бесплатный телеграм-канал
В рамках анализа временных изменений в данных, представленная модель описывает процесс генерации данных, где временные факторы $𝐯$ и относительно стабильные факторы $𝐬$ влияют на скрытые представления $𝐳$, формирующие наблюдаемые выборки $𝐱$ и, в конечном итоге, метки $𝐲$, что позволяет установить направленные причинно-следственные связи между пользовательскими ($u$) и объектными ($i$) переменными.
В рамках анализа временных изменений в данных, представленная модель описывает процесс генерации данных, где временные факторы $𝐯$ и относительно стабильные факторы $𝐬$ влияют на скрытые представления $𝐳$, формирующие наблюдаемые выборки $𝐱$ и, в конечном итоге, метки $𝐲$, что позволяет установить направленные причинно-следственные связи между пользовательскими ($u$) и объектными ($i$) переменными.

Предлагается метод ELBOTDS, основанный на самообучении и причинно-следственном анализе, для борьбы со смещением распределений данных в крупномасштабных рекомендательных системах.

Несмотря на значительные успехи в области рекомендательных систем, проблема сдвига временных распределений (Temporal Distribution Shift) продолжает снижать их долгосрочную эффективность. В данной работе, ‘A Probabilistic Framework for Temporal Distribution Generalization in Industry-Scale Recommender Systems’, предложен вероятностный подход ELBO$_\text{TDS}$, включающий стратегию расширения данных и вариационную оптимизацию, основанную на причинно-следственной модели. Эксперименты показали, что предложенный метод обеспечивает превосходную обобщающую способность и увеличение GMV на пользователя, что подтверждено успешным внедрением в поисковую систему Shopee. Возможно ли дальнейшее повышение устойчивости рекомендательных систем к динамичным изменениям в данных за счет комбинирования причинно-следственного вывода и самообучения?

Неустойчивость Рекомендаций: Проблема Временных Сдвигов Распределения

Рекомендательные системы, несмотря на свою эффективность, часто сталкиваются с трудностями, когда распределение данных, на которых они обучаются, меняется со временем — это явление получило название временного смещения распределения (Temporal Distribution Shift, TDS). Представьте, что предпочтения пользователей не статичны, а эволюционируют: популярные товары сегодня могут быть забыты завтра, а новые тренды быстро захватывают внимание аудитории. Такое динамичное изменение данных требует от рекомендательных систем постоянной адаптации, поскольку модели, обученные на устаревшей информации, неизбежно теряют свою точность и актуальность. Игнорирование TDS приводит к снижению качества рекомендаций, уменьшению вовлеченности пользователей и, в конечном итоге, негативно сказывается на бизнес-показателях, подчеркивая необходимость разработки алгоритмов, способных эффективно справляться с этой проблемой.

В отличие от более простых сдвигов распределения, таких как CovariateShift, где изменяется лишь входное распределение данных, временной сдвиг распределения (TDS) представляет собой значительно более сложную проблему. В случае TDS не просто меняются характеристики самих данных, но и трансформируется сама взаимосвязь между входными признаками и целевыми переменными. Иными словами, факторы, влиявшие на предпочтения пользователя вчера, могут потерять свою актуальность сегодня, а новые факторы, ранее не имевшие значения, могут стать определяющими. Это требует от систем рекомендаций не просто адаптации к новым данным, но и постоянного переобучения и переосмысления логики формирования рекомендаций, чтобы оставаться релевантными и точными в условиях меняющегося поведения пользователей и динамики контента.

Игнорирование временного смещения распределения данных (Temporal Distribution Shift, TDS) неизбежно приводит к снижению эффективности рекомендательных систем и, как следствие, к ухудшению персонализации. Когда предпочтения пользователей и паттерны взаимодействия с контентом меняются со временем, модели, обученные на устаревших данных, начинают выдавать менее релевантные рекомендации. Это проявляется в снижении показателей кликабельности, конверсии и общей удовлетворенности пользователей, что напрямую влияет на бизнес-показатели, такие как доход и удержание аудитории. Эффективное решение проблемы TDS требует постоянного мониторинга изменений в данных и адаптации моделей, чтобы гарантировать, что рекомендации остаются актуальными и полезными для каждого пользователя.

Статистический анализ распределения признаков (статистических, последовательных и категориальных) выявил значительные колебания, вносящие вклад в величину TDS, что иллюстрируется архитектурой ELBOTDS_TDS на правой стороне.
Статистический анализ распределения признаков (статистических, последовательных и категориальных) выявил значительные колебания, вносящие вклад в величину TDS, что иллюстрируется архитектурой ELBOTDS_TDS на правой стороне.

Инвариантное Обучение: Первая Линия Обороны

Методы, такие как минимизация инвариантного риска (IRM), стремятся обучать представления, инвариантные к изменениям распределений данных. Основная идея IRM заключается в поиске представления $x$, которое минимизирует риск на различных срезах данных, определяемых различными условиями $e$. Это достигается путем решения оптимизационной задачи, которая поощряет модели, которые имеют одинаковую предсказательную способность на всех срезах. В контексте TDS (transport distribution shift), где тестовое распределение отличается от тренировочного, инвариантные представления могут значительно улучшить обобщающую способность модели, поскольку они менее чувствительны к изменениям в распределении входных данных и больше ориентированы на истинные закономерности в данных.

Метод VREx (Variance Risk Extrapolation) представляет собой усовершенствование подхода Invariant Risk Minimization (IRM), направленное на явное обучение представлений, инвариантных к изменениям доменов. В отличие от IRM, который стремится минимизировать риск на всех доменах одновременно, VREx фокусируется на экстраполяции риска из одного домена в другой. Это достигается путем оценки градиентов риска по каждому домену и последующего использования этих градиентов для корректировки параметров модели. Такой подход позволяет более эффективно находить представления, которые хорошо обобщаются на новые, ранее не встречавшиеся домены, что повышает устойчивость модели к сдвигам распределений и улучшает ее способность к обобщению. Ключевым отличием является акцент на явной оценке и коррекции разницы в рисках между доменами, что обеспечивает более надежное обучение доменно-инвариантных признаков.

Методы SSL4Rec и Dino4Rec используют принципы самообучения для создания более устойчивых и переносимых представлений данных, что позволяет улучшить производительность систем рекомендаций в условиях сдвига распределений (TDS). В основе этих подходов лежит обучение модели предсказывать части входных данных на основе других частей, без использования размеченных данных. Это позволяет модели извлекать более общие и инвариантные признаки, которые менее чувствительны к изменениям в распределении данных между обучающей и тестовой выборками. В результате, модели, обученные с использованием SSL4Rec и Dino4Rec, демонстрируют повышенную устойчивость к TDS и улучшенную обобщающую способность.

ELBOTDS: Вероятностный Подход к Надежности

ELBOTDS представляет собой вероятностную структуру, разработанную для повышения устойчивости и персонализации рекомендательных систем в условиях тенденций смещения данных (TDS). В отличие от традиционных подходов, ELBOTDS рассматривает данные как результат вероятностного процесса, что позволяет моделировать неопределенность и учитывать потенциальные искажения, возникающие при смещении данных. Эта структура позволяет более эффективно адаптироваться к изменяющимся паттернам поведения пользователей и поддерживать высокую точность рекомендаций даже при наличии значительных отклонений в данных. Вероятностный подход позволяет не только прогнозировать предпочтения пользователей, но и оценивать уверенность в этих прогнозах, что важно для принятия обоснованных решений и улучшения пользовательского опыта.

В основе ELBOTDS лежит моделирование причинно-следственных связей посредством CausalGraph, что позволяет получить более глубокое понимание процесса генерации данных. CausalGraph представляет собой направленный ациклический граф, который явно отображает взаимосвязи между различными переменными, влияющими на поведение пользователей и формирование рекомендаций. В отличие от традиционных методов, которые рассматривают только корреляции, CausalGraph позволяет идентифицировать причинные факторы, что повышает точность прогнозирования и устойчивость системы к смещениям в данных. Такой подход позволяет более эффективно учитывать влияние различных факторов, таких как характеристики товара, предпочтения пользователя и контекст взаимодействия, на вероятность совершения покупки или взаимодействия с контентом, что в свою очередь способствует повышению релевантности и персонализации рекомендаций.

Для повышения производительности и адаптивности, ELBOTDS использует методы увеличения данных (Data Augmentation), позволяющие расширить обучающую выборку и снизить переобучение модели. Оптимизация производится посредством Evidence Lower Bound (ELBO) — вариационного нижнего предела правдоподобия, который позволяет аппроксимировать сложную функцию потерь и эффективно находить оптимальные параметры модели. ELBO позволяет оценить нижнюю границу логарифмической вероятности данных, упрощая процесс обучения и обеспечивая стабильность сходимости алгоритма. Комбинация Data Augmentation и оптимизации ELBO позволяет ELBOTDS адаптироваться к изменяющимся условиям и улучшать качество рекомендаций.

Эффективность ELBOTDS была подтверждена в ходе оценки на масштабных наборах данных, включая ShopeeDataset и KuaiRandDataset. В ходе онлайн A/B-тестирования на платформе Shopee, применение ELBOTDS привело к увеличению показателя GMV/user (Gross Merchandise Value на пользователя) на 2.33%. Данный результат демонстрирует практическую значимость разработанного подхода и его способность улучшать ключевые бизнес-метрики в реальных условиях эксплуатации.

В ходе оценки ELBOTDS на датасетах Shopee-Small и KuaiRand-1K, система демонстрирует превосходство по показателям AUC (Area Under the Curve) и GAUC (Generalized Area Under the Curve). AUC измеряет способность модели различать релевантные и нерелевантные рекомендации, а GAUC учитывает ранжирование результатов. ELBOTDS стабильно достигает наивысших значений этих метрик, что свидетельствует о высокой точности и эффективности ранжирования рекомендаций по сравнению с другими подходами. Данные результаты подтверждают, что ELBOTDS эффективно выявляет пользователей, заинтересованных в предлагаемых товарах, и обеспечивает более релевантные рекомендации.

Ежедневная оценка контрольных точек на данных Shopee-Small показывает стабильное улучшение способности к обобщению во времени.
Ежедневная оценка контрольных точек на данных Shopee-Small показывает стабильное улучшение способности к обобщению во времени.

Усиление ELBOTDS: Многоэкспертная Система

В основе системы ELBOTDS лежит архитектура Mixture of Experts (MoE), позволяющая добиться специализированного обучения и повышения производительности при работе с разнообразными пользовательскими сегментами. Вместо использования единой модели для всех запросов, MoE разбивает задачу на несколько экспертных подсистем, каждая из которых оптимизирована для определенного типа данных или предпочтений пользователей. Благодаря этому подходу, система способна более эффективно обрабатывать сложные запросы, выявлять тонкие нюансы в поведении пользователей и предлагать релевантные рекомендации. Такая гибкость позволяет ELBOTDS адаптироваться к динамично меняющимся потребностям различных групп пользователей, обеспечивая персонализированный опыт и превосходя традиционные подходы к построению рекомендательных систем.

Архитектура ELBOTDS, основанная на концепции Mixture of Experts, позволяет модели улавливать сложные и многогранные предпочтения пользователей. Система не просто фиксирует текущие интересы, но и динамически адаптируется к изменяющимся паттернам поведения в режиме реального времени. Это достигается за счет использования нескольких экспертных подсистем, каждая из которых специализируется на определенном аспекте предпочтений пользователя. Благодаря непрерывному анализу взаимодействия и обновлению весов этих экспертов, ELBOTDS способна предвосхищать потребности и предлагать наиболее релевантные рекомендации, обеспечивая тем самым персонализированный и эффективный пользовательский опыт.

Интеграция многоэкспертной системы в ELBOTDS открывает принципиально новый уровень персонализации взаимодействия с пользователем. Благодаря способности модели учитывать индивидуальные предпочтения и динамически адаптироваться к меняющимся запросам, достигается значительное повышение вовлеченности аудитории. В результате, пользователи получают более релевантные рекомендации и контент, что способствует увеличению времени, проведенного на платформе, и повышению лояльности. Подобный подход, в свою очередь, оказывает положительное влияние на ключевые бизнес-показатели, такие как конверсия, удержание клиентов и общая прибыльность, делая ELBOTDS мощным инструментом для достижения коммерческих целей.

Система ELBOTDS знаменует собой существенный прогресс в области рекомендательных систем, предлагая комплексный и адаптивный подход к преодолению сложностей, связанных с так называемым “холодным стартом” (TDS). Вместо традиционных методов, ELBOTDS использует архитектуру, способную учитывать множество факторов и динамически приспосабливаться к изменяющимся паттернам поведения пользователей. Это позволяет модели эффективно рекомендовать контент даже в условиях ограниченных данных о новых пользователях или элементах, значительно повышая точность и релевантность рекомендаций. Такой целостный подход, сочетающий в себе экспертные системы и адаптивное обучение, открывает новые возможности для персонализации и взаимодействия с пользователем, представляя собой качественно новый уровень в разработке интеллектуальных рекомендательных систем.

Представленное исследование демонстрирует стремление к математической строгости в решении проблемы сдвига временных распределений в рекомендательных системах. Авторы предлагают не просто эмпирически работающее решение, а вероятностный каркас ELBOTDS, подкрепленный стратегией аугментации данных. Это соответствует убеждению, что надёжность алгоритма определяется его способностью к масштабированию и устойчивости в динамических условиях. Как справедливо заметил Андрей Колмогоров: «Математика — это искусство открывать закономерности, скрытые в хаосе». В данном случае, предложенный подход позволяет выявить и компенсировать закономерности сдвига временных распределений, обеспечивая более точные и устойчивые рекомендации.

Куда Далее?

Представленная работа, хоть и демонстрирует определенный прогресс в борьбе с проблемой сдвига распределений во времени в рекомендательных системах, лишь слегка приоткрывает завесу над истинной сложностью вопроса. Достигнутая устойчивость к изменениям — это, скорее, локальный успех, чем фундаментальное решение. Неизбежно возникает вопрос: насколько предложенный подход масштабируется до систем, где сдвиги распределений не просто случайны, но и несут в себе причинно-следственную связь с внешними факторами, игнорируемыми текущими моделями? Истинная элегантность алгоритма проявится не в преодолении статистических артефактов, а в способности к логическому выводу.

Будущие исследования, вероятно, должны быть направлены на интеграцию принципов причинно-следственного вывода непосредственно в архитектуру рекомендательных систем. Использование самообучения как инструмента для улучшения обобщающей способности — это разумный шаг, но лишь при условии, что формируемые представления действительно отражают инвариантные характеристики данных, а не просто запоминают шум. Очевидна необходимость в более строгих метриках оценки, способных дифференцировать истинную устойчивость от случайного совпадения.

В конечном счете, задача состоит не в том, чтобы построить систему, способную «выживать» в динамической среде, а в создании алгоритма, способного к адаптации и обучению на основе фундаментальных принципов, лежащих в основе взаимодействия пользователей и предметов. Любая другая стратегия — это лишь временное решение, обреченное на провал перед лицом непредсказуемости реального мира.

Оригинал статьи: https://arxiv.org/pdf/2511.21032.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-11-30 22:32