https://arxiv.org/pdf/1703.04247.pdf

Contents

1. Introduction

2. Our Approach

   2.1. DeepFM

   2.2. Relationship with the other Neural Networks

3. Experiments

   3.1. Experiment Setup

   3.2. Performance Evaluation

   3.3. Hyper-Parameter Study

4. Related Work

5. Conclusions

Introduction

CTR prediction이란?

• 유저가 추천된 아이템을 클릭할 확률을 추정하는 것

  → 대부분 추천시스템의 Goal이 CTR을 Maximize하는 것에 있으므로, CTR 모델로 아이템을 ranking한다.

• 온라인 광고 분야에서도 중요하다.

  → 클릭이 수익에 직결되므로 CTR X bid across로 랭킹한다.(Bid란 클릭으로 시스템이 받는 수익)

CTR 모델이 다양한 Interaction을 반영해야하는 이유

• Implicit feature 사이의 Interaction은 보통 매우 복잡하므로, 양질의 추천을 위해서는 낮은 차원의 Interaction부터 고차원의 Interaction까지 모두 고려해야한다.

  <aside> ➕ 예를 들어,

  • **meal-time(시간)**에 **음식 배달 앱(앱 종류)**을 자주 다운로드

    → 앱 종류와 time-stamp 사이의 order-2 Interaction

  • 남자(성별) 아이들(나이)이 **슈팅게임 어플(앱 종류)**과 **RPG 게임 어플(앱 종류)**을 좋아함

    → 성별, 나이, 앱 종류 사이의 order-3 interaction

  </aside>

• 실제 세상에서 일부 interaction은 매우 복잡하고 데이터 속에 숨겨져 있어 사람이 찾을 수 없다. 또한 인력을 사용하여 기하급수적으로 늘어나는 모든 Interaction을 모델링할 수는 없다.

  <aside> ➕ 예를 들어,

  • 기저귀를 구매하는 사람은 맥주를 함께 구매한다 </aside>

기존 접근법

• Generalized linear models(E.g. FTRL)

  → 일반화 성능이 부족하다.

• Manually include pairwise feature interactions하는 보편적인 접근

  → training data에 나타나지 않는 interaction이나, High-order interactions를 일반화하기 어렵다.

• Factorization Machine

  → High-order interaction을 일반화할 수는 있지만, Usually only order-2 feature interactions