Как приложения решают, когда показать вам слово: алгоритмы интервального повторения

Если интервальные повторения работают только при попадании в правильный момент (см. статью про кривую забывания), возникает вопрос: как приложение угадывает этот момент для каждого слова у каждого конкретного человека?

От бумажных карточек к машинному обучению

Первую систему на эту тему предложил ещё в 1967 году лингвист Пол Пимслер — «graduated interval recall», повторение через постепенно увеличивающиеся интервалы. Позже появилась система Лейтнера — физические карточки, которые перекладывались между коробками по мере запоминания слова.

Современные приложения пошли дальше: вместо фиксированной формулы они используют модели, обученные на данных миллионов пользователей. Самый известный публичный пример — исследование команды Duolingo 2016 года, представившее модель Half-Life Regression (HLR).

Что такое «период полураспада» слова

Идея модели простая по сути, но точная в реализации: для каждого слова у каждого ученика существует «период полураспада» в памяти — время, за которое вероятность вспомнить слово падает до 50%. HLR предсказывает этот период на основе истории занятий конкретного человека: сколько раз он видел слово, как быстро отвечал, ошибался ли раньше.

Авторы обучили модель на 13 миллионах учебных траекторий реальных пользователей Duolingo и добились снижения ошибки предсказания более чем на 45% по сравнению с базовыми формулами с фиксированными интервалами.

Half-Life Regression, обученная на 13 млн учебных траекторий Duolingo, снижает ошибку предсказания вероятности вспоминания слова более чем на 45% по сравнению с базовыми моделями с фиксированным интервалом — Settles & Meeder, ACL, 2016.

Код и датасет этого исследования опубликованы в открытом доступе — редкий случай, когда прикладной алгоритм крупного языкового приложения можно посмотреть построчно, а не только прочитать о нём в общих словах.

Почему это важнее, чем кажется

Разница между «карточками» и адаптивной моделью — это разница между школьным расписанием на всех и индивидуальным репетитором. Одно и то же слово у одного ученика может забываться за 2 дня, у другого — держаться неделю: зависит от родного языка, похожих слов в памяти, даже от того, насколько эмоционально запомнился контекст. Статичный интервал одинаково плохо подходит обоим.