Авторегрессионные модели: предсказание следующего токена

Языковая модель учится вычислять P(следующий токен | все предыдущие токены). Это следует непосредственно из правила умножения вероятностей — вероятность последовательности равна произведению условных вероятностей каждой лексемы с учетом всего, что было до нее. Модели, построенные на этом принципе, называются авторегрессионными, поскольку каждый выходной сигнал используется в качестве входных данных для следующего шага.

Формально:

Нажмите каждый шаг, чтобы проследить, что происходит внутри модели, когда она выбирает следующий токен:

Софтмакс:$\sigma(x_i) = \frac{e^{x_i}}{\sum_j e^{x_j}}$. Каждый выходной сигнал положителен, сумма всех выходных данных равна 1. Перетащите логиты ниже — обратите внимание, как небольшое изменение одного логита смещает вероятность от всех остальных. Параметр температуры T делит все логиты до softmax: низкий T увеличивает резкость распределения, высокий T выравнивает его.

def generate(model, prompt_tokens, max_new=50):

    tokens = list(prompt_tokens)              # context

    for _ in range(max_new):

        logits = model(tokens)               # [vocab_size]

        probs  = softmax(logits)             # sum = 1.0

        next_token = sample(probs)           # pick one

        tokens.append(next_token)            # context grows

        if next_token == EOS_TOKEN: break    # stop signal

    return tokens

Каждая полоса показывает вероятность, которую модель назначила этому токену-кандидату в этой позиции. Зеленая полоса — это та, которая была выбрана и добавлена ​​в контекст.