rotary position embedding

поворотно-позиционное вкрапление (метод обучения большой языковой модели, позволяющий использовать контекст длиной до 100 тыс. лексем Alex_Odeychuk)