Рассматривается ускорение обучения больших языковых моделей при ограничениях по памяти GPU и снижении эффективности масштабирования на кластере. Предлагается метод совместной оптимизации pipeline parallelism и низкобитного представления весов: высвобождаемая память используется для увеличения заполнения пайплайна, уменьшения простоев и роста пропускной способности. Описаны принципы согласованного выбора границ стадий, расписания и числа микробатчей, а также политика точности по компонентам модели для сохранения устойчивости и качества. Приведены рекомендации по внедрению на основе профилирования и контроля метрик скорости, памяти и качества.

Балакин А.А., Поляков И.В. (науч. рук. Духанов А.В.) Совместная оптимизация pipeline parallelism и низкобитного квантизования весов для ускорения обучения больших языковых моделей // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. – СПб: Университет ИТМО, [2026]. URL: https://kmu.itmo.ru/digests/article/18163