Яндекс Образование Интенсив GPT Week. Лекция 2.2.: Про претрейн LLM

🎯 Загружено автоматически через бота: 🚫 Оригинал видео: 📺 Данное видео принадлежит каналу «Яндекс Образование » (@Education_Yandex). Оно представлено в нашем сообществе исключительно в информационных, научных, образовательных или культурных целях. Наше сообщество не утверждает никаких прав на данное видео. Пожалуйста, поддержите автора, посетив его оригинальный канал. ✉️ Если у вас есть претензии к авторским правам на данное видео, пожалуйста, свяжитесь с нами по почте support@, и мы немедленно удалим его. 📃 Оригинальное описание: Спикер: Миша Хрущёв, руководитель группы претрейна YandexGPT Вспомогательные ссылки: 1) Трансформеры и Attention: 2) GPT-3: 3) Поиск оптимального времени обучения для моделей: 4) Llama: и 5) Adan: 6) FSDP: . 7) DeepSpeed - фреймворк для распределенного обучения. Мы от него отошли, но там куча полезных статей: 8) RoPE: