EAGLE — метод, позволяющий ускорить генерацию ответов от LLM Можно ли генерировать ответ от LLM на двух RTX 3060 быстрее
EAGLE — метод, позволяющий ускорить генерацию ответов от LLM
Можно ли генерировать ответ от LLM на двух RTX 3060 быстрее, чем на A100 (которая дороже в 16 раз)?
Да, это возможно с алгоритмом EAGLE (Extrapolation Algorithm for Greater Language-model Efficiency), точность ответов при этом сохраняется.
EAGLE позволяет экстраполировать вектора контекстных признаков второго верхнего слоя LLM, что значительно повышает эффективность генерации.
EAGLE в 2 раза быстрее Lookahead (13B), и в 1.6 раз быстрее, чем Medusa (13B).
И да, EAGLE можно комбинировать с другими методами ускорения, такими как vLLM, DeepSpeed, Mamba, FlashAttention, квантование и аппаратная оптимизация.
Hugging Face
GitHub
1 view
51
5
2 months ago 00:01:00 1
Ceгοдня, мы пpeдлaгaeм вaм пpигοтοвить cοлянκу😍
2 months ago 00:14:40 1
[R(ae)cord] Let’s go 아카짱💛 | 에스파 ‘핫 메스’ 안무 연습 비하인드 (aespa ‘Hot Mess’ Dance Practice Behind)
2 months ago 00:06:45 1
Eagles - Hotel California (Live 1977) (Official Video) [HD]
2 months ago 00:00:00 1
🌞СТРИМ АЙБОЛИТА / РОЗЫГРЫШ - ОБРЕЗ «ЛУПАРА» - НАВСЕГДА / ИГРА С ПОДПИСЧИКАМИ
2 months ago 00:03:20 5
NAPALM RECORDS - Rise of the Napalm Eagle!
2 months ago 05:14:52 1
#25 Baldur’s Gate 3 Кооперативное прохождение с подписчиками. Клятвопреступник.