Эффективное дообучение: LoRA и QLoRA
🔒 Sign in to use this
Fine-tuning: как научить LLM новым трюкам без полного переобучения
GPT-4 умеет многое, но не знает ваши внутренние процессы. BERT не понимает медицинскую терминологию вашей клиники. Fine-tuning адаптирует предобученную модель под конкретную задачу или домен. Полное fine-tuning — дорого: для LLaMA-7B нужно несколько A100. LoRA решает это элегантно: заморозить 99% весов и обучать только две маленькие матрицы. Качество почти как у full fine-tuning, память — в 10–50 раз меньше.
Content is available with subscription.
Get full access to all courses on the platform for one year with a single payment.
▼
▼
Unlike other platforms that charge per course, here you get everything for one price, and after one year of use there will be no automatic charge for the following year.
🔒 Sign in to use this