Fine-tuning LLaMA 3 на собственных данных

## Подготовка данных Качество fine-tuning напрямую зависит от качества датасета. Требования: • Минимум 1000 примеров для задачи классификации • 5000+ для генеративных задач • Разнообразие формулировок • Очистка от дубликатов и ошибок ## Формат данных (Alpaca) ```json { "instruction": "Классифицируй тональность отзыва", "input": "Отличный сервис, быстрая доставка!", "output": "Позитивная" } ``` ## Обучение с LoRA ```python from peft import LoraConfig, get_peft_model config = LoraConfig( r=16, lora_alpha=32, target_modules=["q_proj", "v_proj"], lora_dropout=0.05, bias="none", task_type="CAUSAL_LM" ) model = get_peft_model(model, config) ``` ## Гиперпараметры • Learning rate: 2e-4 • Batch size: 4 (с gradient accumulation 4) • Epochs: 3 • Warmup steps: 100 ## Экспорт и деплой Объедините LoRA-веса с базовой моделью и конвертируйте в GGUF для inference на CPU.