⚙️ LoRA設定(基本版)
r(ランク)
r=8
追加する行列のランク。小さめに設定して計算コストを削減。
lora_alpha(スケーリング係数)
lora_alpha=16
LoRAの重みをどれだけ強く適用するか。rの2倍が一般的。
target_modules(対象層)
["q_proj", "v_proj"]
LoRAを適用する層。最小限に抑えてメモリ節約。
task_type(タスク種別)
CAUSAL_LM
因果言語モデル(文章生成)のタスク。
💡 Google Colab無料枠に最適化した設定です