📖 LoRAパラメータ解説
r(ランク)
追加する行列のランク。大きいほど表現力が高いが、計算コストも増加。
推奨値:r=16
lora_alpha(スケーリング係数)
LoRAの重みをどれだけ強く適用するか。通常はrの2倍程度。
推奨値:lora_alpha=32
target_modules(対象層)
LoRAを適用する層。多いほど精度向上するが、計算コスト増。
推奨:["q_proj", "v_proj", "k_proj", "o_proj"]
lora_dropout(ドロップアウト率)
過学習を防ぐための正則化。0.05程度が一般的。
推奨値:lora_dropout=0.05
task_type(タスク種別)
言語モデルのタスク種別。因果言語モデルの場合。
固定値:TaskType.CAUSAL_LM