Midori 293 シリーズ
Gemma3 LoRA ファインチューニング最終成果まとめ
midori290〜293 で積み上げたデータ加工・学習・推論ノウハウを統合した最終成果物ノートブックを ここから直接ダウンロードできます。Colab 実行を想定した PyTorch 形式に加え、MediaPipe を使ったブラウザ推論デモも同梱しています。
最終成果物ノートブック（midori290〜293 共通）
同じ最新版を各フォルダにコピーしているため、どのディレクトリからでも同一ファイルを取得できます。以下のリンクからダウンロード、またはブラウザで内容を確認してください。
-
Gemma31bit_LoRAファインチューニング PyTorch形式 .ipynb
データセット統合・LoRA/QLoRA 設定・トレーニング・量子化保存を一体化した、シリーズ最終版の学習ノートブックです。
-
PyTorch形式のモデルを利用して推論.ipynb
ファインチューニング済みモデルを自由に選択し、日本語チャット推論を行えるインタラクティブな推論ノートブックです。
今まで作成した大規模言語モデルGemma3のファインチューニングのまとめと、最終的な高精度化のためのデータ加工・学習過程のソースコード(GoogleColab)
【2025年6月1日 追記】
訓練データの高機能化を実施しました。
訓練データの高機能化を実施しました。
- 任意のディレクトリ（例: Google Drive）を指定し、訓練処理に必要な一式データをそのディレクトリに保存できます。
- 訓練を途中で中断した場合でも、前回の状態を自動で保存し、再開時にその状態から訓練を続行できるようになりました。
- 内部的に、GPUトレーニング専用処理とTPUトレーニング専用処理の2種類を用意しています。ご利用の環境に応じて自動で切り替わります。
本ページで公開するソースコードは、Midori290・291・292でまとめてきた過去のポイント（高精度化のためのデータ加工手法や学習過程の工夫）をすべて反映した、現時点での最終版となります。
MITライセンスで公開いたしますので、どなたでもご自由にご利用いただけます。
特に、高い精度を出すためのデータ前処理・統合・プロンプト設計・学習パラメータの最適化など、Midoriシリーズで蓄積したノウハウを集約しています。
また、データセットを公開してくださった方々、ならびにご提供いただいたデータセット、Gemma3モデル（Google様）など、関係者の皆様に心より感謝申し上げます。
なお、PyTorch形式での学習モデルを採用した理由ですが、最終的な出力形式としては、大規模言語モデルは高い計算量やWEB・様々なデバイス上での制約があり、変換処理が非常に複雑かつ最新技術が次々に登場しているため、すべてに対応するのは現実的ではないと判断しました。そのため、ネットとWEB環境が利用できるGoogle Colab上のPython環境であれば、ほとんどすべての言語モデル（AI関連）が動作・確認できると考え、PyTorch形式を選択しています。
Google Colabを実行できる環境があれば、誰でも、このコードの実行を確認ができるため、Colabのソースコードを主体にして公開させていただきております。
MITライセンスで公開いたしますので、どなたでもご自由にご利用いただけます。
特に、高い精度を出すためのデータ前処理・統合・プロンプト設計・学習パラメータの最適化など、Midoriシリーズで蓄積したノウハウを集約しています。
また、データセットを公開してくださった方々、ならびにご提供いただいたデータセット、Gemma3モデル（Google様）など、関係者の皆様に心より感謝申し上げます。
なお、PyTorch形式での学習モデルを採用した理由ですが、最終的な出力形式としては、大規模言語モデルは高い計算量やWEB・様々なデバイス上での制約があり、変換処理が非常に複雑かつ最新技術が次々に登場しているため、すべてに対応するのは現実的ではないと判断しました。そのため、ネットとWEB環境が利用できるGoogle Colab上のPython環境であれば、ほとんどすべての言語モデル（AI関連）が動作・確認できると考え、PyTorch形式を選択しています。
Google Colabを実行できる環境があれば、誰でも、このコードの実行を確認ができるため、Colabのソースコードを主体にして公開させていただきております。
GoogleColabで公開しているソースコード。データ加工後のトレーニングを実行する際に、使用するデータ量を調整してください。
コード上に説明がありますので、デフォルトだと６０万件そのままデータ訓練を始めてしまいます。
なので動くかどうかの確認は数万件程度に調整してください。６０万件そのままだと、数日かかる計算になります。
コード上に説明がありますので、デフォルトだと６０万件そのままデータ訓練を始めてしまいます。
なので動くかどうかの確認は数万件程度に調整してください。６０万件そのままだと、数日かかる計算になります。
例:
TRAIN_SAMPLE_SIZE = None → 全件使う
TRAIN_SAMPLE_SIZE = 2000 → 2000件だけ使う
TRAIN_SAMPLE_SIZE = None → 全件使う
TRAIN_SAMPLE_SIZE = 2000 → 2000件だけ使う
TRAIN_SAMPLE_SIZE = None # 例: Noneなら全件, 2000なら2000件だけ
TEST_SAMPLE_SIZE = 100 # 検証用データは100件だけColabでノートブックをすぐに開く
Colabでデータ作成・ファインチューニングを実行
Gemma3 1b it モデルのLoRAファインチューニング（PyTorch形式）
このノートブックの解説（データ作成・ファインチューニング）
- 1. 必要なライブラリのインストール：transformers（Gemma-3対応版）、peft、datasets、bitsandbytesなどを自動でインストールします。
- 2. データセットの作成：
・菌類論文の3行要約データ
・菌類の識別形質比較データ
・日本語LLM用の一般QAデータ
これら複数のデータセットをロードし、QAペア（質問・回答）形式に整形・結合します。 - 3. プロンプト形式への変換：ユーザーとAIの会話形式（
<bos><start_of_turn>user...model...<end_of_turn><eos>）に変換し、システムプロンプトも自動付与します。 - 4. データ分割・前処理：全データをシャッフルし、訓練用・テスト用に分割。長文は自動で分割されます。
- 5. モデルの準備とLoRA設定：GoogleのGemma3 1b itモデルをベースに、LoRA（Low-Rank Adaptation）で追加パラメータのみ学習。省メモリ・高速なファインチューニングが可能です。
- 6. 学習（ファインチューニング）：トレーナーを使い、指定エポック数で学習。途中で早期終了（EarlyStopping）もサポート。
- 7. モデルの保存・量子化：
- LoRAアダプタのみ（小容量）
- ベースモデルにマージ（float32）
- 8bit/4bit量子化（省メモリ・高速化）
- 8. 推論テスト：学習済みモデルで日本語の菌類質問に答えさせるサンプルコードも付属。
対象モデルについて
このノートブックで利用できるモデルの一例として、過去に作成した「菌類に詳しい日本語大規模言語モデル」があります。
このモデルはHuggingFace Hubに保存されており、菌類分類や科学論文の要約、専門的な比較、日本語の質疑応答に強みがあります。
モデル名やリポジトリIDを選択画面で指定することで、誰でもColab上で簡単に利用できます。
【モデルの詳細】
・Googleの「Gemma3 1b it」モデルをベースに、LoRA（Low-Rank Adaptation）手法でファインチューニングしています。
・ファインチューニングには、菌類に関する日本語論文の要約データ、菌類の識別形質比較データ、日本語の一般QAデータなど、複数の専門・汎用データセットを組み合わせています。
・LoRAは元の大規模モデルの重みをほとんど変えず、追加の小さなパラメータ（LoRAアダプタ）だけを学習するため、効率的かつ省メモリで専門知識を追加できます。
・菌類分類や科学論文の要約、専門的な比較、日本語の質疑応答に特化した応答が可能です。
・HuggingFace Hubに保存されているため、Colab上で簡単に呼び出して利用できます。
詳細なファインチューニングの流れや工夫ポイントは、midori290〜midori292のノートブックで解説しています。
このノートブックで利用できるモデルの一例として、過去に作成した「菌類に詳しい日本語大規模言語モデル」があります。
このモデルはHuggingFace Hubに保存されており、菌類分類や科学論文の要約、専門的な比較、日本語の質疑応答に強みがあります。
モデル名やリポジトリIDを選択画面で指定することで、誰でもColab上で簡単に利用できます。
【モデルの詳細】
・Googleの「Gemma3 1b it」モデルをベースに、LoRA（Low-Rank Adaptation）手法でファインチューニングしています。
・ファインチューニングには、菌類に関する日本語論文の要約データ、菌類の識別形質比較データ、日本語の一般QAデータなど、複数の専門・汎用データセットを組み合わせています。
・LoRAは元の大規模モデルの重みをほとんど変えず、追加の小さなパラメータ（LoRAアダプタ）だけを学習するため、効率的かつ省メモリで専門知識を追加できます。
・菌類分類や科学論文の要約、専門的な比較、日本語の質疑応答に特化した応答が可能です。
・HuggingFace Hubに保存されているため、Colab上で簡単に呼び出して利用できます。
詳細なファインチューニングの流れや工夫ポイントは、midori290〜midori292のノートブックで解説しています。
関連ノートブックへのリンク
Colabで直接開く
PyTorch形式のモデルを利用して推論
『PyTorch形式のモデルを利用して推論.ipynb』の詳細解説
このノートブックは、「自分の好きなAIモデルをColab上で簡単に選んで、すぐに日本語チャットができる」ことを目指したものです。
難しい設定やコマンドを覚えなくても、画面の案内に従うだけでOKです。
ノートブックの主な流れ（クリックや入力はすべて画面上で案内されます）
- 1. Colabでノートブックを開く：リンクをクリックするだけでOK
- 2. 必要なライブラリが自動でインストール：特別な操作は不要です
- 3. モデル選択：自分のDriveやHuggingFace、ローカルのモデルも自動検出。リストから選ぶだけ
- 4. チャット画面：日本語で自由に質問・会話できます。履歴も反映されるので自然なやりとりが可能
- 5. 推論結果がすぐに表示：AIが考えた答えがその場で返ってきます
ヒント： Colabの無料枠では大きなモデルは動かない場合があります。
うまく動かないときは、モデルを小さくする・再起動する・GPUランタイムを選ぶ、などを試してください。
うまく動かないときは、モデルを小さくする・再起動する・GPUランタイムを選ぶ、などを試してください。
このノートブックの「すごいところ」
・難しいPythonコードやパス指定が不要
・モデルの形式（LoRA/量子化/公式など）を自動で判別し、最適な方法でロード
・チャット履歴を活用して、より自然な会話ができる
・エラーが出ても、トラブルシューティングのヒントが表示される
・CPU/GPU環境を自動で判別し、最適な推論設定にしてくれる
・難しいPythonコードやパス指定が不要
・モデルの形式（LoRA/量子化/公式など）を自動で判別し、最適な方法でロード
・チャット履歴を活用して、より自然な会話ができる
・エラーが出ても、トラブルシューティングのヒントが表示される
・CPU/GPU環境を自動で判別し、最適な推論設定にしてくれる