AIをカスタムするファインチューニングとRAG

LLM（Large Language Model： 大規模言語モデル）を使うだけだと、すごく一般的になっちゃう。
どうやって自分たちに合ったものにしてくかってことで。
その手法には大きく2種類の考え方があるよねってこと。

ちゃんと勉強したほうがいいよね。
最新の情報に触れたいから、本を買うよりもインターネットの世界が向いてるかも。

AIのカスタマイズ

AIを使うよってなったとき、問題になりかねないのはLLMの対応状況。
大規模言語モデルと言えど、自社のことは知らない。
自分たちのことをどうやってそのAIに知ってもらうかってのは、カスタマイズだよね。

そのときの考え方に、ファインチューニングというものとRAGというものがあるよ。
ファインチューニングのいち手法として、LoRAってのがあるよ。

LLMってのは大規模言語モデルのことで。
ざっくり見るだけなた、LLMがAIの本体とでも考えとけばいいよ。
最近の生成AIはほぼLLMだし。

ファインチューニングとRAG

LLMをどうカスタイズするかって話。

ファインチューニングとRAGの特徴などをまとめる。
似てるようでいて、アプローチが異なるから。
違うものなんだよね。

最近よく見てる「LoRA」もここで考えること。
ファインチューニングの一種。

モデルとして、GPTを例にして考えちゃう。

ファインチューニング

LLMを再訓練すること。

GPTを再訓練するってこと。
だから、ゲスト環境は別セグメントにすることが多いんだよ。

LLMを置いておく場所が必要。
ファインチューニング用のデータが必要。

カスタマイズしたいそのときのたびに、既存のLLMを教育する。
LLM自体が大きくなっていく可能性あり。
考える脳みそ自体を強化するから、遅延は少なく、フィードバックで再教育しやすい。

ファインチューニングのひとつがLoRA

LoRAはファインチューニングの手法のひとつ。
Low-Rank Adaptation
日本語だと、低ランク適応。

モデルはそのままにして、ランクの低い行を追加してくことによって、効率的に再教育するような感じ。

元のLLMには手を加えない感じ。
まるでRAGのようだ。

RAG（Retrieval-Augmented Generation）

LLMはそのままに、外部の情報を使って精度向上を図る考え方。検索拡張生成とも。

LLM自体の辞書には手を加えない。
仕組みとして、外部ファイルも3k省するように設定変更が必要。

外部の情報を検索しに行くから、LLMからの応答に時間を要する場合がある。
レイテンシーってやつ。遅延しちゃうの。

最新情報に更新しやすいよね。

長文を渡したら、勝手にインデックス貼ってくれて、回答に使用してくれる、みたいな感じ。

どっちを使うか考えてみよう

ファインチューニングにもRAGにも、メリットとデメリットがある。
それぞれ見極めて選ばねば。

速さ、専門性、実装難易度とかで考えるんだろうか。
がんばってくれ。

AIイラストを描いてもらいながら、もうちょっとRoLAを使おうかなって思う。