RAG構築支援サービス
(1)RAG構築支援コンサルティングサービス概要
サイオステクノロジーは3つのフェーズでサービスを提供、RAG構築の導入を成功に導きます。
(2)生成AIの企業利用における利点と課題
利点:
- 人間のような処理が出来、自然な会話や文章の作成、サンプルプログラムの作成ができます
課題:
- 一般公開された情報しか参照していません
- 学習されている情報の範囲までしか対応できません
- 結果にブレがあり、間違えた情報も返します(ハルシネーション)
- コストとプライバシーや知的財産権の問題を考慮しなくてはなりません
(3)生成AIの課題に対する未トレーニングデータへの対応方法
- Fine Tuning:
大規模言語モデルに対してトレーニングを行い、非公開データを学習させる。時間とコストがかかり、新たなデータに対して継続的にトレーニングが必要です - RAG:
追加データをコンテキストとして元の質問とともに大規模言語モデルに送付する。コンテキスト(要確認:コンテクスト)のサイズに制限があります
(4)RAGへの期待
生成AIがトレーニングしていないデータをRAGにより生成AIへ渡すことで、
「簡単に」「正しく」「安価に」
回答ができるようになります。
(5)RAGの導入を成功させるために
- コンテキストにいれる内容(検索)が間違えている場合、どうやっても良い結果は返ってきません。検索結果が正しいかどうか?の検証から始める必要があります
- 検索にはキーワード検索とベクトル検索の2種類あり、ベクトル検索は万能ではありません
- 本番環境を意識してドキュメント権限、データの置き場を考慮する必要があります
- 新しいドキュメントが追加される毎に検索精度は落ちていくため、検索精度を監視していく仕組みが必要です
(6)RAGにElasticを選択する理由に
Elasticsearch Relevance Engine(ESRE)の下記の機能がRAGを導入する上で効果的で、以下の特徴があります。
- 業界をリードする高度な関連性ランキング機能
- フルベクトルデータベース機能
- Elastic Learned Sparse Encoder ‐
複数のドメインを横断したセマンティック検索に対応する新しい機械学習モデル - フルスイートのデータインジェストツール
- 開発者向けツール
生成AI-RAG Elasticsearch トレーニング
生成AIの理解から企業で利用するために必要な精度の向上、社内の情報を引用できる機能が提供される検索拡張生成=RAG(Retrieval Augmented Generation)の理解、そして実際のPOC環境を構築し実環境にてRAGの機能を体験いただけます。