Elastic Search 8.14 ハイライト（2024年6月5日）

Elastic Search 8.14　ハイライト　（2024年6月5日）

Elastic Search 8.14　ハイライト　（2024年6月5日）

「より高速でコスト効率の高いベクター検索、リトリーバーと再ランク付けによる関連性の向上、RAG と開発者ツール」　というタイトルでElastic Search 8.14のハイライトが紹介されています。
https://www.elastic.co/jp/blog/whats-new-elastic-search-8-14-0
これらの機能強化により、速度の向上、ストレージコストの削減、ソフトウェアとハードウェアのシームレスな統合が実現します。

上記の記事のTopicをまとめてみました。

驚くほど高速なベクトル検索を実現

ベクトル間の距離を計算するコードベースを改善し、ベクトルデータの処理時に Lucene の実装よりも最大 6 倍高速なバイナリ比較を実現しました。
Elasticsearch Pythonクライアントがサポートするようになりましたorjson は、最速の Python JSON ライブラリとしてベンチマークされており、numpy ベクトルのインデックス作成を最大 10 倍高速化します。

リトリーバーと再ランキングによる検索関連性の民主化

リトリーバーと再ランク付けは、検索結果の関連性と精度を向上させる上で重要な役割を果たします。私たちのアップデートは、ベクター検索ユーザーと、BM25 などのより伝統的なモデルを活用しているユーザーの両方に影響を与えます。
たとえば、KNN と BM25 の取得方法を一緒に使用するには、パイプラインを使用してステージを定義して KNN 検索を実行し、結果の ID を取得してから、その ID で BM25 検索を実行する必要がなくなります。代わりに、検索クエリに取得ツリーを直接組み込むことができます。

RAG体験の向上

最新のツールと機能強化は、RAG エクスペリエンスを向上させるように設計されています。Playground と Jupyter ノートブックを備えた Dev Console の両方により、ユーザーは迅速に実験、改良、反復を行うことができます。
Playground では、開発者は複数のサードパーティデータソースから取り込まれた複数のインデックスを選択して、セマンティックテキストクエリを試して改良し、生成されたコードをエクスポートし、最終的に会話型検索エクスペリエンスを設計できます。これにより、RAG の実装が簡素化され、Elasticsearch データを使用してチャットエクスペリエンスの迅速なプロトタイプを作成して LLM 応答を基盤にすることができます。