Elastic 8.16 Release : BBQ, LLMのObservability, クラウド資産の保護（SEIM）を追加

NEWS

本記事は日本語の参考訳となります。正式な情報は下記の記事を参照ください。
https://www.elastic.co/blog/whats-new-elastic-8-16-0

Elastic 8.16 Release

2024年11月12日 にElastic 8.16 がReleaseされました。今回のReleaseでは大きく4つの項目があげられます。

  • Elasticは、大規模なワークロードに対応するBetter Binary Quantization（BBQ）を初めて採用したベクターデータベースです。
  • Amazon Bedrockのための堅牢な大規模言語モデル（LLM）観測機能により、LLMの呼び出しエラーやパフォーマンスの課題を包括的に監視し解決します。これにより、別の人気LLMへの可視性が拡張されます。
  • クラウド資産を保護するために、クラウド保護とコンテクストに基づく調査を1つのライセンスで実現するSIEMを提供します。
  • コンテキストに適応し、簡単に操作できる、更新された Kibana エクスペリエンスを提供します。

各ソリューションにおける更新情報は下記のとおりです。

Elasticsearch

  • Better Binary Quantization（BBQ）の提供:
    Elasticは、ベクターデータベース向けの高性能かつ効率的な最適化手法であるBBQを技術プレビューとして初めて提供します。これにより、スカラー量子化とビットベクターのサポートを通じて、大規模なワークロードに対して優れたリコール性能とカスタマイズ可能なオプションが実現します。
  • プロダクション対応のハイブリッド会話型検索の一般提供:
    Retrieverと相互ランク融合（Reciprocal Rank Fusion、RRF）を活用したプロダクション対応のハイブリッド会話型検索が一般提供され、結果の正規化や組み合わせが容易になります。
  • 「start-local」による迅速なElasticの導入:
    ElasticsearchとKibanaのワンステップローカルデプロイメントである「start-local」を使用すると、数分でElasticを開始できます。この機能は再びオープンソース化されました。その後、軽量なオープンウェブクローラーを使用してデータの取り込みを迅速にスケールアップできます。
  • Elastic AIアシスタント for Searchの提供:
    Elastic AIアシスタント for Searchにより、検索ユーザーは生成AIモデルから文脈に応じた支援を受け、クエリの作成、データの取り込み、Elasticsearchを使用したAI駆動の検索体験の構築が可能になります。

Observability

LLM パフォーマンスの監視

  • Elasticは、Amazon Bedrock向けの大規模言語モデル（LLM）の観測機能を技術プレビューとして提供開始しました。これにより、LLMの呼び出しエラーやパフォーマンス上の課題を包括的に監視・解決することが可能となり、Amazon Bedrock上でのLLMの可視性が向上します。

すぐに使えるOpenTelemetry（OTel）データ取り込み

  • Elastic Distributions of OpenTelemetry（EDOT）SDKによるアプリケーションの自動インストルメンテーション: 商用サポート付きのOpenTelemetry SDKが、Go、Python、.NET（技術プレビュー）、およびJava（一般提供）向けに、OTel Operatorを通じてサポートされています。
  • Kubernetes監視のためのクイックスタートワークフロー: EDOT OTel CollectorとElastic Agentを使用したKubernetes監視のクイックスタートワークフローが利用可能になり、すぐに使用できるOpenTelemetryベースのKubernetesダッシュボード（技術プレビュー）も提供されています。
  • シームレスなOTelデータの取り込み: ダッシュボード、ログ分析、APM、AI駆動のインサイトが、ECS互換性を持ち、スキーマ変換なしで利用可能です。
  • Amazon Firehoseのクイックスタートワークフロー: CloudWatchメトリクスとログのサポートを備えたAmazon Firehoseのクイックスタートワークフローがベータ版として提供されています。

ログ分析の強化

  • Discoverのカスタマイズ可能なデータビューとサマリー列の一般提供（GA）: Discoverは、データのカスタマイズビューとサマリー列を提供し、直感的かつ文脈に応じたログ探索を可能にします。
  • ログデータ品質向上のための「修正」ワークフロー(ベータ版): 一般的なログ取り込みの問題に対処する「修正」ワークフローにより、_ignoredフィールドが発生する問題を解決し、ログデータからより多くの価値を迅速かつ容易に引き出すことができます。

ユニバーサルプロファイリング

  • Elasticは、自己管理型のElastic Stack環境におけるユニバーサルプロファイリングの一般提供を開始しました。これにより、オンプレミスユーザーは、Elastic Cloud Enterprise（ECE）、Kubernetes（Helmチャート経由）、およびセルフホスト型のElastic Stackデプロイメント上でユニバーサルプロファイリングをインストールして実行することが可能となります。なお、Elastic Cloud以外でユニバーサルプロファイリングを利用するには、エンタープライズライセンスが必要です。

Security

  • クラウドセキュリティプロバイダー保護の拡張（一般提供）
    Elasticは、Wiz、AWS Security Hub、Falcoとの統合を実現し、クラウドセキュリティワークフローを強化しました。これにより、脅威の検出や調査が迅速かつ効率的に行えるようになり、即時利用可能なコンテクストベースの脅威対応を提供します。
  • カスタムナレッジ統合（一般提供）
    Elastic AI Assistant for Securityがカスタムナレッジソースのサポートを開始。これにより、特定の環境や要件に応じたパーソナライズされた応答を生成し、セキュリティ管理体験をさらに向上させます。
  • Agentless Cloud Security Posture Management (CSPM)統合（ベータ版）
    エージェントレスCSPMにより、エージェントの管理を完全に排除し、データ取り込みがさらに簡素化されました。この新機能により、より効率的なクラウドセキュリティ管理が可能になります。
  • セッションビューのサポート拡張（一般提供）
    Elasticのセッションビュー機能がAuditbeatとAuditd Managerのサポートを追加しました。これにより、Linuxプロセス調査における深い洞察を提供し、包括的なセキュリティ分析が可能になります。
  • Elasticはこれらの新機能を通じて、セキュリティ管理のあらゆる側面を改善し、ユーザーがクラウドおよびオンプレミス環境での脅威に迅速かつ効率的に対応できるよう支援します。

Elasticsearch AI Platform

  • 新しくなったKibanaエクスペリエンスの探索
    文脈に応じて適応し、操作が簡単な新しいインターフェースを備えたKibana。より応答性の高い開発コンソールが搭載されています。
  • データ管理を強化するElasticsearch Query Language（ES|QL）
    推奨クエリ、名前付きパラメーター、そして高速なパフォーマンスでデータ管理をさらに効率化します。
  • 柔軟なチャンク戦略の試用
    単語ベースやシーケンスベースの戦略、カスタマイズ可能な最大サイズやオーバーラップパラメーター、ストリーミングAPI対応の推論API統合をサポートします。また、異常検出ジョブは自動的に夏時間に対応します。