Elasticsearch の Columnar モードを 100 万件のログで検証してみた(logsdb との違いも解説)

BLOG

Elasticsearch 9.5 で、新しいインデックスモード「Columnar(カラムナー)モード」が Tech Preview として登場しました。「ディスク使用量を大きく減らせる」と聞くと魅力的ですが、何がどう変わるのかは、ドキュメントを読むだけではつかみにくいものです。

この記事では、Columnar モードがどんな考え方で作られたのかを、その 1 つ前の世代である logsdb モードと比べながら説明します。そのうえで、Web アクセスログ 100 万件を Elastic Cloud に投入し、通常モード、logsdb モード、Columnar モードの 3 つでディスク使用量と検索速度を実際に比べた結果を紹介します。

最初に「データはどう保存されているのか」という基本から順番に説明します。この記事を読み終えるころには、「自分のデータに Columnar モードを使うべきか」を判断できるようになっているはずです。

対象バージョンは Elasticsearch 9.5.6、環境は Elastic Cloud Hosted です。

まず押さえたいこと:Elasticsearch はデータを 4 つの形で持っている

Columnar モードを理解するには、Elasticsearch が 1 件のドキュメントを内部でどう保存しているかを知る必要があります。

実は、1 つのフィールドの値が、用途ごとに別々の形で複数回保存されています。

保存形式役割たとえると
_source投入した JSON をそのまま保存する。検索結果として返すときに使う原本のコピー
転置インデックス(inverted index)「この単語はどのドキュメントにあるか」を引く。キーワードや全文の検索に使う本の巻末の索引
BKD 木(points)数値、IP、日付の範囲検索に使う数直線
doc values1 つのフィールドの値を、ドキュメント順に列として並べて保存する。集計やソートに使う表計算ソフトの 1 列

つまり、通常モードでは「status_code = 200」という 1 つの値が、_source、BKD 木、doc values の 3 か所に保存されています。

検索を速くするためにはこれが必要ですが、その分ディスクを使います。

ここで大事なのは、最後の doc values です。

doc values は「列ごとに値を並べた形」で、これはまさにカラムナー(列指向)の保存形式です。

Elasticsearch は 1.0 のころからこの仕組みを持っていました。Columnar モードは、ゼロから新しい仕組みを作ったのではなく、この doc values を主役に据え直したものです。

1 つ前の世代:logsdb モードが変えたこと

Columnar モードの前に、logsdb モードという「ログ向けの省スペースモード」がありました。

Elastic Stack 9.0 で GA(正式版)になり、`logs-*-*` という名前の新しいデータストリームでは標準で有効になっています。

logsdb モードがやったことは、大きく 2 つです。

1 つ目は、_source(原本のコピー)を保存しないことです。代わりに、検索結果を返すときに doc values などから元の JSON を組み立て直します。これを synthetic _source(合成ソース)と呼びます。原本を持たないので、その分ディスクが減ります。

2 つ目は、インデックスソートです。同じホストのログを並べて置くと、似た値が連続するので圧縮が効きやすくなります。logsdb は `host.name` と `@timestamp` で並べ替えて保存します。

公式ドキュメントによると、この 2 つでディスク使用量を最大 60% 減らし、書き込み性能への影響は 10〜20% 程度とされています。

ただし、logsdb モードにも残っているものがあります。転置インデックスと BKD 木です。つまり logsdb は「原本は捨てたが、従来の索引の多くは持っている」状態です。「多く」と書いたのは、ソート列の一部では索引の代わりに doc value skipper を使うからです。あとで出す内訳の表でも、logsdb の @timestamp の BKD 木は 0 になっています。この「索引」の部分に手を入れたのが、次の Columnar モードです。

新しい世代:Columnar モードは「各フィールドを 1 回だけ保存する」

一言でいうと、Columnar モードは「すべてのフィールドを doc values として 1 回だけ保存する」モードです。

通常モードと比べると、こう変わります。

通常モードlogsdb モード
Columnar モード
_source(原本)保存する保存しない(合成)保存しない(合成、平らな形)
転置インデックス(keyword など)作る作る作らない
BKD 木(数値、IP、日付)作る作る作らない
転置インデックス(text)作る作る作る
doc values作る作る作る(主役)
インデックスソートなしhost.name と @timestamphost.name と @timestamp(logsdb_columnar の場合)

ここで混乱しやすいのは、「索引がないなら検索できないのでは」という点です。答えは「検索できる」です。ただし方法が変わります。

転置インデックスがないフィールドを検索するとき、Columnar モードは doc values(列)を上から読んで条件に合うものを探します。これだけだと 100 万件すべてを読むことになりますが、doc value skipper という仕組みがそれを助けます。

skipper は、列をブロックに分けて、各ブロックの最小値と最大値を記録したものです。「status_code >= 500」を探すとき、最大値が 404 のブロックは読まずに飛ばせます。インデックスソートでデータが並んでいるほど、この読み飛ばしがよく効きます。

text 型のフィールドだけは例外で、転置インデックスが残ります。全文検索には索引が必要だからです。

Columnar モードには 2 種類あります。

  • `columnar`:汎用。ソートの設定は自分で決める。
  • `logsdb_columnar`:ログ向け。logsdb と同じ既定値(@timestamp のマッピング、host.name と @timestamp のソート)が入る。

ログを扱うなら `logsdb_columnar` を使います。この記事の検証もこちらです。

検証の内容

実際に 3 つのモードでどれだけ違うのかを測りました。

この記事では結果を中心に書きます。使ったスクリプト、インデックス作成から後片付けまでの手順、実行結果の生データは、すべて次のリポジトリに置いています。同じ手順をたどれば、自分の環境で同じ検証を再現できます。https://github.com/SIOS-Technology-Inc/elastic-blogs/tree/main/2026-11-columnar-mode

項目値
環境Elastic Cloud Hosted、AWS 東京リージョン
バージョンElasticsearch 9.5.6
ライセンスEnterprise
構成1 シャード、レプリカなし。3 つのインデックスとも同じマッピング
データWeb アクセスログ 100 万件(24 時間分、NDJSON で 334MB)
ソートlogsdb と Columnar は service.name 昇順、@timestamp 降順

検証環境:

データは Python で生成した合成データです。1 件はこのような形です。

{
  "@timestamp": "2026-11-06T14:30:15.123Z",
  "http": {
    "request": { "method": "GET" },
    "response": { "status_code": 200, "bytes": 4520 }
  },
  "client": { "ip": "192.168.1.45" },
  "url": { "path": "/api/v1/products/item-9823" },
  "duration_ms": 42.5,
  "service": { "name": "order-service", "environment": "production" },
  "message": "GET /api/v1/products/item-9823 HTTP/1.1 200 4520 42.5ms"
}

値の種類が少ないフィールド(method は 6 種類、service.name は 10 種類)と、種類が多いフィールド(client.ip は約 4.6 万種類、url.path は約 13.8 万種類)を混ぜています。

また、5xx のときは処理時間が長くなるなど、現実に近い相関をつけています。

インデックスの作り方はシンプルです。settings の `mode` を指定するだけです。

PUT access-logs-columnar
{
  "settings": {
    "mode": "logsdb_columnar",
    "sort.field": [ "service.name", "@timestamp" ],
    "sort.order": [ "asc", "desc" ]
  },
  "mappings": {
    "properties": {
      "@timestamp":                { "type": "date" },
      "http.request.method":       { "type": "keyword" },
      "http.response.status_code": { "type": "integer" },
      "http.response.bytes":       { "type": "long" },
      "client.ip":                 { "type": "ip" },
      "url.path":                  { "type": "keyword" },
      "duration_ms":               { "type": "float" },
      "service.name":              { "type": "keyword" },
      "service.environment":       { "type": "keyword" },
      "message":                   { "type": "text" }
    }
  }
}

今回のデータには host.name がないので、代わりに service.name でソートしています。`mode` は作成後に変えられないので、最初に決める必要があります。

比較のため、通常モード(mode を指定しない)と logsdb モード(`"mode": "logsdb"`)のインデックスも同じマッピングで作りました。

それぞれの結果は、次のコマンドの実行結果から出しています。表の数字がどこから来たのかを確認したいときは、リポジトリの results フォルダに生の出力があります。

結果測り方
ディスク使用量_forcemerge?max_num_segments=1 で 1 セグメントにしたあと、_cat/indices の store.size と _disk_usage?run_expensive_tasks=true のフィールド別内訳
書き込み速度Bulk API で投入するスクリプト(load_to_elasticsearch.py)の所要時間と、_stats/indexing の index_time_in_millis
集計と検索の速さベンチマークスクリプト(run_benchmark.py)が request_cache=false で 5 回ずつ実行したレスポンスの took
_source の形_search のレスポンスに含まれる _source をそのまま比較
ES|QL_query API のレスポンスの took と values_loaded

結果 1:ディスク使用量は通常モードの 38% になった

100 万件を投入し、forcemerge で 1 セグメントにそろえてからサイズを比べました。

モードサイズ通常モード比
通常135 MB100%
logsdb56.8 MB42%(58% 減)
logsdb_columnar51.1 MB38%(62% 減)

ここで1点、補足します。通常モードにはインデックスソートを設定していないので、通常モードと logsdb、Columnar の差には、ソートで似た値が並ぶ効果も含まれています。「モードだけの効果」を見たいときは、どちらもソートありの logsdb と Columnar の差(10%)を見てください。

通常モードから logsdb で大きく減り、Columnar でさらに 1 割減りました。

なぜ減ったのかは、保存形式ごとの内訳を見るとはっきりします。`_disk_usage` API で取った値です。

保存形式通常logsdblogsdb_columnar
stored_fields(_source など)83.3 MB2.7 MB0 MB
転置インデックス21.9 MB19.9 MB16.0 MB
BKD 木(points)11.5 MB8.6 MB0 MB
doc values16.9 MB25.5 MB35.2 MB

読み方はこうです。

  • 通常モードの 135 MB のうち、77 MB は _source(原本)でした。半分以上です。logsdb と Columnar はこれを持ちません。
  • Columnar では BKD 木がゼロになりました。keyword の転置インデックスもゼロです。残っている転置インデックス 16 MB は、message(text 型)と _id の分だけです。
  • その代わり doc values が増えています。「各フィールドを doc values として 1 回だけ保存する」という説明が、そのまま数字に出ています。

フィールド単位でも見てみます。

フィールド通常(転置 / doc values / BKD)Columnar(転置 / doc values / BKD)
url.path(keyword)2.9 / 2.6 / 0 MB0 / 4.5 / 0 MB
client.ip(ip)0 / 2.0 / 2.7 MB0 / 3.9 / 0 MB
duration_ms(float)0 / 3.3 / 2.6 MB0 / 3.8 / 0 MB
message(text)11.4 / 0 / 0 MB11.7 / 11.1 / 0 MB

message だけは Columnar でも転置インデックスが残り、さらに doc values も持っています。全文検索のために索引が必要で、_source を組み立てるために値そのものも必要だからです。ログの message が長い場合、ここが Columnar モードの中で一番大きな部分になります。

結果 2:書き込み速度は今回の条件では変わらなかった

Bulk API で 5,000 件ずつ、1 つのクライアントから順番に投入しました。

モードクライアント側の所要時間サーバー側の処理時間
通常120.0 秒35.1 秒
logsdb123.5 秒38.2 秒
logsdb_columnar121.0 秒35.8 秒

今回の投入条件(1 クライアント、5,000 件ずつの Bulk)では、3 つともほぼ同じでした。転置インデックスを作らない分だけ速くなるかと期待しましたが、doc values の書き込みなど別の処理があるため、差は出ませんでした。少なくともこの条件では、「Columnar にすると書き込みが遅くなる」ということもありませんでした。並列度を上げた場合は測っていません。

結果 3:集計は同等、1 件を探す検索は遅くなる

ここが一番大事な結果です。

まず集計です。ステータスコードごとの平均レスポンス時間を出す terms 集計を、リクエストキャッシュを切って 5 回ずつ実行しました。OS のファイルキャッシュは消していないので、1 回目は参考値です。表の 0 ms は `took` が 1 ms 未満という意味です。

モード1 回目2 回目以降の中央値
通常168 ms112.5 ms
logsdb136 ms103.5 ms
logsdb_columnar102 ms101.0 ms

集計はもともと doc values を読む処理なので、3 つとも同じくらいでした。1 回目は Columnar が最も短い時間でしたが、上に書いたとおり参考値です。

次にフィルタ(絞り込み)です。これは転置インデックスの有無が直接効く部分です。

クエリ通常logsdblogsdb_columnar
ソート列で絞る(service.name と status >= 500 と 1 時間の範囲)3 ms2 ms15 ms
ソートに入っていない列で絞る(url.path が特定の 1 つ)0 ms0 ms51 ms

通常モードと logsdb は、転置インデックスと BKD 木で一瞬で絞り込めます。表の 0 ms は `took` が 1 ms 未満という意味で、処理時間がゼロという意味ではありません。Columnar は doc values を読んで絞るので遅くなります。ソート列では skipper が効いて 15 ms、ソートに入っていない url.path では 51 ms でした。

url.path のほうが遅い理由は、profile API で確かめられます。`"profile": true` を付けて同じクエリを実行すると、内部で使われたクエリの種類が返ります。

通常モード : TermQuery  url.path:/api/v1/products/item-9823                 (37 µs)
Columnar   : ScanningBinaryDocValuesTermQuery(fieldName=url.path, ...)   (49 ms)

通常モードは転置インデックスを引く TermQuery です。Columnar は名前のとおり doc values を走査する(Scanning)クエリで、索引も skipper も使えないので、この列の doc values を先頭から読んでいきます。

もう 1 つ、見落としやすい違いがあります。url.path を検索したときの `_score` が、通常モードでは 12.56、Columnar では 1 でした。転置インデックスがないフィールド(今回の設定では text 以外)の検索は、関連度のスコアが付きません。こうしたフィールドで「関連度順に並べる」用途には向かないということです。

一方で、text 型の message に対する全文検索(match)は、Columnar でも 19 ms でスコア付きで動きました。text の索引は残っているからです。

`_id` で 1 件を取る場合も測りました。`_id` は Columnar でも転置インデックスが残るので、ids クエリの `took` は Columnar で 3 ms、通常モードで 0 ms でした(2026-11-15、5 回とも同じ値)。遅くなるのは「索引のない keyword の値で探す」場合であって、`_id` での取得には実用上の差がありません。

結果 4:_source の形が変わる

Columnar モードでは、検索結果の _source が平らな形で返ってきます。

投入した JSON:

{ "service": { "name": "order-service", "environment": "production" } }

Columnar モードが返す _source:

{ "service.name": "order-service", "service.environment": "production" }

今回のサンプルでは、値は 1 つも失われていません。ただし、ネストした構造は消えて、ドット区切りのキーになります。logsdb モードではキーの順序が変わるだけで、ネストは保たれていました。

「平らになるだけ」と思わないほうがよい点もあります。公式ドキュメントによると、次の場合は情報そのものが失われます。

  • オブジェクトの配列。`[{"a": 1, "b": 2}, {"a": 3, "b": 4}]` は `a: [1, 3]` と `b: [2, 4]` になり、どの a とどの b が同じオブジェクトだったかは戻せません。対応を保ちたい場合は nested 型を使います(1 段までの制限あり)。
  • マッピングされていないフィールド。`dynamic: false` の配下や `enabled: false` のオブジェクトの中身は保存されません。

今回のデータには配列もマッピング外のフィールドもないので、この影響は出ていません。

ネストした JSON をそのまま受け取るアプリケーションがある場合は、受け取り側の対応が必要です。これは Columnar モードを使うときに最初に確認すべき点です。

ES|QL との相性

ES|QL も列単位でデータを読む設計なので、Columnar モードと考え方が同じです。同じ集計を ES|QL で実行した結果に、それがよく表れていました。

FROM access-logs-columnar
| STATS avg_duration = AVG(duration_ms) BY http.response.status_code
| SORT http.response.status_code

レスポンスの `values_loaded` は 2,000,000 でした。これは「2 列 × 100 万件」ちょうどです。10 個あるフィールドのうち、必要な 2 列しか読んでいないことが数字で分かります。Columnar モードは、この「必要な列だけ読む」動きに合わせて保存形式を最適化したものだと言えます。

まとめ:どんなときに使うべきか

結果を一覧にします。

観点結果
ディスク通常モード比 62% 減、logsdb 比 10% 減
書き込み今回の条件では大きな差なし
集計同等。1 回目は Columnar が最短(参考値)
絞り込みColumnar が遅い。0〜3 ms が 15〜51 ms に。索引のない keyword ではスコアが 1(text の全文検索には付く)
_source平らな形になる

実務で考えると、使い分けはこうなります。

Columnar モードが向いているのは、「集計と時系列の絞り込みが中心で、データ量が多い」場合です。ログ分析やダッシュボード用のデータが典型です。ディスクが 6 割減るのは、保存期間を延ばせるということでもあります(135 MB と 51.1 MB の比で約 2.6 倍。ただしインデックスのサイズだけの概算です)。今回の絞り込みは単一クエリで数十 ms でした。実際に使えるかは、同時実行数とデータ量で判断してください。メトリクスで dimension や metric の意味づけが必要な場合は、公式ドキュメントは Columnar ではなく TSDS(time series data stream)を案内しています。

通常モードや logsdb が向いているのは、「索引のある keyword の値で 1 件を素早く探す」「関連度順に並べる」用途が多い場合です。`_id` での取得は Columnar でも索引が残るので遅くなりません。API のバックエンドや、検索アプリケーションがこれにあたります。

もう 1 つの判断基準は _source の形です。ネストした JSON をそのまま使う仕組みがあるなら、Columnar モードに変える前に受け取り側を確認してください。

使う前に知っておくこと

  • Columnar モードは 9.5 時点で Tech Preview です。今後の変更の可能性があります。
  • `mode` はインデックス作成時にしか設定できません。既存のインデックスは変えられないので、新しいインデックスまたはデータストリームで使います。
  • synthetic _source はサブスクリプションが必要な機能です。使えない場合は自動で「columnar stored」方式(平らな _source をインデックス時に保存する方式)になります。
  • マッピングは常に平らになります。nested 型は限定的にしか使えません。
  • Serverless でも使えますが、`_disk_usage` や forcemerge は使えないので、この記事のような内訳の確認はできません。
  • メトリクスで dimension や metric の意味づけが必要な場合、公式ドキュメントは Columnar ではなく TSDS(time series data stream)を案内しています。Columnar が常に最適というわけではありません。

おわりに

Columnar モードは、「Elasticsearch が昔から持っていた doc values を主役にする」という考え方のモードです。logsdb が原本の _source を手放したのに続いて、Columnar は索引の大部分も手放しました。その結果、ディスクは通常モードの 4 割弱になりました。

代わりに失うものも、はっきりしています。索引のない keyword で 1 件を探す検索の速さとそのスコア、そして _source の形です。この記事の数字が、自分のデータで試すかどうかを判断する材料になればうれしいです。

手順とスクリプトは上で紹介したリポジトリ(https://github.com/SIOS-Technology-Inc/elastic-blogs/tree/main/2026-11-columnar-mode)にあるので、自分のデータで試すときの出発点にしてください。

参考資料

本記事は、以下の Elastic 公式ドキュメントと記事に基づいています。検証結果はすべて筆者の環境での実測値です。

– Columnar index mode(リファレンス)

Columnar index mode | Elasticsearch Reference
When you turn on columnar mode, Elasticsearch becomes a full analytical and search columnar store. For a conceptual intr…

– Columnar index mode(概要)

Columnar index mode | Elastic Docs
Learn when to use columnar index mode to store data once for analytics and search with a smaller storage footprint.

– Logs data streams(logsdb モード)

Logs data streams | Elastic Docs
Logs data streams store log data more efficiently. In benchmarks, logsdb index mode reduced the storage footprint of log…

– Columnar storage in Elasticsearch: Storing every field once(Elastic Search Labs)

Columnar storage in Elasticsearch: Storing every field once
Elasticsearch columnar storage keeps one copy of each field as doc values, using bulk scanning and skippers to stay fast…

– Analyze the index disk usage API

Analyze the index disk usage | Elasticsearch API documentation
Analyze the disk usage of each field of an index or data stream.This API might not support indices created in previous E…

– 検証詳細
https://github.com/SIOS-Technology-Inc/elastic-blogs/tree/main/2026-11-columnar-mode