Elasticsearch 9.5 で、新しいインデックスモード「Columnar(カラムナー)モード」が Tech Preview として登場しました。「ディスク使用量を大きく減らせる」と聞くと魅力的ですが、何がどう変わるのかは、ドキュメントを読むだけではつかみにくいものです。
この記事では、Columnar モードがどんな考え方で作られたのかを、その 1 つ前の世代である logsdb モードと比べながら説明します。そのうえで、Web アクセスログ 100 万件を Elastic Cloud に投入し、通常モード、logsdb モード、Columnar モードの 3 つでディスク使用量と検索速度を実際に比べた結果を紹介します。
最初に「データはどう保存されているのか」という基本から順番に説明します。この記事を読み終えるころには、「自分のデータに Columnar モードを使うべきか」を判断できるようになっているはずです。
対象バージョンは Elasticsearch 9.5.6、環境は Elastic Cloud Hosted です。
まず押さえたいこと:Elasticsearch はデータを 4 つの形で持っている
Columnar モードを理解するには、Elasticsearch が 1 件のドキュメントを内部でどう保存しているかを知る必要があります。
実は、1 つのフィールドの値が、用途ごとに別々の形で複数回保存されています。
| 保存形式 | 役割 | たとえると |
|---|---|---|
| _source | 投入した JSON をそのまま保存する。検索結果として返すときに使う | 原本のコピー |
| 転置インデックス(inverted index) | 「この単語はどのドキュメントにあるか」を引く。キーワードや全文の検索に使う | 本の巻末の索引 |
| BKD 木(points) | 数値、IP、日付の範囲検索に使う | 数直線 |
| doc values | 1 つのフィールドの値を、ドキュメント順に列として並べて保存する。集計やソートに使う | 表計算ソフトの 1 列 |
つまり、通常モードでは「status_code = 200」という 1 つの値が、_source、BKD 木、doc values の 3 か所に保存されています。
検索を速くするためにはこれが必要ですが、その分ディスクを使います。
ここで大事なのは、最後の doc values です。
doc values は「列ごとに値を並べた形」で、これはまさにカラムナー(列指向)の保存形式です。
Elasticsearch は 1.0 のころからこの仕組みを持っていました。Columnar モードは、ゼロから新しい仕組みを作ったのではなく、この doc values を主役に据え直したものです。
1 つ前の世代:logsdb モードが変えたこと
Columnar モードの前に、logsdb モードという「ログ向けの省スペースモード」がありました。
Elastic Stack 9.0 で GA(正式版)になり、`logs-*-*` という名前の新しいデータストリームでは標準で有効になっています。
logsdb モードがやったことは、大きく 2 つです。
1 つ目は、_source(原本のコピー)を保存しないことです。代わりに、検索結果を返すときに doc values などから元の JSON を組み立て直します。これを synthetic _source(合成ソース)と呼びます。原本を持たないので、その分ディスクが減ります。
2 つ目は、インデックスソートです。同じホストのログを並べて置くと、似た値が連続するので圧縮が効きやすくなります。logsdb は `host.name` と `@timestamp` で並べ替えて保存します。
公式ドキュメントによると、この 2 つでディスク使用量を最大 60% 減らし、書き込み性能への影響は 10〜20% 程度とされています。
ただし、logsdb モードにも残っているものがあります。転置インデックスと BKD 木です。つまり logsdb は「原本は捨てたが、従来の索引の多くは持っている」状態です。「多く」と書いたのは、ソート列の一部では索引の代わりに doc value skipper を使うからです。あとで出す内訳の表でも、logsdb の @timestamp の BKD 木は 0 になっています。この「索引」の部分に手を入れたのが、次の Columnar モードです。
新しい世代:Columnar モードは「各フィールドを 1 回だけ保存する」
一言でいうと、Columnar モードは「すべてのフィールドを doc values として 1 回だけ保存する」モードです。
通常モードと比べると、こう変わります。
| 通常モード | logsdb モード | Columnar モード | |
|---|---|---|---|
| _source(原本) | 保存する | 保存しない(合成) | 保存しない(合成、平らな形) |
| 転置インデックス(keyword など) | 作る | 作る | 作らない |
| BKD 木(数値、IP、日付) | 作る | 作る | 作らない |
| 転置インデックス(text) | 作る | 作る | 作る |
| doc values | 作る | 作る | 作る(主役) |
| インデックスソート | なし | host.name と @timestamp | host.name と @timestamp(logsdb_columnar の場合) |
ここで混乱しやすいのは、「索引がないなら検索できないのでは」という点です。答えは「検索できる」です。ただし方法が変わります。
転置インデックスがないフィールドを検索するとき、Columnar モードは doc values(列)を上から読んで条件に合うものを探します。これだけだと 100 万件すべてを読むことになりますが、doc value skipper という仕組みがそれを助けます。
skipper は、列をブロックに分けて、各ブロックの最小値と最大値を記録したものです。「status_code >= 500」を探すとき、最大値が 404 のブロックは読まずに飛ばせます。インデックスソートでデータが並んでいるほど、この読み飛ばしがよく効きます。
text 型のフィールドだけは例外で、転置インデックスが残ります。全文検索には索引が必要だからです。
Columnar モードには 2 種類あります。
-
`columnar`:汎用。ソートの設定は自分で決める。 -
`logsdb_columnar`:ログ向け。logsdb と同じ既定値(@timestamp のマッピング、host.name と @timestamp のソート)が入る。
ログを扱うなら `logsdb_columnar` を使います。この記事の検証もこちらです。
検証の内容
実際に 3 つのモードでどれだけ違うのかを測りました。
この記事では結果を中心に書きます。使ったスクリプト、インデックス作成から後片付けまでの手順、実行結果の生データは、すべて次のリポジトリに置いています。同じ手順をたどれば、自分の環境で同じ検証を再現できます。https://github.com/SIOS-Technology-Inc/elastic-blogs/tree/main/2026-11-columnar-mode
| 項目 | 値 |
|---|---|
| 環境 | Elastic Cloud Hosted、AWS 東京リージョン |
| バージョン | Elasticsearch 9.5.6 |
| ライセンス | Enterprise |
| 構成 | 1 シャード、レプリカなし。3 つのインデックスとも同じマッピング |
| データ | Web アクセスログ 100 万件(24 時間分、NDJSON で 334MB) |
| ソート | logsdb と Columnar は service.name 昇順、@timestamp 降順 |
検証環境:
データは Python で生成した合成データです。1 件はこのような形です。
{
"@timestamp": "2026-11-06T14:30:15.123Z",
"http": {
"request": { "method": "GET" },
"response": { "status_code": 200, "bytes": 4520 }
},
"client": { "ip": "192.168.1.45" },
"url": { "path": "/api/v1/products/item-9823" },
"duration_ms": 42.5,
"service": { "name": "order-service", "environment": "production" },
"message": "GET /api/v1/products/item-9823 HTTP/1.1 200 4520 42.5ms"
}値の種類が少ないフィールド(method は 6 種類、service.name は 10 種類)と、種類が多いフィールド(client.ip は約 4.6 万種類、url.path は約 13.8 万種類)を混ぜています。
また、5xx のときは処理時間が長くなるなど、現実に近い相関をつけています。
インデックスの作り方はシンプルです。settings の `mode` を指定するだけです。
PUT access-logs-columnar
{
"settings": {
"mode": "logsdb_columnar",
"sort.field": [ "service.name", "@timestamp" ],
"sort.order": [ "asc", "desc" ]
},
"mappings": {
"properties": {
"@timestamp": { "type": "date" },
"http.request.method": { "type": "keyword" },
"http.response.status_code": { "type": "integer" },
"http.response.bytes": { "type": "long" },
"client.ip": { "type": "ip" },
"url.path": { "type": "keyword" },
"duration_ms": { "type": "float" },
"service.name": { "type": "keyword" },
"service.environment": { "type": "keyword" },
"message": { "type": "text" }
}
}
}今回のデータには host.name がないので、代わりに service.name でソートしています。`mode` は作成後に変えられないので、最初に決める必要があります。
比較のため、通常モード(mode を指定しない)と logsdb モード(`"mode": "logsdb"`)のインデックスも同じマッピングで作りました。
それぞれの結果は、次のコマンドの実行結果から出しています。表の数字がどこから来たのかを確認したいときは、リポジトリの results フォルダに生の出力があります。
| 結果 | 測り方 |
|---|---|
| ディスク使用量 | _forcemerge?max_num_segments=1 で 1 セグメントにしたあと、_cat/indices の store.size と _disk_usage?run_expensive_tasks=true のフィールド別内訳 |
| 書き込み速度 | Bulk API で投入するスクリプト(load_to_elasticsearch.py)の所要時間と、_stats/indexing の index_time_in_millis |
| 集計と検索の速さ | ベンチマークスクリプト(run_benchmark.py)が request_cache=false で 5 回ずつ実行したレスポンスの took |
| _source の形 | _search のレスポンスに含まれる _source をそのまま比較 |
| ES|QL | _query API のレスポンスの took と values_loaded |
結果 1:ディスク使用量は通常モードの 38% になった
100 万件を投入し、forcemerge で 1 セグメントにそろえてからサイズを比べました。
| モード | サイズ | 通常モード比 |
|---|---|---|
| 通常 | 135 MB | 100% |
| logsdb | 56.8 MB | 42%(58% 減) |
| logsdb_columnar | 51.1 MB | 38%(62% 減) |
ここで1点、補足します。通常モードにはインデックスソートを設定していないので、通常モードと logsdb、Columnar の差には、ソートで似た値が並ぶ効果も含まれています。「モードだけの効果」を見たいときは、どちらもソートありの logsdb と Columnar の差(10%)を見てください。
通常モードから logsdb で大きく減り、Columnar でさらに 1 割減りました。
なぜ減ったのかは、保存形式ごとの内訳を見るとはっきりします。`_disk_usage` API で取った値です。
| 保存形式 | 通常 | logsdb | logsdb_columnar |
|---|---|---|---|
| stored_fields(_source など) | 83.3 MB | 2.7 MB | 0 MB |
| 転置インデックス | 21.9 MB | 19.9 MB | 16.0 MB |
| BKD 木(points) | 11.5 MB | 8.6 MB | 0 MB |
| doc values | 16.9 MB | 25.5 MB | 35.2 MB |
読み方はこうです。
- 通常モードの 135 MB のうち、77 MB は _source(原本)でした。半分以上です。logsdb と Columnar はこれを持ちません。
- Columnar では BKD 木がゼロになりました。keyword の転置インデックスもゼロです。残っている転置インデックス 16 MB は、message(text 型)と _id の分だけです。
- その代わり doc values が増えています。「各フィールドを doc values として 1 回だけ保存する」という説明が、そのまま数字に出ています。
フィールド単位でも見てみます。
| フィールド | 通常(転置 / doc values / BKD) | Columnar(転置 / doc values / BKD) |
|---|---|---|
| url.path(keyword) | 2.9 / 2.6 / 0 MB | 0 / 4.5 / 0 MB |
| client.ip(ip) | 0 / 2.0 / 2.7 MB | 0 / 3.9 / 0 MB |
| duration_ms(float) | 0 / 3.3 / 2.6 MB | 0 / 3.8 / 0 MB |
| message(text) | 11.4 / 0 / 0 MB | 11.7 / 11.1 / 0 MB |
message だけは Columnar でも転置インデックスが残り、さらに doc values も持っています。全文検索のために索引が必要で、_source を組み立てるために値そのものも必要だからです。ログの message が長い場合、ここが Columnar モードの中で一番大きな部分になります。
結果 2:書き込み速度は今回の条件では変わらなかった
Bulk API で 5,000 件ずつ、1 つのクライアントから順番に投入しました。
| モード | クライアント側の所要時間 | サーバー側の処理時間 |
|---|---|---|
| 通常 | 120.0 秒 | 35.1 秒 |
| logsdb | 123.5 秒 | 38.2 秒 |
| logsdb_columnar | 121.0 秒 | 35.8 秒 |
今回の投入条件(1 クライアント、5,000 件ずつの Bulk)では、3 つともほぼ同じでした。転置インデックスを作らない分だけ速くなるかと期待しましたが、doc values の書き込みなど別の処理があるため、差は出ませんでした。少なくともこの条件では、「Columnar にすると書き込みが遅くなる」ということもありませんでした。並列度を上げた場合は測っていません。
結果 3:集計は同等、1 件を探す検索は遅くなる
ここが一番大事な結果です。
まず集計です。ステータスコードごとの平均レスポンス時間を出す terms 集計を、リクエストキャッシュを切って 5 回ずつ実行しました。OS のファイルキャッシュは消していないので、1 回目は参考値です。表の 0 ms は `took` が 1 ms 未満という意味です。
| モード | 1 回目 | 2 回目以降の中央値 |
|---|---|---|
| 通常 | 168 ms | 112.5 ms |
| logsdb | 136 ms | 103.5 ms |
| logsdb_columnar | 102 ms | 101.0 ms |
集計はもともと doc values を読む処理なので、3 つとも同じくらいでした。1 回目は Columnar が最も短い時間でしたが、上に書いたとおり参考値です。
次にフィルタ(絞り込み)です。これは転置インデックスの有無が直接効く部分です。
| クエリ | 通常 | logsdb | logsdb_columnar |
|---|---|---|---|
| ソート列で絞る(service.name と status >= 500 と 1 時間の範囲) | 3 ms | 2 ms | 15 ms |
| ソートに入っていない列で絞る(url.path が特定の 1 つ) | 0 ms | 0 ms | 51 ms |
通常モードと logsdb は、転置インデックスと BKD 木で一瞬で絞り込めます。表の 0 ms は `took` が 1 ms 未満という意味で、処理時間がゼロという意味ではありません。Columnar は doc values を読んで絞るので遅くなります。ソート列では skipper が効いて 15 ms、ソートに入っていない url.path では 51 ms でした。
url.path のほうが遅い理由は、profile API で確かめられます。`"profile": true` を付けて同じクエリを実行すると、内部で使われたクエリの種類が返ります。
通常モード : TermQuery url.path:/api/v1/products/item-9823 (37 µs)
Columnar : ScanningBinaryDocValuesTermQuery(fieldName=url.path, ...) (49 ms)通常モードは転置インデックスを引く TermQuery です。Columnar は名前のとおり doc values を走査する(Scanning)クエリで、索引も skipper も使えないので、この列の doc values を先頭から読んでいきます。
もう 1 つ、見落としやすい違いがあります。url.path を検索したときの `_score` が、通常モードでは 12.56、Columnar では 1 でした。転置インデックスがないフィールド(今回の設定では text 以外)の検索は、関連度のスコアが付きません。こうしたフィールドで「関連度順に並べる」用途には向かないということです。
一方で、text 型の message に対する全文検索(match)は、Columnar でも 19 ms でスコア付きで動きました。text の索引は残っているからです。
`_id` で 1 件を取る場合も測りました。`_id` は Columnar でも転置インデックスが残るので、ids クエリの `took` は Columnar で 3 ms、通常モードで 0 ms でした(2026-11-15、5 回とも同じ値)。遅くなるのは「索引のない keyword の値で探す」場合であって、`_id` での取得には実用上の差がありません。
結果 4:_source の形が変わる
Columnar モードでは、検索結果の _source が平らな形で返ってきます。
投入した JSON:
{ "service": { "name": "order-service", "environment": "production" } }Columnar モードが返す _source:
{ "service.name": "order-service", "service.environment": "production" }今回のサンプルでは、値は 1 つも失われていません。ただし、ネストした構造は消えて、ドット区切りのキーになります。logsdb モードではキーの順序が変わるだけで、ネストは保たれていました。
「平らになるだけ」と思わないほうがよい点もあります。公式ドキュメントによると、次の場合は情報そのものが失われます。
- オブジェクトの配列。
`[{"a": 1, "b": 2}, {"a": 3, "b": 4}]`は`a: [1, 3]`と`b: [2, 4]`になり、どの a とどの b が同じオブジェクトだったかは戻せません。対応を保ちたい場合は nested 型を使います(1 段までの制限あり)。 - マッピングされていないフィールド。
`dynamic: false`の配下や`enabled: false`のオブジェクトの中身は保存されません。
今回のデータには配列もマッピング外のフィールドもないので、この影響は出ていません。
ネストした JSON をそのまま受け取るアプリケーションがある場合は、受け取り側の対応が必要です。これは Columnar モードを使うときに最初に確認すべき点です。
ES|QL との相性
ES|QL も列単位でデータを読む設計なので、Columnar モードと考え方が同じです。同じ集計を ES|QL で実行した結果に、それがよく表れていました。
FROM access-logs-columnar
| STATS avg_duration = AVG(duration_ms) BY http.response.status_code
| SORT http.response.status_codeレスポンスの `values_loaded` は 2,000,000 でした。これは「2 列 × 100 万件」ちょうどです。10 個あるフィールドのうち、必要な 2 列しか読んでいないことが数字で分かります。Columnar モードは、この「必要な列だけ読む」動きに合わせて保存形式を最適化したものだと言えます。
まとめ:どんなときに使うべきか
結果を一覧にします。
| 観点 | 結果 |
|---|---|
| ディスク | 通常モード比 62% 減、logsdb 比 10% 減 |
| 書き込み | 今回の条件では大きな差なし |
| 集計 | 同等。1 回目は Columnar が最短(参考値) |
| 絞り込み | Columnar が遅い。0〜3 ms が 15〜51 ms に。索引のない keyword ではスコアが 1(text の全文検索には付く) |
| _source | 平らな形になる |
実務で考えると、使い分けはこうなります。
Columnar モードが向いているのは、「集計と時系列の絞り込みが中心で、データ量が多い」場合です。ログ分析やダッシュボード用のデータが典型です。ディスクが 6 割減るのは、保存期間を延ばせるということでもあります(135 MB と 51.1 MB の比で約 2.6 倍。ただしインデックスのサイズだけの概算です)。今回の絞り込みは単一クエリで数十 ms でした。実際に使えるかは、同時実行数とデータ量で判断してください。メトリクスで dimension や metric の意味づけが必要な場合は、公式ドキュメントは Columnar ではなく TSDS(time series data stream)を案内しています。
通常モードや logsdb が向いているのは、「索引のある keyword の値で 1 件を素早く探す」「関連度順に並べる」用途が多い場合です。`_id` での取得は Columnar でも索引が残るので遅くなりません。API のバックエンドや、検索アプリケーションがこれにあたります。
もう 1 つの判断基準は _source の形です。ネストした JSON をそのまま使う仕組みがあるなら、Columnar モードに変える前に受け取り側を確認してください。
使う前に知っておくこと
- Columnar モードは 9.5 時点で Tech Preview です。今後の変更の可能性があります。
-
`mode`はインデックス作成時にしか設定できません。既存のインデックスは変えられないので、新しいインデックスまたはデータストリームで使います。 - synthetic _source はサブスクリプションが必要な機能です。使えない場合は自動で「columnar stored」方式(平らな _source をインデックス時に保存する方式)になります。
- マッピングは常に平らになります。nested 型は限定的にしか使えません。
- Serverless でも使えますが、
`_disk_usage`や forcemerge は使えないので、この記事のような内訳の確認はできません。 - メトリクスで dimension や metric の意味づけが必要な場合、公式ドキュメントは Columnar ではなく TSDS(time series data stream)を案内しています。Columnar が常に最適というわけではありません。
おわりに
Columnar モードは、「Elasticsearch が昔から持っていた doc values を主役にする」という考え方のモードです。logsdb が原本の _source を手放したのに続いて、Columnar は索引の大部分も手放しました。その結果、ディスクは通常モードの 4 割弱になりました。
代わりに失うものも、はっきりしています。索引のない keyword で 1 件を探す検索の速さとそのスコア、そして _source の形です。この記事の数字が、自分のデータで試すかどうかを判断する材料になればうれしいです。
手順とスクリプトは上で紹介したリポジトリ(https://github.com/SIOS-Technology-Inc/elastic-blogs/tree/main/2026-11-columnar-mode)にあるので、自分のデータで試すときの出発点にしてください。
参考資料
本記事は、以下の Elastic 公式ドキュメントと記事に基づいています。検証結果はすべて筆者の環境での実測値です。
– Columnar index mode(リファレンス)

– Columnar index mode(概要)

– Logs data streams(logsdb モード)

– Columnar storage in Elasticsearch: Storing every field once(Elastic Search Labs)

– Analyze the index disk usage API

– 検証詳細
https://github.com/SIOS-Technology-Inc/elastic-blogs/tree/main/2026-11-columnar-mode


