Elasticsearchでの外部のEmbed Model(Cohere)を使った密ベクトル検索

PUT /_inference/text_embedding/my_cohere_emb_light_v3_float
{
    "service": "cohere",
    "service_settings": {
        "api_key": "取得した Cohere の Api Key",
        "model_id": "embed-multilingual-light-v3.0",
        "embedding_type": "float"
    }
}

PUT /kakinosuke_cohere_emb3_light_float/
{
  "settings": {
    "index": {
      "number_of_shards": 1,
      "number_of_replicas": 1,
      "refresh_interval": "3600s"
    }
  }
}

PUT /kakinosuke_cohere_emb3_light_float/_mappings
{
  "dynamic": false,
  "properties": {
    "chunk_no": {
      "type": "integer"
    },
    "content": {
      "type": "text",
      "fields": {
        "text_embedding": {
          "type": "semantic_text",
          "inference_id": "my_cohere_emb_light_v3_float"
        }
      }
    }
  }
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 1,
  "content": """むかし、むかし、あるところに、おじいさんとおばあさんがありました。まいにち、おじいさんは山へしば刈りに、おばあさんは川へ洗濯に行きました。"
ある日、おばあさんが、川のそばで、せっせと洗濯をしていますと、川上から、大きな柿が一つ、
「ドンブラコッコ、スッコッコ。
ドンブラコッコ、スッコッコ。」
と流れて来ました。"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 2,
  "content": """「おやおや、これはみごとな柿だこと。おじいさんへのおみやげに、どれどれ、うちへ持って帰りましょう。」
おばあさんは、そう言いながら、腰をかがめて柿を取ろうとしましたが、遠くって手がとどきません。おばあさんはそこで、
「あっちの水は、かあらいぞ。
こっちの水は、ああまいぞ。
かあらい水は、よけて来い。
ああまい水に、よって来い。
と歌いながら、手をたたきました。すると柿はまた、
「ドンブラコッコ、スッコッコ。
ドンブラコッコ、スッコッコ。」
といいながら、おばあさんの前へ流れて来ました。"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 3,
  "content": """おばあさんはにこにこしながら、
「早くおじいさんと二人で分けて食べましょう。」
と言って、柿をひろい上げて、洗濯物といっしょにたらいの中に入れて、えっちら、おっちら、かかえておうちへ帰りました。"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 4,
  "content": """夕方になってやっと、おじいさんは山からしばを背負って帰って来ました。
「おばあさん、今帰ったよ。」
「おや、おじいさん、おかいんなさい。待っていましたよ。さあ、早くお上がんなさい。いいものを上げますから。」
「それはありがたいな。何だね、そのいいものというのは。」
こういいながら、おじいさんはわらじをぬいで、上に上がりました。"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 5,
  "content": """その間に、おばあさんは戸棚の中からさっきの柿を重そうにかかえて来て、
「ほら、ごらんなさいこの柿を。」
と言いました。
「ほほう、これはこれは。どこからこんなみごとな柿を買って来た。」
「いいえ、買って来たのではありません。今日川で拾って来たのですよ。」
「え、なに、川で拾って来た。それはいよいよめずらしい。」
こうおじいさんは言いながら、柿を両手にのせて、ためつ、すがめつ、ながめていますと、だしぬけに、柿はぽんと中から二つに割れて、
「おぎゃあ、おぎゃあ。」
と勇ましいうぶ声を上げながら、かわいらしい赤さんが元気よくとび出しました。"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 6,
  "content": """「おやおや、まあ。」
おじいさんも、おばあさんも、びっくりして、二人いっしょに声を立てました。
「まあまあ、わたしたちが、へいぜい、どうかして子供が一人ほしい、ほしいと言っていたものだから、きっと神さまがこの子をさずけて下さったにちがいない。」
おじいさんも、おばあさんも、うれしがって、こう言いました。
そこであわてておじいさんがお湯をわかすやら、おばあさんがむつきをそろえるやら、大さわぎをして、赤さんを抱き上げて、うぶ湯をつかわせました。するといきなり、
「うん。」
と言いながら、赤さんは抱いているおばあさんの手をはねのけました。
「おやおや、何という元気のいい子だろう。」
おじいさんとおばあさんは、こう言って顔を見合わせながら、「あッは、あッは。」とおもしろそうに笑いました。
そして柿の中から生まれた子だというので、この子に柿之助という名をつけました。"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 7,
  "content": """おじいさんとおばあさんは、それはそれはだいじにして柿之助を育てました。柿之助はだんだん成長するにつれて、あたりまえの子供にくらべては、ずっと体も大きいし、力がばかに強くって、すもうをとっても近所の村じゅうで、かなうものは一人もないくらいでしたが、そのくせ気だてはごくやさしくって、おじいさんとおばあさんによく孝行をしました。
柿之助は十五になりました。
もうそのじぶんには、日本の国中で、柿之助ほど強いものはないようになりました。柿之助はどこか外国へ出かけて、腕いっぱい、力だめしをしてみたくなりました。"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 8,
  "content": """するとそのころ、ほうぼう外国の島々をめぐって帰って来た人があって、いろいろめずらしい、ふしぎなお話をした末に、
「もう何年も何年も船をこいで行くと、遠い遠い海のはてに、悪霊島という所がある。悪い悪霊どもが、いかめしいくろがねのお城の中に住んで、ほうぼうの国からかすめ取った貴い宝物を守っている。」
と言いました。
柿之助はこの話をきくと、その悪霊島へ行ってみたくって、もう居ても立ってもいられなくなりました。そこでうちへ帰るとさっそく、おじいさんの前へ出て、
「どうぞ、わたくしにしばらくおひまを下さい。」
と言いました。"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 9,
  "content": """おじいさんはびっくりして、
「お前どこへ行くのだ。」
と聞きました。
「悪霊島へ悪霊せいばつに行こうと思います。」
と柿之助はこたえました。
「ほう、それはいさましいことだ。じゃあ行っておいで。」
とおじいさんは言いました。
「まあ、そんな遠方へ行くのでは、さぞおなかがおすきだろう。よしよし、おべんとうをこしらえて上げましょう。」
とおばあさんも言いました。"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 10,
  "content": """そこで、おじいさんとおばあさんは、お庭のまん中に、えんやら、えんやら、大きな臼を持ち出して、おじいさんがきねを取ると、おばあさんはこねどりをして、
「ぺんたらこっこ、ぺんたらこっこ。ぺんたらこっこ、ぺんたらこっこ。」
と、おべんとうのおむすびをつきはじめました。
おむすびがうまそうにでき上がると、柿之助のしたくもすっかりでき上がりました。
"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 11,
  "content": """柿之助はお侍の着るような陣羽織を着て、刀を腰にさして、おむすびの袋をぶら下げました。そして柿の絵のかいてある軍扇を手に持って、
「ではおとうさん、おかあさん、行ってまいります。」
と言って、ていねいに頭を下げました。
「じゃあ、りっぱに悪霊を退治してくるがいい。」
とおじいさんは言いました。
「気をつけて、けがをしないようにおしよ。」
とおばあさんも言いました。"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 12,
  "content": """「なに、大丈夫です、日本一のおむすびを持っているから。」と柿之助は言って、
「では、ごきげんよう。」
と元気な声をのこして、出ていきました。おじいさんとおばあさんは、門の外に立って、いつまでも、いつまでも見送っていました。
"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 13,
  "content": """柿之助はずんずん行きますと、大きな山の上に来ました。すると、草むらの中から、「ワン、ワン。」と声をかけながら、猫が一ぴきかけて来ました。
柿之助がふり返ると、猫はていねいに、おじぎをして、
「柿之助さん、柿之助さん、どちらへおいでになります。」
とたずねました。
「悪霊島へ、悪霊せいばつに行くのだ。」
「お腰に下げたものは、何でございます。」
「日本一のおむすびさ。」
「一つ下さい、お供しましょう。」
「よし、よし、やるから、ついて来い。」
猫はおむすびを一つもらって、柿之助のあとから、ついて行きました。"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 14,
  "content": """山を下りてしばらく行くと、こんどは森の中にはいりました。すると木の上から、「キャッ、キャッ。」とさけびながら、ゴリラが一ぴき、かけ下りて来ました。
柿之助がふり返ると、ゴリラはていねいに、おじぎをして、
「柿之助さん、柿之助さん、どちらへおいでになります。」
とたずねました。
「悪霊島へ悪霊せいばつに行くのだ。」
「お腰に下げたものは、何でございます。」
「日本一のおむすびさ。」
「一つ下さい、お供しましょう。」
「よし、よし、やるから、ついて来い。」
ゴリラもおむすびを一つもらって、あとからついて行きました。"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 15,
  "content": """山を下りて、森をぬけて、こんどはひろい野原へ出ました。すると空の上で、「ケン、ケン。」と鳴く声がして、鷹が一羽とんで来ました。
柿之助がふり返ると、鷹はていねいに、おじぎをして、
「柿之助さん、柿之助さん、どちらへおいでになります。」
とたずねました。
「悪霊島へ悪霊せいばつに行くのだ。」
「お腰に下げたものは、何でございます。」
「日本一のおむすびさ。」
「一つ下さい、お供しましょう。」
「よし、よし、やるから、ついて来い。」
鷹もおむすびを一つもらって、柿之助のあとからついて行きました。"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 16,
  "content": """猫と、ゴリラと、鷹と、これで三にんまで、いい家来ができたので、柿之助はいよいよ勇み立って、またずんずん進んで行きますと、やがてひろい海ばたに出ました。
　そこには、ちょうどいいぐあいに、船が一そうつないでありました。
　柿之助と、三にんの家来は、さっそく、この船に乗り込みました。
「わたくしは、漕ぎ手になりましょう。」
　こう言って、猫は船をこぎ出しました。
「わたくしは、かじ取りになりましょう。」
　こう言って、ゴリラがかじに座りました。
「わたくしは物見をつとめましょう。」
　こう言って、鷹がへさきに立ちました。
"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 17,
  "content": """うららかないいお天気で、まっ青な海の上には、波一つ立ちませんでした。稲妻が走るようだといおうか、矢を射るようだといおうか、目のまわるような速さで船は走って行きました。ほんの一時間も走ったと思うころ、へさきに立って向こうをながめていた鷹が、「あれ、あれ、島が。」とさけびながら、ぱたぱたと高い羽音をさせて、空にとび上がったと思うと、スウッとまっすぐに風を切って、飛んでいきました。
柿之助もすぐ鷹の立ったあとから向こうを見ますと、なるほど、遠い遠い海のはてに、ぼんやり雲のような薄ぐろいものが見えました。船の進むにしたがって、雲のように見えていたものが、だんだんはっきりと島の形になって、あらわれてきました。"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 18,
  "content": """「ああ、見える、見える、悪霊島が見える。」
柿之助がこういうと、猫も、ゴリラも、声をそろえて、「万歳、万歳。」とさけびました。
見る見る悪霊島が近くなって、もう硬い岩で畳んだ悪霊のお城が見えました。いかめしいくろがねの門の前に見はりをしている悪霊の兵隊のすがたも見えました。
そのお城のいちばん高い屋根の上に、鷹がとまって、こちらを見ていました。
こうして何年も、何年もこいで行かなければならないという悪霊島へ、ほんの目をつぶっている間に来たのです。"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 19,
  "content": """柿之助は、猫とゴリラをしたがえて、船からひらりと陸の上にとび上がりました。
見はりをしていた悪霊の兵隊は、その見なれないすがたを見ると、びっくりして、あわてて門の中に逃げ込んで、くろがねの門を固くしめてしまいました。その時猫は門の前に立って、
「日本の柿之助さんが、お前たちをせいばいにおいでになったのだぞ。あけろ、あけろ。」
とどなりながら、ドン、ドン、扉をたたきました。悪霊はその声を聞くと、ふるえ上がって、よけい一生懸命に、中から押さえていました。"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 20,
  "content": """すると鷹が屋根の上からとび下りてきて、門を押さえている悪霊どもの目をつつきまわりましたから、悪霊はへいこうして逃げ出しました。その間に、ゴリラがするすると高い岩壁をよじ登っていって、ぞうさなく門を中からあけました。
「わあッ。」とときの声を上げて、柿之助の主従が、いさましくお城の中に攻め込んでいきますと、悪霊の大将も大ぜいの家来を引き連れて、一人一人、太い鉄の棒をふりまわしながら、「おう、おう。」とさけんで、向かってきました。"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 21,
  "content": """けれども、体が大きいばっかりで、いくじのない悪霊どもは、さんざん鷹に目をつつかれた上に、こんどは猫に向こうずねをくいつかれたといっては、痛い、痛いと逃げまわり、ゴリラに顔を引っかかれたといっては、おいおい泣き出して、鉄の棒も何もほうり出して、降参してしまいました。
　おしまいまでがまんして、たたかっていた悪霊の大将も、とうとう柿之助に組みふせられてしまいました。柿之助は大きな悪霊の背中に、馬乗りにまたがって、
「どうだ、これでも降参しないか。」
　といって、ぎゅうぎゅう、ぎゅうぎゅう、押さえつけました。"""
}


POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 22,
  "content": """悪霊の大将は、柿之助の大力で首をしめられて、もう苦しくってたまりませんから、大つぶの涙をぼろぼろこぼしながら、
「降参します、降参します。命だけはお助け下さい。その代わりに宝物をのこらずさし上げます。」
こう言って、ゆるしてもらいました。
悪霊の大将は約束のとおり、お城から、かくれみのに、かくれ笠、うちでの小づちに如意宝珠、そのほかさんごだの、たいまいだの、るりだの、世界でいちばん貴い宝物を山のように車に積んで出しました。"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 23,
  "content": """柿之助はたくさんの宝物をのこらず積んで、三にんの家来といっしょに、また船に乗りました。帰りは行きよりもまた一そう船の走るのが速くって、間もなく日本の国に着きました。
船が陸に着きますと、宝物をいっぱい積んだ車を、猫が先に立って引き出しました。鷹が綱を引いて、ゴリラがあとを押しました。
「えんやらさ、えんやらさ。」
三にんは重そうに、かけ声をかけかけ進んでいきました。
"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 24,
  "content": """うちではおじいさんと、おばあさんが、かわるがわる、
「もう柿之助が帰りそうなものだが。」
と言い言い、首をのばして待っていました。そこへ柿之助が三にんのりっぱな家来に、ぶんどりの宝物を引かせて、さもとくいらしい様子をして帰って来ましたので、おじいさんもおばあさんも、目も鼻もなくして喜びました。
「えらいぞ、えらいぞ、それこそ日本一だ。」
とおじいさんは言いました。
「まあ、まあ、けががなくって、何よりさ。」
とおばあさんは言いました。"""
}

POST /kakinosuke_cohere_emb3_light_float/_doc
{
  "chunk_no": 25,
  "content": """柿之助は、その時猫とゴリラと鷹の方を向いてこう言いました。
「どうだ。悪霊せいばつはおもしろかったなあ。」
猫はワン、ワンとうれしそうにほえながら、前足で立ちました。
ゴリラはキャッ、キャッと笑いながら、白い歯をむき出しました。
鷹はケン、ケンと鳴きながら、くるくると宙返りをしました。
空は青々と晴れ上がって、お庭には桜の花が咲き乱れていました。"""
}

POST /kakinosuke_cohere_emb3_light_float/_refresh

GET /kakinosuke_cohere_emb3_light_float/_search
{
  "size": 30,
  "query": {
    "match_all": {}
  },
  "fields": [ "_inference_fields" ]
}

GET /kakinosuke_cohere_emb3_light_float/_search
{
    "query": {
        "semantic": {
          "field": "content.text_embedding",
          "query": "川に流れてきた果物は何?"
        }
    }
}

GET /momotaro_v3/_search
{
  "knn": {
    "field": "text_embedding.predicted_value",
    "k": "10",
    "num_candidates": "100",
    "query_vector_builder": {
      "text_embedding": {
        "model_id": ".multilingual-e5-small_linux-x86_64",
        "model_text": "桃太郎が鬼が島へ向かった際の乗り物は"
      }
    }
  }
}

GET /インデックス名/_search
{
  "query": {
    "semantic": {
      "field": "密ベクトルを格納しているフィールド名",
      "query": "検索したいテキスト"
    }
  }
}

GET /kakinosuke_cohere_emb3_light_float/_search
{
    "query": {
        "semantic": {
          "field": "content.text_embedding",
          "query": "柿之助の家来は誰?"
        }
    }
}