ElasticSearch-2-核心语法集群高可用实战-Week2-3

ES批量操作

1.批量获取文档数据

这里多个文档是指，批量操作多个文档，搜索查询文档将在之后的章节讲解

批量获取文档数据是通过_mget的API来实现的

(1)在URL中不指定index和type

请求方式：GET
请求地址：_mget
功能说明 ： 可以通过ID批量获取不同index和type的数据
请求参数：
docs : 文档数组参数
_index : 指定index
_type : 指定type
_id : 指定id
_source : 指定要查询的字段

GET _mget
{
"docs": [
{
"_index": "es_db",
"_type": "_doc",
"_id": 1
},
{
"_index": "es_db",
"_type": "_doc",
"_id": 2
}
]
}

(2)在URL中指定index

请求方式：GET
请求地址：/{{indexName}}/_mget
功能说明 ： 可以通过ID批量获取不同index和type的数据
请求参数：
docs : 文档数组参数
_index : 指定index
_type : 指定type
_id : 指定id
_source : 指定要查询的字段

GET /es_db/_mget
{
"docs": [
{
"_type":"_doc",
"_id": 3
},
{
"_type":"_doc",
"_id": 4
}
]
}

(3)在URL中指定index和type

请求方式：GET
请求地址：/{{indexName}}/{{typeName}}/_mget
功能说明 ： 可以通过ID批量获取不同index和type的数据
请求参数：
docs : 文档数组参数
_index : 指定index
_type : 指定type
_id : 指定id
_source : 指定要查询的字段

GET /es_db/_doc/_mget
{
"docs": [
{
"_id": 1
},
{
"_id": 2
}
]
}

2.批量操作文档数据

批量对文档进行写操作是通过_bulk的API来实现的
请求方式：POST
请求地址：_bulk
请求参数：通过_bulk操作文档，一般至少有两行参数(或偶数行参数)
第一行参数为指定操作的类型及操作的对象(index,type和id)
第二行参数才是操作的数据
参数类似于：

{"actionName":{"_index":"indexName", "_type":"typeName","_id":"id"}}
{"field1":"value1", "field2":"value2"}

actionName：表示操作类型，主要有create,index,delete和update

(1)批量创建文档create

POST _bulk
{"create":{"_index":"article", "_type":"_doc", "_id":3}}
{"id":3,"title":"zq老师1","content":"zq老师666","tags":["java", "面向对象"],"create_time":1554015482530}
{"create":{"_index":"article", "_type":"_doc", "_id":4}}
{"id":4,"title":"zq老师2","content":"zq老师NB","tags":["java", "面向对象"],"create_time":1554015482530}

(2)普通创建或全量替换index

POST _bulk
{"index":{"_index":"article", "_type":"_doc", "_id":3}}
{"id":3,"title":"ES李明老师(一)","content":"ES学习李明老师666","tags":["java", "面向对象"],"create_time":1554015482530}
{"index":{"_index":"article", "_type":"_doc", "_id":4}}
{"id":4,"title":"ES刘丽老师(二)","content":"ES学习刘丽老师NB","tags":["java", "面向对象"],"create_time":1554015482530}

如果原文档不存在，则是创建
如果原文档存在，则是替换(全量修改原文档)

(3)批量删除delete

POST _bulk
{"delete":{"_index":"article", "_type":"_doc", "_id":3}}
{"delete":{"_index":"article", "_type":"_doc", "_id":4}}

(4)批量修改update

POST _bulk
{"update":{"_index":"article", "_type":"_doc", "_id":3}}
{"doc":{"title":"ES大法必修内功"}}
{"update":{"_index":"article", "_type":"_doc", "_id":4}}
{"doc":{"create_time":1554018421008}}

DSL语言高级查询

DSL: Domain Specific Language 领域专用语言。

DSL由叶子查询子句和复合查询子句两种子句组成。
在这里插入图片描述

2.无查询条件

无查询条件是查询所有，默认是查询所有的，或者使用match_all表示所有

GET /es_db/_doc/_search
{
"query":{
"match_all":{}
}

3.有查询条件

3.1 叶子条件查询(单字段查询条件)

3.1.1 模糊匹配

模糊匹配主要是针对文本类型的字段，文本类型的字段会对内容进行分词，对查询时，也会对搜索条件进行分词，然后通过倒排索引查找到匹配的数据，模糊匹配主要通过match等参数来实现
match : 通过match关键词模糊匹配条件内容
prefix : 前缀匹配
regexp : 通过正则表达式来匹配数据

match的复杂用法
match条件还支持以下参数：
query : 指定匹配的值
operator : 匹配条件类型
and : 条件分词后都要匹配
or : 条件分词后有一个匹配即可(默认)
minmum_should_match : 指定最小匹配的数量

3.1.2 精确匹配

term : 单个条件相等
terms : 单个字段属于某个值数组内的值
range : 字段属于某个范围内的值
exists : 某个字段的值是否存在
ids : 通过ID批量查询

3.2 组合条件查询(多条件查询)

组合条件查询是将叶子条件查询语句进行组合而形成的一个完整的查询条件
bool : 各条件之间有and,or或not的关系
must : 各个条件都必须满足，即各条件是and的关系
should : 各个条件有一个满足即可，即各条件是or的关系
must_not : 不满足所有条件，即各条件是not的关系
filter : 不计算相关度评分，它不计算_score即相关度评分，效率更高
constant_score : 不计算相关度评分
must/filter/shoud/must_not 等的子条件是通过 term/terms/range/ids/exists/match 等叶子条件为参数的
注：以上参数，当只有一个搜索条件时，must等对应的是一个对象，当是多个条件时，对应的是一个数组

3.3 连接查询(多文档合并查询)

父子文档查询：parent/child
嵌套文档查询: nested

3.4 DSL查询语言中存在两种：查询DSL（query DSL）和过滤DSL（filter DSL）

它们两个的区别如下图：
在这里插入图片描述

query DSL

在查询上下文中，查询会回答这个问题——“这个文档匹不匹配这个查询，它的相关度高么？”

如何验证匹配很好理解，如何计算相关度呢？ES中索引的数据都会存储一个_score分值，分值越高就代表越匹配。另外关于某个搜索的分值计算还是很复杂的，因此也需要一定的时间。

filter DSL

在过滤器上下文中，查询会回答这个问题——“这个文档匹不匹配？”

答案很简单，是或者不是。它不会去计算任何分值，也不会关心返回的排序问题，因此效率会高一点。

过滤上下文 是在使用filter参数时候的执行环境，比如在bool查询中使用must_not或者filter

另外，经常使用过滤器，ES会自动的缓存过滤器的内容，这对于查询来说，会提高很多性能。

一些过滤的情况：

3.5 Query方式查询:案例

根据名称精确查询姓名 term, term查询不会对字段进行分词查询，会采用精确匹配
注意: 采用term精确查询, 查询字段映射类型属于为keyword.
POST /es_db/_doc/_search

{
"query": {
"term": {
"name": "admin"
}
}
}

-- SQL:
select * from student where name = 'admin'

根据备注信息模糊查询 match, match会根据该字段的分词器，进行分词查询
举例:

POST /es_db/_doc/_search
{
"from": 0,
"size": 2, 
"query": {
"match": {
"address": "广州"
}
}
}

SQL: select * from user where address like '%广州%' limit 0, 2

多字段模糊匹配查询与精准查询 multi_match

POST /es_db/_doc/_search
{
"query":{
"multi_match":{
"query":"张三",
"fields":["address","name"]
}
}
}

SQL: select * from student  where name like '%张三%' or address like '%张三%'

未指定字段条件查询 query_string , 含 AND 与 OR 条件

POST /es_db/_doc/_search
{
"query":{
"query_string":{
"query":"广州 OR 长沙"
}
}
}

指定字段条件查询 query_string , 含 AND 与 OR 条件

POST /es_db/_doc/_search
{
"query":{
"query_string":{
"query":"admin OR 长沙",
"fields":["name","address"]
}
}
}

范围查询
注：json请求字符串中部分字段的含义
range：范围关键字
gte 大于等于
lte 小于等于
gt 大于
lt 小于
now 当前时间

POST /es_db/_doc/_search
{
"query" : {
"range" : {
"age" : {
"gte":25,
"lte":28
}
}
}
}

SQL: select * from user where age between 25 and 28

分页、输出字段、排序综合查询

POST /es_db/_doc/_search
{
"query" : {
"range" : {
"age" : {
"gte":25,
"lte":28
}
}
},
"from": 0,
"size": 2,
"_source": ["name", "age", "book"],
"sort": {"age":"desc"}
}

3.6 Filter过滤器方式查询，它的查询不会计算相关性分值，也不会对结果进行排序, 因此效率会高一点，查询的结果可以被缓存。

Filter Context 对数据进行过滤

POST /es_db/_doc/_search
{
"query" : {
"bool" : {
"filter" : {
"term":{
"age":25
}
}
}
}
}

总结:

  1. match

match：模糊匹配，需要指定字段名，但是输入会进行分词，比如"hello world"会进行拆分为hello和world，然后匹配，如果字段中包含hello或者world，或者都包含的结果都会被查询出来，也就是说match是一个部分匹配的模糊查询。查询条件相对来说比较宽松。

  1. term

term: 这种查询和match在有些时候是等价的，比如我们查询单个的词hello，那么会和match查询结果一样，但是如果查询"hello world"，结果就相差很大，因为这个输入不会进行分词，就是说查询的时候，是查询字段分词结果中是否有"hello world"的字样，而不是查询字段中包含"hello world"的字样。当保存数据"hello world"时，elasticsearch会对字段内容进行分词，“hello world"会被分成hello和world，不存在"hello world”，因此这里的查询结果会为空。这也是term查询和match的区别。

  1. match_phase

match_phase：会对输入做分词，但是需要结果中也包含所有的分词，而且顺序要求一样。以"hello world"为例，要求结果中必须包含hello和world，而且还要求他们是连着的，顺序也是固定的，hello that world不满足，world hello也不满足条件。

  1. query_string

query_string：和match类似，但是match需要指定字段名，query_string是在所有字段中搜索，范围更广泛。

三.文档映射

1.ES中映射可以分为动态映射和静态映射

动态映射：
在关系数据库中，需要事先创建数据库，然后在该数据库下创建数据表，并创建表字段、类型、长度、主键等，最后才能基于表插入数据。而Elasticsearch中不需要定义Mapping映射（即关系型数据库的表、字段等），在文档写入Elasticsearch时，会根据文档字段自动识别类型，这种机制称之为动态映射。
动态映射规则如下：
在这里插入图片描述
静态映射：
静态映射是在Elasticsearch中也可以事先定义好映射，包含文档的各字段类型、分词器等，这种方式称之为静态映射。

2 动态映射

2.1 删除原创建的索引
DELETE /es_db

2.2 创建索引
PUT /es_db

2.3 创建文档(ES根据数据类型, 会自动创建映射)
PUT /es_db/_doc/1
{
“name”: “Jack”,
“sex”: 1,
“age”: 25,
“book”: “java入门至精通”,
“address”: “广州小蛮腰”
}

2.4 获取文档映射
GET /es_db/_mapping

3 静态映射

3.1 删除原创建的索引
DELETE /es_db

3.2 创建索引
PUT /es_db

3.3 设置文档映射
PUT /es_db
{
“mappings”:{
“properties”:{
“name”:{“type”:“keyword”,“index”:true,“store”:true},
“sex”:{“type”:“integer”,“index”:true,“store”:true},
“age”:{“type”:“integer”,“index”:true,“store”:true},
“book”:{“type”:“text”,“index”:true,“store”:true},
“address”:{“type”:“text”,“index”:true,“store”:true}
}
}
}

3.4 根据静态映射创建文档
PUT /es_db/_doc/1
{
“name”: “Jack”,
“sex”: 1,
“age”: 25,
“book”: “elasticSearch入门至精通”,
“address”: “广州车陂”
}

3.5 获取文档映射
GET /es_db/_mapping

四.核心类型（Core datatype）

字符串：string，string类型包含 text 和 keyword。
text：该类型被用来索引长文本，在创建索引前会将这些文本进行分词，转化为词的组合，建立索引；允许es来检索这些词，text类型不能用来排序和聚合。
keyword：该类型不能分词，可以被用来检索过滤、排序和聚合，keyword类型不可用text进行分词模糊检索。
数值型：long、integer、short、byte、double、float
日期型：date
布尔型：boolean

五.keyword 与 text 映射类型的区别

将 book 字段设置为 keyword 映射 （只能精准查询, 不能分词查询，能聚合、排序）

POST /es_db/_doc/_search
{
"query": {
"term": {
"book": "elasticSearch入门至精通"
}
}
}

将 book 字段设置为 text 映射能模糊查询, 能分词查询，不能聚合、排序）

POST /es_db/_doc/_search
{ 
"query": {
"match": {
"book": "elasticSearch入门至精通"
}
}
}

六.创建静态映射时指定text类型的ik分词器

1.设置ik分词器的文档映射

先删除之前的es_db
再创建新的es_db
定义ik_smart的映射

PUT /es_db
{
"mappings":{
"properties":{
"name":{"type":"keyword","index":true,"store":true},
"sex":{"type":"integer","index":true,"store":true},
"age":{"type":"integer","index":true,"store":true},
"book":{"type":"text","index":true,"store":true,"analyzer":"ik_smart","search_analyzer":"ik_smart"},
"address":{"type":"text","index":true,"store":true}
}
}
}

2.分词查询

POST /es_db/_doc/_search
{ 
"query": {
"match": {"address": "广"}
}
}	POST /es_db/_doc/_search
{ 
"query": {
"match": {"address": "广州"}
}
}

七.对已存在的mapping映射进行修改

具体方法
1）如果要推倒现有的映射, 你得重新建立一个静态索引
2）然后把之前索引里的数据导入到新的索引里
3）删除原创建的索引
4）为新索引起个别名, 为原索引名

POST _reindex
{
"source": {
"index": "db_index"
},
"dest": {
"index": "db_index_2"
}
}DELETE /db_indexPUT /db_index_2/_alias/db_index

注意: 通过这几个步骤就实现了索引的平滑过渡,并且是零停机

八.Elasticsearch乐观并发控制

在数据库领域中，有两种方法来确保并发更新，不会丢失数据：

1、悲观并发控制

这种方法被关系型数据库广泛使用，它假定有变更冲突可能发生，因此阻塞访问资源以防止冲突。 一个典型的例子是读取一行数据之前先将其锁住，确保只有放置锁的线程能够对这行数据进行修改。

2、乐观并发控制

Elasticsearch 中使用的这种方法假定冲突是不可能发生的，并且不会阻塞正在尝试的操作。 然而，如果源数据在读写当中被修改，更新将会失败。应用程序接下来将决定该如何解决冲突。 例如，可以重试更新、使用新的数据、或者将相关情况报告给用户。

3、再以创建一个文档为例 ES老版本

PUT /db_index/_doc/1
{
“name”: “Jack”,
“sex”: 1,
“age”: 25,
“book”: “Spring Boot 入门到精通”,
“remark”: “hello world”
}

4、实现_version乐观锁更新文档

PUT /db_index/_doc/1?version=1
{
“name”: “Jack”,
“sex”: 1,
“age”: 25,
“book”: “Spring Boot 入门到精通”,
“remark”: “hello world”
}

5、ES新版本(7.x)不使用version进行并发版本控制 if_seq_no=版本值&if_primary_term=文档位置

_seq_no：文档版本号，作用同_version
_primary_term：文档所在位置

POST /es_sc/_searchDELETE /es_scPOST /es_sc/_doc/1
{
"id": 1,
"name": "ES学习",
"desc": "ES学习desc",
"create_date": "2021-02-24"
}POST /es_sc/_update/1
{
"doc": {
"name": "ES教育666"
}
}POST /es_sc/_update/1/?if_seq_no=1&if_primary_term=1
{
"doc": {
"name": "ES学习1"
}    
}POST /es_sc/_update/1/?if_seq_no=1&if_primary_term=1
{
"doc": {
"name": "ES学习2"
}    
}

九.Java API操作ES

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/147921.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

(C++23) expected 基础使用

(C++23) expected 基础使用

文章目录 ⭐前言⭐expected🎛️基础使用🎛️单子操作 (Monadic operations)🎚️and_then & or_else🎚️transform & transform_error ⭐END🌟跋🌟交流方式 ⭐前言 在 C17 中，提出了 op…
阅读更多...
嵌入式系统stm32cube本地安装出现的问题

嵌入式系统stm32cube本地安装出现的问题

stm32cube在线安装很慢，本地安装中出现的一个bug stm32cube_fw_f4_v1281安装成功之后，如果想安装stm32cube_fw_f4_v1281会提示stm32cube_fw_f4_v1280未安装。 如果先安装stm32cube_fw_f4_v1280之后，再安装stm32cube_fw_f4_v1281还会提示这个…
阅读更多...
算法练习题24——leetcode3296移山所需的最小秒数（二分模拟）

算法练习题24——leetcode3296移山所需的最小秒数（二分模拟）

【题目描述】 【代码示例（java）】 class Solution {// 计算让工人们将山的高度降到0所需的最少时间public long minNumberOfSeconds(int mountainHeight, int[] workerTimes) {long left 0; // 最少时间初始为0long right 0; // 最大时间初始化为0// …
阅读更多...
java--面向对象编程(中级部分)

java--面向对象编程(中级部分)

IDE（集成开发环境） java-----IDE（集成开发环境）-CSDN博客 包 包的三大作用 区分相同名字的类 当类很多时,可以很好的管理类[看Java API 文档] 控制访问范围 包基本语 package com.hsppedu; 说明: 1. package 关键字,表示打…
阅读更多...
Java内存泄漏排查

Java内存泄漏排查

内存泄漏排查 1. 堆内存快照导出2. 导入内存分析工具 1. 堆内存快照导出 获取 Java 进程 ID Windows：执行 jps 命令，或任务管理器查看，又或者执行 tasklist 命令。 注意：当有多个 Java 进程时，任务管理器或 tasklist |…
阅读更多...
C++从入门到起飞之——多态 全方位剖析！

C++从入门到起飞之——多态 全方位剖析！

🌈个人主页：秋风起，再归来~🔥系列专栏：C从入门到起飞 🔖克心守己，律己则安 目录 1. 多态的概念 2. 多态的定义及实现 2.1 多态的构成条件 2.1.1 实现多态还有两个必须重要条件&…
阅读更多...
BFS解决拓扑排序问题

BFS解决拓扑排序问题

文章目录 拓扑排序有向无环图（DAG图）AOV网（顶点活动图）拓扑排序实现拓扑排序 207. 课程表题目解析算法原理代码实现 LCR 113. 课程表 IILCR 114. 火星词典题目链接算法原理代码实现 拓扑排序 有向无环图（DAG图&#x…
阅读更多...
科研绘图系列：R语言组合多个图形

科研绘图系列：R语言组合多个图形

文章目录 介绍加载R包画图介绍 通过patchworkR包组合多个ggplot数据图形对象。 加载R包 library(ggplot2) library(patchwork)画图 画图theme_set(theme_bw() +theme(
阅读更多...
全面介绍 CSS 属性值计算 —— 掌握它就了解大部分 CSS

全面介绍 CSS 属性值计算 —— 掌握它就了解大部分 CSS

CSS 的核心之一就在此，直接影响我们开发中的调试和布局！！！ 举个 🌰：页面上存在一个 h1 元素，不设置任何样式，但是当我们点开 computed 查看，几乎 MDN 上的 CSS 属性都存…
阅读更多...
2206. 将数组划分成相等数对(排序/哈希)

2206. 将数组划分成相等数对(排序/哈希)

目录 一：题目： 二：代码： 三：结果： 一：题目： 给你一个整数数组 nums ，它包含 2 * n 个整数。 你需要将 nums 划分成 n 个数对，满足： 每个元素…
阅读更多...
Python画笔案例-058 绘制单击画酷炫彩盘

Python画笔案例-058 绘制单击画酷炫彩盘

1、绘制单击画酷炫彩盘 通过 python 的turtle 库绘制 单击画酷炫彩盘，如下图： 2、实现代码 绘制单击画酷炫彩盘，以下为实现代码： """单击画酷炫彩盘.py"""from turtle import Turtle # 导入海龟类 from random import randint…
阅读更多...
经典大语言模型解读(3)：参数量更大、泛化性能更强的生成式模型GPT-2

经典大语言模型解读(3)：参数量更大、泛化性能更强的生成式模型GPT-2

概述 在GPT-1的基础上，OpenAI提出了包含15亿参数（GPT-1参数量的10倍以上）的GPT-2模型。该模型在一个更大规模的文本数据集WebText上进行预训练。与GPT-1依赖特定任务上的有监督微调来提升性能不同，GPT-2具备更强的零样本&#xf…
阅读更多...
「OC」引用计数（一）

「OC」引用计数（一）

iOS学习 前言自动引用计数引用计数引用计数的思考方式自己生成的对象，自己持有非自己生成的对象，自己也能持有不再需要自己持有的对象时释放无法释放非自己持有的对象 总结 前言 在学习oc时对引用计数略有了解，现在进行系统的学习总结。 自动…
阅读更多...
Spring AOP - 配置文件方式实现

Spring AOP - 配置文件方式实现

目录 AOP基础概念 示例1：模拟在com.text包及子包项下所有类名称以ServiceImpl结尾的类的所有方法执行前、执行后、执行正常后返回值、执行过程中出异常的情况 示例2：统计com.text包及子包项下所有类名称以DaoImpl结尾的类的所有方法执行时长情况 AOP基…
阅读更多...
英伟达开源 NVLM 1.0 引领多模态 AI 变革

英伟达开源 NVLM 1.0 引领多模态 AI 变革

新闻 NVLM 1.0 是由英伟达（Nvidia）最新推出的一系列前沿级别的多模态大型语言模型（MLLM），这些模型在视觉-语言任务上取得了与领先专有模型（例如 GPT-4o）和开放访问模型（例如 Llama 3…
阅读更多...
文件上传、重定向、Gin路由

文件上传、重定向、Gin路由

文件上传 单个文件上传 index.html 文件上传前端页面代码&#xff1a; <!DOCTYPE html> <html lang"zh-CN"> <head><title>index</title> </head> <body> <form action"/upload" method"post"…
阅读更多...
【WPF】桌面程序开发之窗口的用户控件详解

【WPF】桌面程序开发之窗口的用户控件详解

使用Visual Studio开发工具&#xff0c;我们可以编写在Windows系统上运行的桌面应用程序。其中&#xff0c;WPF&#xff08;Windows Presentation Foundation&#xff09;项目是一种常见的选择。然而&#xff0c;对于初学者来说&#xff0c;WPF项目中xaml页面的布局设计可能是一…
阅读更多...
基础算法（4）——前缀和

基础算法（4）——前缀和

1. 前缀和 题目描述&#xff1a; 解法一&#xff1a;暴力解法 直接模拟实现题目流程即可 时间复杂度为&#xff0c;根据题目给出的条件&#xff0c;肯定会超时 解法二&#xff1a;前缀和&#xff08;适用题型&#xff1a;快速 求出数组中某一个 连续区间 的 和&#xff09;…
阅读更多...
车路云一体化大模型数据治理方案

车路云一体化大模型数据治理方案

车路云一体化大模型数据治理解决方案 "杭州市发改委已批复了杭州交通投资集团的智能网联汽车“车路云一体化”试点项目。这一批复体现了其对该项目可行性研究报告的肯定&#xff0c;预示着杭州市在智能驾驶领域的进一步发展。" 2024年6月18日&#xff0c;第十一届国…
阅读更多...
WGS1984快速度确定平面坐标系UTM分带（快速套表、公式计算、软件范围判定）

WGS1984快速度确定平面坐标系UTM分带（快速套表、公式计算、软件范围判定）

之前我们介绍了坐标系3带6带快速确定带号及中央经线&#xff08;快速套表、公式计算、软件范围判定&#xff09;就&#xff0c;讲的是CGCS2000 高斯克吕格的投影坐标系。 那还有我们经常用的WGS1984的平面坐标系一般用什么投影呢? 对于全球全国的比如在线地图使用&#xff1a…
阅读更多...
最新文章

Copyright @ 2022~2023