elasticsearch基础知识、go如何操作elasticsearch

【单元目标】

  1. 什么是elasticsearch？

  2. elasticsearch Analysis(分词器)概念及使用

  3. go实现elasticsearch 搜索封装

【教学内容】

1. 什么是elasticsearch？

Elasticsearch 是一个实时的分布式存储、搜索、分析的引擎。

Elasticsearch is a real-time, distributed storage, search, and analytics engine

介绍那儿有几个关键字：

  • 实时

  • 分布式

  • 搜索

  • 分析

特点和优势

  1. 分布式实时文件存储，可将每一个字段存入索引，使其可以被检索到。

  2. 近乎实时分析的分布式搜索引擎。

  3. 分布式：索引分拆成多个分片，每个分片可有零个或多个副本。集群中的每个数据节点都可承载一个或多个分片，并且协调和处理各种操作；

  4. 负载再平衡和路由在大多数情况下自动完成。

  5. 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据（官网是这么说的）。也可以运行在单台PC上（已测试）。

  6. 支持插件机制，分词插件、同步插件、Hadoop插件、可视化插件等。

ES 基本概念

1）节点（Node）

运行了单个实例的ES主机称为节点，它是集群的一个成员，可以存储数据、参与集群索引及搜索操作。节点通过为其配置的ES集群名称确定其所要加入的集群。

2）集群（cluster）

ES可以作为一个独立的单个搜索服务器。不过，一般为了处理大型数据集，实现容错和高可用性，ES可以运行在许多互相合作的服务器上。这些服务器的集合称为集群。

3）分片（Shard）

ES的“分片(shard)”机制可将一个索引内部的数据分布地存储于多个节点，它通过将一个索引切分为多个底层物理的Lucene索引完成索引数据的分割存储功能，这每一个物理的Lucene索引称为一个分片(shard)。

这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上。降低单服务器的压力，构成分布式搜索，提高整体检索的效率（分片数的最优值与硬件参数和数据量大小有关）。分片的数量只能在索引创建前指定，并且索引创建后不能更改。

4）副本（Replica）

副本是一个分片的精确复制，每个分片可以有零个或多个副本。副本的作用一是提高系统的容错性，当某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率，es会自动对搜索请求进行负载均衡。

ES的数据架构

1）索引（index）

ES将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合。类比传统的关系型数据库领域来说，索引相当于SQL中的一个数据库。

一个ES集群中可以按需创建任意数目的索引，但根据不同的硬件配置，索引数有一个建议范围

2）类型（Type）

类型是索引内部的逻辑分区(category/partition)，然而其意义完全取决于用户需求。因此，一个索引内部可定义一个或多个类型(type)。一般来说，类型就是为那些拥有相同的域的文档做的预定义。类比传统的关系型数据库领域来说，类型相当于“表”。

特别注意的是，根据官网信息：在Elasticsearch 6.0.0或更高版本中创建的索引只能包含一个映射类型。在5.x中创建的具有多种映射类型的索引将继续像在Elasticsearch 6.x中一样工作。类型将在Elasticsearch 7.0.0中的API中弃用，并在8.0.0中完全删除。

3）文档（Document）

文档是Lucene索引和搜索的原子单位，它是包含了一个或多个域的容器，基于JSON格式进行表示。文档由一个或多个域组成，每个域拥有一个名字及一个或多个值，有多个值的域通常称为“多值域”。每个文档可以存储不同的域集，但同一类型下的文档至应该有某种程度上的相似之处。相当于mysql表中的row。

4）映射（Mapping）

映射是定义文档及其包含的字段如何存储和索引的过程。

例如，使用映射来定义：

  • 哪些字符串字段应该被视为全文字段。

  • 哪些字段包含数字、日期或地理位置。

  • 文档中所有字段的值是否应该被索引到catch-all _all字段中。

  • 日期值的格式。

  • 用于控制动态添加字段的映射的自定义规则。

elasticsearch和mysql的对比

2. elasticsearch Analysis(分词器)概念及使用

什么是 Analysis？

顾名思义，文本分析就是把全文本转换成一系列单词（term/token）的过程，也叫分词。在 ES 中，Analysis 是通过分词器（Analyzer） 来实现的，可使用 ES 内置的分析器或者按需定制化分析器。

举一个分词简单的例子：比如你输入 Mastering Elasticsearch，会自动帮你分成两个单词，一个是 mastering，另一个是 elasticsearch，可以看出单词也被转化成了小写的。

分词器的组成

分词器是专门处理分词的组件，分词器由以下三部分组成：

Character Filters： 针对原始文本处理，比如去除 html 标签

Tokenizer： 按照规则切分为单词，比如按照空格切分

Token Filters： 将切分的单词进行加工，比如大写转小写，删除 stopwords，增加同义语

同时 Analyzer 三个部分也是有顺序的，从图中可以看出，从上到下依次经过 Character Filters，Tokenizer 以及 Token Filters，这个顺序比较好理解，一个文本进来肯定要先对文本数据进行处理，再去分词，最后对分词的结果进行过滤。

其中，ES 内置了许多分词器：

  • Standard Analyzer - 默认分词器，按词切分，小写处理

  • Simple Analyzer - 按照非字母切分（符号被过滤），小写处理

  • Stop Analyzer - 小写处理，停用词过滤（the ，a，is）

  • Whitespace Analyzer - 按照空格切分，不转小写

  • Keyword Analyzer - 不分词，直接将输入当做输出

  • Pattern Analyzer - 正则表达式，默认 \W+

  • Language - 提供了 30 多种常见语言的分词器

  • Customer Analyzer - 自定义分词器

  • Customer Analyzer - 中文分词器

下面详细介绍下：中文分词

分词∶
即把一段中文或者别的划分成一个个的关键字，我们在搜索时候会把自己的信息进行分词，会把数据库中或者索引库中的数据进行分词，然后进行一个匹配操作，默认的中文分词是将每个字看成一个词，比如“我爱中国”会被分为”我””爱””中””国”，这显然是不符合要求的，所以我们需要安装中文分词器ik来解决这个问题。

IK提供了两个分词算法：ik_smart和ik_max_word，其中ik smart为最少切分，ik_max_word为最细粒度划分!

ik_max_word: 会将文本做最细粒度的拆分，比如会将”中华人民共和国国歌”拆分为”中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合；

ik_smart: 会做最粗粒度的拆分，比如会将”中华人民共和国国歌”拆分为”中华人民共和国,国歌”。

谈谈为什么要使用es搜索？

MySQL 的不足

MySQL 架构天生不适合海量数据查询，它只适合海量数据存储，但无法应对海量数据下各种复杂条件的查询，有人说加索引不是可以避免全表扫描，提升查询速度吗，为啥说它不适合海量数据查询呢，有两个原因：

1、加索引确实可以提升查询速度，但在 MySQL 中加多个索引最终在执行 SQL 的时候它只会选择成本最低的那个索引，如果没有索引满足搜索条件，就会触发全表扫描，而且即便你使用了组合索引，也要符合最左前缀原则才能命中索引，但在海量数据多种查询条件下很有可能不符合最左前缀原则而导致索引失效，而且我们知道存储都是需要成本的，如果你针对每一种情况都加索引，以 innoDB 为例，每加一个索引，就会创建一颗 B+ 树，如果是海量数据，将会增加很大的存储成本，之前就有人反馈说他们公司的某个表实际内容的大小才 10G, 而索引大小却有 30G！这是多么巨大的成本！所以千万不要觉得索引建得越多越好。

2、有些查询条件是 MySQL 加索引都解决不了的，比如我要查询商品中所有 title 带有「格力空调」的关键词，如果你用 MySQL 写，会写出如下代码

SELECT * FROM product WHERE title like '%格力空调%'

这样的话无法命中任何索引，会触发全表扫描，而且你不能指望所有人都能输对他想要的商品，是人就会犯错误，我们经常会犯类似把「格力空调」记成「格空调」的错误，那么 SQL 语句就会变成：

SELECT * FROM product WHERE title like '%格空调%'

这种情况下就算你触发了全表扫描也无法查询到任何商品，综上所述，MySQL 的查询确实能力有限

与其说上面列的这些点是 MySQL 的不足，倒不如说 MySQL 本身就不是为海量数据查询而设计的

ES查询高效的原因

ES 中的索引为何如此高效，能在海量数据下达到秒级的效果呢？它采用了多种优化手段，最主要的原因是它采用了一种叫做倒排索引的方式来生成索引，避免了全文档扫描，那么什么是倒排索引呢，通过文档来查找关键词等数据的我们称为正排索引，返之，通过关键词来查找文档的形式我们称之为倒排索引

假设有以下三个文档（Document）

要在其中找到含有 comming 的文档，如果要正排索引，那么要把每个文档的内容拿出来查找是否有此单词，毫无疑问这样的话会导致全表扫描，那么用倒排索引会怎么查找呢，它首先会将每个文档内容进行分词，小写化等，然后建立每个分词与包含有此分词的文档之前的映射关系，如果有多个文档包含此分词，那么就会按重要程度即文档的权重（通常是用 TF-IDF 给文档打分）将文档进行排序，于是我们可以得到如下关系

这样的话我们我要查找所有带有 comming 的文档，就只需查一次，而且这种情况下查询多个单词性能也是很好的，只要查询多个条件对应的文档列表，再取交集即可，极大地提升了查询效率。

3. go实现elasticsearch curd封装

go 操作elasticsearch

文档和教程

esapi https://pkg.go.dev/github.com/elastic/go-elasticsearch/v6@v6.8.5#section-readme

Go Elasticsearch 快速入门 Go Elasticsearch 快速入门-CSDN博客

注： 由于elasticsearch扩展包兼容问题，以下es操作会通过http方式来实现。

启动header-master，访问http://localhost:9100

添加索引

添加fang_demo索引的mapping

{"properties": {"id": {"type": "integer"},"title": {"type": "text","analyzer":"ik_max_word","search_analyzer":"ik_max_word"}}}

添加fang_video索引的mapping

{"properties": {"id": {"type": "integer"},"title": {"type": "text","analyzer": "ik_max_word","search_analyzer": "ik_max_word"},"sub_title": {"type": "text","analyzer": "ik_max_word","search_analyzer": "ik_max_word"},"status": {"type": "integer"},"add_time": {"type": "integer"},"img ": {"type": "keyword"},"img1": {"type": "keyword"},"channel_id": {"type": "integer"},"type_id": {"type": "integer"},"region_id": {"type": "integer"},"user_id": {"type": "integer"},"episodes_count": {"type": "integer"},"episodes_update_time": {"type": "integer"},"is_end": {"type": "integer"},"is_hot": {"type": "integer"},"is_recommend": {"type": "integer"}}
}

检查index索引状态

封装搜索方法

es 搜索语法 http://events.jianshu.io/p/77f27c3176d0

es搜索时请求url和参数

GET /demo/doc/_search?_source
{"query" : {"match" : {"content" : "科技发展"}},"highlight" : {"pre_tags" : ["<font color='red'>"],"post_tags" : ["</font>"],"fields" : {"content" : {}}},"from": 0,"size": 20,"sort": [{"age": {"order": "asc"}}]
}

根据请求参数格式，封装搜索函数

在services/es下创建es.go,并初始化es url连接

定义es返回格式

封装es搜索方法

定义路由

访问接口，获得数据

定义文章格式，将数据绑定在结构体上

查看效果

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/1550917.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

在Windows上使用谷歌浏览器的安全支付功能

在Windows上使用谷歌浏览器的安全支付功能

在使用谷歌浏览器进行在线支付时&#xff0c;确保您的交易安全至关重要。本文将为您提供详细的步骤&#xff0c;帮助您在Windows系统上启用和使用谷歌浏览器的安全支付功能。 &#xff08;本文由https://www.chromexz.com.cn/站点的作者进行编写&#xff0c;转载时请进行标注。…
阅读更多...
Unity 代码裁剪（Strip Engine Code）

Unity 代码裁剪（Strip Engine Code）

文章目录 0.IL2CPP 打包运行闪退问题1.什么是代码裁剪2.为什么要使用代码裁剪3.代码裁剪设置与级别4.强制保留代码4.1 使用[Preserve]标签4.2 使用Link.xml文件 5.Strip中遇到的问题及解决方法6.注意事项 0.IL2CPP 打包运行闪退问题 Google Play要求从2019年8月1日起apk必须支…
阅读更多...
《后端程序猿 · Spring事务失效场景》

《后端程序猿 · Spring事务失效场景》

&#x1f4e2; 大家好&#xff0c;我是 【战神刘玉栋】&#xff0c;有10多年的研发经验&#xff0c;致力于前后端技术栈的知识沉淀和传播。 &#x1f497; &#x1f33b; CSDN入驻不久&#xff0c;希望大家多多支持&#xff0c;后续会继续提升文章质量&#xff0c;绝不滥竽充数…
阅读更多...
【2025】springboot基于微信小程序记账本的设计与实现（源码+文档+调试+答疑）

【2025】springboot基于微信小程序记账本的设计与实现（源码+文档+调试+答疑）

文章目录 前言一、主要技术&#xff1f;二、项目内容1.整体介绍&#xff08;示范&#xff09;2.运行截图3.系统测试 总结更多项目 前言 时代在飞速进步&#xff0c;每个行业都在努力发展现在先进技术&#xff0c;通过这些先进的技术来提高自己的水平和优势&#xff0c;记账本小…
阅读更多...
MBSE和刚亮相的B-21“突袭者”隐形轰炸机

MBSE和刚亮相的B-21“突袭者”隐形轰炸机

DDD领域驱动设计批评文集>> 《软件方法》强化自测题集>> 《软件方法》各章合集>> 12月2日&#xff0c;B-21“突袭者”隐形轰炸机举行揭幕仪式。 摘译一篇来自制造商Northrop Grumman公司&#xff08;诺斯罗普格鲁曼公司&#xff09;网站上的文章片段。 利…
阅读更多...
HashMap的实现

HashMap的实现

Hash的最大容量为什么是2的30次方 问题 static final int *MAXIMUM_CAPACITY* 1 << 30; 回到题目&#xff0c;为什么会是2的30次幂&#xff0c;而不是2的31次幂呢&#xff1f; 首先&#xff1a;JAVA规定了该static final 类型的静态变量为int类型&#xff0c;至于为什…
阅读更多...
C++ | Leetcode C++题解之第446题等差数列划分II-子序列

C++ | Leetcode C++题解之第446题等差数列划分II-子序列

题目&#xff1a; 题解&#xff1a; class Solution { public:int numberOfArithmeticSlices(vector<int> &nums) {int ans 0;int n nums.size();vector<unordered_map<long long, int>> f(n);for (int i 0; i < n; i) {for (int j 0; j < i;…
阅读更多...
跨学科数字教学知识库的建设挑战与解决方案

跨学科数字教学知识库的建设挑战与解决方案

随着知识经济的不断发展和教育改革的深入&#xff0c;跨学科教学逐渐成为培养具有综合素质和创新能力的关键途径。在这一背景下&#xff0c;搭建跨学科数字教学知识库显得尤为重要。然而&#xff0c;跨学科知识的复杂性和多样性给知识库的建设带来了诸多挑战。本文旨在探讨这些…
阅读更多...
8621 二分查找

8621 二分查找

**思路&#xff1a;** 1. 读取输入的元素个数 n。 2. 读取有序数组 ST。 3. 读取要查找的关键字 key。 4. 使用折半查找法&#xff08;即二分查找&#xff09;在数组 ST 中查找 key 的位置。 5. 如果找到 key&#xff0c;输出其位置&#xff1b;如果未找到&#xff0c;输出 &qu…
阅读更多...
django的模型层介绍与配置

django的模型层介绍与配置

1 Django的Model模型介绍 模型是我们项目中的的数据信息源&#xff0c;它包含着储存数据的必要字段和行为。 通常&#xff0c;每个模型对应数据库中的一张表&#xff0c;每个属性对应一个字段 每个模型都是django.db.models.Model的一个Python 子类。 Django 提供一套自动生成…
阅读更多...
Servlet 3.0新特征

Servlet 3.0新特征

版权声明 本文原创作者：谷哥的小弟作者博客地址：http://blog.csdn.net/lfdfhlServlet 3.0概述 Servlet 3.0规范是在2009年随着Java EE 6的发布而推出的。它引入了一系列新特性和改进，旨在简化Web应用的开发和部署过程，并提高Web应用的性能和可扩展性。Servlet 3.0的发布标…
阅读更多...
Linux下驱动开发实例

Linux下驱动开发实例

驱动开发 驱动与硬件的分离 在传统的嵌入式系统开发中&#xff0c;硬件信息往往是直接硬编码在驱动代码中的。这样做的问题是&#xff0c;当硬件发生变化时&#xff0c;比如增加或更换设备&#xff0c;就需要修改驱动程序的代码&#xff0c;这会导致维护成本非常高。因此&…
阅读更多...
Windows：win11旗舰版连接无线显示器，连接失败

Windows：win11旗舰版连接无线显示器，连接失败

摘要&#xff1a;win11系统通过 miracast 无线连接到长虹电视的时候&#xff0c;一直连接不上。查看电脑又是支持 miracast 协议&#xff0c;后续发现关闭防火墙即可正常连接。 一、问题现状 最近公司里新换了电视&#xff0c;打算把笔记本电脑投屏到电视上。由于 HDMI 插拔不…
阅读更多...
Ps：将画板导出到 PDF

Ps：将画板导出到 PDF

菜单&#xff1a;文件/导出/将画板导出到 PDF Export/Artboards to PDF 将画板导出到 PDF Artboards to PDF命令用于将 Photoshop 的画板导出为 PDF 文件&#xff0c;提供了多种导出选项&#xff0c;可以控制文件的压缩、是否嵌入颜色配置文件、文件命名以及页面顺序等。它适用…
阅读更多...
ubuntu20.04安装CUDA与cudnn

ubuntu20.04安装CUDA与cudnn

这里写目录标题 一、NVIDIA显卡驱动安装二、安装CUDA官网找对应版本下载安装文件安装配置环境变量 三、安装cuDNN选择版本另一种下载方式 四、cuDNN与CUDA关系CUDAcuDNN的依赖关系与CPU的交互开发编程角度图示 总结 一、NVIDIA显卡驱动安装 我这里之前就装好了 使用命令 nvid…
阅读更多...
Windows11系统下Docker环境搭建教程

Windows11系统下Docker环境搭建教程

目录 前言Docker简介安装docker总结 前言 本文为博主在项目环境搭建时记录的Docker安装流程&#xff0c;希望对大家能够有所帮助&#xff0c;不足之处欢迎批评指正&#x1f91d;&#x1f91d;&#x1f91d; Docker简介 Docker 就像一个“容器”平台&#xff0c;可以帮你把应用…
阅读更多...
5.模拟电子技术笔记——放大电路的分析方法

5.模拟电子技术笔记——放大电路的分析方法

写在前面 这个是模电的第五次笔记&#xff0c;祝大家学习愉快&#xff01; 笔记部分 1.图解法 我们这节的所有电路都默认是共射放大电路&#xff0c;后面如果没有特殊说明都是共射极的。 1.1 静态工作点的图解分析 我们接下来画出这个电路的直流回路 我们先考察它的输入回…
阅读更多...
云中红队系列 | 使用 Azure FrontDoor 混淆 C2 基础设施

云中红队系列 | 使用 Azure FrontDoor 混淆 C2 基础设施

重定向器是充当 C2 服务器和目标网络之间中间人的服务器。其主要功能是重定向 C2 和受感染目标之间的所有通信。重定向器通常用于隐藏 C2 服务器流量的来源&#xff0c;使防御者更难以检测和阻止 C2 基础设施。 基于云的重定向器提供了一个很好的机会&#xff0c;通过内容分发…
阅读更多...
Mixture-of-Experts (MoE)： 条件计算的诞生与崛起【下篇】

Mixture-of-Experts (MoE)： 条件计算的诞生与崛起【下篇】

将 Mixture-of-Experts 应用于 Transformers 既然我们已经研究了条件计算的早期工作&#xff0c;那么我们就可以看看 MoE 在变换器架构中的一些应用。 如今&#xff0c;基于 MoE 的 LLM 架构&#xff08;如 Mixtral [13] 或 Grok&#xff09;已广受欢迎&#xff0c;但 MoE 在语…
阅读更多...
Python | Leetcode Python题解之第447题回旋镖的数量

Python | Leetcode Python题解之第447题回旋镖的数量

题目&#xff1a; 题解&#xff1a; class Solution:def numberOfBoomerangs(self, points: List[List[int]]) -> int:ans 0for p in points:cnt defaultdict(int)for q in points:dis (p[0] - q[0]) * (p[0] - q[0]) (p[1] - q[1]) * (p[1] - q[1])cnt[dis] 1for m i…
阅读更多...
最新文章

Copyright @ 2022~2023