分布式搜索引擎Elasticsearch

一、Elasticsearch介绍

1.Elasticsearch产生背景

  • 大数据量的检索
  • NoSql： not only sql，泛指非关系型的数据库
  • Nginx的7层负载均衡和4层负载均衡

2.Elasticsearch是什么
一个基于Lucene的分布式搜索和分析引擎，一个开源的高扩展的分布式全文检索引擎
Elasticsearch使用Java开发：需安装jdk

Apache：

  • 公司：开源协议
    在它的条款下开源
    很多主流的开源软件都捐献给Apache，让它维护
    顶级开源项目：Kafka，ES，Echarts

  • Apache服务器：Web服务器（Nginx）
    是当前流行的企业级搜索引擎：稳定可靠，企业里普遍使用
    使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，使得全文检索变得简单

Lucene与Elasticsearch关系：

  • Lucene是个库，只能Java使用，并且复杂
  • Elasticsearch，使用Restful操作

Elasticsearch与solr：

  • mysql和oracle的关系
    都是分布式的搜索引擎，不是一个软件，核心本质一样
  • solr基于Lucene
  • es集成度高，solr需要更多插件支持
  • Solr是传统搜索应用的有力解决方案，但 Elasticsearch 更适用于新兴的实时搜索应用

3.核心概念
集群：多太ES服务器的配合使用的集合称为集群。
节点：形成集群的每个服务器称为节点。
在这里插入图片描述
Shard：分片，数据可以分为较小的分片。每个分片放到不同的服务器上。
Replia：副本，为提高查询吞吐量或实现高可用性，副本是一个分片的精确复制，每个分片可以有零个或多个副本。
全文检索：在一篇文档中搜索要的内容，如果想查的数据快，肯定不是基于mysql的那种索引方式—基于倒排索引，实现的全文检索。

4.ES与关系型数据库Mysql对比

MysqlES
数据库索引
表类型
行文档
建表语句映射

在这里插入图片描述

5.物理设计
一个集群包含至少一个节点，而一个节点就是一个elasticsearch进程。节点内可以有多个索引。
默认的，如果你创建一个索引，那么这个索引将会有5个分片（primary shard，又称主分片）构成，而每个分片又有一个副本（replica shard，又称复制分片），这样，就有了10个分片。

6.ELK是什么
是日志收集和分析系统。

ELK=elasticsearch+Logstash+kibana
elasticsearch：后台分布式存储以及全文检索
logstash: 日志加工、“搬运工”
kibana：数据可视化展示

ELK架构为数据分布式存储、可视化查询和日志解析创建了一个功能强大的管理链。 三者相互配合，取长补短，共同完成分布式大数据处理工作。

7.业务场景

  • 搜索功能
  • ES来替代传统的NoSQL，它的横向扩展机制太方便了

8.Elasticsearch索引到底能处理多大数据
一个Lucene索引，不能处理多于21亿篇文档，或者多于2740亿的唯一词条
一个分片是一个lucene索引，一个es索引默认5个分片

二、Elasticsearch安装

ES安装：
安装jdk（java开发的）---->官网下载，解压---->启动即可（bin目录下bat文件）
在浏览器输入：http://127.0.0.1:9200/

ES客户端安装：
1.restful接口---->直接使用浏览器就可以访问

2.官方没有提供一个特别好的客户端

  • postman
  • elasticsearch-head（第三方，node写的：node环境）
# 安装
git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install
# 启动
npm run start

配置跨域：修改es的配置

http.cors.enabled: true
http.cors.allow-origin: "*"

浏览器输入：http://localhost:9100/

  • Kibana（官方提供的）
    ES和Kibana版本要严格对应
    官网下载，解压即可
    修改配置—>连接es的地址：
server.port: 5601
server.host: "127.0.0.1"
server.name: lqz
elasticsearch.hosts: ["http://localhost:9200/"]

bin路径下启动kibana
浏览器访问：http://localhost:5601

三、倒排索引

由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而成为倒排索引。
反向索引又叫倒排索引，是根据文章内容中的关键字建立索引。
对文章内容进行分词，根据分词建立索引（出现的位置和出现的次数）。

四、索引操作

索引等同于mysql中的数据库

  • 在5.x（包含）之前，一个索引下可以建立多个映射（表）
  • 6.x后，一个索引下只能建立一个映射（表），之前5.x的查询还能用
  • 7.x后，一个索引下完全只支持一个映射

haystack：django的app，实现全文检索

  • 底层可以基于 whoosh（python写的，类似于sqlite，文档型的），ES（Java，类似于Mysql，互联网公司用的多），solr（Java，类似于Oracle，传统企业用）
  • 年久失修，只支持es 2.x版本
  • 咱们做全文检索，基于es，自己通过python操作

配置信息增删改查：

# 增
PUT lqz2
{"settings": {"index":{"number_of_shards":5,"number_of_replicas":1}}
}# 删
DELETE lqz# 查 
# 获取lqz2索引的配置信息
GET lqz2/_settings
#获取所有索引的配置信息
GET _all/_settings
# 同上
GET _settings
# 获取lqz和lqz2索引的配置信息
GET lqz,lqz2/_settings# 改（一般不改）
PUT lqz/_settings
{"number_of_replicas": 1
}

五、映射管理

在Elasticsearch 6.0.0或更高版本中创建的索引只包含一个mapping type。
在5.x中使用multiple mapping types创建的索引将继续像以前一样在Elasticsearch 6.x中运行。
Mapping types将在Elasticsearch 7.0.0中完全删除。

在创建索引的时候，可以预先定义字段的类型及相关属性，如果没有设置，es会自动设置。

Mapping是我们自己定义的字段数据类型，同时告诉es如何索引数据及是否可以被搜索。
作用：会让索引建立的更加细致和完善

字段及类型：

  • 字符串类型：text(会分词)，keyword（不会分词）
  • 数字类型：long，integer，short，byte double，float
  • 日期类型：data
  • 布尔类型：boolean
  • binary类型：binary
  • 复杂类型：object（实体，对象），nested（列表）
  • geo类型：geo-point，geo-shape（地理位置）----redis中
  • 专业类型：ip，competion（搜索建议）

建立映射：

PUT books
{"mappings": {"properties":{"title":{"type":"text"},"price":{"type":"integer"},"addr":{"type":"keyword"},"company":{"properties":{"name":{"type":"text"}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/143940.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

stack和queue

stack和queue

💓博主个人主页:不是笨小孩👀 ⏩专栏分类:数据结构与算法👀 C👀 刷题专栏👀 C语言👀 🚚代码仓库:笨小孩的代码库👀 ⏩社区：不是笨小孩👀 🌹欢迎大…
阅读更多...
油猴(篡改猴)学习记录

油猴(篡改猴)学习记录

第一个Hello World 注意点:默认只匹配了http网站,如果需要https网站,需要自己添加match https://*/*代码如下 这样子访问任意网站就可以输出Hello World // UserScript // name 第一个脚本 // namespace http://tampermonkey.net/ // version 0.1 // descri…
阅读更多...
K8S-存储卷，pv，pvc

K8S-存储卷，pv，pvc

pv，pvc 一、emptyDir存储卷1.概述2.示例 二、hostPath存储卷1.概述 三、nfs共享存储卷1.在stor01节点上安装nfs，并配置nfs服务2.master节点操作3.在nfs服务器上创建index.html4.master节点操作 四、PVC 和 PV1.概述2.PV和PVC之间的相互作用遵循的生命周期…
阅读更多...
HDLBits-Edgedetect

HDLBits-Edgedetect

刚开始写的代码如下&#xff1a; module top_module (input clk,input [7:0] in,output [7:0] pedge );reg [7:0] in_pre;always (posedge clk)begin in_pre < in;endassign pedge in & ~in_pre; endmodule但是提交结果是错误的。猜想原因如下&#xff1a; assign p…
阅读更多...
Android widget 小部件使用指南强化版

Android widget 小部件使用指南强化版

Android widget 小部件使用指南强化版 一、简单UI的小部件二、含集合的小部件三、可配置的小部件四、可控制的小部件五、Android 12 Widget 更新 小部件是主屏幕定制的一个重要方面。您可以将它们视为应用程序最重要的数据和功能的“概览”视图&#xff0c;这些数据和功能可以直…
阅读更多...
第十章_祖冲之_圆周率

第十章_祖冲之_圆周率

倒数1又2/3章&#xff0c;keep_writting的一天&#xff1a; 第十章10.1.7 运行程序资源下载网站为何打不开呢&#xff1f;
阅读更多...
Linux socket 字节序

Linux socket 字节序

socket介绍 字节序 验证什么字节序 #include<stdio.h> int main() {union {short value;char btypes[sizeof(short)];} test;test.value 0x0102;if(test.btypes[0] 1 && test.btypes[1] 2) {printf("大端字节序\n");}else{printf("小端字节序…
阅读更多...
JVM111

JVM111

JVM1 字节码与多语言混合编程 字节码 我们平时说的java字节码&#xff0c; 指的是用java语言编译成的字节码。准确的说任何能在jvm平台上执行的字节码格式都是一样的。所以应该统称为:jvm字节码。不同的编译器&#xff0c;可以编译出相同的字节码文件&#xff0c;字节码文件…
阅读更多...
DataExcel控件读取和保存excel xlsx 格式文件

DataExcel控件读取和保存excel xlsx 格式文件

需要引用NPOI库 https://github.com/dotnetcore/NPOI 调用Read 函数将excel读取到dataexcel控件 调用Save 函数将dataexcel控件文件保存为excel文件 using NPOI.HSSF.UserModel; using NPOI.HSSF.Util; using NPOI.SS.UserModel; using NPOI.SS.Util; using System; using …
阅读更多...
canvas-绘图库fabric.js简介

canvas-绘图库fabric.js简介

一般情况下简单的绘制&#xff0c;其实canvas原生方法也可以满足&#xff0c;比如画个线&#xff0c;绘制个圆形、正方形、加个文案。 let canvas document.getElementById(canvas);canvas.width 1200;canvas.height 600;canvas.style.width 1200px;canvas.style.height 6…
阅读更多...
【算法基础】栈和队列及常见变种与使用，双栈、动态栈、栈的迭代器，双端队列、优先队列、并发队列、延迟队列的使用

【算法基础】栈和队列及常见变种与使用，双栈、动态栈、栈的迭代器，双端队列、优先队列、并发队列、延迟队列的使用

目录 一、栈&#xff08;Stack&#xff09; 二、 队列&#xff08;Queue&#xff09; 三、栈和队列的常见变种与使用 3.1 栈的常见的变种与使用 3.1.1 最小栈&#xff08;Min Stack&#xff09; 3.1.2 双栈&#xff08;Two Stacks&#xff09; 3.1.3 固定大小栈&#xf…
阅读更多...
eclipse svn插件安装

eclipse svn插件安装

1.进入eclipse的help->Eclipse Marketplace,如下图所示&#xff1a; 2.输入“svn”,再按回车&#xff0c;如下图&#xff1a; 3.这我选择的是 Subversive,点击后面的“install”按钮&#xff0c;如下图 Eclipse 下连接 SVN 库有两种插件 —— Subclipse 与 Subversive &…
阅读更多...
开源C# Winform Scada 上位机系统

开源C# Winform Scada 上位机系统

开源Winform Scada系统 功能展示C#源码程序说明下载程序源码获取 功能展示 本软件目前包含: 常用PLC通讯控件, 常用IO读写控件, 权限过滤, 用户管理, 日志记录, 报警记录. 使用方式: 在VS2022里面拖放控件, 填写控件属性,完成组态.即可成为一个完整的上位机. C#源码 程序说明…
阅读更多...
弱信号的采样与频谱分析(修订中...)

弱信号的采样与频谱分析(修订中...)

1.频谱混叠效应 - 波形数据抽样 这是一组经过抽样的数据的频谱&#xff0c;红圈圈出的两条谱线&#xff0c;是我们需要关注的特征谱线。这个信号与右侧的临近信号比较&#xff0c;求频率比值&#xff0c;比值恒定与理论推导相符。再5取1降低采样率后&#xff0c;大致相同的频率…
阅读更多...
宝塔nginx搭建Ftp文件服务器

宝塔nginx搭建Ftp文件服务器

一&#xff1a;创建FTP 填入账号密码后&#xff0c;选择根目录&#xff0c;这个根目录就是nginx要代理的目录 二&#xff1a;配置nginx root的地址就是上面填的FTP根目录 三&#xff1a;http访问 服务器ip端口号加图片 例如我放了一个320.jp 我服务器ip是110.120.120.120 那…
阅读更多...
使用MySQL聚合函数来聚合数据，结果发现有刺客...

使用MySQL聚合函数来聚合数据，结果发现有刺客...

问题&#xff1a; 使用MySQL聚合函数 group_concat 的坑&#xff01; 现象&#xff1a; 我有个业务&#xff0c;需要将表中符合条件的数据行的id聚合成一个字符串&#xff0c;以供另外一张表的查询过滤。 SELECTx FROMt_A WHEREFIND_IN_SET(guan_lian,(SELECTgroup_concat( i…
阅读更多...
iOS自动化测试方案(一)：MacOS虚拟机保姆级安装Xcode教程

iOS自动化测试方案(一)：MacOS虚拟机保姆级安装Xcode教程

文章目录 一、环境准备二、基础软件三、扩展&#xff1a;usb拓展插件 一、环境准备 1、下载VMware虚拟机的壳子&#xff0c;安装并注册软件(可以百度注册码)&#xff0c;最新版本&#xff1a;v17 2、下MacOS系统iOS镜像文件&#xff0c;用于vmware虚拟机安装&#xff0c;当前镜…
阅读更多...
Unity WebSocket-Server

Unity WebSocket-Server

&#x1f33c;WebSocket-Server &#x1f96a;效果展示&#x1f32d;启动Server&#x1f371;连接Server &#x1f96a;效果展示 在Unity中创建WebSocket服务器&#xff0c;从网页连接到该服务器进行消息通信&#xff0c;在Unity中接收到的消息都在主线程中 &#x1f32d;启…
阅读更多...
RK3588 VDD_NPU电源PCB设计注意事项

RK3588 VDD_NPU电源PCB设计注意事项

1、VDD_NPU的覆铜宽度需满足芯片的电流需求&#xff0c;连接到芯片电源管脚的覆铜足够宽&#xff0c;路径不能被过孔分割太严重&#xff0c;必须计算有效线宽&#xff0c;确认连接到CPU每个电源PIN脚的路径都足够。 2、VDD_NPU的电源在外围换层时&#xff0c;要尽可能的多打电…
阅读更多...
计算机，软件工程，网络工程，大数据专业毕业设计选题有哪些（附源码获取）

计算机，软件工程，网络工程，大数据专业毕业设计选题有哪些（附源码获取）

计算机&#xff0c;软件工程&#xff0c;网络工程&#xff0c;大数据专业毕业设计选题有哪些?&#xff08;附源码获取&#xff09; ✌全网粉丝20W,csdn特邀作者、博客专家、CSDN新星计划导师、java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于J…
阅读更多...
最新文章

Copyright @ 2022~2023