Minio环境搭建(单机安装包、docker)（一）

前言：

        项目中客户不愿意掏钱买oss，无奈只能给他免费大保健来一套。本篇文章只是记录验证可行性，毕竟minio太少文档了，参考着官网来。后面还会再出一套验证集群部署的文章。

一、资料

  • MinIO官网： MinIO | S3 Compatible Storage for AI
  • MinIO中文官网： MinIO | 用于AI的S3 & Kubernetes原生对象存储
  • MinIO官方GitHub： GitHub - minio/minio: MinIO is a high-performance, S3 compatible object store, open sourced under GNU AGPLv3 license.
  • MinIO官方文档：
    • 中文： MinIO对象存储 Kubernetes — MinIO中文文档 | MinIO Kubernetes中文文档   （tmd，内容跟英文版比，较落后，版本对不上，配置参数名都不一样，很坑）
    • 英文： MinIO Object Storage for Kubernetes — MinIO Object Storage for Kubernetes

1、什么是对象存储？

关于对象存储，我们可以看下 阿里云OSS 的解释。

对象存储服务OSS（Object Storage Service）是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。

对象存储最大的优势就在于它可以存储大容量的非结构化数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等。对于大多数的企业来说，这可以说是最为理想的存储媒介了。

对于业务已在公有云上的企业来说，使用公有云提供的 OSS 服务，可以很好的节省存储的成本，且一般都提供易接入的 SDK，以阿里云的OSS 服务为例，在存储介质的上层封装可标注的 RESTful API 接口，使用起来十分方便。

但是对于一些没有选择业务上云或者想要下云的企业来说，要使用公有云的 OSS，在公网带宽方面就需要有一定的投入，毕竟需要通过公网传输，带宽太小，传输速度就会慢，且在传输过程中数据的安全性和完整性也有损失的风险，走专线的费用又十分昂贵，不实在。

这种情况下，MinIO 就是一个不错的选择，麻雀虽小，五脏俱全，企业可以以此快速构建自己内部的对象存储服务。

2、什么是 MinIO？

Minio 是个基于 Golang 编写的开源对象存储套件，基于Apache License v2.0开源协议，虽然轻量，却拥有着不错的性能。它兼容亚马逊S3云存储服务接口。可以很简单的和其他应用结合使用，例如 NodeJS、Redis、MySQL等。

1）MinIO 的应用场景

如下图，MinIO 的应用场景除了可以作为私有云的对象存储服务来使用，也可以作为云对象存储的网关层，无缝对接 Amazon S3 或者 MicroSoft Azure 。

MinIO 应用场景.png

2）特点

  • 高性能:
    作为一款高性能存储，在标准硬件条件下，其读写速率分别可以达到 55Gb/s 和 35Gb/s。并而 MinIO 支持一个对象文件可以是任意大小，从几kb到最大5T不等。
  • 可扩展:
    不同MinIO集群可以组成联邦，并形成一个全局的命名空间，并且支持跨越多个数据中心。
  • 云原生:
    容器化、基于K8S的编排、多租户支持。
  • Amazon S3兼容:
    使用 Amazon S3 v2 / v4 API。可以使用Minio SDK，Minio Client，AWS SDK 和 AWS CLI 访问Minio服务器。
  • 可对接多种后端存储:
    除了Minio自己的文件系统，还支持 DAS、 JBODs、NAS、Google云存储和 Azure Blob存储。
  • SDK支持:
    • GO SDK： https://github.com/minio/minio-go
    • JavaSDK： https://github.com/minio/minio-java
    • PythonSDK： https://github.com/minio/minio-py
  • Lambda计算:
    Minio服务器通过其兼容AWS SNS / SQS的事件通知服务触发Lambda功能。支持的目标是消息队列，如Kafka，NATS，AMQP，MQTT，Webhooks以及Elasticsearch，Redis，Postgres和MySQL等数据库。
  • 图形化界面
    有操作页面。
  • 功能简单:
    不容易出错，快速启动。
  • 支持纠删码:
    MinIO使用纠删码、Checksum来防止硬件错误和静默数据污染。在最高冗余度配置下，即使丢失1/2的磁盘也能恢复数据。

3）存储机制

Minio 使用纠删码 erasure code和校验和 checksum。 即便丢失一半数量（N/2）的硬盘，仍然可以恢复数据。

校验和

保护数据免受硬件故障和无声数据损坏

纠删码

纠删码是一种恢复丢失和损坏数据的数学算法，目前，纠删码技术在分布式存储系统中的应用主要有三类，阵列纠删码（Array Code: RAID5、RAID6等）、RS(Reed-Solomon)里德-所罗门类纠删码和LDPC(LowDensity Parity Check Code)低密度奇偶校验纠删码。Erasure Code是一种编码技术，它可以将n份原始数据，增加m份数据，并能通过n+m份中的任意n份数据，还原为原始数据。即如果有任意小于等于m份的数据失效，仍然能通过剩下的数据还原出来。

Minio采用Reed-Solomon code将对象拆分成N/2数据和N/2 奇偶校验块。 这就意味着如果是12块盘，一个对象会被分成6个数据块、6个奇偶校验块，可以丢失任意6块盘（不管其是存放的数据块还是奇偶校验块），仍可以从剩下的盘中的数据进行恢复。

RS code编码数据恢复原理

RS编码以word为编码和解码单位，大的数据块拆分到字长为w（取值一般为8或者16位）的word，然后对word进行编解码。 数据块的编码原理与word编码原理相同，后文中以word为例说明，变量Di, Ci将代表一个word。

把输入数据视为向量D=(D1，D2，..., Dn）, 编码后数据视为向量（D1, D2,..., Dn, C1, C2,.., Cm)，RS编码可视为如下（图1）所示矩阵运算。

图1最左边是编码矩阵（或称为生成矩阵、分布矩阵，Distribution Matrix），编码矩阵需要满足任意n*n子矩阵可逆。为方便数据存储，编码矩阵上部是单位阵（n行n列），下部是m行n列矩阵。下部矩阵可以选择范德蒙德矩阵或柯西矩阵。

minio 存储机制1.png

RS最多能容忍m个数据块被删除。 数据恢复的过程如下：

（1）假设D1、D4、C2丢失，从编码矩阵中删掉丢失的数据块/编码块对应的行。（图2、3）

（2）由于B' 是可逆的，记B'的逆矩阵为 (B'^-1)，则B' * (B'^-1) = I 单位矩阵。两边左乘B' 逆矩阵。 （图4、5）

（3）得到如下原始数据D的计算公式 。

minio 存储机制2.png

（4）对D重新编码，可得到丢失的编码

二、开始验证搭建单机

minio支持多种server启动模式：

 

2.1 单机部署 （学习用，无备份）（注意，只要指定目录一致，基于docker、原始、k8s部署都可以同一个服务）

minio server的standalone模式，即要管理的磁盘都在host本地。该启动模式一般仅用于实验环境、测

试环境的验证和学习使用。在standalone模式下，还可以分为non-erasure code mode和erasure

code mode。

non-erasure code mode

在此启动模式下，对于每一份对象数据，minio直接在data下面存储这份数据，不会建立副本，也不会

启用纠删码机制。因此，这种模式无论是服务实例还是磁盘都是“单点”，无任何高可用保障，磁盘损坏

就表示数据丢失。

erasure code mode

此模式为minio server实例传入多个本地磁盘参数。一旦遇到多于一个磁盘参数，minio server会自动

启用erasure code mode。erasure code对磁盘的个数是有要求的，如不满足要求，实例启动将失

败。 erasure code启用后，要求传给minio server的endpoint(standalone模式下，即本地磁盘上的目

录)至少为4个。

 

2.1.1基于centos7

操作系统

CPU架构

地址

GNU/Linux国内

64-bit Intel

http://dl.minio.org.cn/server/minio/release/linux-amd64/minio

GNU/Linux国外

64-bit Intel

 https://dl.minio.io/server/minio/release/linux-amd64/minio

 

①使用wget下载

wget        -q        http://dl.minio.org.cn/server/minio/release/linux-amd64/minio   (经常访问不到，看天吃饭)

自己的服务器： http://122.9.200.201:9000/erasurecode/minio

②为下载的minion添加执行权限，变成可执行文件

chmod +x minio

③启动minio server服务，指定数据存储目录/mnt/data （若/mnt/data 目录不存在，要先手动新建一个）

./minio server /mnt/data

 

④默认用户名密码minioadmin:minioadmin，修改默认用户名密码可以使用：

export MINIO_ROOT_USER=admin

export MINIO_ROOT_PASSWORD=12345678

⑤默认的配置目录是${HOME}/.minio，可以通过--config-dir命令自定义配置目录：

./minio server --config-dir /mnt/config /mnt/data

⑥控制台监听端口是动态生成的（也就是每次重启，端口都不一样），可以通过--console-address   ":port"指定静态端口

./minio server --console-address ":9001" /mnt/data

⑦访问minio控制台： http://47.109.88.153:50000/dashboard

2.1.2基于docker

 ①查找镜像，并拉取，查看是否拉取成功（可以不做，创建容器时docker自己去下载就好了）

 docker search minio

 docker pull minio/minio

 docker images

②创建并启动一个守护式进程

#创建将来的数据存放文件夹，及配置文件夹

-p ~/minio/data

mkdir -p ~/minio/config

 

#创建并启动守护式容器

docker run  -di \

  -p 9000:9000 \

  -p 9001:9001 \

  --name minio-single \

  -v ~/minio/data:/data \

  -v ~/minio/config:/config \

  -e "MINIO_ROOT_USER=admin" \

  -e "MINIO_ROOT_PASSWORD=123654" \

  minio/minio server /data --console-address ":9001"

 

 

然后发现容器创建成功了，但是没有运行成功，查看docker日志，提示密码要8位及以上

docker  logs  -f  minio-single

 

删除容器

docker rm minio-single

重新再来一遍

docker run  -di \

  -p 9000:9000 \

  -p 9001:9001 \

  --name minio-single \

  -v ~/minio/data:/data \

  -v ~/minio/config:/config \

  -e "MINIO_ROOT_USER=wyy" \

  -e "MINIO_ROOT_PASSWORD=wuyywu00237" \

  minio/minio server /data --console-address ":9001"

 

ok，成功了。

需要注意的是api的访问接口是9000，控制台访问是9001

进入docker容器目录：

docker exec -it minio-single /bin/sh

③访问控制台 MinIO Console

 

④上传资源后访问（记得设计桶权限为public）然后随便玩了

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/142487.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

使用Qt 搭建简单雷达

使用Qt 搭建简单雷达

目录 1.简易雷达图思维导图 2.结果展示图 3.制作流程 3.1表盘的绘制 3.1.1 绘制底色 ​编辑 3.1.2 绘制大圆 3.3.3绘制小圆 3.3.4 绘制小圆的内容 3.3.5 绘制表盘刻度和数字标注 3.3.6 绘制指针 3.3.7 绘制扇形 3.2 设置定时器让表盘动起来 3.3.1 设置动态指针…
阅读更多...
Fastjson反序列化漏洞——JNDI注入

Fastjson反序列化漏洞——JNDI注入

一.前言 之前使用反序列化和序列化时写入的到文件里面的，真实环境中，也是这样吗？ 当然不是了，通过二进制，字节流数据进行的。 为什么会有JNDI？ 由于http和ftp传输消耗资源仍然很大，就有了JRM…
阅读更多...
EasyRecovery 17完美破解版 2024 年最新永久免费使用 EasyRecovery激活图文教程

EasyRecovery 17完美破解版 2024 年最新永久免费使用 EasyRecovery激活图文教程

我们在平时使用电脑或者操作文件过程中，或多或少都有过格式化文件或者为了方便，直接摁住了shifitdelete键；删除后发现，我们删错了，有些文件不是我们要删的，甚至有的文件是特别重要的；这时候恢复…
阅读更多...
基于java 的医院排号管理系统设计与实现

基于java 的医院排号管理系统设计与实现

博主介绍：专注于Java .net php phython 小程序 等诸多技术领域和毕业项目实战、企业信息化系统建设，从业十五余年开发设计教学工作 ☆☆☆ 精彩专栏推荐订阅☆☆☆☆☆不然下次找不到哟 我的博客空间发布了1000毕设题目 方便大家学习使用 感兴趣的可以…
阅读更多...
【无人机设计与控制】四旋翼无人机俯仰姿态保持模糊PID控制(带说明报告）

【无人机设计与控制】四旋翼无人机俯仰姿态保持模糊PID控制(带说明报告）

摘要 为了克服常规PID控制方法在无人机俯仰姿态控制中的不足，本研究设计了一种基于模糊自适应PID控制的控制律。通过引入模糊控制器，实现了对输入输出论域的优化选择，同时解决了模糊规则数量与控制精度之间的矛盾。仿真结果表明，…
阅读更多...
FastGPT一站式解决方案[2-应用篇]：轻松实现RAG-智能问答系统，AI工作流、核心模块讲解

FastGPT一站式解决方案[2-应用篇]：轻松实现RAG-智能问答系统，AI工作流、核心模块讲解

FastGPT一站式解决方案[2-应用篇]：轻松实现RAG-智能问答系统，AI工作流、核心模块讲解 1.FastGPT快速使用：基本设置、核心模块讲解 1.1 知识库设置 首先我们需要创建一个知识库。 知识库创建完之后我们需要上传一点内容。 上传内容这里有四种模式： 手动输入：手动输入问…
阅读更多...
【网络】高级IO——poll版本TCP服务器

【网络】高级IO——poll版本TCP服务器

目录 前言 一，poll函数 1.1.参数一:fds 1.2.参数二，nfds 1.3.参数三，timeout 1.4.返回值 1.5.poll函数简单使用示例 二，poll版TCP服务器编写 2.1.编写 2.2.poll的优缺点 2.3.源代码 前言 由于select函数有下面几个特别…
阅读更多...
奥维互动地图经纬度导入，再导出ovjsn再转化为kml格式

奥维互动地图经纬度导入，再导出ovjsn再转化为kml格式

一、使用python将excel表中的经纬度换算成小数格式。 在文件上看到的经纬度是东经 1165′27.78″，北纬 2310′57.18″，要转化为116.09105,23.182550000000003 格式。如果要用vba编写函数，可能比较麻烦，为此我使用python来转化 i…
阅读更多...
【例题】lanqiao3412 最小化战斗力差距

【例题】lanqiao3412 最小化战斗力差距

样例输入 3 1 2 3样例输出 1说明 样例中，当 a[1,3]，b[2]，此时战斗力差距为 1，无法得到比 1 更小的安排方式。 解题思路 目标是|max(a)-min(b)|最小，希望a里的最大值和b里的最小值能差距最小。 转化成：…
阅读更多...
2024/9/16 英语每日一段

2024/9/16 英语每日一段

Stark argues that, in their gummies, at least,“The total sugar in a serving is less than in half a cherry.”Of course, cherries also provide fibre, vitamin C, and antioxidants--and 14 of them would count as one of your five-a-day. Artificial sweeteners to…
阅读更多...
Linux操作系统文件权限管理

Linux操作系统文件权限管理

Linux操作系统下文件的权限分为当前用户权限、用户组权限和其他用户权限，然后每一类用户或组又分为读权限(r)、写权限(w)和可执行权限(x)。 如图1，打开任一目录，右键单击文件，在弹出菜单选择“属性”，在弹出的属性选项…
阅读更多...
2022高教社杯全国大学生数学建模竞赛C题 问题一(1) Python代码演示

2022高教社杯全国大学生数学建模竞赛C题 问题一(1) Python代码演示

目录 问题 11.1 对这些玻璃文物的表面风化与其玻璃类型、纹饰和颜色的关系进行分析数据探索 -- 单个分类变量的绘图树形图条形图扇形图雷达图Cramer’s V 相关分析统计检验列联表分析卡方检验Fisher检验绘图堆积条形图分组条形图分类模型Logistic回归随机森林import matplotlib…
阅读更多...
1.3 计算机网络的分类

1.3 计算机网络的分类

欢迎大家订阅【计算机网络】学习专栏，开启你的计算机网络学习之旅！ 文章目录 前言一、按分布范围分类二、按传输技术分类三、按拓扑结构分类四、按使用者分类五、按传输介质分类 前言 计算机网络根据不同的标准可以被分为多种类型，本章从分布…
阅读更多...
C语言刷题日记(附详解)(5)

C语言刷题日记(附详解)(5)

一、选填部分 第一题: 下面代码在64位系统下的输出为( ) void print_array(int arr[]) {int n sizeof(arr) / sizeof(arr[0]);for (int i 0; i < n; i)printf("%d", arr[i]); } int main() {int arr[] { 1,2,3,4,5 };print_array(arr);return 0; } A . 1…
阅读更多...
HarmonyOS使用LocationButton获取地理位置

HarmonyOS使用LocationButton获取地理位置

LocationButton LocationKit getAddressesFromLocation方法 步骤&#xff1a; 整合 LocationButton并获取经纬度通过 LocationKit 将经纬度转为地址信息将地址信息渲染到页面上处理异常情况&#xff08;闪退&#xff09; LocationButton({ icon: LocationIconStyle.LINE…
阅读更多...
robomimic基础教程（一）——基本概念

robomimic基础教程（一）——基本概念

robosuite和robomimic都是由ARISE Initiative开发的开源工具&#xff0c;旨在推进机器人学习和机器人操作领域的研究。 一、基本概念 robomimic是一个用于机器人示范学习的框架。它提供了在机器人操作领域收集的大量示范数据集&#xff0c;以及用于从这些数据集中学习的离线学…
阅读更多...
初始爬虫6

初始爬虫6

数据提取 数据提取总结 响应分类 结构化 json数据&#xff08;高频出现&#xff09; json模块 jsonpath模块 xml数据&#xff08;低频出现&#xff09; re模块 …
阅读更多...
基于Python DoIPClient库的DoIP上位机开发手顺

基于Python DoIPClient库的DoIP上位机开发手顺

代码 address, announcement DoIPClient.await_vehicle_announcement()logical_address announcement.logical_addressip, port addressprint(ip, port, logical_address) 效果 代码 address, announcement DoIPClient.get_entity(ecu_ip_addresssIp, protocol_version3…
阅读更多...
重生归来之挖掘stm32底层知识（1）——寄存器

重生归来之挖掘stm32底层知识（1）——寄存器

概念理解 要使用stm32首先要知道什么是引脚和寄存器。 如下图所示&#xff0c;芯片通过这些金属丝与电路板连接&#xff0c;这些金属丝叫做引脚。一般做软件开发是不需要了解芯片是怎么焊的&#xff0c;只要会使用就行。我们平常通过编程来控制这些引脚的输入和输出&#xff0c…
阅读更多...
CefSharp_Vue交互(Element UI)_WinFormWeb应用（3）---通过页面锁屏和关机（含示例代码）

CefSharp_Vue交互(Element UI)_WinFormWeb应用（3）---通过页面锁屏和关机（含示例代码）

一、预览 实现功能：通过vue标题栏按钮锁屏和关机 1.1 预览 1.2 代码 锁屏代码csharp LockWorkStation() 关机代码chsharp 注意vue代码参数和此参数一致（0/1/2） 方法ExitWindowsEx()
阅读更多...
最新文章

Copyright @ 2022~2023