【Java互联网技术】MinIO分布式文件存储服务

应用场景

互联网海量非结构化数据的存储

基本概念

Object：存储的基本对象，如文件、字节流等

Bucket：存储Object的逻辑空间，相当于顶层文件夹

Drive：存储数据的磁盘，在MinIO启动时，以参数的方式传入

Set：多个Drive的集合。分布式部署时划分一个或多个Set，一个Object存在Set上，Set中的每个Drive中都会有相同的Object

特点

  • 部署简单，整体只有一个二进制文件，还可支持各种平台
  • 支持海量存储，单个对象最大可达5TB
  • 兼容Amazon S3接口，充分考虑开发人员的需求和体验
  • 低冗余且磁盘损坏高容忍
  • 读写性能优异（HDD在16个结点的MinIO集群的读速度可达10GB/s，写速度可达8.5GB/s）

纠删码

Erasure Code（EC）。MinIO使用纠删码来保证高可靠性，使用highwayhash来处理数据损坏。n份原始数据保存后会生成m份纠删码算法转换后的数据，当有任意小于等于m份的数据损坏，就能通过剩下的额数据还原出来。

存储形式

文件上传到MinIO后，存储在对应的磁盘中，以Bucket名称为目录，文件名为下一级目录，这个目录下保存文件的编码数据块、校验块、元数据文件（json格式）

Docker部署MinIO（普通模式）

1、拉取镜像

docker pull minio/minio

2、创建挂载目录

mkdir /wanfeng/minio/data
mkdir /wanfeng/minio/config

3、运行容器

docker run -p 9000:9000 -p 9001:9001 --name wanfeng_minio --privileged=true \
-e "MINIO_ROOT_USER=登录用户名" \
-e "MINIO_ROOT_PASSWORD=登录密码" \
-v /wanfeng/minio/data:/data \
-v /wanfeng/minio/config:/root/.minio \
-d minio/minio server /data --console-address ":9001"
  • -p 9000:9000 -p 9001:9001：必须暴露出两个端口用户客户端和服务端
  • MINIO_ROOT_USER：用户名
  • MINIO_ROOT_PASSWORD：密码
  • /wanfeng/minio/data:/data：数据文件映射目录
  • /wanfeng/minio/config:/root/.minio：配置文件映射目录
  • –console-address “:9001”：指定服务端端口号（通过该端口访问minio服务）

Docker部署MinIO（纠删码模式）

纠删码的作用就是在上传一份数据后，会生成n个原始数据块和n个奇偶校验块，若任意丢失不超过n块盘，都可以进行数据恢复。

1、在docker启动时增加多块盘

docker run -p 9000:9000 -p 9001:9001 --name wanfeng_minio --privileged=true \
-e "MINIO_ROOT_USER=登录用户名" \
-e "MINIO_ROOT_PASSWORD=密码" \
-v /wanfeng/minio/config:/root/.minio \
-v /wanfeng/minio/data1:/data1 \
-v /wanfeng/minio/data2:/data2 \
-v /wanfeng/minio/data3:/data3 \
-v /wanfeng/minio/data4:/data4 \
-v /wanfeng/minio/data5:/data5 \
-v /wanfeng/minio/data6:/data6 \
-d minio/minio server /data{1...6} --console-address ":9001"

Docker部署MinIO（分布式集群）

分布式集群可以避免单台服务器故障带来的影响（单点故障），将minio

Java API整合MinIO

1、引入依赖

<dependency><groupId>io.minio</groupId><artifactId>minio</artifactId><version>8.3.0</version>
</dependency><!-- https://mvnrepository.com/artifact/me.tongfei/progressbar -->
<dependency><groupId>me.tongfei</groupId><artifactId>progressbar</artifactId><version>0.5.3</version>
</dependency><dependency><groupId>com.squareup.okhttp3</groupId><artifactId>okhttp</artifactId><version>4.10.0</version>
</dependency>

2、API使用

@SpringBootTest
public class MinioApplicationTests {private MinioClient minioClient;public static final String IMAGE_FILE_NAME = "wallhaven01.jpg";public static final String TEXT_FILE_NAME = "笔记.txt";public static final String UPLOAD_FOLDER_PATH = "src/test/resources/upload";public static final String DOWNLOAD_FOLDER_PATH = "src/test/resources/download";@BeforeEachpublic void connectMinio(){minioClient = MinioClient.builder().endpoint(ServerConstant.CENTOS_IP_ADDRESS, 9000, false).credentials(LoginConstant.MINIO_ROOT_USERNAME, LoginConstant.MINIO_ROOT_PASSWORD).build();}/*** 本地文件上传*/@Testpublic void uploadFile(){try {//判断bucket是否存在boolean bucketExists = minioClient.bucketExists(BucketExistsArgs.builder().bucket("ectest").build());if(!bucketExists){minioClient.makeBucket(MakeBucketArgs.builder().bucket("ectest").build());}else{System.out.println("Bucket[ectest] already exists");}/*** bucket：指定上传的bucket* object：上传到minio的路径（到文件名）* filename：上传的本地文件路径（到文件名）*/minioClient.uploadObject(UploadObjectArgs.builder().bucket("ectest").object(IMAGE_FILE_NAME).filename(UPLOAD_FOLDER_PATH + File.separator + IMAGE_FILE_NAME).build());} catch (Exception e){e.printStackTrace();}}/*** 上传流*/@Testpublic void uploadInputStream() throws Exception {File file = new File(UPLOAD_FOLDER_PATH + File.separator + IMAGE_FILE_NAME);FileInputStream fileInputStream = new FileInputStream(file);minioClient.putObject(PutObjectArgs.builder().bucket("ectest").object("image_" + NumberFactory.getRandomNumber(5) + ".jpg" ).stream(fileInputStream, fileInputStream.available(), -1).build());fileInputStream.close();}/*** 下载文件*/@Testpublic void downloadFile(){try {//判断bucket是否存在boolean bucketExists = minioClient.bucketExists(BucketExistsArgs.builder().bucket("ectest").build());if(!bucketExists){minioClient.makeBucket(MakeBucketArgs.builder().bucket("ectest").build());}else{System.out.println("Bucket[ectest] already exists");}/*** bucket：指定上传的bucket* object：minio中的文件路径* filename：下载到本地的路径（到文件名）*/minioClient.downloadObject(DownloadObjectArgs.builder().bucket("ectest").object(IMAGE_FILE_NAME).filename(DOWNLOAD_FOLDER_PATH + File.separator + "minio_image_" + NumberFactory.getRandomNumber(8) + ".jpg").build());}catch (Exception e){e.printStackTrace();}}/*** 下载流*/@Testpublic void downloadInputStream() throws Exception{//获取流InputStream inputStream = minioClient.getObject(GetObjectArgs.builder().bucket("ectest").object(IMAGE_FILE_NAME).build());File file = new File(DOWNLOAD_FOLDER_PATH + File.separator + "image_aaa.jpg");FileUtils.copyInputStreamToFile(inputStream, file);inputStream.close();//直接把流保存到本地文件minioClient.downloadObject(DownloadObjectArgs.builder().bucket("ectest").object(IMAGE_FILE_NAME).filename(DOWNLOAD_FOLDER_PATH + File.separator + "image_bbb.jpg").build());}}

SpringBoot整合MinIO

本质就是把连接minio服务的参数放在配置文件中，并通过Bean对象在SpringBoor应用启动时生成MinioClient对象。

1、配置文件application.yml

minio:endpoint: http://ip:portrootUserName: 用户名rootPassword: 密码bucketName: bucket名称

2、读取配置属性的类

@Data
@Component
@ConfigurationProperties(prefix = "minio")
public class MinioProperties {private String endpoint;private String rootUserName;private String rootPassword;private String bucketName;
}

3、生成MinioClient对象的类

@Configuration
public class MinioClientFactory {@Resourceprivate MinioProperties minioProperties;@Beanpublic MinioClient getDefaultMinioClient(){return MinioClient.builder().endpoint(minioProperties.getEndpoint()).credentials(minioProperties.getRootUserName(), minioProperties.getRootPassword()).build();}
}

4、编写controller测试

@RestController
@Slf4j
@RequestMapping("/minio")
public class MinioController {@Resourceprivate MinioClient minioClient;@Value("${minio.bucketName}")private String bucketName;@GetMapping("/list_object_name")public List<String> listObject() throws Exception {Iterable<Result<Item>> objectResults = minioClient.listObjects(ListObjectsArgs.builder().bucket(bucketName).build());List<String> objectNameList = new ArrayList<>();for (Result<Item> objectResult : objectResults) {Item item = objectResult.get();objectNameList.add(item.objectName());}return objectNameList;}
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/149962.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

面试高频手撕算法 - 01背包系列

面试高频手撕算法 - 01背包系列

1. 前言 为什么要专门去搞一下这个背包问题呢 ? 因为作者已经在两场面试中吃了这个亏, 尤其是在面深信服的测开岗的时候, 一面的难度适中, 加上面试官也没为难我, 侥幸让我过了. (以下是一面问题) 二面的时候, 主要问了项目和手撕算法. 当时项目个人觉得面的还不错, 因为本人是…
阅读更多...
基于SpringBoot的电影评论网站

基于SpringBoot的电影评论网站

目录 前言 一、技术栈 二、系统功能介绍 电影信息管理 电影评论回复 电影信息 用户注册 三、核心代码 1、登录模块 2、文件上传模块 3、代码封装 前言 随着信息技术在管理上越来越深入而广泛的应用&#xff0c;管理信息系统的实施在技术上已逐步成熟。本文介绍了电影评…
阅读更多...
八、【快速选择工具组】

八、【快速选择工具组】

文章目录 对象选择工具快速选择工具魔棒工具 对象选择工具 当我们选择对象选择工具时&#xff0c;需要先注意上边有一个循环的圆&#xff0c;它会进行内容识别&#xff0c;当识别完成会停止旋转。这个时候我们按住n键&#xff0c;或者将鼠标放上对应的图形时会出现选中的颜色。…
阅读更多...
lambda表达式在实际开发中的使用

lambda表达式在实际开发中的使用

作为写代码已经两年的程序员了&#xff0c;lambda已经是再熟悉不过了。其实在众多的编程语言中&#xff0c;python javascript java中都有lambda的影子。包括比较新的编程语言golang&#xff0c;到最后发现其实各种语言的语法和特性都是相互抄袭的&#xff0c;所以在接触新技术…
阅读更多...
铝合金分类及相关总结

铝合金分类及相关总结

1 铝合金常识 铝合金是工业中应用最广泛的一类有色金属结构材料&#xff0c;在航空、航天、汽车、机械制造、船舶及化学工业中已大量应用。对于常用的铝合金&#xff0c;我们通常根据其铝及其他元素的含量&#xff0c;将其分为两大类&#xff0c;分别是纯铝和铝合金。对这两大类…
阅读更多...
多源蒸馏域适应

多源蒸馏域适应

方法 D是域判别器&#xff0c;C是分类器。阶段3选择更接近目标的源训练样本用来微调C。阶段4对于每个源域&#xff0c;基于阶段2学到的目标编码器提取图像特征。接着结合每个源分类器的不同预测获得最终预测Result( x T x_T xT​) ∑ i 1 N w i C i ′ ( F i T ( x T ) ) \sum…
阅读更多...
Java8 Lambda.stream.sorted() 方法使用浅析分享

Java8 Lambda.stream.sorted() 方法使用浅析分享

文章目录 Java8 Lambda.stream.sorted() 方法使用浅析分享sorted() 重载方法一升序降序 sorted() 重载方法二升序降序多字段排序 mock代码 Java8 Lambda.stream.sorted() 方法使用浅析分享 本文主要分享运用 Java8 中的 Lambda.stream.sorted方法排序的使用&#xff01; sorted…
阅读更多...
【C++】：类和对象（2）

【C++】：类和对象（2）

朋友们、伙计们&#xff0c;我们又见面了&#xff0c;本期来给大家解读一下有关Linux的基础知识点&#xff0c;如果看完之后对你有一定的启发&#xff0c;那么请留下你的三连&#xff0c;祝大家心想事成&#xff01; C 语 言 专 栏&#xff1a;C语言&#xff1a;从入门到精通 数…
阅读更多...
逐步解决Could not find artifact com:ojdbc8:jar:12

逐步解决Could not find artifact com:ojdbc8:jar:12

Could not find artifact com:ojdbc8:jar:12 in central (https://repo.maven.apache.org/maven2) 原因&#xff1a; ojdbc8:jar:12 属于Oracle 数据库链接的一个程序集&#xff0c;缺失的话很有可能会影响数据库链接&#xff0c;蝴蝶效应产生不可预测的BUG&#xff01;但是版…
阅读更多...
苹果手机怎么备份所有数据？2023年iPhone 15数据备份常用的3种方法！

苹果手机怎么备份所有数据？2023年iPhone 15数据备份常用的3种方法！

当苹果手机需要进行刷机、恢复出厂设置、降级iOS系统等操作时&#xff0c;我们需要将自己的iPhone数据提前进行备份。 特别是在苹果发布新iOS系统时&#xff0c;总有一些小伙伴因为升降级系统&#xff0c;而导致了重要数据的丢失。 iPhone中储存着重要的照片、通讯录、文件等数…
阅读更多...
企业使用SSL证书对于SEO有多重要

企业使用SSL证书对于SEO有多重要

在当今竞争激烈的在线市场中&#xff0c;搜索引擎优化&#xff08;SEO&#xff09;是企业获得更高排名和增加网站流量的关键。在SEO策略中&#xff0c;企业使用SSL证书已经成为多重不可忽视的重要因素。让我们一起探究企业使用SSL证书对于SEO的重要性。 首先&#xff0c;搜索引…
阅读更多...
多实例学习MIL（easy / hard）

多实例学习MIL（easy / hard）

多示例学习&#xff08;Multiple Instance Learning&#xff09; - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/377220948 多示例学习 和弱监督&#xff08;weakly supervised&#xff09;有一定的关系&#xff0c;弱监督weakly supervised有三个含义&#xff08;或者说三…
阅读更多...
【附代码】使用Shapely计算点面关系

【附代码】使用Shapely计算点面关系

文章目录 相关文献基础点面关系展示图点面关系代码 作者&#xff1a;小猪快跑 基础数学&计算数学&#xff0c;从事优化领域5年&#xff0c;主要研究方向&#xff1a;MIP求解器、整数规划、随机规划、智能优化算法 本文档介绍如何使用 Shapely Python 包 计算几何点面关系。…
阅读更多...
Linux CentOS7 vim宏操作

Linux CentOS7 vim宏操作

vim的macro就是用来解决重复的问题。在vim寄存器的文章里面已经对macro有所涉及&#xff0c;macro的操作都是以文本的方式存放在寄存器中。 宏是一组命令的集合&#xff0c;应用极其广泛&#xff0c;包括MS Office中的word编辑器&#xff0c;excel编辑器和各种文本编辑器&…
阅读更多...
输入电压转化为电流性 5~20mA方案

输入电压转化为电流性 5~20mA方案

输入电压转化为电流性 5~20mA方案 方案一方案二方案三 方案一 XTR111是一款精密的电压-电流转换器是最广泛应用之一。原因有二&#xff1a;一是线性度非常好、二是价格便宜。总结成一点&#xff0c;就是性价比高。 典型电路 最终电路 Z1二极管处输出电流表达式&#xff1a;…
阅读更多...
Linux-centos系统安装MySql5.7

Linux-centos系统安装MySql5.7

1.配置yum仓库 1.1配置yum仓库 rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022 1.2 安装Mysql yum库 rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm 2.使用yum安装Msql 说明&#xff1a;下载大约5分钟左右 yum -y install mysq…
阅读更多...
2023计算机保研——双非上岸酒吧舞

2023计算机保研——双非上岸酒吧舞

我大概是从22年10月份开始写博客的&#xff0c;当时因为本校专业的培养方案的原因&#xff0c;课程很多&#xff0c;有些知识纸质记录很不方便&#xff0c;于是选择了打破了自己的成见使用博客来记录学习生活。对于我个人而言&#xff0c;保研生活在前一大半过程中都比较艰难&a…
阅读更多...
网络安全行业真的内卷了吗？网络安全就业就业必看

网络安全行业真的内卷了吗？网络安全就业就业必看

前言 有一个特别流行的词语叫做“内卷”&#xff1a; 城市内卷太严重了&#xff0c;年轻人不好找工作&#xff1b;教育内卷&#xff1b;考研内卷&#xff1b;当然还有计算机行业内卷…… 这里的内卷当然不是这个词原本的意思&#xff0c;而是“过剩”“饱和”的替代词。 按照…
阅读更多...
c语言进阶部分详解（详细解析字符串常用函数，并进行模拟实现）

c语言进阶部分详解（详细解析字符串常用函数，并进行模拟实现）

前段时间也是把指针较为详细系统的讲解完毕&#xff0c;接下来介绍一个全新的知识点&#xff0c;就是字符函数和字符串函数 前几期文章可进我主页观看&#xff1a;总之就是非常唔姆_Matlab,经验分享,c语言题目分享-CSDN博客 想要源代码可以去我的github看看&#xff1a;Neros…
阅读更多...
5. Mysql卸载

5. Mysql卸载

Mysql卸载 已经成功安装mysql&#xff0c;没有必要卸载&#xff0c;卸载之后不一定再次会安装成功。 双击安装包 检查如下三个目录是否有mysql&#xff0c;有的话&#xff0c;删除掉即可&#xff08;前提&#xff0c;电脑只有Mysql8,否则mysql其他版本也会被删除&#xff09;…
阅读更多...
最新文章

Copyright @ 2022~2023