canal1.1.7使用canal-adapter进行mysql同步数据

重要的事情说前面，canal1.1.8需要jdk11以上，大家自行选择，我这由于项目原因只能使用1.1.7兼容版的

文章参考地址：

canal 使用详解_canal使用-CSDN博客

使用canal.deployer-1.1.7和canal.adapter-1.1.7实现mysql数据同步_mysql更新数据时canal.adapter1.1.7不能同步-CSDN博客
canal使用-CSDN博客
 

下载

下载地址：Releases · alibaba/canal · GitHub

下载使用这三个就可以。如果不用管理平台的话可以不下载canal-admin

canal简介

使用官方描述粘贴一下

canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费

早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。

基于日志增量订阅和消费的业务包括

  • 数据库镜像
  • 数据库实时备份
  • 索引构建和实时维护(拆分异构索引、倒排索引等)
  • 业务 cache 刷新
  • 带业务逻辑的增量数据处理

当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

MySQL主备复制原理
  • MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)
  • MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
  • MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据
canal 工作原理
  • canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
  • MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
  • canal 解析 binary log 对象(原始为 byte 流)

 前置准备

首先要检测mysql是否开启binlog,如果未开启需要修改my.cnf配置文件，进行开启

--查看是否开启bin_log日志，value = on表示开启
SHOW VARIABLES LIKE 'log_bin';

--查看最新的bin_log

show master status;
-- 查看bin_log日志文件
SHOW BINARY LOGS;
--查看bin_log写入状态
SHOW MASTER STATUS;
--查看bin_log存储格式 = row
SHOW VARIABLES LIKE 'binlog_format';

#mysql开启binlog

        # 打开binlog

        log-bin=mysql-bin

        # 选择ROW(行)模式

        binlog-format=ROW

        # 配置MySQL replaction需要定义，不要和canal的slaveId重复

        server_id=1

mysql创建一个用户，也可以使用自己已有的用户

-- 使用命令登录：mysql -u root -p
-- 创建用户 用户名：canal 密码：Canal@123456
create user 'canal'@'%' identified by 'Canal@123456';
-- 授权 *.*表示所有库
grant SELECT, REPLICATION SLAVE, REPLICATION CLIENT on *.* to 'canal'@'%' identified by 'Canal@123456';
FLUSH PRIVILEGES;

 这样前置初始化条件就完成了。

安装canal-admin

将文件下载下来之后解压缩得到如下文件

首先打开conf目录下的application.yml文件，可以看到标准的spring-boot配置

server:port: 8089
spring:jackson:date-format: yyyy-MM-dd HH:mm:sstime-zone: GMT+8spring.datasource:address: 127.0.0.1:3306 #数据库连接地址database: canal_manager #数据库名称username: #用户名password: #密码driver-class-name: com.mysql.jdbc.Driverurl: jdbc:mysql://${spring.datasource.address}/${spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=falsehikari:maximum-pool-size: 30minimum-idle: 1canal:adminUser: admin #管理员登录用户adminPasswd: 123456 #登录密码

首先在修改配置之前要先创建一个canal_manager数据库，用来存储canal的配置，canal_manager数据库的sql脚本在config/canal_manager.sql，与这个配置文件同级。运行一下就好了。运行后的表：

然后将上面的address(数据库连接地址)、username(用户名),password(密码)修改一下，改成你本地的连接。

adminUser和adminPasswd默认用户名密码是：admin和123456。

启动canal-admin：在bin/startup.bat(我是windows系统)双击启动

启动后没有报错就是成功了，在浏览器输入登录地址localhost:8089,用户名密码：admin  123456就进入管理界面了，到这canal-admin算是配置玩了，简单吧

安装canal.deployer

接下来我们可以安装canal的server端了，正常不用ali的管理视图和同步监听，只安装这一个文件就可以，但咱们要做就做全套呀，主打不写一行代码。

将canal-deployer压缩包解压得到如下的文件。

还是老样子，打开conf文件夹如下：

文件配置选择二选一

这里有一个canal.properties和canal_local.properties两个文件

如果单机配置使用canal_local.properties配置文件好点，因为配置少，如果使用canal_local.properties配置文件的话，就把canal_local.properties名称改为canal.properties，之前的canal.properties可以换个名字或者删掉。

canal_local.properties

贴一下canal_local.properties的配置让你们感受一下

# register ip
canal.register.ip =

# canal admin config
canal.admin.manager = 127.0.0.1:8089  #canal-admin的连接地址
canal.admin.port = 11110 #默认
canal.admin.user = admin #canal-admin的用户名
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441  #canal-admin的登录密码123456的密文自己去上面说的数据库canal_manager的表canal_user里查看
# admin auto register
canal.admin.register.auto = true
canal.admin.register.cluster =
canal.admin.register.name = 

当然使用默认的canal.properties也可以，自己选择，我们就以默认的canal.properties为例，

canal.properties配置：

单机配置只需要修改这几个参数就可以


canal.admin.manager = 127.0.0.1:8089  #canal-admin的连接地址
canal.admin.port = 11110  #默认
canal.admin.user = admin #canal-admin的用户名
canal.admin.passwd = 6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9  #canal-admin的登录密码123456的密文，取值见上面说明


# 启动端口，也是客户端连接的端口
canal.port = 11111
# tcp, kafka, rocketMQ, rabbitMQ, pulsarMQ 与canal 连接的客户端
# 如果是通过代码进行连接，这里为tcp
canal.serverMode = tcp
# canal 加载mysql 的实例
canal.destinations = example

 canal.destinations理解，引用之前一个博主的说法。

canal.properties的整体配置：

#################################################
######### 		common argument		#############
#################################################
# tcp bind ip
canal.ip =
# register ip to zookeeper
canal.register.ip =127.0.0.1
canal.port = 11111
canal.metrics.pull.port = 11112
# canal instance user/passwd
# canal.user = canal
# canal.passwd = E3619321C1A937C46A0D8BD1DAC39F93B27D4458# canal admin config
canal.admin.manager = 127.0.0.1:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9
# admin auto register
canal.admin.register.auto = true
#canal.admin.register.cluster =
#canal.admin.register.name =canal.zkServers =
# flush data to zk
canal.zookeeper.flush.period = 1000
canal.withoutNetty = false
# tcp, kafka, rocketMQ, rabbitMQ, pulsarMQ
canal.serverMode = tcp
# flush meta cursor/parse position to file
canal.file.data.dir = ${canal.conf.dir}
canal.file.flush.period = 1000
## memory store RingBuffer size, should be Math.pow(2,n)
canal.instance.memory.buffer.size = 16384
## memory store RingBuffer used memory unit size , default 1kb
canal.instance.memory.buffer.memunit = 1024 
## meory store gets mode used MEMSIZE or ITEMSIZE
canal.instance.memory.batch.mode = MEMSIZE
canal.instance.memory.rawEntry = true## detecing config
canal.instance.detecting.enable = false
#canal.instance.detecting.sql = insert into retl.xdual values(1,now()) on duplicate key update x=now()
canal.instance.detecting.sql = select 1
canal.instance.detecting.interval.time = 3
canal.instance.detecting.retry.threshold = 3
canal.instance.detecting.heartbeatHaEnable = false# support maximum transaction size, more than the size of the transaction will be cut into multiple transactions delivery
canal.instance.transaction.size =  1024
# mysql fallback connected to new master should fallback times
canal.instance.fallbackIntervalInSeconds = 60# network config
canal.instance.network.receiveBufferSize = 16384
canal.instance.network.sendBufferSize = 16384
canal.instance.network.soTimeout = 30# binlog filter config
canal.instance.filter.druid.ddl = true
canal.instance.filter.query.dcl = false
canal.instance.filter.query.dml = false
canal.instance.filter.query.ddl = false
canal.instance.filter.table.error = false
canal.instance.filter.rows = false
canal.instance.filter.transaction.entry = false
canal.instance.filter.dml.insert = false
canal.instance.filter.dml.update = false
canal.instance.filter.dml.delete = false# binlog format/image check
canal.instance.binlog.format = ROW,STATEMENT,MIXED 
canal.instance.binlog.image = FULL,MINIMAL,NOBLOB# binlog ddl isolation
canal.instance.get.ddl.isolation = false# parallel parser config
canal.instance.parser.parallel = true
## concurrent thread number, default 60% available processors, suggest not to exceed Runtime.getRuntime().availableProcessors()
#canal.instance.parser.parallelThreadSize = 16
## disruptor ringbuffer size, must be power of 2
canal.instance.parser.parallelBufferSize = 256# table meta tsdb info
canal.instance.tsdb.enable = true
canal.instance.tsdb.dir = ${canal.file.data.dir:../conf}/${canal.instance.destination:}
canal.instance.tsdb.url = jdbc:h2:${canal.instance.tsdb.dir}/h2;CACHE_SIZE=1000;MODE=MYSQL;
canal.instance.tsdb.dbUsername = canal
canal.instance.tsdb.dbPassword = canal
# dump snapshot interval, default 24 hour
canal.instance.tsdb.snapshot.interval = 24
# purge snapshot expire , default 360 hour(15 days)
canal.instance.tsdb.snapshot.expire = 360#################################################
######### 		destinations		#############
#################################################
canal.destinations = example
# conf root dir
canal.conf.dir = ../conf
# auto scan instance dir add/remove and start/stop instance
canal.auto.scan = true
canal.auto.scan.interval = 5
# set this value to 'true' means that when binlog pos not found, skip to latest.
# WARN: pls keep 'false' in production env, or if you know what you want.
canal.auto.reset.latest.pos.mode = falsecanal.instance.tsdb.spring.xml = classpath:spring/tsdb/h2-tsdb.xml
#canal.instance.tsdb.spring.xml = classpath:spring/tsdb/mysql-tsdb.xmlcanal.instance.global.mode = spring
canal.instance.global.lazy = false
canal.instance.global.manager.address = ${canal.admin.manager}
#canal.instance.global.spring.xml = classpath:spring/memory-instance.xml
canal.instance.global.spring.xml = classpath:spring/file-instance.xml
#canal.instance.global.spring.xml = classpath:spring/default-instance.xml##################################################
######### 	      MQ Properties      #############
##################################################
# aliyun ak/sk , support rds/mq
canal.aliyun.accessKey =
canal.aliyun.secretKey =
canal.aliyun.uid=canal.mq.flatMessage = true
canal.mq.canalBatchSize = 50
canal.mq.canalGetTimeout = 100
# Set this value to "cloud", if you want open message trace feature in aliyun.
canal.mq.accessChannel = localcanal.mq.database.hash = true
canal.mq.send.thread.size = 30
canal.mq.build.thread.size = 8##################################################
######### 		     Kafka 		     #############
##################################################
kafka.bootstrap.servers = 127.0.0.1:9092
kafka.acks = all
kafka.compression.type = none
kafka.batch.size = 16384
kafka.linger.ms = 1
kafka.max.request.size = 1048576
kafka.buffer.memory = 33554432
kafka.max.in.flight.requests.per.connection = 1
kafka.retries = 0kafka.kerberos.enable = false
kafka.kerberos.krb5.file = ../conf/kerberos/krb5.conf
kafka.kerberos.jaas.file = ../conf/kerberos/jaas.conf# sasl demo
# kafka.sasl.jaas.config = org.apache.kafka.common.security.scram.ScramLoginModule required \\n username=\"alice\" \\npassword="alice-secret\";
# kafka.sasl.mechanism = SCRAM-SHA-512
# kafka.security.protocol = SASL_PLAINTEXT##################################################
######### 		    RocketMQ	     #############
##################################################
rocketmq.producer.group = test
rocketmq.enable.message.trace = false
rocketmq.customized.trace.topic =
rocketmq.namespace =
rocketmq.namesrv.addr = 127.0.0.1:9876
rocketmq.retry.times.when.send.failed = 0
rocketmq.vip.channel.enabled = false
rocketmq.tag = ##################################################
######### 		    RabbitMQ	     #############
##################################################
rabbitmq.host =
rabbitmq.virtual.host =
rabbitmq.exchange =
rabbitmq.username =
rabbitmq.password =
rabbitmq.deliveryMode =##################################################
######### 		      Pulsar         #############
##################################################
pulsarmq.serverUrl =
pulsarmq.roleToken =
pulsarmq.topicTenantPrefix =
配置instance.properties

路径在conf/example/instance.properties,因为我们在canal.properties指定了canal.destinations = example，所以要在对应的example文件夹下配置instance。这里引用了其他博主的文件描述很详细，我就拿过来了

## mysql serverId , v1.0.26+ will autoGen
## v1.0.26版本后会自动生成slaveId，所以可以不用配置
# canal.instance.mysql.slaveId=0
 
# 数据库地址
canal.instance.master.address=127.0.0.1:3306
# binlog日志名称
canal.instance.master.journal.name=mysql-bin.000001
# mysql主库链接时起始的binlog偏移量
canal.instance.master.position=154
# mysql主库链接时起始的binlog的时间戳
canal.instance.master.timestamp=
canal.instance.master.gtid=
 
# username/password
# 在MySQL服务器授权的账号密码
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
# 字符集
canal.instance.connectionCharset = UTF-8
# enable druid Decrypt database password
canal.instance.enableDruid=false
# canal.instance.defaultDatabaseName 默认那个库，这里指定为test（需要在MySQL中建立一个test库）
 
# table regex .*\\..*表示监听所有表 也可以写具体的表名，用，隔开
canal.instance.filter.regex=.*\\..*
# mysql 数据解析表的黑名单，多个表用，隔开
canal.instance.filter.black.regex=

 canal.instance.filter.regex规则事例，主要就是监听哪些表进行复制：

https://github.com/alibaba/canal/wiki/AdminGuide#properties%E9%85%8D%E7%BD%AE%E6%96%87%E4%BB%B6

1.  所有表：.*   or  .*\\..*
2.  canal schema下所有表： canal\\..*
3.  canal下的以canal打头的表：canal\\.canal.*
4.  canal schema下的一张表：canal\\.test1

5.  多个规则组合使用：canal\\..*,mysql.test1,mysql.test2 (逗号分隔)

 这个配置完成之后就可以启动了

双击bin/startup.bat目录下的脚本文件，如果没有报错的话就启动成功了

然后在去刷新我们的canal-admin管理页面，可以看到这个server实例已经注入进来了。

通过canal-admin管理页面管理server的话，需要在instance管理里增加对应的instance配置，至于为什么没有从canal-deployer的example读取过来不了解。

在instance管理里点击‘新建instance’，在页面里点击导入模板修改配置，或者将之前example文件夹下的instance.properties复制过来就可以。然后起一个名字，选择你的实例保存。

成功添加成功之后列表就会显示 你新增的配置

 安装canal.adapter

将canal.adapter-1.1.7解压得到如下的问价夹

老样子打开conf文件夹，首先修改application.yml文件

server:port: 8081
spring:jackson:date-format: yyyy-MM-dd HH:mm:sstime-zone: GMT+8default-property-inclusion: non_nullcanal.conf:mode: tcp #tcp kafka rocketMQ rabbitMQ 指定连接类型  对应consumerProperties下的配置flatMessage: truezookeeperHosts:syncBatchSize: 1000 #批量数量retries: 10  #循环次数 -1表示无线循环timeout:accessKey:secretKey:consumerProperties:# canal tcp consumercanal.tcp.server.host: 127.0.0.1:11111   #canal.deployer的地址和端口canal.tcp.zookeeper.hosts:canal.tcp.batch.size: 500#canal.tcp.username: canal#canal.tcp.password: canal# kafka consumerkafka.bootstrap.servers: 127.0.0.1:9092kafka.enable.auto.commit: falsekafka.auto.commit.interval.ms: 1000kafka.auto.offset.reset: latestkafka.request.timeout.ms: 40000kafka.session.timeout.ms: 30000kafka.isolation.level: read_committedkafka.max.poll.records: 1000# rocketMQ consumerrocketmq.namespace:rocketmq.namesrv.addr: 127.0.0.1:9876rocketmq.batch.size: 1000rocketmq.enable.message.trace: falserocketmq.customized.trace.topic:rocketmq.access.channel:rocketmq.subscribe.filter:# rabbitMQ consumerrabbitmq.host:rabbitmq.virtual.host:rabbitmq.username:rabbitmq.password:rabbitmq.resource.ownerId:
#源数据库连接信息srcDataSources:defaultDS:url: jdbc:mysql://127.0.0.1:3306/zm?useUnicode=true&characterEncoding=UTF-8&useSSL=false  # 对应canal.adapter-1.1.7\conf\rdb下的配置文件中的dataSourceKey的value值username: # 用户名password: # 密码canalAdapters:- instance: example # example对应路径canal.deployer-1.1.7\conf\example 和canal.adapter-1.1.7\conf\rdb下的配置文件中的 destination的value值groups:- groupId: g1 # g1对应canal.adapter-1.1.7\conf\rdb下的配置文件中的 groupId的value值outerAdapters:# - name: logger- name: rdb  #rdb对应路径canal.adapter-1.1.7\conf\rdbkey: mysql1  # mysql1 对应 canal.adapter-1.1.7\conf\rdb下的配置文件中outerAdapterKey的value值#目标数据库连接信息properties:jdbc.driverClassName: com.mysql.jdbc.Driverjdbc.url: jdbc:mysql://目标库地址:3306/zm?useUnicode=true&characterEncoding=UTF-8&useSSL=falsejdbc.username: #用户名jdbc.password: #密码druid.stat.enable: falsedruid.stat.slowSqlMillis: 1000

配置rdb下的mytest_user.yml文件：

dataSourceKey: defaultDS
destination: example
groupId: g1
outerAdapterKey: mysql1
concurrent: true
dbMapping:database: zm #源数据库table: zm_product #源数据库表targetTable: zm_product  #目标数据库表targetPk: #主键id: idmapAll: true #表字段一样全部映射 否则使用targetColumns进行映射
#  targetColumns:
#    id:
#    name:
#    role_id:
#    c_time:
#    test1:
#  etlCondition: "where c_time>={}" #数据查询条件commitBatch: 3000 # 批量提交的大小## Mirror schema synchronize config
#dataSourceKey: defaultDS
#destination: example
#groupId: g1
#outerAdapterKey: mysql1
#concurrent: true
#dbMapping:
#  mirrorDb: true
#  database: mytest

他们说有启动失败的要修改.bat文件，我是直接成功了

启动bin/startup.bat脚本文件，启动成功

 到此就能实现两个库的主从复制了,实验一下

检测验证

使用工具新增一条数据：

canal-adapter控制台会打印出刚才的新增信息，说明监听binlog已经进行了主从复制操作

而我们的目标数据库也会生成一条对应的数据：

到此功成，当然这只是单机配置，集群配置本地没试。 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/7569.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

羽星股份引领连锁业数智化转型，厦门羽星科技公司逆势增长剑指纳斯达克

羽星股份引领连锁业数智化转型，厦门羽星科技公司逆势增长剑指纳斯达克

羽星股份引领连锁业数智化转型，厦门羽星科技公司逆势增长剑指纳斯达克 在消费降级的大环境下，许多企业面临严峻挑战。在消费降级背景下，消费者购买力下降，对价格敏感度提升，更加注重产品的性价比和实用性。这一趋势促使…
阅读更多...
RabbitMQ应用

RabbitMQ应用

1. 7种工作模式介绍 1.1 Simple(简单模式) P: ⽣产者,也就是要发送消息的程序C: 消费者,消息的接收者Queue: 消息队列(图中⻩⾊背景部分)类似⼀个邮箱,可以缓存消息;⽣产者向其中投递消息,消费者从 其中取出消息 特点: ⼀个⽣产者P，⼀个消费者C, 消息只能被消费…
阅读更多...
从Java中使用new 关键字创建对象开始，深度剖析对象结构与存储

从Java中使用new 关键字创建对象开始，深度剖析对象结构与存储

文章目录 1.对象结构2.扩展补充3.小结 1.对象结构 在介绍之前.先来看一个java高频面试题，new String(hello") 创建了几个对象？ 1.这里分情况讨论，如果hello已经在常量池中存在，那么就是在堆中创建1个对象，并返回…
阅读更多...
ThreadLocal 的原理和使用场景

ThreadLocal 的原理和使用场景

1.ThreadLocal是什么 ThreadLocal 是 Java 提供的一个用于线程存储本地变量的类。它为每个线程提供独立的变量副本，确保变量在多线程环境下的线程安全。每个线程访问 ThreadLocal 时，都会有自己专属的变量副本，互不干扰，避免了并…
阅读更多...
qt QColorDialog详解

qt QColorDialog详解

1、概述 QColorDialog是Qt框架中的一个对话框类，专门用于让用户选择颜色。它提供了一个标准的颜色选择界面，其中包括基本的颜色选择器（如调色板和颜色轮）、自定义颜色输入区域以及预定义颜色列表。QColorDialog支持RGB、HSV和十六…
阅读更多...
关于Redis

关于Redis

Redis 基础 什么是 Redis？ Redis （REmote DIctionary Server）是一个基于 C 语言开发的开源 NoSQL 数据库（BSD 许可）。与传统数据库不同的是，Redis 的数据是保存在内存中的（内存数据库&#xf…
阅读更多...
linux nvidia/cuda安装

linux nvidia/cuda安装

1.查看显卡型号 lspci |grep -i vga2.nvidia安装 2.1在线安装 终端输入（当显卡插上之后，系统会有推荐的安装版本） ubuntu-drivers devices可得到如下内容 vendor : NVIDIA Corporation model : TU104GL [Tesla T4] driver : nvid…
阅读更多...
uniapp 实现瀑布流

uniapp 实现瀑布流

效果演示 组件下载 瀑布流布局-waterfall - DCloud 插件市场
阅读更多...
了解聚簇索引和非聚簇索引

了解聚簇索引和非聚簇索引

在关系型数据库中，索引是提高查询效率的重要手段。索引类似于书籍中的目录，能够帮助数据库快速定位到所需的数据。而在数据库中，最常用的两种索引类型是聚簇索引（Clustered Index）和非聚簇索引（Non-clustered Index）。本文将详细介绍这两种索引类型，帮助读者更好地理解…
阅读更多...
CODESYS可视化桌面屏保-动态气泡制作详细案例

CODESYS可视化桌面屏保-动态气泡制作详细案例

#一个用于可视化（HMI）界面的动态屏保的详细制作案例程序# 前言： 在工控自动化设备上，为了防止由于人为误触发或操作引起的故障，通常在触摸屏（HMI）增加屏幕保护界面，然而随着PLC偏IT化的发展，在控制界面上的美观程度也逐渐向上位机或网页前端方面发展，本篇模仿Windows…
阅读更多...
【数据结构 队列】超详细理解例题

【数据结构 队列】超详细理解例题

数据结构 队列 前言队列的定义队列的概念队列的基本操作 队列用C语言实现Queue.hQueue.ctext.c 队列 VS 栈队列的应用 你好，这里是新人 Sunfor 这篇是我最近对于数据结构 队列的学习心得和错题整理 有任何错误欢迎指正，欢迎交流！ 会持续更新…
阅读更多...
VSCode + linux 远程免密登录

VSCode + linux 远程免密登录

目录 一. VS Code端1. 安装插件Remote - SSH2. 配置config文件3. 公钥生成 二、远程服务器端1. 将生成的公钥发送到远程服务器 三、连接1. 准备就绪后，VSCode连接 一. VS Code端 1. 安装插件Remote - SSH 2. 配置config文件 Host H5WebHostName xx.xx.xx.xxUser ro…
阅读更多...
简单分享一下淘宝商品数据自动化抓取的技术实现与挑战

简单分享一下淘宝商品数据自动化抓取的技术实现与挑战

在电子商务领域，数据是驱动决策的关键。淘宝作为国内最大的电商平台之一，其商品数据对电商从业者来说具有极高的价值。然而，从淘宝平台自动化抓取商品数据并非易事，涉及多重技术和法律挑战。本文将从技术层面分析实现淘宝商品数据…
阅读更多...
初识网络编程

初识网络编程

目录 前言相关名词解释应用层协议——HTTP传输层协议socketTCP帧头格式三次握手、四次挥手 UDPTCP的socket实现 参考博文 前言 刚碰到网络编程，会出现一堆协议、概念、这层次那技术的，头都大了，还是得总结总结…… 相关名词解释 ✨✨网络…
阅读更多...
JRTPLIB中的RTPSession与OnSSRCCollision：深入解析SSRC冲突处理机制

JRTPLIB中的RTPSession与OnSSRCCollision：深入解析SSRC冲突处理机制

JRTPLIB中的RTPSession与OnSSRCCollision：深入解析SSRC冲突处理机制 一、RTP与SSRC基础1.1 RTP简介1.2 SSRC的作用二、JRTPLIB与RTPSession2.1 JRTPLIB概述2.2 RTPSession类三、SSRC冲突与OnSSRCCollision3.1 SSRC冲突的原因3.2 OnSSRCCollision回调函数3.3 OnSSRCCollision的…
阅读更多...
【数据集】【YOLO】【目标检测】口罩佩戴识别数据集 1971 张，YOLO佩戴口罩检测算法实战训练教程！

【数据集】【YOLO】【目标检测】口罩佩戴识别数据集 1971 张，YOLO佩戴口罩检测算法实战训练教程！

数据集介绍 【数据集】口罩佩戴检测数据集 1971 张，目标检测，包含YOLO/VOC格式标注。 数据集中包含1种分类：{0: face_mask}，佩戴口罩。 数据集来自国内外图片网站和视频截图。 检测场景为城市街道、医院、商场、机场、车站、办…
阅读更多...
实测讯飞智作，一张照片定制属于自己的数字人

实测讯飞智作，一张照片定制属于自己的数字人

Datawhale亲测 AI应用：讯飞智作 只用一张照片，就可以定制属于自己的数字人。 这是大模型给数字人领域带来的最新震撼。 就在两周前的 AI 开发者 Talk 合肥站活动上，我们 Datawhale 的一名小伙伴玉鑫化身成数字人亮相大屏幕，为参加…
阅读更多...
乡村景区一体化系统（门票，餐饮，便利店，果园，娱乐，停车收费

乡村景区一体化系统（门票，餐饮，便利店，果园，娱乐，停车收费

一、一体化优势 1. 提升游客体验：游客可以通过一个系统方便地完成各种消费和预订，无需在不同的地方分别处理，节省时间和精力，使游玩过程更加顺畅和愉快。 2. 提高管理效率：景区管理者能够在一个平台上集中管理多个业…
阅读更多...
安卓编程最方便的读写资料类SharedPreferences,多个APP共享

安卓编程最方便的读写资料类SharedPreferences,多个APP共享

本文介绍Android平台进行数据存储的五大方式,分别如下: 1 使用SharedPreferences存储数据 2 文件存储数据 3 SQLite数据库存储数据 4 使用ContentProvider存储数据 5 网络存储数据 下面详细讲解这五种方式的特点 第一种： 使用SharedPreferences存储数据 …
阅读更多...
[Docker#1] 专栏前言 | 亿级高并发架构演进之路

[Docker#1] 专栏前言 | 亿级高并发架构演进之路

目录 目标 一.前期演进 1. 单机架构 2. 应用数据分离架构 3. 应用集群架构 4. 读写分离/主从分离架构 5. 冷热分离架构 二. 架构 分布式数据库架构 微服务架构 容器编排架构 三. An Internet Application Architecture 理解 上层传输 框架 数据处理 主要思想 …
阅读更多...
最新文章

Copyright @ 2022~2023