1. 序列化与反序列化核心概念解析序列化Serialization与反序列化Deserialization是计算机科学中数据持久化和网络传输的基础技术。简单来说序列化是将内存中的对象转换为可存储或传输的字节序列的过程而反序列化则是将这些字节序列重新构造成内存对象的过程。1.1 为什么需要序列化技术在分布式系统开发中对象需要在不同进程或不同机器间传递。比如一个Java对象要通过网络发送给另一台机器上的Python服务就需要先将Java对象序列化为通用格式如JSON接收方再反序列化为Python对象。这种跨语言、跨平台的数据交换需求催生了各种序列化协议的发展。序列化的典型应用场景包括对象持久化到文件或数据库远程方法调用RPC参数传递缓存数据存储消息队列中的消息传递Web API的请求响应数据传输1.2 主流序列化协议对比目前主流的序列化协议可分为三类文本格式JSON轻量级、易读、跨语言支持广泛XML标签式结构支持复杂数据类型YAML人类可读性更强适合配置文件二进制格式Protocol BuffersGoogle开发高效紧凑MessagePack类似JSON但二进制编码Avro支持Schema演化语言特定格式Java SerializableJava原生序列化PicklePython专用序列化.NET BinaryFormatter.NET平台专用提示选择序列化协议时需要考虑跨语言支持、性能、数据大小、Schema演化能力等因素。JSON因其简单通用成为Web开发的首选而高性能场景下Protocol Buffers更有优势。2. JSON序列化深度解析JSONJavaScript Object Notation是目前最流行的数据交换格式几乎所有现代编程语言都提供了JSON序列化/反序列化支持。2.1 FastJSON实战与漏洞防范FastJSON是阿里巴巴开源的Java JSON处理工具以其高性能著称。但在使用中需要注意其安全风险// FastJSON基础使用示例 String jsonString JSON.toJSONString(userObject); // 序列化 User user JSON.parseObject(jsonString, User.class); // 反序列化FastJSON历史上出现过多个反序列化漏洞如1.2.83版本中的漏洞允许攻击者通过精心构造的JSON执行任意代码。防范措施包括及时升级到最新安全版本使用JSONField(serializefalse)标注敏感字段配置ParserConfig.getGlobalInstance().setSafeMode(true)启用安全模式避免反序列化不可信的JSON数据2.2 Jackson高级特性应用Jackson是另一个流行的Java JSON库相比FastJSON更注重安全性和标准兼容性。ObjectMapper mapper new ObjectMapper(); // 处理日期格式 mapper.setDateFormat(new SimpleDateFormat(yyyy-MM-dd HH:mm:ss)); // 处理枚举 mapper.configure(SerializationFeature.WRITE_ENUMS_USING_TO_STRING, true); String json mapper.writeValueAsString(obj); // 序列化 MyValue value mapper.readValue(json, MyValue.class); // 反序列化Jackson处理时间戳时区问题的技巧// 解决时区丢失问题 mapper.setTimeZone(TimeZone.getTimeZone(Asia/Shanghai)); mapper.configure(SerializationFeature.WRITE_DATES_AS_TIMESTAMPS, false);3. 反序列化安全问题深度防护反序列化漏洞是Web安全的重要威胁之一多个流行框架都曾曝出相关漏洞。3.1 常见反序列化漏洞类型Shiro反序列化漏洞攻击者伪造RememberMe Cookie使用常见密钥加密恶意序列化数据Shiro反序列化时执行任意代码YAML反序列化漏洞YAML支持构造任意Java对象攻击者通过!!指定危险类进行攻击SnakeYAML等库受影响XMLDecoder反序列化漏洞XML中可包含Java方法调用导致远程代码执行3.2 防护最佳实践输入验证校验数据来源和完整性使用白名单验证数据结构安全配置禁用危险特性如XML外部实体使用最新安全版本的库替代方案使用纯数据格式如JSON简单模式考虑使用Protocol Buffers等安全协议运行时防护启用Java安全管理器使用反序列化过滤器Java 9// Java 9 反序列化过滤器示例 ObjectInputFilter filter info - { if (!info.serialClass().getName().startsWith(com.safe.)) { return ObjectInputFilter.Status.REJECTED; } return ObjectInputFilter.Status.ALLOWED; }; inputStream.setObjectInputFilter(filter);4. 高性能序列化方案选型对于高并发、低延迟场景序列化性能至关重要。以下是性能对比数据基于JMH基准测试序列化方式序列化耗时(ms)反序列化耗时(ms)数据大小(bytes)JSON125148342XML210235512Protobuf4552215Kryo32381804.1 Protocol Buffers实战Protocol Buffersprotobuf是Google开发的二进制序列化格式性能优异且支持Schema演化。定义.proto文件syntax proto3; message Person { string name 1; int32 id 2; repeated string emails 3; }Java中使用Person person Person.newBuilder() .setName(John Doe) .setId(1234) .addEmails(johnexample.com) .build(); // 序列化 byte[] bytes person.toByteArray(); // 反序列化 Person parsedPerson Person.parseFrom(bytes);4.2 Kryo极致性能优化Kryo是专为Java设计的高性能序列化库适合内存缓存等场景。Kryo kryo new Kryo(); kryo.register(SomeClass.class); // 序列化 Output output new Output(new FileOutputStream(file.bin)); kryo.writeObject(output, someObject); output.close(); // 反序列化 Input input new Input(new FileInputStream(file.bin)); SomeClass someObject kryo.readObject(input, SomeClass.class); input.close();性能优化技巧重用Kryo实例线程局部变量预注册类减少类名传输使用FieldSerializer替代默认序列化器5. Spring Boot中的序列化定制Spring Boot广泛应用了序列化技术特别是在REST API和消息处理中。5.1 全局序列化配置Configuration public class JacksonConfig { Bean public ObjectMapper objectMapper() { ObjectMapper mapper new ObjectMapper(); // 忽略未知属性 mapper.configure(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES, false); // 日期格式 mapper.setDateFormat(new SimpleDateFormat(yyyy-MM-dd HH:mm:ss)); // 空值处理 mapper.setSerializationInclusion(Include.NON_NULL); return mapper; } }5.2 参数反序列化过滤防止恶意参数攻击的几种方式使用DTO而非直接反序列化实体类PostMapping public ResponseEntity createUser(RequestBody Valid UserCreateDTO dto) { // 转换DTO为实体 User user convertToEntity(dto); // ... }自定义反序列化器public class SafeDeserializer extends StdDeserializerUser { Override public User deserialize(JsonParser p, DeserializationContext ctxt) { // 安全的反序列化逻辑 } }使用JsonFilter动态过滤JsonFilter(userFilter) public class User { // ... } GetMapping(/{id}) public MappingJacksonValue getUser(PathVariable Long id) { User user userService.findById(id); MappingJacksonValue result new MappingJacksonValue(user); FilterProvider filters new SimpleFilterProvider() .addFilter(userFilter, SimpleBeanPropertyFilter.filterOutAllExcept(id, name)); result.setFilters(filters); return result; }6. 序列化性能优化实战技巧经过多个高并发项目实践我总结了以下性能优化经验对象设计优化实现Serializable的类添加serialVersionUID标记不需要序列化的字段为transient避免序列化对象图使用ID引用替代缓存序列化结果对于不变的对象缓存字节数组考虑使用SoftReference避免内存溢出批量操作优化使用数组而非集合减少元数据预分配缓冲区大小线程安全实践避免在序列化过程中修改对象状态使用防御性拷贝处理敏感数据异常处理建议捕获并处理InvalidClassException处理EOFException和StreamCorruptedException记录序列化失败上下文信息// 高性能序列化工具类示例 public class SerializationUtils { private static final ThreadLocalKryo kryoThreadLocal ThreadLocal.withInitial(() - { Kryo kryo new Kryo(); kryo.setRegistrationRequired(false); return kryo; }); public static byte[] serialize(Object obj) { try (Output output new Output(new ByteArrayOutputStream())) { Kryo kryo kryoThreadLocal.get(); kryo.writeObject(output, obj); return output.toBytes(); } } public static T T deserialize(byte[] bytes, ClassT clazz) { try (Input input new Input(bytes)) { Kryo kryo kryoThreadLocal.get(); return kryo.readObject(input, clazz); } } }在实际项目中序列化方案的选择需要权衡开发效率、运行性能和安全需求。对于大多数Web应用JSON配合Jackson是不错的选择而对性能敏感的内部服务Protocol Buffers或Kryo可能更合适。无论选择哪种方案都要时刻警惕反序列化安全问题建立完善的数据验证和过滤机制。 
长河君 · 2026/10/27 17:03:19 · 阅读 1.2k 序列化与反序列化技术解析：从JSON到安全防护
1. 序列化与反序列化核心概念解析序列化Serialization与反序列化Deserialization是计算机科学中数据持久化和网络传输的基础技术。简单来说序列化是将内存中的对象转换为可存储或传输的字节序列的过程而反序列化则是将这些字节序列重新构造成内存对象的过程。1.1 为什么需要序列化技术在分布式系统开发中对象需要在不同进程或不同机器间传递。比如一个Java对象要通过网络发送给另一台机器上的Python服务就需要先将Java对象序列化为通用格式如JSON接收方再反序列化为Python对象。这种跨语言、跨平台的数据交换需求催生了各种序列化协议的发展。序列化的典型应用场景包括对象持久化到文件或数据库远程方法调用RPC参数传递缓存数据存储消息队列中的消息传递Web API的请求响应数据传输1.2 主流序列化协议对比目前主流的序列化协议可分为三类文本格式JSON轻量级、易读、跨语言支持广泛XML标签式结构支持复杂数据类型YAML人类可读性更强适合配置文件二进制格式Protocol BuffersGoogle开发高效紧凑MessagePack类似JSON但二进制编码Avro支持Schema演化语言特定格式Java SerializableJava原生序列化PicklePython专用序列化.NET BinaryFormatter.NET平台专用提示选择序列化协议时需要考虑跨语言支持、性能、数据大小、Schema演化能力等因素。JSON因其简单通用成为Web开发的首选而高性能场景下Protocol Buffers更有优势。2. JSON序列化深度解析JSONJavaScript Object Notation是目前最流行的数据交换格式几乎所有现代编程语言都提供了JSON序列化/反序列化支持。2.1 FastJSON实战与漏洞防范FastJSON是阿里巴巴开源的Java JSON处理工具以其高性能著称。但在使用中需要注意其安全风险// FastJSON基础使用示例 String jsonString JSON.toJSONString(userObject); // 序列化 User user JSON.parseObject(jsonString, User.class); // 反序列化FastJSON历史上出现过多个反序列化漏洞如1.2.83版本中的漏洞允许攻击者通过精心构造的JSON执行任意代码。防范措施包括及时升级到最新安全版本使用JSONField(serializefalse)标注敏感字段配置ParserConfig.getGlobalInstance().setSafeMode(true)启用安全模式避免反序列化不可信的JSON数据2.2 Jackson高级特性应用Jackson是另一个流行的Java JSON库相比FastJSON更注重安全性和标准兼容性。ObjectMapper mapper new ObjectMapper(); // 处理日期格式 mapper.setDateFormat(new SimpleDateFormat(yyyy-MM-dd HH:mm:ss)); // 处理枚举 mapper.configure(SerializationFeature.WRITE_ENUMS_USING_TO_STRING, true); String json mapper.writeValueAsString(obj); // 序列化 MyValue value mapper.readValue(json, MyValue.class); // 反序列化Jackson处理时间戳时区问题的技巧// 解决时区丢失问题 mapper.setTimeZone(TimeZone.getTimeZone(Asia/Shanghai)); mapper.configure(SerializationFeature.WRITE_DATES_AS_TIMESTAMPS, false);3. 反序列化安全问题深度防护反序列化漏洞是Web安全的重要威胁之一多个流行框架都曾曝出相关漏洞。3.1 常见反序列化漏洞类型Shiro反序列化漏洞攻击者伪造RememberMe Cookie使用常见密钥加密恶意序列化数据Shiro反序列化时执行任意代码YAML反序列化漏洞YAML支持构造任意Java对象攻击者通过!!指定危险类进行攻击SnakeYAML等库受影响XMLDecoder反序列化漏洞XML中可包含Java方法调用导致远程代码执行3.2 防护最佳实践输入验证校验数据来源和完整性使用白名单验证数据结构安全配置禁用危险特性如XML外部实体使用最新安全版本的库替代方案使用纯数据格式如JSON简单模式考虑使用Protocol Buffers等安全协议运行时防护启用Java安全管理器使用反序列化过滤器Java 9// Java 9 反序列化过滤器示例 ObjectInputFilter filter info - { if (!info.serialClass().getName().startsWith(com.safe.)) { return ObjectInputFilter.Status.REJECTED; } return ObjectInputFilter.Status.ALLOWED; }; inputStream.setObjectInputFilter(filter);4. 高性能序列化方案选型对于高并发、低延迟场景序列化性能至关重要。以下是性能对比数据基于JMH基准测试序列化方式序列化耗时(ms)反序列化耗时(ms)数据大小(bytes)JSON125148342XML210235512Protobuf4552215Kryo32381804.1 Protocol Buffers实战Protocol Buffersprotobuf是Google开发的二进制序列化格式性能优异且支持Schema演化。定义.proto文件syntax proto3; message Person { string name 1; int32 id 2; repeated string emails 3; }Java中使用Person person Person.newBuilder() .setName(John Doe) .setId(1234) .addEmails(johnexample.com) .build(); // 序列化 byte[] bytes person.toByteArray(); // 反序列化 Person parsedPerson Person.parseFrom(bytes);4.2 Kryo极致性能优化Kryo是专为Java设计的高性能序列化库适合内存缓存等场景。Kryo kryo new Kryo(); kryo.register(SomeClass.class); // 序列化 Output output new Output(new FileOutputStream(file.bin)); kryo.writeObject(output, someObject); output.close(); // 反序列化 Input input new Input(new FileInputStream(file.bin)); SomeClass someObject kryo.readObject(input, SomeClass.class); input.close();性能优化技巧重用Kryo实例线程局部变量预注册类减少类名传输使用FieldSerializer替代默认序列化器5. Spring Boot中的序列化定制Spring Boot广泛应用了序列化技术特别是在REST API和消息处理中。5.1 全局序列化配置Configuration public class JacksonConfig { Bean public ObjectMapper objectMapper() { ObjectMapper mapper new ObjectMapper(); // 忽略未知属性 mapper.configure(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES, false); // 日期格式 mapper.setDateFormat(new SimpleDateFormat(yyyy-MM-dd HH:mm:ss)); // 空值处理 mapper.setSerializationInclusion(Include.NON_NULL); return mapper; } }5.2 参数反序列化过滤防止恶意参数攻击的几种方式使用DTO而非直接反序列化实体类PostMapping public ResponseEntity createUser(RequestBody Valid UserCreateDTO dto) { // 转换DTO为实体 User user convertToEntity(dto); // ... }自定义反序列化器public class SafeDeserializer extends StdDeserializerUser { Override public User deserialize(JsonParser p, DeserializationContext ctxt) { // 安全的反序列化逻辑 } }使用JsonFilter动态过滤JsonFilter(userFilter) public class User { // ... } GetMapping(/{id}) public MappingJacksonValue getUser(PathVariable Long id) { User user userService.findById(id); MappingJacksonValue result new MappingJacksonValue(user); FilterProvider filters new SimpleFilterProvider() .addFilter(userFilter, SimpleBeanPropertyFilter.filterOutAllExcept(id, name)); result.setFilters(filters); return result; }6. 序列化性能优化实战技巧经过多个高并发项目实践我总结了以下性能优化经验对象设计优化实现Serializable的类添加serialVersionUID标记不需要序列化的字段为transient避免序列化对象图使用ID引用替代缓存序列化结果对于不变的对象缓存字节数组考虑使用SoftReference避免内存溢出批量操作优化使用数组而非集合减少元数据预分配缓冲区大小线程安全实践避免在序列化过程中修改对象状态使用防御性拷贝处理敏感数据异常处理建议捕获并处理InvalidClassException处理EOFException和StreamCorruptedException记录序列化失败上下文信息// 高性能序列化工具类示例 public class SerializationUtils { private static final ThreadLocalKryo kryoThreadLocal ThreadLocal.withInitial(() - { Kryo kryo new Kryo(); kryo.setRegistrationRequired(false); return kryo; }); public static byte[] serialize(Object obj) { try (Output output new Output(new ByteArrayOutputStream())) { Kryo kryo kryoThreadLocal.get(); kryo.writeObject(output, obj); return output.toBytes(); } } public static T T deserialize(byte[] bytes, ClassT clazz) { try (Input input new Input(bytes)) { Kryo kryo kryoThreadLocal.get(); return kryo.readObject(input, clazz); } } }在实际项目中序列化方案的选择需要权衡开发效率、运行性能和安全需求。对于大多数Web应用JSON配合Jackson是不错的选择而对性能敏感的内部服务Protocol Buffers或Kryo可能更合适。无论选择哪种方案都要时刻警惕反序列化安全问题建立完善的数据验证和过滤机制。