腾讯音乐：从 Elasticsearch 到 Apache Doris 内容库升级，统一搜索分析引擎，成本直降 80%

导读： 为满足更严苛数据分析的需求，腾讯音乐借助 Apache Doris 替代了 Elasticsearch 集群，统一了内容库数据平台的内容搜索和分析引擎。并基于 Doris 倒排索引和全文检索的能力，支持了复杂的自定义标签计算，实现秒级查询响应需求。此外，实现写入性能提升 4 倍、使用成本节省达 80% 的显著成效。相关文章：#腾讯音乐案例 、#Elasticsearch 到 Apache Doris 案例、#日志场景案例

作者｜腾讯音乐内容信息平台部，张俊、罗雷、李继蓬、代凯

腾讯音乐娱乐拥有丰富的内容曲库，包括录制音乐、现场表演、音频和视频等多种形式。通过技术和数据赋能，腾讯音乐娱乐不断创新产品，为用户提供更优质的体验，提高用户参与度，同时为音乐人和合作伙伴在制作、发行和销售方面提供更大支持。基于公司丰富的音乐内容资产，腾讯音乐将歌曲库、艺人资讯、专辑信息、厂牌信息等大量数据统一存储，形成音乐内容库数据平台，该平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈选等内容分析服务，高效为业务赋能。

内容库数据平台的数据架构已经从 1.0 版本演进到了 4.0 版本。之前的文章介绍了分析引擎 从 ClickHouse 到 Apache Doris 升级实践。本文将重点分享内容搜索引擎从 Elasticsearch 到 Apache Doris 的替换，如何通过一个系统同时满足内容搜索和数据分析的需求，并满足复杂的自定义标签计算的支持。最终，实现存储成本降低 80%，写入性能提升 4 倍的显著效益。

业务需求

从业务角度来看，腾讯音乐有两个场景需要搜索能力的支持，分别是内容库的百科搜索及内容库的标签圈选。

  • 内容库百科搜索： 分析师和运营人员需要快速查找歌手、歌曲名称以及其他文本信息。这种检索能力不仅要求高效的全文搜索，还需支持多种查询条件，以便用户能够迅速获取所需数据，提升工作效率。
  • 内容库标签圈选： 分析师和运营人员会根据特定的标签和条件，筛选出符合要求的内容。这要求系统能够在亿级数据量的情况下，提供秒级的查询响应，以便快速定位和分析相关数据，支持业务决策和策略优化。

业务需求-内容库百度搜索.PNG

业务需求-内容库-标签圈选.PNG

Elasticsearch + Doris 混合架构

在 2.0 版本之前，Doris 暂未推出倒排索引能力，检索能力相对较弱。而 Elasticsearch 在全文检索方面具备优势，能够基于倒排索引快速匹配特定关键词或短语、可对所有字段建立索引，在查询时支持任意组合的过滤条件等。

但是，Elasticsearch 聚合统计分析性能较差，不支持 JOIN 等复杂查询，且存储空间占用较高。这些正是 Apache Doris 所擅长的领域，能够高效处理复杂的统计分析和查询任务，并通过高压缩率优化存储效率。

因此，腾讯音乐构建基于 Elasticsearch 与 Doris 的混合架构，Elasticsearch 负责内容的全文检索和标签圈选，而 Apache Doris 专注于 OLAP 分析。借助 Doris 的 ES catalog 外表查询机制，能够直接查询 Elasticsearch 中数据，实现对外查询接口的统一。

Elasticsearch + Doris 混合架构.PNG

但这套混合架构在应用时，也遇到了一些问题：

  • 存储成本较高：Doris 的引入并没有完全解决存储成本高的问题，Elasticsearch 的存储空间占用仍然显著。
  • 写入性能受限：随着数据量的增长，Elasticsearch 集群的写入压力不断加大，全量写入耗时超过 10 个小时，接近业务可承受极限。
  • 混合架构复杂：Elasticsearch 和 Doris 的混合架构增加了系统和技术栈的维护成本，同时冗余的数据存储也带来了额外费用，两套系统也增加了数据不一致的风险。

基于 Apache Doris 的统一架构方案

因此，腾讯音乐考虑是否可以将搜索引擎统一为 Doris，让其全面负责全文检索、标签圈选以及聚合分析的需求。这样考虑的主要原因是 Apache Doris 自 2.0 版本开始支持倒排索引和全文检索，这使其有能力完全替 Elasticsearch 所负责的部分，获得更好的收益。

  • 在全文检索方面，Doris 不仅支持普通的等值和范围（=， ！=， >， >=， <， <=）查询加速，还支持文本字段的全文检索，包括中英文分词、多关键词检索（MATCH_ANY， MATCH_ALL）、短语检索（MATCH_PHRASE， MATCH_PHRASE_PREFIX， MATCH_PHRASE_REGEXP）、短语词距（slop）、多字段检索（MULTI_MATCH），其性能相较于传统数据库支持的 LIKE 模糊匹配有数量级的提升。
  • 在倒排索引方面， Doris 倒排索引在数据库内核中实现，语法与 SQL 无缝结合，支持多种条件的任意 AND OR NOT 逻辑组合，满足普通过滤以及全文检索组合的复杂需求。如下方示例，WHERE 筛选条件由 5 部分组成，包括全文检索 title MATCH '爱' OR description MATCH_PHRASE '热爱'，日期范围过滤 dt BETWEEN '2024-09-10 00:00:00' AND '2024-09-10 23:59:59'，数值范围过滤 rating > 4，字符串等值过滤 country = '中国'，这些条件通过统一的 SQL 语法无缝组合起来，筛选完之后又按照 actor 进行分组统计，最后对分组统计的 cnt 排序取最高的 100 个结果。
SELECT actor, count() as cnt 
FROM table1
WHERE dt BETWEEN '2024-09-10 00:00:00' AND '2024-09-10 23:59:59'AND (title MATCH '爱' OR description MATCH_PHRASE '热爱')AND rating > 4AND country = '中国'
GROUP BY actor
ORDER BY cnt DESC LIMIT 100;

因此，腾讯音乐将 Doris 升级至 2.0 版，将架构从原先的 Elasticsearch 和 Doris 转变为统一的 Doris 解决方案：

基于 Apache Doris 的统一架构方案.png

基于 Doris 的统一架构上线后，所带来的收益也非常可观：

  • 成本显著降低：Doris 替代了 Elasticsearch 集群，同时承载了搜索和分析两类负载，使用成本节省达 80%。比如，某个表单日全量数据在 Elasticsearch 中需要 697.7 GB 存储空间，而在 Doris 中仅需 195.4 GB ，存储空间减少了 72%。

基于 Apache Doris 的统一架构方案-2.png

  • 写入和查询性能提升：全量数据导入时间从 10 小时以上缩短至 3 小时以内， **写入性能是 Elasticsearch 的 4 倍。**此外，Doris 可以支持复杂的自定义标签计算，使不可能变为可能，显著改善了用户体验。

  • 统一系统架构：架构统一到 Doris 后，内部只需维护一套技术栈，极大降低了维护成本，同时也很好避免了两套系统之间的数据一致性问题，确保了数据质量的可靠性。

在架构统一的过程中，涉及到一些关键设计，接下来将相关方案及经验分享给读者。

01 Doris 倒排索引的使用

在存储结构上采用了维度表与事实表的方案：

  • 维度表：使用 Merge-on-Write Unique 模型，用于百科搜索和标签圈选，通过部分列更新进行维度更新。
  • 事实表：使用 Aggregate 模型，用于存储每日的指标数据。由于数据量较大且每天的数据独立，每天需新建一个分区。

参考 Doris 倒排索引的使用文档，根据 Elasticsearch Mapping 设计了对应的 Doris 的表结构和索引。其中，Elasticsearch 的 Keyword 类型对应 Doris 的 Varchar/String 类型及不分词的倒排索引（USING INVERTED），ES 的 Text 类型对应 Doris 的 Varchar/String 类型及分词倒排索引（USING INVERTED PROPERTIES("parser" = "english/chinese/unicode")）。

CREATE TABLE `tag_baike_zipper_track_dim_string` (`dayno` date NOT NULL COMMENT '日期',`id` int(11) NOT NULL COMMENT 'id',`a4` varchar(65000) NULL COMMENT 'song_name',`a43` varchar(65000) NULL COMMENT 'zyqk_singer_id',INDEX idx_a4 (`a4`) USING INVERTED PROPERTIES("parser" = "unicode", "support_phrase" = "true") COMMENT '',INDEX idx_a43 (`a43`) USING INVERTED PROPERTIES("parser" = "english") COMMENT ''
) ENGINE=OLAP
UNIQUE KEY(`dayno`, `id`)
COMMENT 'OLAP'
PARTITION BY RANGE(`dayno`)
(PARTITION p99991230 VALUES [('9999-12-30'), ('9999-12-31')))
DISTRIBUTED BY HASH(`id`) BUCKETS auto
PROPERTIES (
...
);

使用 Doris 倒排索引的前后对比：

使用前：以下方复杂查询为例，在使用 Doris 倒排索引之前，该查询运行较慢、响应级别为分钟级。

-- like (查询复杂性能低):
SELECT  * FROM db_tag_pro.tag_track_pro_3  WHERE 
dayno='2024-08-01' AND  ( concat('#',a4,'#') like '%#若月亮还没来#%' 
or concat('#',a43,'#') like '%#1000#%')  -- explode (执行性能差，经常 ERROR 1105 (HY000)):
SELECT * FROM (SELECT tab1.*,a4_single,a43_single FROM ( SELECT * FROM db_tag_pro.tag_track_pro_3WHERE dayno='2024-08-01') tab1 lateral view explode_split(a4, '#') tmp1 as a4_singlelateral view explode_split(a43, '#') tmp2 as a43_single) tab2 where a4_single='若月亮还没来' or a43_single='1000'

使用后：使用 Doris 倒排索引之后，查询过程显著简化，运行速度极大提升，响应时间从分钟级缩短至秒级别。

  • 对中文采用 unicode 分词，数值采用 english分词创建倒排索引。
  • 设置 store_row_column，启用行存，优化select* 查询所有列。
-- 先通过match从维度表搜索查询到id
SELECT  id FROM db_tag_pro.tag_baike_zipper_track_dim_string  WHERE
( a4 MATCH_PHRASE '若月亮还没来' OR a43 MATCH_ALL '1000' )  AND  dayno ='2024-08-01'-- 再通过id主键查询事实表得到明细数据
SELECT * FROM db_tag_pro.tag_baike_track_pro  WHERE  id IN ( 563559286  )

不仅如此，原来在 Elasticsearch 中由于语句过长而无法查询的复杂自定义标签，在 Doris 内能够更好的支持，Doris 能够处理更长的 SQL 语句。并且在同一个引擎内，可以通过物化视图和 BITMAP 类型轻松对查询后的中间结果进一步优化，避免了不同引擎之间的跨网络同步。

02 业务间资源隔离

为了确保业务侧使用体验和成本可控，我们采用了 Doris 的资源隔离机制进行业务间的资源管理。

  • 第一层：物理隔离（Resource Group） 将集群划分为两个资源组：Core 和 Common，以服务不同重要场景的需求。Core 组专注于内容搜索和标签圈选的核心需求，而 Common 组则处理其他普通需求。通过在节点层面实施物理隔离，可确保核心业务不受其他业务的影响。
  • 第二层：逻辑隔离（Workload Group） 在每个物理隔离内部，通过 Workload Group 对每个 Resource Group 进行逻辑资源的细分。例如，在普通集群中建立多个 Workload Group，并为用户指定默认的 Workload group，以防止单个用户占满整个集群的资源。

业务间资源隔离.png

上述资源隔离机制显著提升了系统的稳定性，告警频率从每天 20 多次降低到每月个位数。这不仅保障了业务的可靠性，还减轻了团队运维管理压力，使他们能够将更多时间投入到系统优化中。

业务无感迁移方案

腾讯音乐自研的 SuperSonic 项目内置了 Headless BI 功能，其核心理念是将数据建模、管理和消费进行解耦。通过这种架构，业务分析师只需在 Headless BI 平台上定义指标和标签，而无需关心底层数据源的具体实现。

在业务迁移过程中，业务团队通过 SuperSonic Headless BI 进行。利用转换工具将 DSL 转换为 Elasticsearch SQL 查询，只需切换已定义指标和标签所对应的数据源即可。由于 Headless BI 屏蔽了底层不同数据存储和分析引擎的差异，业务方能够实现无感知的迁移。

业务无感迁移方案.png

Headless BI 架构不仅实现了数据源的无缝迁移，还大大简化了数据管理和查询的复杂性。SuperSonic 将 Chat BI 与 Headless BI 融合，使用户能够实现统一的数据治理，并通过自然语言进行数据分析。经过腾讯音乐的自主研发和实际应用，SuperSonic 平台现已开源，欢迎感兴趣的同仁使用与共同建设。（项目地址）

结束语

借助 Doris 替代 Elasticsearch 集群，腾讯音乐统一了搜索和分析引擎。基于倒排索引和全文检索的能力，支持复杂的自定义标签计算，满足秒级响应需求。此外，写入性能提升了 4 倍，存储空间减少了 72%，使用成本节省达 80%。

未来，腾讯音乐将与 Apache Doris 深度合作，探索更多特性在场景应用中的可能性，包括引入 3.0 版本的存算分离，以进一步降低成本。

相关文章：#腾讯音乐案例 、#Elasticsearch 到 Apache Doris 案例、#日志场景案例

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/1562020.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

24最新新手入门指南：Stable Diffusion！

24最新新手入门指南：Stable Diffusion！

前言 Stable Diffusion&#xff0c;一款新兴的开源AI绘画软件&#xff0c;正逐渐成为数字艺术家和爱好者的新宠。它的强大功能让用户能够轻松创造出令人印象深刻的数字艺术作品。 无论你是专业艺术家还是艺术新手&#xff0c;Stable Diffusion都为你提供了一个探索创造力的新…
阅读更多...
如何卸载电脑上的软件？电脑软件彻底删除的3个常见方法（强力卸载注册表）

如何卸载电脑上的软件？电脑软件彻底删除的3个常见方法（强力卸载注册表）

电脑使用久了&#xff0c;难免会遇到卡顿&#xff0c;运行不流畅的情况&#xff0c;这属于正常现象。造成电脑卡顿的很大部分原因就是因为电脑安装了太多软件了&#xff0c;特别是一些“来路不明”的软件容易影响电脑运行速度。使用电脑时&#xff0c;定期清理电脑垃圾&#xf…
阅读更多...
这本书有亿点厉害！带你快速入门扩散模型，从原理到实战！！-《扩散模型从原理到实战》

这本书有亿点厉害！带你快速入门扩散模型，从原理到实战！！-《扩散模型从原理到实战》

AIGC爱好者有福了&#xff0c;快看看这本《扩散模型》 书名&#xff1a;《扩散模型&#xff1a;从原理到实战》 作者&#xff1a; 李忻玮等 适合人群&#xff1a; 对扩散模型感兴趣的AI研究人员&#xff1b;有使用AIGC生成图片需求的从业人员&#xff1b;对stable Diffusi…
阅读更多...
小米13工程固件预览 修复底层分区 修复nv损坏主板电阻 默认开启diag端口

小米13工程固件预览 修复底层分区 修复nv损坏主板电阻 默认开启diag端口

机型名称 ：小米 13【用于以下型号的小米机型：2211133G, 2211133C】机型代号 ：fuxi 小米13搭载高通骁龙 8 Gen2八核处理器，预装miui14操作系统；后置5000万像素主镜头+1200万像素超广角镜头+1000万像素长焦镜头，前置3200万像素摄像头；搭载4500毫安时容量不可拆卸电池…
阅读更多...
邮件营销案例成功技巧：如何打动目标客户？

邮件营销案例成功技巧：如何打动目标客户？

邮件营销案例分析成功策略&#xff1f;有哪些优质邮件营销案例&#xff1f; 企业不仅能够与目标客户建立联系&#xff0c;还能有效地推动销售和提升品牌忠诚度。MailBing将通过多个邮件营销成功案例&#xff0c;探讨如何打动目标客户&#xff0c;并分享一些实用的技巧。 邮件…
阅读更多...
Rad Studio 12.2 出来了

Rad Studio 12.2 出来了

RAD Studio 12.1之后5个月&#xff0c;RAD Studio 12之后10个月&#xff0c;新发布的RAD Studio12.2加入了客户的反馈&#xff0c;利用人工智能能力的编码支持&#xff0c;64-bit版本的编译器等先进的功能&#xff0c;为应用开发提供更强有力的支持。 本文介绍了RAD Studio 12…
阅读更多...
JS 运算符

JS 运算符

目录 1. 赋值运算符 2. 一元运算符 2.1 自增 2.1.1 前置自增 2.1.2 后置自增 2.1.3 前置与后置自增对比 3. 比较运算符 3.1 字符串比较 4. 逻辑运算符 4.1 案例 5. 运算符优先级 1. 赋值运算符 2. 一元运算符 2.1 自增 2.1.1 前置自增 2.1.2 后置自增 2.1.3 前置与后…
阅读更多...
圈子系统APP小程序H5该如何设置IM？

圈子系统APP小程序H5该如何设置IM？

搭建圈子系统的常见问题,以及圈子论坛系统的功能特点 社交圈子论坛系统的概念 圈子小程序源码 多客圈子系统 圈子是什么软件 跟进圈一个系统的软件 为圈子系统APP小程序H5设置IM&#xff08;即时通讯&#xff09;&#xff0c;需要遵循一系列步骤来确保通讯功能的稳定、安全和高…
阅读更多...
magic-html : 通用HTML数据提取器！DocAI：从非结构化文档中提取结构化数据！强大、快速、开源的微信机器人底层框架：wcf.js！

magic-html : 通用HTML数据提取器！DocAI：从非结构化文档中提取结构化数据！强大、快速、开源的微信机器人底层框架：wcf.js！

magic-html : 通用HTML数据提取器&#xff01;DocAI&#xff1a;从非结构化文档中提取结构化数据&#xff01;强大、快速、开源的微信机器人底层框架&#xff1a;wcf.js&#xff01; magic-html : 通用HTML数据提取器 magic-html提供了一套工具&#xff0c;能够轻松地从HTML中…
阅读更多...
水凝胶制造新突破，DIW 技术来助力，打印参数很关键

水凝胶制造新突破，DIW 技术来助力，打印参数很关键

大家好&#xff01;今天我们来了解一篇《Innovations in hydrogel-based manufacturing: A comprehensive review of direct ink writing technique for biomedical applications》发表于《Advances in Colloid and Interface Science》。水凝胶因其独特性质在多领域备受关注&a…
阅读更多...
STL之set、map的使用

STL之set、map的使用

STL之set、map 1. 序列式容器和关联式容器2. set系列的使⽤参考文档链接&#xff1a;2.1 set的介绍&#xff08;2&#xff09;set的增删查2.2 multiset的介绍 3 map3.1 参考文档3.2 map类的介绍3.3 pair类型介绍3.4 map的构造3.6 map的数据修改3.7 multimap和map的差异 1. 序列…
阅读更多...
解锁未来新技能——揭秘人工智能工程师证书！

解锁未来新技能——揭秘人工智能工程师证书！

为进一步贯彻落实中共中央印发《关于深化人才发展体制机制改革的意见》和国务院印发《关于“十四五”数字经济发展规划》等有关工作的部署要求&#xff0c;深入实施人才强国战略和创新驱动发展战略&#xff0c;加强全国数字化人才队伍建设&#xff0c;持续推进人工智能从业人员…
阅读更多...
MySQL 【日期】函数大全（二）

MySQL 【日期】函数大全（二）

DATE_ADDDATE_FORMATDATE_SUBDATEDIFFDAYDAYNAMEDAYOFMONTHDAYOFWEEK 1、DATE_ADD DATE_ADD(date, value) &#xff1a;在指定的日期/时间上加上指定的时间间隔加并返回新的日期/时间。 DATE_ADD(date, value) DATE_ADD(date, INTERVAL value unit) date&#xff1a;需要操作…
阅读更多...
Agent的四种设计模式，从零实现Agent框架

Agent的四种设计模式，从零实现Agent框架

让大模型返回json格式&#xff0c;方便直接处理数据。 LLM支持json格式&#xff1a; def chat(self, user\_prompt, json\_modeFalse): kwargs {} if json\_mode: kwargs\["response\_format"\] \ {"type": "json\_object"} completion …
阅读更多...
深圳大学-Java程序设计-选实验1 基础知识练习

深圳大学-Java程序设计-选实验1 基础知识练习

实验目的与要求&#xff1a; 实验目的&#xff1a;掌握Java程序设计开发环境的搭建&#xff0c;编写简单Java Project&#xff0c;掌握编译、运行等基本步骤和命令。 实验要求&#xff1a; (1).下载、安装"Java SE Development Kit 20.0.2"最新的版本&#xff0c;需…
阅读更多...
【harmonyOS开发笔记3】ArkTS中数组的使用

【harmonyOS开发笔记3】ArkTS中数组的使用

数组的定义 数组&#xff1a;是一个容器&#xff0c;可以存储多个数据 定义数组的格式&#xff1a; let 数组名: 类型[] [数据1&#xff0c; 数据2&#xff0c; ] 示例&#xff1a;let names: string[] [小明, 小红] // 数组 let 数组名: 类型[] [数据1, 数据2, ] let …
阅读更多...
基于yolov8、yolov5的动物检测系统（含UI界面、训练好的模型、Python代码、数据集）

基于yolov8、yolov5的动物检测系统（含UI界面、训练好的模型、Python代码、数据集）

摘要&#xff1a;动物识别在生态保护及科研领域中起着至关重要的作用&#xff0c;不仅能有效监测野生动物的分布&#xff0c;还为自动化生态监测提供了可靠的数据支撑。本文介绍了一款基于YOLOv8、YOLOv5等深度学习框架的动物识别模型&#xff0c;该模型使用了大量图片进行训练…
阅读更多...
MySQL 8.4.0解压版安装记录

MySQL 8.4.0解压版安装记录

这几天&#xff0c;安装最新版mysql 8.4的时候&#xff0c;遇到了不少问题&#xff0c;网上的教程大多数都是旧版本的&#xff0c;也安装不成功。 参考了大量教程后&#xff0c;经过自己的摸索终于装好了&#xff0c;这里记录一下。 我下载的是8.4.0 LTS MySQL :: Download …
阅读更多...
面试官：讲一下SEO优化

面试官：讲一下SEO优化

一、什么是SEO优化&#xff1f; SEO就是搜索引擎优化 二、为什么要做SEO优化&#xff1f; 通过优化将网站的排名更靠前&#xff0c;吸引更多的用户访问&#xff0c;达到网站营销或者宣传效果&#xff0c;实现盈利 三、SEO优化要怎么做&#xff1f; 1、TKD设置 可以通过准确的TK…
阅读更多...
解决pyinstaller 打包 ddddocr 库方法

解决pyinstaller 打包 ddddocr 库方法

前言 ddddocr 库 在打包成 exe 文件后一直有各种各样的问题。无法运行。 总是提示缺少 onnxruntime_providers_shared.dll 等问题。例如下图： 所以这里总结一下打包解决方法。 方法 1、 第一步，先使用命令打包一次 pyinstaller -F demo.py -p D:\Python38\Lib\site-pac…
阅读更多...
最新文章

Copyright @ 2022~2023