doris数据库的坑:第二弹

        上一篇文章《doris数据库操作数字遇到的问题》是第一弹,文章结尾提到过doris不支持with语句,其实是因为我自己没找到正确使用的方式导致的。昨天因为客户现场有一个解析SQL的接口提示异常,所以就开始了长路漫漫的排查之旅。不过首先承认及纠正一下自己的错误:

doris是支持with语法的!!!

doris是支持with语法的!!!

doris是支持with语法的!!!

1.先说说背景

        客户现场有一套老的环境,有一个SQL可以正常执行,但导入到新环境后发现执行异常。现场的实施解决不了,就在群里反馈了这个问题,于是我把这个问题接手过来了。

        这不接手还好,接手过来一看,好家伙,1000多行的SQL,各种with、case when、union和子查询,一看到这种SQL就没有动手的欲望了。因为对业务不懂,所以只能把SQL复制出来,把业务表导到开发环境一点点排查起来。

2.解决过程

2.1.分段执行方式

        对于这种“又臭又长”的王妈妈裹脚,只能先采取最笨的方法:分段执行。这里发现并解决了一个doris自带函数名错误的问题:date_add被写成了dateadd,导致提示以下错误

所以只能全局搜索并替换了这个函数,再执行又发现了Unknown table的异常

又搜索了一下这个“表”名,发现是跟在with语句后面的别名。然后想起了开头的那篇文章,还是认为是因为doris不支持with语句导致的。于是度娘了一下,发现doris是支持with语法的。其实度娘里也只有AI智能回答提到是支持的,其他内容都没啥帮助,但具体怎么写又不明确。这下好了,要长脑子了,开始百撕不得其姐了(bushi)

2.2.灵光乍现

觉得解决无望的时候,发现AI智能回答的内容有点蹊跷

然后对比了下业务SQL

先试试将别名改成小写看看效果,虽然,但是,就这么水灵灵的,居然成功了,然成功了,成功了,功了,了......

至于为什么,是否跟大小写敏感有关啥的,暂时不去深究了。

2.3.程序执行遇新问题

        还讲啥呢,直接把SQL复制到apifox里调用接口啊,自认为这下肯定成功把问题解决了,不出意外的话,还是出意外了

虽然对于这个异常是真的度娘不出一点解决方案了,但定位基本就是SQL语法问题。回想了以前解决这类问题的经验,暂时先定位到注释上,把注释先去掉试试。

2.4.解决方案及方案优化

        删除注释后,成功是成功了,但一个SQL执行器不支持写注释,就跟写java代码不能带注释一样,写多了到后面谁还记得那么多这是干什么用的。所以问题不能这么一刀切的解决(不能像jin'mo政策一样,管理不好就一刀切了再说)

于是,试了下在注释--后添加空格是可行的,或者将单行注释--,替换为多行注释/*xxxx*/也是可行的。但我们又不能要求实施这么去改,只能想办法加强我们代码的健壮性和兼容性。于是在代码里加了个判断,如果有--时,就添加空格。

虽然这种不是完全之策,也需要要求开发人员写SQL时候需要使用换行等,但目前来说已经够用了。

2.5.最后的问题

        你们以为问题全都解决了,皆大欢喜?不好意思,现实往往会给你一个大逼斗,再嘲笑你一番。毕竟有些坑埋在那里,暂时为止没遇到不代表不存在。像这种1000多行的SQL,执行效率能有多低可想而知,代码使用的是动态数据源,每次连接都会动态加载写好的配置,所以请看

其实就是连接超时,被掐了。找了一下动态创建数据源的代码,发现了这么一行代码

props.put("connectionProperties", "druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000;socketTimeout=3000;connectTimeout=1200");

修改后

props.put("connectionProperties", "druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000");

最终所有问题都解决掉了,只是这SQL的执行效率就真的低,现场执行的返回时间是1.6min,暂时这样吧

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/145889.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

英飞凌 PSoC6 RT-Thread 评估板硬件概览

PSoC™ 62 with CAPSENSE™ evaluation kit 开发板(以下简称 PSoC 6 RTT 开发板)是英飞凌(Infineon)联合 RT-Thread 发布一款面向物联网开发者的 32 位双核 MCU 开发套件,其默认内置 RT-Thread 物联网操作系统。本文主…

vue 入门一

参考&#xff1a;丁丁的哔哩哔哩 1.使用vue 1.1 使用CDN的方式使用Vue mount和<div id"counter">关联起来 1.2 vue中的createApp import { createApp } from "vue"; import App from "./App.vue"; createApp(App).mount("#app&qu…

C#基础(15)选择排序

前言 上一节中我们已经学习了第一个算法&#xff1a;冒泡算法&#xff0c;相信你也有足够的自信继续学习更多的算法。 今天我们就来讲解又一个排序相关的算法&#xff1a;选择排序。 时间复杂度 在进行今天的排序算法讲解之前&#xff0c;我们先补充一个知识点&#xff1a…

单链表(c语言简单实现)

单链表是一种常见的数据结构 一、结构特点 1. 由一系列节点组成&#xff0c;每个节点包含数据域和指向下一个节点的指针域。 2. 最后一个节点的指针域为 null&#xff0c;表示链表的结尾。 二、主要操作 1. 插入节点&#xff1a;可以在链表的头部、尾部或特定位置插入新节点。…

Docker安装rabbitmq并配置延迟队列

下载rabbitmq镜像 docker pull rabbitmq:management 运行rabbitmq镜像 docker run -id --namerabbitmq -p 5671:5671 -p 5672:5672 -p 4369:4369 -p 15671:15671 -p 15672:15672 -p 25672:25672 -e RABBITMQ_DEFAULT_USERtom -e RABBITMQ_DEFAULT_PASStom rabbitmq:management …

windows环境下MySQL启动失败 查看data文件夹中.err发现报错unknown variable ‘log‐bin=mysql‐bin‘

文章目录 问题解决方法 问题 今天在windows环境下配置MySQL主从同步&#xff0c;在修改my.ini文件后发现MySQL启动失败了 打开my.ini检查参数发现没有问题 [mysqld] #开启二进制日志&#xff0c;记录了所有更改数据库数据的SQL语句 log‐bin mysql‐bin #设置服务id&#x…

电子束光刻过程中的场拼接精度

以下内容如有错误&#xff0c;请不吝指教&#xff0c;感谢&#xff01; 1、EBL为什么会出现场拼接误差&#xff0c;如何解决&#xff1f; ChatGPT 说&#xff1a; 在电子束光刻&#xff08;EBL&#xff09;过程中&#xff0c;SOI&#xff08;硅绝缘体&#xff09;芯片上出现*…

操作系统 | 学习笔记 | | 王道 | 5.2 设备独立软件

5.2 设备独立性软件 IO核心子系统 磁盘IO也属于IO调度问题 5.2.1 与设备无关的软件 与设备无关的软件是I/O系统的最高层软件&#xff0c;它的下层是设备驱动程序。 设备保护&#xff1a; 操作系统需要实现文件保护功能&#xff0c;不同的用户对各个文件有不同的访问权限&am…

2024.9.20 作业

写一个shell脚本&#xff0c;将以下内容放到脚本中&#xff1a; a.在家目录下创建目录文件&#xff0c;dir b.dir下创建dir1和dir2 c.把当前目录下的所有文件拷贝到dir1中&#xff0c; d.把当前目录下的所有脚本文件拷贝到dir2中 e.把dir2打包并压缩为dir2.tar.xz f.再把…

VSCode开发ros程序无法智能提示的解决方法(一)

VSCode开发ros程序无法智能提示的解决方法&#xff08;一&#xff09; 问题解决 问题 在Ubuntu下使用vscode开发ros程序&#xff0c;无法进行智能提示。 解决 将 intelli Sense Engine 设置为 Tag Parser 即可。

SpringBoot实现OAuth客户端

背景 5 月份的时候&#xff0c;我实践并整理了一篇博客&#xff1a;SpringBoot搭建OAuth2&#xff0c;该博客完成之后&#xff0c;本以为能对OAuth2的认证机制更加清晰&#xff0c;但我却觉得自己更“迷惘”了。 抛开我在项目中积累的浅薄经验不谈&#xff0c;单从在网…

智慧园区的发展趋势

在数字经济高速发展、前瞻技术加速创新和社会需求革命的驱动下&#xff0c;江园科技智慧园区的未来发展将呈现数智化、融合化、人本化、韧性化和绿色化五大趋势。 趋势一&#xff1a;数智化 以万兆联接、数字平台为特征的基础设施将成为园区的核心底座。以 5.5G/NET5.5G/F5.5G…

深度图可视化显示(kitti)

文章目录 前言一、读取深度值与图像1、深度值读取2、图像读取 二、深度图可视化1、深度图可视化代码2、深度图可视化结果展示 三、深度图在图像上可视化1、可视化代码2、可视化坐标显示 四、完整代码 前言 kitti数据是一个通用数据&#xff0c;有关kitti的深度图像内容我已有博…

常见中间件漏洞靶场(tomcat)

1.CVE-2017-12615 开启环境 查看端口 查看IP 在哥斯拉里生成一个木马 访问页面修改文件后缀和文件内容 放包拿去连接 2.后台弱⼝令部署war包 打开环境 将前边的1.jsp压缩成1.zip然后改名为1.war 访问页面进行上传 在拿去连接 3.CVE-2020-1938 打开环境 访问一下 来到kali …

FRIDA-JSAPI:Java使用

Frida Frida.version 包含当前Frida版本信息的属性&#xff0c;以字符串形式表示。setImmediate(function (){console.log(Frida.version) })Java Java.perform(fn) 确保当前线程已附加到虚拟机&#xff0c;并调用 fn。 setImmediate(function (){Java.perform(function (){c…

时代变了,MySQL 早已不是最流行的数据库了

以下文章来源于古时的风筝 &#xff0c;作者风筝 在StackOverflow 上看到2024年技术趋势&#xff0c;关于数据库的部分&#xff0c;PostgreSQL 是开发人员使用最多的数据库&#xff0c;超过 MySQL 了。虽然在国内好像不是这样。 PostgreSQL 在 2018 年的开发者调查中首次亮相…

云韧性,现代云服务不可或缺的组成部分

韧性&#xff0c;一个物理学概念&#xff0c;表示材料在变形或者破裂过程中吸收能量的能力。韧性越好&#xff0c;则发生脆性断裂的可能性越小。 如今&#xff0c;韧性也延伸到企业特质、产品特征等之中&#xff0c;用于形容企业、产品乃至服务的优劣。同样&#xff0c;随着云…

电脑视频编辑常用软件:12个在线视频剪辑方法,这份免费攻略真实在!

您是否曾为视频剪辑而感到困惑&#xff0c;不知从何入手&#xff1f;面对众多的视频编辑软件和复杂的操作流程&#xff0c;怎样才能快速上手&#xff0c;制作出高质量的视频呢&#xff1f;许多内容创作者在编辑或上传较长视频时&#xff0c;常常遭遇到时间和质量的困扰。为了解…

私域直播平台带源码

源码地址:https://gitee.com/godsdodo/tencent-live.git 简介: #腾讯云直播 #腾讯云im #腾讯云白板 # 私域直播 #高并发直播分发; 基于腾讯云K8S搭建的私域直播培训平台,直播功能: 主播推流,智能直播,OBS推流 ## 助理平台: 场控控制,直播间管理,直播间数据统计 ## 用户端: 观看…

Double-Fetch漏洞检测工具的部署、使用与原理分析

文章目录 前言1、概述1.1、简介1.2、工作原理1.2.1、内核空间与用户空间的信息传递1.2.2、Double-Fetch漏洞产生的原因1.2.3、产生Double-Fetch漏洞的情况1.2.4、一个Double-Fetch漏洞示例1.2.5、Double-Fetch漏洞检测工具原理 1.3、模式匹配原理分析1.3.1、Coccinelle介绍1.3.…