nginx openresty lua-resty-http 使用的一些问题记录

需求背景

需求是使用 nginx 做一个 https 服务的代理

nginx 收到 http 请求后,需要修改 body 中的某些参数值,然后将修改后的数据发送到目标服务器(https)

本来以为很简单的需求,结果中间出现了不少岔子,这里记录一下

知识点汇总

  1. location = xxx {} 是精确匹配,location xxx {} 是前缀匹配。
  2. 用 lua 脚本处理请求时,如果脚本找不到,客户端看到的是 404 not found,和路由配置错了一个样。
  3. lua-resty-http 模块管理员权限直接安装就行(不需要和 nginx 一起编译)。
  4. httpc:request_uri 请求时,必要的配置是 resolver(做 dns 解析);https 请求时,加上 ssl_verify = false 可以避免 https 证书带来的问题(python requests 包也有这个参数,但是不推荐使用,不安全)。
  5. 像这种靠近底层的工具如果修改了 http 请求的 body 时,一定要关注是否已经设置过 Content-Length 这个 header 了,可以去掉或者重新设置。否则可能造成的问题是 数据异常截断 或者 莫名奇妙的等待

详细问题

问题1:配置了 location 但是显示 404

代码如下

location = /aigw {content_by_lua_file conf/lua/aigw.lua;
}

这个代码先后改了两次,实际有两个原因客户端都会显示 404

  1. location = 是精确匹配,请求有后缀就找不到了
  2. 如果 conf/lua/aigw.lua 文件找不到,也不会提示内部错误信息,客户端看到的也是 404 问题

问题 2:module 'resty.http' not found:

使用如下命令安装,注意必须是 sudo 权限下,否则不行

sudo apt-get update
sudo apt-get install -y luarocks
sudo luarocks install lua-resty-http

问题 3:no resolver defined to resolve "xxxxx"

问题代码如下,这个错误是下面 err 的值

local res, err = httpc:request_uri(forwardUrl, {
...
})

解决方案:这个错误表明 NGINX 没有配置 DNS 解析器来解析 xxxxx 域名。你需要在 NGINX 配置文件中添加一个 resolver 指令来指定 DNS 服务器。

在 nginx.conf 文件的 http 或 server 块中添加以下内容:

http {resolver 8.8.8.8 8.8.4.4 valid=300s;resolver_timeout 5s;# 其他配置...
}

8.8.8.8 和 8.8.4.4 是 Google 的公共 DNS 服务器,你也可以使用其他 DNS 服务器。

添加后,重新加载 NGINX 配置:

sudo nginx -s reload

问题 4:unable to get local issuer certificate

这也是发送请求时的错误信息。

这个错误表明 NGINX 无法验证目标 HTTPS 服务器的 SSL 证书。下面是两种解决方案,我才用了第一种

  1. 忽略 SSL 证书验证(不推荐用于生产环境): 在 httpc:request_uri 调用中添加 ssl_verify = false 参数。

    local res, err = httpc:request_uri(forwardUrl, {method = ngx.req.get_method(),body = body_data,headers = ngx.req.get_headers(),ssl_verify = false  -- 这里是新增加的参数
    })
    
  2. 指定 CA 证书: 下载并指定一个可信的 CA 证书文件。(我没试过)
    首先,下载 CA 证书文件(例如 ca-certificates.crt),然后在 httpc:request_uri 调用中指定 ssl_ca_cert 参数。

    local res, err = httpc:request_uri(forwardUrl, {method = ngx.req.get_method(),body = body_data,headers = ngx.req.get_headers(),ssl_ca_cert = "/path/to/ca-certificates.crt"
    })
    

问题 5:修改请求 body 值之后,请求就卡住了

代码依旧是这个代码

local res, err = httpc:request_uri(forwardUrl, {method = ngx.req.get_method(),body = body_data,headers = ngx.req.get_headers(),ssl_verify = false
})

当我把 body_data 转为 json,修改其中的值,又转为字符串之后,这个网络请求就莫名奇妙的卡住了。

废了很大的力气查了很多资料也没有结果。自己调试打印了两组数据,对比了数据类型,还是没找到原因。

最后我打印了 ngx.req.get_method() 发现其中有一个头信息是

content-length: 216

猛然想到:因为我把 body 改小了,但是 content-length 值很大,这个 client 就会一直等着剩余的数据传输,所以就会一直卡着不动了。

修改方案是:

local new_headers = ngx.req.get_headers()
-- 删除 Content-Length 头,否则会导致 http client 卡住
new_headers["Content-Length"] = nil
new_headers["content-length"] = nillocal res, err = httpc:request_uri(forwardUrl, {method = ngx.req.get_method(),body = new_body,headers = new_headers,ssl_verify = false
})

问题 6:最终返回给客户端的数据是截断的

问题代码如下


-- res 是 httpc:request_uri 的返回值
ngx.status = res.status
for k, v in pairs(res.headers) doif k ~= "Transfer-Encoding" thenngx.header[k] = vend
end-- 将 body 中的 model 替换回去
local ok, res_body_json = pcall(cjson.decode, res.body)
if not ok thenngx.log(ngx.ERR, "Failed to decode JSON: ", res.body)ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)
endres_body_json.model = model_prefix .. model_suffix
local new_res_body = cjson.encode(res_body_json)ngx.print(new_res_body)
ngx.exit(ngx.HTTP_OK)

上面的代码返回的 json 数据,一直只有一部分。

这个答案也很简单,和之前卡住的问题一样,因为我修改了返回的 body 值,而 ngx 在最开始逐一设置了 resheader 值,显然又把 Content-Length 带进去了。加上这么两句以后,问题解决:

ngx.header["Content-Length"] = #new_res_body
ngx.header["content-length"] = #new_res_body

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/15733.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

Redis的分布式锁分析

系列文章目录 Java项目对接redis,客户端是选Redisson、Lettuce还是Jedis? 由Redis引发的分布式锁探讨 系列文章目录一、什么是分布式锁?二、Redis分布式锁的几种实现1. 简单分布式锁2. Redlock 三、Redis 锁的问题1. 互斥失效2. 时钟偏移 四…

柯桥生活英语口语学习“面坨了”英语怎么表达?

“面坨了”英语怎么表达? 要想搞清楚这个表达,首先,我们要搞明白“坨”是啥意思? 所谓“坨”就是指,面条在汤里泡太久,从而变涨,黏糊凝固在一起的状态。 有一个词汇,很适合用来表达这…

鸿蒙NEXT应用示例:切换图片动画

【引言】 在鸿蒙NEXT应用开发中,实现图片切换动画是一项常见的需求。本文将介绍如何使用鸿蒙应用框架中的组件和动画功能,实现不同类型的图片切换动画效果。 【环境准备】 电脑系统:windows 10 开发工具:DevEco Studio NEXT B…

UAC2.0 speaker——speaker 数据传输

文章目录 麦克风数据传输准备音频数据抓包原始数据频谱分析(FFT)应用麦克风数据传输 上一节中实现了 USB 麦克风设备 本节主要介绍 MCU 麦克风的数据如何传输给上位机。 准备音频数据 MCU 端发送 48KHZ, 16bit 单声道的正弦波数据,正弦波数据的生成参考 音频——C语言生…

【多语言】每种语言打印helloworld,编译为exe会占多大空间

文章目录 背景c语言 53KBc 53KBgo 1.8Mdart 4.6Mpython未测试nodejs未测试rust未测试java未测试cmd || bash || powershell 未测试other 背景 各个版本的helloworld,纯属闲的, 环境如下: - win10 - mingw: gcc8.1.0 - go1.21 - dart3.5.4c语言 53KB gcc main.c -…

Android12的ANR解析

0. 参考: ANR分析 深入理解 Android ANR 触发原理以及信息收集过程 1.ANR的触发分类: ANR分为4类: InputDispatchTimeout:输入事件分发超时5s,包括按键和触摸事件。BroadcastTimeout:比如前台广播在10s内未执行完成&#xff0…

2022-2023全国高校计算机能力挑战赛区域赛python组编程题

mi目录 2022 1. 2. 1. 使用 format() 方法 2. 使用 f-string(Python 3.6 及以上) 2023 1. 2. 3. 4 闽农大宝玲楼 2022 1. 1.某动物研究员给动物园的动物们定了一个园区幸福值,其中园区幸福值的计算为一个园区内“所有动物的活动时…

函数的栈帧

前言: 1.请使用vs2013调试,我使用vs2019被恶心到了,封装严重,不利于观察。 2.函数栈帧:函数就是程序,程序就需要空间来运行,所以我们要为他分配空间,分配的空间用ebp esp维护&…

机器学习基础04

目录 1.朴素贝叶斯-分类 1.1贝叶斯分类理论 1.2条件概率 1.3全概率公式 1.4贝叶斯推断 1.5朴素贝叶斯推断 1.6拉普拉斯平滑系数 1.7API 2.决策树-分类 2.1决策树 2.2基于信息增益的决策树建立 2.2.1信息熵 2.2.2信息增益 2.2.3信息增益决策树建立步骤 2.3基于基…

如何解决IDE添加错误GitHub token后无法连接GitHub的问题

背景 当初学者首次使用IDE(IDEA、Xcode等)对GitHub仓库进行操作(push、fetch)时,会提示输入GitHub账户和token,如果这时候你一不小心输入了错误的token,之后你就叫天天不应叫地地不灵了&#xf…

PPT技巧:如何合并PPT文件?

在工作与学习中,PPT(PowerPoint)演示文稿已成为信息传递、项目汇报、教育培训等领域不可或缺的工具。随着任务的累积,我们往往会积累大量单独的PPT文件,每个文件可能包含特定章节、项目阶段或是不同主题的内容。为了更…

安全见闻1-5

涵盖了编程语言、软件程序类型、操作系统、网络通讯、硬件设备、web前后端、脚本语言、病毒种类、服务器程序、人工智能等基本知识,有助于全面了解计算机科学和网络技术的各个方面。 安全见闻1 1.编程语言简要概述 C语言:面向过程,适用于系统…

k-近邻算法(K-Nearest Neighbors, KNN)详解:机器学习中的经典算法

✅作者简介:2022年博客新星 第八。热爱国学的Java后端开发者,修心和技术同步精进。 🍎个人主页:Java Fans的博客 🍊个人信条:不迁怒,不贰过。小知识,大智慧。 💞当前专栏…

LeetCode297.二叉树的序列化和反序列化

题目要求 序列化是将一个数据结构或者对象转换为连续的比特位的操作,进而可以将转换后的数据存储在一个文件或者内存中,同时也可以通过网络传输到另一个计算机环境,采取相反方式重构得到原数据。 请设计一个算法来实现二叉树的序列化与反序…

蓝牙5.0模块助力闹钟升级,开启智能生活第一步

随着智能家居产业的快速发展,智能闹钟作为其中一个重要的品类,逐渐从单一的时间提醒功能演变为集音频播放、语音交互、智能控制等多种功能于一体的智能设备。而在这些功能的实现中,蓝牙音频模组扮演着核心角色。 1、蓝牙音频模组的功能概述 …

自己动手写Qt Creator插件

文章目录 前言一、环境准备1.先看自己的Qt Creator IDE的版本2.下载源码 二、使用步骤1.参考原本的插件2.编写自定义插件1.cmakelist增加一个模块2.同理,qbs文件也增加一个3.插件源码 三、效果总结 前言 就目前而言,Qt Creator这个IDE,插件比…

力扣经典面试题

1.本题的目标是判断字符串ransomNote是否由字符串magazine中的字符构成,且由magazine中的每个字符只能在ransomNote中使用一次 2.采用的方法是通过一个字典cahr_countl来统计magazine字符串中每个字符出现的次数 3.然后遍历ransomNote字符串,对于其中的…

Java开发人员从了学习ArkTs笔记(三)-数据结构与线程通信全解析

大家好,我是一名热爱Java开发的开发人员。目前,我正在学习ARKTS(Advanced Java Knowledge and Technology Stack),并将不断输出我的学习笔记。我将在这里分享我学习ARKTS的过程和心得,希望能够为其他开发人…

Java基础——预定义类/自定义类封装什么是Final类型

目录 预定义类——日历输出: 自定义类——在Java文件中: 什么是封装? 什么是final类型? 修饰变量: 修饰方法: 修饰类: 预定义类——日历输出: 例如:Math类、Date类…

spi 回环

///tx 极性0 (sclk信号线空闲时为低电平) /// 相位0 (在sclk信号线第一个跳变沿进行采样) timescale 1ns / 1ps//两个从机 8d01 8d02 module top(input clk ,input rst_n,input [7:0] addr ,input …