当前位置： 首页 > news >正文

1、goreplay流量回放

news 2025/8/25 14:22:43
  • 目的

在实际项目中，会有大量的回归测试工作，通常会使用自动化代码的手段来实现回归，但是对于一个庞大的系统来说，通过自动化脚本的方式来实现回归测试，又显得很费时费力。并且如果有定期将线上数据同步到测试环境的需求的话，流量回放就显得很必要了。当然，流量回放并不能替代自动化，对于存在上下文关联的接口，流量回放的处理上就显得很复杂。

  • 流量回放

其实流量回放主要是对某个端口的流量进行转发和存储，这边用的是goreplay,mitmproxy也可以做到流量的抓取和回放。

流量回放有三种使用方式：

  • 服务->to->服务，即端到端
  • 服务->to->文件，即流量存储
  • 文件->to->服务，即流量文件回放到服务
  • 常用配置示例
  • service_to_file.yml
bin:
  - "/opt/crawl/project/flow_replay/gor"
input:
  - "--input-raw :18080" 
  - "--input-raw-track-response"
  - "--prettify-http"
middle:
  - 
output:
  - "--output-file ./data/requests-%Y-%m-%d-%H.gor"
  - "--output-file-size-limit 100kb"
  - "--output-file-queue-limit 60"
  • file_to_service.yml
bin:
  - "/opt/crawl/project/flow_replay/gor"
input:
  - "--input-file ./data/'requests-2024-03-18-14_7.gor'"
middle:
  - "--middleware /opt/crawl/project/flow_replay/middle/main.js"
output:
  - "--output-http='http://localhost:18080'"
  - "--output-http-track-response"
  - "--prettify-http"
  • 释义

gorplay的配置主要分为三个部分，分别是input、output和middleware

  • input：定义需要捕获请求的一些必要条件
# 定义监听端口
--input-raw :18080 
# 定义是否要捕获请求响应，只有添加了这个配置，回放时才会触发response事件
--input-raw-track-response
# 定义是否要美化响应，这个配置是作者修复bug新加的配置，必须要有，
# 如果没有会造成乱码
--prettify-http
# 定义存储请求的文件位置
# 可以使用*模糊匹配，批量回放相关文件，如requests-2024-03-18-*.gor
--input-file ./data/'requests-2024-03-18-14_7.gor'
# 定义缓冲区大小，单位为b
--input-raw-buffer-size 10485760

注：不论是从端口读取请求或者从文件读取请求，则必然会触发request事件

  • output：定义输出请求的一些必要参数
# 定义存储请求文件的位置、格式及命名
--output-file ./data/requests-%Y-%m-%d-%H.gor
# 追踪流量回放响应，只有存在这个配置，回放成功后才会触发replay事件
--output-http-track-response
# 定义存储请求文件的最大size
--output-file-size-limit 100kb
# 定义单个存储文件中存储请求的数量
--output-file-queue-limit 20
# 同input
--prettify-http
# 定义请求丢弃比例，分别为绝对值和百分比
# 每秒请求超过绝对值的数字，则丢弃
# 只回放百分比的请求数量提升速度
--output-http='http://localhost:18080|10'
--output-http='http://localhost:18080|10%'
  • 中间件
  • 中间件流程示意图

  • 中间件常用Api
init - 初始化
httpPath - 获取请求URL，不包含请求的域名: gor.httpPath(req.http)
httpMethod - 获取请求方法：gor.httpMethod(req.http).
setHttpPath - 更新URL: req.http = gor.setHttpPath(req.http, newPath)
httpPathParam - 获取URL上的参数: gor.httpPathParam(req.http, queryParam)
setHttpPathParam - 设置URL参数: req.http = gor.setHttpPathParam(req.http, queryParam, value)
httpStatus - 响应状态码：gor.httpStatus(rep.http)
httpHeaders - 获取所有请求头: gor.httpHeaders(req.http)
httpHeader - 获取指定请求头: gor.httpHeader(req.http, "Content-Length")
setHttpHeader - 设置请求头, returns modified payload: req.http = gor.setHttpHeader(req.http, "X-Replayed", "1")
httpBody - 获取请求体: gor.httpBody(req.http)
setHttpBody - 设置请求体，需要注意Content-Length的大小: req.http = gor.setHttpBody(req.http, Buffer.from('hello!')).
httpBodyParam - 获取post请求param: gor.httpBodyParam(req.http, param)
setHttpBodyParam - 设置post请求的param: req.http = gor.setHttpBodyParam(req.http, param, value)
httpCookie - 获取cookie: gor.httpCookie(req.http, "SESSSION_ID")
setHttpCookie - 设置cookie, returns modified payload: req.http = gor.setHttpCookie(req.http, "iam", "cuckoo")
deleteHttpCookie - 删除cookie, returns modified payload: req.http = gor.deleteHttpCookie(req.http, "iam")
  • 事件

事件只存在于中间件中，goreplay接收到某个端口的请求后，会把request和response压缩成gzip,通过data.http字段转发给中间件，这样会触发request事件和response事件，当回放完成后，会触发replay事件

  • 中间件代码示例
#!/usr/bin/node
const gor = require("goreplay_middleware");
const NodeRSA = require('node-rsa');
const axios = require('axios')
const {user, baseUrl, publicKey} = require('./defalut')
const https = require('https');
const jsonpath = require('jsonpath');/**
 * @description 对公钥进行加密
 * @param publicKey
 * @param {string} data 需要加密的数据
 * @returns {string} 加密后的数据
 */
function encrypt(publicKey, data) {let buffer = Buffer.from(data);let key = new NodeRSA(publicKey);
    key.setOptions({encryptionScheme: 'pkcs1'});return key.encrypt(buffer, 'base64', 'base64');
}/**
 *
 * @param str
 * @param color:string, red, green, yellow, blue, and white if the color is the other value
 * @return {string}
 */
function addStringColor(str, color) {switch (color) {case "red":
            color = "31";break;case "green":
            color = "32";break;case "yellow":
            color = "33";break;case "blue":
            color = "34";break;case "pink":
            color = "35";break;default:
            color = "37";break;}return "\x1b[" + color + "m" + str + "\x1b[0m";
}/**
 * @description send login request and extract sessionId
 * @param baseUrl{string} request url
 * @returns {string} return sessionId
 */async function getCookie(baseUrl) {const data = {
        userName: user["username"],
        password: encrypt(publicKey, user["password"])};const url = baseUrl.concat('api/auth/doLogin');try {const response = await axios.post(url, data, {
            httpsAgent: new https.Agent({rejectUnauthorized: false}),
            headers: {'Content-Type': 'application/json; charset=utf-8'}});return response.headers['set-cookie'][0].match('(?<=JSESSIONID=)[a-f0-9-]+')[0];} catch (error) {
        console.error(error);}
}(async () => {let cookie = await getCookie(baseUrl);
    gor.init();
    gor.on('request', function (request) {//request.http = gor.deleteHttpCookie(request.http, 'JSESSIONID')
        request.http = gor.setHttpCookie(request.http, 'JSESSIONID', cookie)
        gor.on("replay", request.ID, function (replay) {try {let obj = JSON.parse(gor.httpBody(replay.http).toString('utf8'))if (jsonpath.query(obj, '$..code')[0] === '0000') {
                    console.error(addStringColor(`√\t${gor.httpMethod(request.http)}\t${gor.httpPath(request.http)}`, 'green'))} else {
                    console.error(addStringColor(`x\t${gor.httpMethod(request.http)}\t${gor.httpPath(request.http)}\n ${gor.httpBody(replay.http)} `, 'red'))}} catch (e) {
                console.error(addStringColor(`\t${gor.httpMethod(request.http)}\t${gor.httpPath(request.http)}\n ${e}`, 'red'))}return replay;})return request})
})()
  • 效果展示

http://www.lryc.cn/news/327072.html

相关文章：

  • Transformer的前世今生 day06（Self-Attention和RNN、LSTM的区别）
  • UDP send 出现大量“Resource temporarily unavailable”
  • 怎么拆解台式电脑风扇CPU风扇的拆卸步骤-怎么挑
  • Windows安装Odoo结合内网穿透实现公网访问本地企业管理系统
  • Portainer的替代Dockge？又一个Docker Compose管理器？
  • Midjourney AI绘图工具介绍及使用
  • clang-query 的编译安装与使用示例
  • echarts数据下钻如何配置
  • git 提交空目录
  • 【优化方案】Java 将字符串中的星号替换为0-9中的数字，并返回所有可能的替换结果
  • C语言复习-链表
  • Redis面试题-缓存雪崩、缓存穿透、缓存击穿问题
  • 【Node.js】npx
  • hive授予指定用户特定权限及beeline使用
  • Vmware虚拟机无法用root直连说明
  • Visio中存在问题的解决方法
  • taro之Swiper的使用
  • 正大国际：金融行业发展趋势
  • vue中实现超出一行 展开和收起的功能
  • 记录一次使用cert-manager-颁发CA证书
  • 生成式AI的风险与挑战
  • 让IIS支持.NET Web Api PUT和DELETE请求
  • 运维小技能：IP多号段配置、重置Mac电脑密码、修改系统级别的文件
  • Docker的Ubuntu上的安装教程及相关命令
  • 一些常见的nacos问题和答案
  • 华为OD机22道试题
  • 什么是Prompt Tuning？
  • 正则表达式篇
  • CAST(columnA AS VARCHAR(255)) AS fieldA报错的问题
  • github加速神器！解决github巨慢的问题，并且能够加速下载！另外推荐GitKraken -- 超好用的 Git 可视化工具