当前位置: 首页 > news >正文

关于pandas dataframe数据转换为JSON格式存储在Redis后,读取数据时发生数据篡改的问题以及解决办法

问题:当时处理股票数据,获取到以dataframe数据结构的股票,由于Redis 是一个内存中的数据结构存储系统,但是不接受dataframe数据结构的数据,选择将其先转化为JSON格式,但发现再将JSON格式转化为原数据时,数据发生篡改。
如 002855是股票'捷荣技术'的股票代码,会被篡改为2855,001301是'尚太科技'的股票代码,会被篡改为1301,造成这样的原因是JSON数据转换时将原字符串类型的数据自动转为了数字
解决方法:我使用了pickle模块,将dataframe对象转换为字节流进行存储,下面是示例代码:

# get_stock_historical_data 函数用于从Redis中获取股票的历史数据(近六个月到最近一个交易日),如果没有缓存数据则从数据源获取,并存储到Redis中的哈希表中。
def get_stock_six_months_historical_data(stock_code):cached_stock_six_months_historical_df_bytes = r.hget('stock_six_months_historical_df_bytes', stock_code)if cached_stock_six_months_historical_df_bytes:stock_six_months_historical_df = pickle.loads(cached_stock_six_months_historical_df_bytes)else:stock_six_months_historical_df = ak.stock_zh_a_hist(symbol=stock_code, period="daily",start_date=six_months_ago.strftime("%Y%m%d"),end_date=latest_trade_date.strftime("%Y%m%d"),adjust="")stock_six_months_historical_df_bytes = pickle.dumps(stock_six_months_historical_df)r.hset('stock_six_months_historical_df_bytes', stock_code, stock_six_months_historical_df_bytes)r.expire('stock_six_months_historical_df_bytes', 60 * 60 * 2)return stock_six_months_historical_df
http://www.lryc.cn/news/232666.html

相关文章:

  • Go 语言编译环境
  • Leetcode刷题详解——衣橱整理
  • 短视频ai剪辑分发账号矩阵系统(招商oem)----源头技术开发
  • Ubuntu18.04安装Loam保姆级教程
  • Rust 语言中的结构体
  • Unity开发之C#基础-异常处理(Try Catch)
  • Epoxy:跨不同数据存储的 ACID 事务
  • 鸿蒙:从0到“Hello Harmony”
  • istio安装文档
  • 修改CentOS默认mail发件人名称
  • Trigger替换Demo
  • iApp祁天社区UI成品源码 功能齐全的社区应用
  • python基于BAC0库进行bacnet IP的读写
  • CSDN每日一题学习训练——Python版(简化路径,不同的二叉搜索树)
  • milvus集合管理
  • 基于SSM的教学管理系统设计与实现
  • 【第2章 Node.js基础】2.7 Node.js 的流(一)可写流
  • 【kerberos】使用 curl 访问受 Kerberos HTTP SPNEGO 保护的 URL
  • 基于SSM的智慧养老平台设计与实现
  • 图像生成colab集合
  • SpringBoot整合Quartz示例
  • 物联网AI MicroPython学习之语法 I2C总线
  • RocketMQ的适用场景有哪些?
  • ubuntu启动转圈,无法进入登录界面
  • MATLAB 机械臂逆运动学进行轨迹控制建模
  • 【计算机组成原理】定点加法、减法运算
  • scp 跨服务器传输命令,把一个服务器上的文件复制传到当前服务器目录下
  • 【python基础】用户输入和while循环详解
  • k8s-部署Redis-cluster(TLS)
  • 计算机毕业设计选题推荐-幼儿园管理微信小程序/安卓APP-项目实战