当前位置: 首页 > news >正文

python实现批量数据库数据插入

import pandas as pd
import pymysql

# 连接 MySQL 数据库
conn = pymysql.connect(
    host='localhost',
    user='your_username',
    password='your_password',
    database='your_database_name',
    charset='utf8mb4',
)

# 读取已有数据
existing_data = pd.read_csv("86w全名单查实时多头测试.csv")

# 重复数据至800W条
max_rows = 8000000  # 总行数
repeat_times = max_rows // len(existing_data)  # 重复次数
remaining_rows = max_rows % len(existing_data)  # 剩余行数
full_data = pd.concat([existing_data] * repeat_times + [existing_data.iloc[:remaining_rows]])

# 更改序号列
full_data['序号'] = range(1, max_rows + 1)

# 写入 MySQL 数据库
table_name = 'table_name'  # 对应的表名
full_data.to_sql(name=table_name, con=conn, if_exists='replace', index=False)

# 关闭连接
conn.close()

http://www.lryc.cn/news/196712.html

相关文章:

  • python安装,并搞定环境配置和虚拟环境
  • Flink 的集群资源管理
  • STM32学习笔记
  • Java应用性能问题诊断技巧
  • 监控系列(六)prometheus监控DMHS操作步骤
  • SLAM从入门到精通(dwa速度规划算法)
  • 嵌入式实时操作系统的设计与开发(aCoral线程学习)
  • JAVA基础(JAVA SE)学习笔记(二)变量与运算符
  • chatgpt 接口 和 jupyter版本安装
  • ubuntu20.04 nerf开山之作
  • Java 中实现单例模式
  • 标签页的使用
  • 新一代开源语音库CoQui TTS冲到了GitHub 20.5k Star
  • CSS 效果:多列文字,第一行对齐,flex方式元素被挤压
  • 优维低代码实践:片段
  • 【计算机网络】第一章、计算机网络体系结构
  • vr火灾逃生安全科普软件开展消防突击教育安全有效
  • Kafka SASL认证授权(五)ACL源码解析
  • logback-spring.xml 中根据不同的业务表示,分类打印到不同的文件夹、时区动态设置
  • linux系统编程之一
  • 【LeetCode】《LeetCode 101》第十三章:链表
  • Electron webview 内网页 与 preload、 渲染进程、主进程的常规通信 以及企业级开发终极简化通信方式汇总
  • AI人工训练师,提升外呼机器人的运营效果
  • nginx正向代理、反向代理、负载均衡(重中之重)
  • MySQl_2
  • 使用Filter AND Interceptor校验等录(全网独一份,机不可失)
  • ubuntu20.04安装FTP服务
  • MyBatisPlus(二十)防全表更新与删除
  • 14.9 Socket 高效文件传输
  • 第二节 threejs简单案例