当前位置: 首页 > news >正文

Python读取csv文件入Oracle数据库

在Python中,使用`pandas`库的`read_sql_query`函数可以直接从SQL查询中读取数据到`DataFrame`。而`pd.set_option`函数用于设置`pandas`的显示选项。具体来说,`display.unicode.ambiguous_as_wide`选项用于控制当字符宽度不明确时,`pandas`是否将这些字符显示为宽字符。设置为`True`可以确保这些字符以宽字符的形式显示,这在处理某些Unicode字符时非常有用。

以下是如何使用`pandas`读取SQL查询结果,并使用`cx_Oracle`库将数据批量插入到Oracle数据库中的步骤:

### 步骤1:设置pandas显示选项

```python
import pandas as pd

# 设置pandas显示选项,确保不明确的Unicode字符以宽字符形式显示
pd.set_option('display.unicode.ambiguous_as_wide', True)
```

### 步骤2:读取SQL查询结果到DataFrame

```python
# 假设engine是一个SQLAlchemy引擎对象,sql是一个有效的SQL查询语句
from sqlalchemy import create_engine

# 创建数据库引擎(如果尚未创建)
engine = create_engine("oracle+cx_oracle://{username}:{password}@{hostname}:{port}/{service_name}"
                      .format(username="your_username",
                              password="your_password",
                              hostname="your_host",
                              port="your_port",
                              service_name="your_service_name"))

# 读取SQL查询结果到DataFrame
df = pd.read_sql_query(sql, engine)
```

请确保将上述代码中的`your_username`、`your_password`、`your_host`、`your_port`和`your_service_name`替换为您的Oracle数据库的实际连接信息。

### 步骤3:准备数据以进行批量插入

在将数据从`DataFrame`批量插入到Oracle数据库之前,您可能需要对数据进行清洗或转换,以确保它符合数据库表的结构。

```python
# 假设df是一个已经存在的DataFrame,且已经准备好用于插入
# 如果需要,可以在这里对df进行清洗或转换
```

### 步骤4:执行批量插入操作

使用`cx_Oracle`库的`executemany`方法执行批量插入:

```python
import cx_Oracle

# 获取数据库连接和游标
connection = engine.connect()
cursor = connection.cursor()

# 准备插入数据的SQL语句
# 假设df是你的DataFrame,且它包含列'column1'和'column2'
insert_statement = "INSERT INTO your_table (column1, column2) VALUES (:1, :2)"

# 使用DataFrame的iterrows()方法来获取数据并执行批量插入
for index, row in df.iterrows():
    cursor.execute(insert_statement, (row['column1'], row['column2']))

# 提交事务
connection.commit()
```

### 步骤5:关闭数据库连接

在数据插入完成后,关闭游标和数据库连接:

```python
# 关闭游标和连接
cursor.close()
connection.close()
```

以上步骤展示了如何使用`pandas`读取SQL查询结果到DataFrame,并对数据进行处理后,使用`cx_Oracle`库将数据批量插入到Oracle数据库中的完整流程。根据您的实际需求,可能需要对代码进行适当的调整和优化。

http://www.lryc.cn/news/327133.html

相关文章:

  • Linux_进程概念_冯诺依曼_进程概念_查看进程_获取进程pid_创建进程_进程状态_进程优先级_环境变量_获取环境变量三种方式_3
  • Set A Light 3D Studio中文--- 打造专业级3D照明效果
  • 【深度学习】基于机器学习的无机钙钛矿材料形成能预测,预测形成能,神经网络,回归问题
  • 20240321-2-Adaboost 算法介绍
  • python第三方库的安装,卸载和更新,以及在cmd下pip install安装的包在pycharm不可用问题的解决
  • Python第三次作业
  • ai写作软件选哪个?这5款风靡全球的工具不容错过!
  • 信号处理与分析——matlab记录
  • Android Databinding 使用教程
  • 【每日跟读】常用英语500句(200~300)
  • 【Java开发过程中的流程图】
  • 蓝桥杯刷题-day5-动态规划
  • 新概念英语1:Lesson7内容详解
  • FASTAPI系列 14-使用JSONResponse 返回JSON内容
  • 【版本控制】git使用指南
  • Flask 与小程序 的图片数据交互 过程及探讨研究学习
  • 【JavaEE】初识线程,线程与进程的区别
  • Kafka高级面试题-2024
  • Qt——Qt文本读写之QFile与QTextStream的使用总结(打开文本文件,修改内容后保存至该文件中)
  • 掌握Java中的super关键字
  • STM32之HAL开发——系统定时器(SysTick)
  • Redis 不再“开源”:中国面临的挑战与策略应对
  • 刚刚,百度和苹果宣布联名
  • HTTP系列之HTTP缓存 —— 强缓存和协商缓存
  • 代码+视频,R语言logistic回归交互项(交互作用)的可视化分析
  • 实验3 中文分词
  • ReentrantLock 原理
  • 星云小窝项目1.0——项目介绍(一)
  • VR虚拟仿真在线模拟旅游专业情景
  • ROS 2边学边练(3)-- 何为节点(nodes)