通用而优雅的数据库访问库——Python Records模块详解


通用而优雅的数据库访问库——Python Records模块详解

我们在开发过程中经常涉及与数据库进行交互,比如MySQL、Oracle、PostgreSQL、Sqlite,一般,我们使用其对应的Python 第三方模块,实现相关数据库操作,如下

  • MySQL数据库: mysql-connector pymysql
  • PostgreSQL数据库: psycopg2
  • Oracle数据库 cx_Oracle
  • SQLite数据库: sqlite3

但这样却使得我们不得不面临一个问题,代码中涉及不同数据库,操作方式也不尽相同,容易出现代码冗余、不规范,风格不统一等等问题。

后来接触到 Python SQLAlchemy (ORM框架)模块,一定程度上解决了各数据库的SQL差异,但 SQLAlchemy 在消除各数据库SQL差异的同时却会引入各框架CRUD的差异。而我们往往就具有一定的SQL基础,如果一个框架强制用户只能使用其规定的CRUD形式那反而增加用户的学习成本,导致长学习曲线。

同时,个人为人直接地执行SQL而不是使用框架设定的CRUD不应当是一种低级的操作应当是一种被鼓厉的标准化行为。


遇到 Records

Records 是一个非常简单且功能强大的库,适用于大多数关系型数据库的 原始SQL操作 ,三个字, 强无敌

Records 的特点:

  • 基于 SQLAlchemy 和 Tablib 开发。
  • 方法非常简单且统一。
  • 支持缓存查询的数据.
  • 自动实现上下文管理器,不需要关注数据连接状态。
  • 支持数据库事务,保持数据的原子性和一致性。
  • 支持安全的参数化查询,以安全的形式进行动态参数传递,防止 sql 语句不规范导致的安全问题;
  • 支持主流数据库,如 RedShift, Postgres, MySQL, SQLite, Oracle, 和 MS-SQL

Records 安装

我们在Windows 10 Python3环境下,使用pip进行安装 ,安装命令如下:

 pip install records 

安装过程如下:

通用而优雅的数据库访问库——Python Records模块详解

接下来,我们以SQLite数据库为例,介绍如何使用 Records 进行数据库CRUD操作。


首先,因 Records 是基于 SQLAlchemy 实现的,所以数据库链接方式参考 SQLAlchemy ,如下

通用而优雅的数据库访问库——Python Records模块详解

Records 操作数据的 步骤非常的简单,如下:

  1. 连接数据库,返回 DB 数据库对象。
  2. 使用 query 方法执行 SQL 语句。

创建表

通用而优雅的数据库访问库——Python Records模块详解

插入数据

Records 支持安全参数化,使用 :variable 定义变量,通过参数传入完成动态传值,非常适合需要动态加载数据的场景,如批量入库操作。

通用而优雅的数据库访问库——Python Records模块详解


批量插入

SQL 语句实现数据的批量入库时,操作比较冗余,如果入库数据是动态变化的,代码的复杂度变得更高。 Records 提供的 bulk_query 方法能便捷的插入和更新数据。

通用而优雅的数据库访问库——Python Records模块详解


数据查询

我们可以通过 all 方法获取所有的记录, first 方法获取第一条记录,支持参数如下:

  • as_dict=True :参数转成字典形式。
  • as_ordereddict=True :转成排序字典形式。
通用而优雅的数据库访问库——Python Records模块详解


字段获取

通用而优雅的数据库访问库——Python Records模块详解

执行上述代码,输出结果如下:

通用而优雅的数据库访问库——Python Records模块详解


支持数据库事务

数据库事务是经常需要使用到的数据库操作,他通常是为了保持数据原子性和一致性。

比如商品销量与存量的数据库操作:

  1. 读取商品销量数据。
  2. 更新商品销量增加1。
  3. 读取商品存量数量。
  4. 更新商品存量减少1。

该场景下,我们须保证这 4 步均执行成功。如果第1步已经执行成功,但是到第 3 步发生了错误导致后面数据库操作不能执行,会导致商品销量与存量混乱。records 模块提高了强大的数据库事务支持,通过数据库事务就能避免这种情况,如下:

通用而优雅的数据库访问库——Python Records模块详解

执行上述代码,我们可以看到,当with中存在失败的执行语句时,历史执行SQL 不生效,如下:

通用而优雅的数据库访问库——Python Records模块详解


数据导出至xlsx

通用而优雅的数据库访问库——Python Records模块详解

执行上述代码,实现数据库查询结果的导出到xlsx中,如下:

通用而优雅的数据库访问库——Python Records模块详解


数据导出为yaml

通用而优雅的数据库访问库——Python Records模块详解

除此之外,还支持导出为 json, xls, csv, pandas, html 等多种数据格式。


通用而优雅的数据库访问库——Python Records模块详解