编写一个数据库查询的运维小脚本

发表于 | 分类于 |

昨日晚平台升级，我们成功送BUG上线，今天系统问题又多了起来，大多数时候的运维问题需要根据业务反馈的#订单号# 查询到当前状态，然后再进行反馈和处理。

每次看到运维问题前都要去打开plsql等工具进行数据库查询，或者登录到系统里面进行查看，然后再进行具体的回复和处理。

以上是需求背景

能否写一个程序？实现一步操作把常用的信息都查询出来，省去打开数据库工具和重复编写/修改脚本的繁琐操作。

通过查找资料，写了一个，碰到不少问题，特意记录下来。

技术框架

开发语言：Python，数据库：oracle，第三方库：cx_Oracle（用于python和oracle的连接），prettytable（用于表格化输出展示数据）

开发步骤

一、安装cx_Oracle

1
pip install cx_Oracle

参考官方说明文档：
https://cx-oracle.readthedocs.io/en/latest/user_guide/installation.html

二、编写数据库操作类

直接使用了chatgpt提供的代码，因为我只用到了查询方法，所以只查没有增删改，另外考虑到要同时查询多次数据，所以自己修改了实现了一个连接池的功能。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
import cx_Oracle
import queue

class OracleDatabase:
    # 构造函数，传入数据库连接参数
    def __init__(self, user, pwd, dsn, size):
        self.user = user
        self.pwd = pwd
        self.dsn = dsn
        ## 定义连接池
        self.size = size
        self.conn_queue = queue.Queue(maxsize=self.size)
        for i in range(self.size):
            self.conn_queue.put(self._create_connection())

    # 创建数据库连接
    def _create_connection(self):
        return cx_Oracle.connect(self.user, self.pwd, self.dsn)
  
    # 从连接池里面获取连接
    def _get_conn(self):
        conn = self.conn_queue.get()
        if conn is None:
            self._create_connection()
        return conn

    # 将连接put到连接池中
    def _put_conn(self, conn):
        self.conn_queue.put(conn)

    # 关闭所有连接
    def _close_conn(self):
        try:
            while True:
                conn = self.conn_queue.get_nowait()
                if conn:
                    conn.close()
        except queue.Empty:
            print(">>>>数据库连接全部关闭<<<<")
            pass 

    # 执行查询语句
    def query(self, sql, params=None):
        res = []
        conn = self._get_conn()
        cursor = conn.cursor()
        try:
            if params:
                cursor.execute(sql, params)
            else:
                cursor.execute(sql)
            rows = cursor.fetchall()
            for row in rows:
                res.append(row)
        except Exception as e:
            print(str(e))
        finally:
            cursor.close()
            self._put_conn(conn)
        return res

三、输入订单号，执行查询

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
if __name__ == '__main__':
    user = "user_dba"
    pwd = "user_password"
    dsn = cx_Oracle.makedsn('0.0.0.0', '1521', service_name='s_demo_db')
    db = OracleDatabase(user, pwd, dsn, 2)
    cl_code = input("输入订单号: ").strip()
    
    print("数据信息展示:")
    sql_1 = """select *
		  from table_demo c
		  where c.cl_code = :cl_code"""

    results_1 = db.query(sql_1, [cl_code])
	print(results_1)
	# ......

四、格式化打印

  1. 安装prettytable
    1
    pip install PrettyTable
  2. 示例代码
    1
    2
    3
    4
    5
    6
    7
    8

    from prettytable import PrettyTable

    ## 接着第三部分的代码
    tb_1 = PrettyTable(['**号', '**时间', '当前状态', '单号', '机构'])
    for rs_1 in results_1:
    	tb_1.add_row([rs_1[0], rs_1[1], rs_1[2], rs_1[3], rs_1[4]])
    print(tb_1)

五、打印效果

使用效果如下：粘贴订单号回车，直接返回下面所需要的信息数据(测试数据)：
效果图

问题记录

  1. 第一个问题就是安装 cx_Oracle的时候出错：
    1
    ERROR: Could not build wheels for cx_Oracle, which is required to install pyproject.toml-based projects

解决方式：安装Microsoft C++ 生成工具，Microsoft C++ 生成工具 - Visual Studio,更改安装目录，按照默认选项安装即可。

  1. 报错信息
1
cx_Oracle.DatabaseError: DPI-1047: Cannot locate a 64-bit Oracle Client library:"The specified module could not be found".See https://cx-oracle.readthedocs.io/en/latest/user_guide/installation.html for help

解决方式：复制oracle客户端(客户端下载见问题3)目录中的oci，oraocci11，oraociei11的3个DLL粘贴到你的Paython目录的Lib/site-packages文件夹下面。

  1. 报错信息
    1
    cx_Oracle.DatabaseError: DPI-1072: the Oracle Client library version is unsupported

下载oracle客户端，并解压安装。下载地址：https://oracle.github.io/odpi/doc/installation
我出现这个问题，是因为我本机原来安装的是19.18版本，换成11.2版本的客户端，按照问题2的操作，将三个dll文件重新复制过去，解决问题。
图二

后期优化

  1. 将sql语句集中放到配置文件里面，并配置表头，可以实现多查询自由扩展。
  2. 通过bat脚本调用执行，真正实现一键查询。