Python程序配置文件管理的最佳工程實(shí)踐

背景

最近在結(jié)合 Python-3.12.0a6 版本開(kāi)發(fā)一個(gè)多線程架構(gòu)的后臺(tái)服務(wù)；服務(wù)啟動(dòng)時(shí)會(huì)讀取配置文件，并且要求所有線程共享同一份配置。

服務(wù)本身直接通過(guò) http 接口來(lái)動(dòng)態(tài)調(diào)整配置項(xiàng)的值，還要做到服務(wù)退出之后持久化配置項(xiàng)到配置文件。

一開(kāi)始以為這個(gè)用 Python 寫(xiě)也會(huì)要用幾百行，最后發(fā)現(xiàn)完成核心功能就只需要不到 50 行，Python 牛逼?。?！

需求一：支持簡(jiǎn)單的配置項(xiàng)

假設(shè)我們目前只支持 name 和 port 兩個(gè)配置項(xiàng)，多支持幾個(gè)不難，只是不方便演示。

"""實(shí)例配置管理
"""


from dataclasses import dataclass




@dataclass
class Config(object):
    name:str= "mysql"
    port:int = 3306

看起來(lái)是沒(méi)問(wèn)題了，下面可以試用一下，也順帶引導(dǎo)出第二個(gè)需求。

In [6]: a = Config()


In [7]: b = Config()


In [8]: id(a)
Out[8]: 4407850896


In [9]: id(b)
Out[9]: 4407852496

可以看到兩個(gè)配置對(duì)象的 ID 值不一樣。由于配置文件只有一個(gè)，我們希望配置對(duì)象也只有一個(gè)。

需求二：配置對(duì)象全局唯一

交代一個(gè)背景，解釋器在做 import 的時(shí)候是單一線程在跑的。有了這個(gè)前提我們可以少寫(xiě)一些加鎖的代碼，能少寫(xiě)一行算一行吧。

"""實(shí)例配置管理
"""


from dataclasses import dataclass




@dataclass
class Config(object):
    name:str= "mysql"
    port:int = 3306


    _instance = None


    # 單例模式
    def __new__(cls, *args, **kw):
        if cls._instance is None:
            cls._instance = object.__new__(cls, *args, **kw)
        return cls._instance

用 Python 就是這么的簡(jiǎn)單，幾行代碼就搞定了。但是還是要測(cè)試一下順帶引導(dǎo)出下一個(gè)需求。

In [4]: a = Config()


In [5]: b = Config()


In [6]: id(a)
Out[6]: 4414751568


In [7]: id(b)
Out[7]: 4414751568

現(xiàn)在配置對(duì)象已經(jīng)是單例了，但還有一個(gè)問(wèn)題，它的每個(gè)配置項(xiàng)的值都是默認(rèn)值，我們當(dāng)然是希望它在創(chuàng)建對(duì)象的時(shí)候是使用配置文件中的值啦。下面看需求三怎么實(shí)現(xiàn)。

需求三：根據(jù)配置文件構(gòu)造配置對(duì)象

假設(shè)我們的配置文件被 “持久化” 到了 /tmp/config.json ，現(xiàn)在就可以寫(xiě)讀取配置文件并更新配置對(duì)象值的代碼了。

"""實(shí)例配置管理
"""


import json
import logging
from pathlib import Path
from dataclasses import dataclass




@dataclass
class Config(object):
    name:str= "mysql"
    port:int = 3306


    _instance = None


    # 單例模式
    def __new__(cls, *args, **kw):
        if cls._instance is None:
            cls._instance = object.__new__(cls, *args, **kw)
        return cls._instance


    # 讀取配置文件
    def __post_init__(self):
        """如果配置文件存在就用配置文件中的值，覆蓋默認(rèn)值。在這個(gè)過(guò)程中如果遇到異常就保持默認(rèn)值
        """
        if (config_file:=Path("/tmp/config.json")) and config_file.exists():
            try:
                with open(config_file) as f:
                    json_data = json.loads(f.read())
                    self.__dict__.update(json_data)
            except Exception as err:
                pass
        else:
            logging.warn("config file '{}' not exists. well using defautl values .".format(config_file))

假設(shè)我們的配置文件內(nèi)容是這樣的。

cat /tmp/config.json 
{
  "name": "trump",
  "port": 8848
}

下面的測(cè)試一下

In [2]: a = Config()


In [3]: a
Out[3]: Config(name='trump', port=8848)


In [4]: b = Config()


In [5]: b
Out[5]: Config(name='trump', port=8848)


In [6]: a == b
Out[6]: True

可以看到 name 和 port 已經(jīng)沒(méi)有使用默認(rèn)的 "mysql" 和 3306 了，而是使用了配置文件中的值。

到這里我們只剩下最后一個(gè)需求，就是在程序退出的時(shí)候，把配置對(duì)象的值更新回配置文件。這個(gè)就看需求四怎么寫(xiě)。

需求四：程序退出前自動(dòng)持久化配置對(duì)象到配置文件

解釋器在退出前有個(gè)鉤子(atexit)，我們可以在這里指定回調(diào)函數(shù)，這個(gè)時(shí)候保存配置文件再適合不過(guò)。

"""實(shí)例配置管理
"""


import json
import atexit
import logging
from pathlib import Path
from dataclasses import dataclass, asdict




@dataclass
class Config(object):
    name:str= "mysql"
    port:int = 3306


    _instance = None


    # 單例模式
    def __new__(cls, *args, **kw):
        if cls._instance is None:
            cls._instance = object.__new__(cls, *args, **kw)
        return cls._instance


    # 讀取配置文件
    def __post_init__(self):
        """如果配置文件存在就用配置文件中的值，覆蓋默認(rèn)值；在這個(gè)過(guò)程中如果遇到異常就保持默認(rèn)值。程序退出時(shí)持久到到配置到文件。
        """
        if (config_file:=Path("/tmp/config.json")) and config_file.exists():
            try:
                with open(config_file) as f:
                    json_data = json.loads(f.read())
                    self.__dict__.update(json_data)
            except Exception as err:
                pass
        else:
            logging.warn("config file '{}' not exists. well using defautl values .".format(config_file))


        # 程序退出時(shí)保存配置到配置文件 /tmp/config.json
        def sync_to_disk():
"""
            """
            json_str = json.dumps(asdict(self), indent=4)
            with open(config_file, 'w') as f:
                logging.warning("save configs to '{}' ".format(config_file))
                f.write(json_str) 


        atexit.register(sync_to_disk)

驗(yàn)證一下

In [1]: from appconfig import Config


In [2]: a = Config()


In [3]: a.name
Out[3]: 'trump'


In [4]: a.name = "hello-world"


In [5]: exit()
WARNINGsave configs to '/tmp/config.json' 

看日志是已經(jīng)把配置項(xiàng)更新回配置文件了，但是還是 cat 確認(rèn)一下為好。

cat /tmp/config.json 
{
    "name": "hello-world",
    "port": 8848
}

可以看到確實(shí)已經(jīng)把配置項(xiàng)的值更新到文件了。