refactor: build the PostgreSQL stage inside the runtime base

Author: xuwei-fit2cloud

.github/workflows/build_base_and_push.yml

@@ -44,16 +44,19 @@ jobs:
           ref: ${{ github.ref_name }}
       - name: Prepare
         id: prepare
-        env:
-          DOCKER_IMAGE: ${{ secrets.ALIYUN_REGISTRY_HOST }}/dataease/sqlbot-python-pg
-          TAG_NAME: ${{ inputs.dockerImageTag }}
-          TAG_NAME_WITH_LATEST: ${{ inputs.dockerImageTagWithLatest }}
         run: |
-          tags="$DOCKER_IMAGE:$TAG_NAME"
-          if [[ "$TAG_NAME_WITH_LATEST" == 'true' ]]; then
-            tags="$tags,$DOCKER_IMAGE:${TAG_NAME%%.*},$DOCKER_IMAGE:latest"
+          DOCKER_IMAGE=${{ secrets.ALIYUN_REGISTRY_HOST }}/dataease/sqlbot-python-pg
+          DOCKER_PLATFORMS=${{ github.event.inputs.architecture }}
+          TAG_NAME=${{ github.event.inputs.dockerImageTag }}
+          TAG_NAME_WITH_LATEST=${{ github.event.inputs.dockerImageTagWithLatest }}
+          if [[ ${TAG_NAME_WITH_LATEST} == 'true' ]]; then            
+            DOCKER_IMAGE_TAGS="--tag ${DOCKER_IMAGE}:${TAG_NAME} --tag ${DOCKER_IMAGE}:${TAG_NAME%%.*} --tag ${DOCKER_IMAGE}:latest"
+          else
+            DOCKER_IMAGE_TAGS="--tag ${DOCKER_IMAGE}:${TAG_NAME}"
           fi
-          echo "tags=$tags" >> "$GITHUB_OUTPUT"
+          echo ::set-output name=buildx_args::--platform ${DOCKER_PLATFORMS} --memory-swap -1 \
+            --build-arg DOCKER_IMAGE_TAG=${{ github.event.inputs.dockerImageTag }} --build-arg BUILD_AT=$(TZ=Asia/Shanghai date +'%Y-%m-%dT%H:%M') --build-arg GITHUB_COMMIT=`git rev-parse --short HEAD` --no-cache \
+            ${DOCKER_IMAGE_TAGS} .
       - name: Set up QEMU
         uses: docker/setup-qemu-action@v3
       - name: Set up Docker Buildx
@@ -65,12 +68,8 @@ jobs:
           username: ${{ secrets.ALIYUN_REGISTRY_USERNAME }}
           password: ${{ secrets.ALIYUN_REGISTRY_PASSWORD }}
       - name: Docker Buildx (build-and-push)
-        env:
-          SQLBOT_BASE_TAGS: ${{ steps.prepare.outputs.tags }}
-          SQLBOT_BASE_PLATFORMS: ${{ inputs.architecture }}
         run: |
-          docker buildx bake -f docker-bake.hcl --pull --no-cache --provenance=false --sbom=false \
-            --set 'base.output=type=image,push=true,oci-mediatypes=false' base
+          docker buildx build --pull -f Dockerfile-base --output "type=image,push=true,oci-mediatypes=false" --provenance=false --sbom=false ${{ steps.prepare.outputs.buildx_args }}
 
   build-and-push-to-dockerhub:
     if: ${{ contains(github.event.inputs.registry, 'dockerhub') }}
@@ -82,16 +81,19 @@ jobs:
           ref: ${{ github.ref_name }}
       - name: Prepare
         id: prepare
-        env:
-          DOCKER_IMAGE: dataease/sqlbot-python-pg
-          TAG_NAME: ${{ inputs.dockerImageTag }}
-          TAG_NAME_WITH_LATEST: ${{ inputs.dockerImageTagWithLatest }}
         run: |
-          tags="$DOCKER_IMAGE:$TAG_NAME"
-          if [[ "$TAG_NAME_WITH_LATEST" == 'true' ]]; then
-            tags="$tags,$DOCKER_IMAGE:${TAG_NAME%%.*},$DOCKER_IMAGE:latest"
+          DOCKER_IMAGE=dataease/sqlbot-python-pg
+          DOCKER_PLATFORMS=${{ github.event.inputs.architecture }}
+          TAG_NAME=${{ github.event.inputs.dockerImageTag }}          
+          TAG_NAME_WITH_LATEST=${{ github.event.inputs.dockerImageTagWithLatest }}
+          if [[ ${TAG_NAME_WITH_LATEST} == 'true' ]]; then            
+            DOCKER_IMAGE_TAGS="--tag ${DOCKER_IMAGE}:${TAG_NAME} --tag ${DOCKER_IMAGE}:${TAG_NAME%%.*} --tag ${DOCKER_IMAGE}:latest"
+          else
+            DOCKER_IMAGE_TAGS="--tag ${DOCKER_IMAGE}:${TAG_NAME}"
           fi
-          echo "tags=$tags" >> "$GITHUB_OUTPUT"
+          echo ::set-output name=buildx_args::--platform ${DOCKER_PLATFORMS} --memory-swap -1 \
+            --build-arg DOCKER_IMAGE_TAG=${{ github.event.inputs.dockerImageTag }} --build-arg BUILD_AT=$(TZ=Asia/Shanghai date +'%Y-%m-%dT%H:%M') --build-arg GITHUB_COMMIT=`git rev-parse --short HEAD` --no-cache \
+            ${DOCKER_IMAGE_TAGS} .
       - name: Set up QEMU
         uses: docker/setup-qemu-action@v3
       - name: Set up Docker Buildx
@@ -102,9 +104,5 @@ jobs:
           username: ${{ secrets.DOCKERHUB_USERNAME }}
           password: ${{ secrets.DOCKERHUB_TOKEN }}
       - name: Docker Buildx (build-and-push)
-        env:
-          SQLBOT_BASE_TAGS: ${{ steps.prepare.outputs.tags }}
-          SQLBOT_BASE_PLATFORMS: ${{ inputs.architecture }}
         run: |
-          docker buildx bake -f docker-bake.hcl --pull --no-cache --provenance=false --sbom=false \
-            --set 'base.output=type=image,push=true,oci-mediatypes=false' base
+          docker buildx build --pull -f Dockerfile-base --output "type=image,push=true,oci-mediatypes=false" --provenance=false --sbom=false ${{ steps.prepare.outputs.buildx_args }}

Dockerfile-base

@@ -1,7 +1,17 @@
 # syntax=docker/dockerfile:1
 ARG PYTHON_IMAGE=python:3.11-slim-bookworm
 ARG NODE_IMAGE=node:22-bookworm-slim
-ARG SQLBOT_PG_BASE_IMAGE=pg-base
+ARG POSTGRES_IMAGE=postgres:17-bookworm
+
+FROM ${POSTGRES_IMAGE} AS pg-base
+# Upgrade inherited system packages once and retain the PostgreSQL 17 data directory.
+RUN apt-get -o APT::Update::Error-Mode=any update \
+    && DEBIAN_FRONTEND=noninteractive apt-get -y --no-remove dist-upgrade \
+    && DEBIAN_FRONTEND=noninteractive apt-get install -y --no-install-recommends postgresql-17-pgvector \
+    && rm -rf /var/lib/apt/lists/* \
+    && test "$PG_MAJOR" = 17 \
+    && test "$PGDATA" = /var/lib/postgresql/data \
+    && test -f "$(pg_config --sharedir)/extension/vector.control"
 
 FROM ${PYTHON_IMAGE} AS python-builder
 ARG PIP_VERSION=26.3
@@ -20,7 +30,7 @@ RUN set -eu; \
 
 FROM ${NODE_IMAGE} AS node-runtime
 
-FROM ${SQLBOT_PG_BASE_IMAGE} AS graphics-toolchain
+FROM pg-base AS graphics-builder
 # Build from the signed Bookworm source index in a disposable stage.
 RUN sed 's/^Types: deb$/Types: deb-src/' /etc/apt/sources.list.d/debian.sources \
         > /etc/apt/sources.list.d/sqlbot-src.sources \
@@ -29,11 +39,10 @@ RUN sed 's/^Types: deb$/Types: deb-src/' /etc/apt/sources.list.d/debian.sources
         build-essential ca-certificates curl dpkg-dev \
     && DEBIAN_FRONTEND=noninteractive apt-get build-dep -y --no-install-recommends harfbuzz gdk-pixbuf
 
-FROM graphics-toolchain AS graphics-builder
 COPY docker/build-graphics.sh /tmp/build-graphics.sh
 RUN sh /tmp/build-graphics.sh
 
-FROM ${SQLBOT_PG_BASE_IMAGE}
+FROM pg-base
 
 COPY --from=python-builder /usr/local/ /usr/local/
 COPY --from=node-runtime /usr/local/bin/node /usr/local/bin/node

Dockerfile-pg-base

@@ -7,7 +7,7 @@
 1. 前端构建：在 Node 22 Bookworm 镜像中对 `frontend/` 执行 `npm install` 和 `npm run build`，产物进入 `/opt/sqlbot/frontend/dist`。
 2. 后端构建：从运行基础镜像派生编译层，使用 uv 同时解析应用依赖和镜像专用安全约束，构建 PostgreSQL 和 SQL Server 驱动，使其链接运行层系统库。`uv.lock` 不入库，构建会重新解析依赖。
 3. 图表服务构建：复制 `g2-ssr/app.js`、`package.json` 和 `charts/`，从源码构建 canvas，使其使用运行层的 Debian 图形库。编译层和运行层使用相同的 Node 主版本和 Debian 发行版。
-4. 运行层：`Dockerfile-pg-base` 基于 PostgreSQL 17 Bookworm 安装系统安全更新和 pgvector。`Dockerfile-base` 在此基础上加入 Python、Node、Oracle 客户端及许可证校验器。图形库从 Bookworm 源码包构建，HarfBuzz 应用 CVE-2023-25193 上游补丁，GDK Pixbuf 禁用未使用的 TIFF 加载器。应用镜像复制前端、后端、g2-ssr、字体、向量模型和启动脚本，并使用 dmPython wheel 提供的达梦客户端库。
+4. 运行层：`Dockerfile-base` 的 `pg-base` 阶段基于 PostgreSQL 17 Bookworm 统一更新继承的 Debian 系统包并安装 pgvector。后续阶段只安装本层所需依赖，加入 Python、Node、Oracle 客户端及许可证校验器。图形库从 Bookworm 源码包构建，HarfBuzz 应用 CVE-2023-25193 上游补丁，GDK Pixbuf 禁用未使用的 TIFF 加载器。应用镜像复制前端、后端、g2-ssr、字体、向量模型和启动脚本，并使用 dmPython wheel 提供的达梦客户端库。
 5. 启动脚本依次准备 PostgreSQL、supervisor/g2-ssr、MCP 服务和主 FastAPI 服务。
 
 修改路径、端口、依赖或构建脚本时，必须核对最终运行目录仍是 `/opt/sqlbot` 布局，且数据、图片、日志和字体路径没有断开。
@@ -56,9 +56,9 @@ node --check g2-ssr/charts/<changed-file.js>
 
 规则：
 
-- `build-base-and-push` 通过 `docker-bake.hcl` 先构建 PostgreSQL 层，再产出 `sqlbot-python-pg` 基础镜像。PostgreSQL 中间镜像只在构建图中使用。
+- `build-base-and-push` 使用 `docker buildx build -f Dockerfile-base` 构建 `sqlbot-python-pg`。构建时刷新上游镜像，PostgreSQL 阶段随同一次构建完成。
 - 构建应用镜像时，通过 `SQLBOT_RUNTIME_IMAGE` 传入已验证的基础镜像标签或 digest。`build-and-push` 的 `runtimeBaseImage` 输入支持此覆盖。默认使用阿里云 `latest`。
-- 本地执行 `docker buildx bake -f docker-bake.hcl --load app` 可按顺序构建三层。单独验证基础镜像时，将目标改为 `base`。
+- 本地执行 `docker buildx build -f Dockerfile-base --load -t sqlbot-python-pg:local .` 构建基础镜像。构建应用镜像时，用 `--build-arg SQLBOT_RUNTIME_IMAGE` 传入当前构建器可访问的基础镜像标签或摘要。单独验证 PostgreSQL 阶段时使用 `--target pg-base`。漏洞复扫以最终应用镜像为准。
 - 这些工作流都是发布/分发流程，不要因为普通代码修改建议运行。
 - `latest` 只应在正式发布时启用。
 - arm64 和 amd64 的依赖、驱动和包名必须同时考虑。