13个Docker缓存策略

Docker 缓存是一项重要的技术，用于优化容器构建并提高性能。正确的缓存策略可以大幅减少构建时间，节省资源，并简化部署工作流。1. 理解 Docker 的分层架构Docker 的分层架构是一个核心特性，其中 Dockerfile 中的每个指令都会在结果镜像中创建一个单独的层。这些层是只读的，并且叠加在一起形成最终的镜像。这种架构允许 Docker 重用前一构建中未改变的层，显著加快构建过程。如何使用 Docker 的分层架构要利用 Docker 的分层架构，请在 Dockerfile 中将最稳定和最不经常更改的指令放在开头。这样，早期的层可能保持不变，并在未来构建中从缓存中重用。FROM python:3.8

RUN apt-get update && apt-get install -y build-essential libssl-dev

COPY . /app

RUN pip install -r /app/requirements.txt

CMD ["python", "/app/main.py"]

在这个例子中，如果只有应用程序代码经常变化（第3层及以后），Docker 可以重用缓存的第1层和第2层，加快构建过程。何时使用 Docker 的分层架构当构建经常变化的镜像时，使用 Docker 的分层架构，尤其是当镜像的某些部分，如基础依赖或系统库保持不变时。这种方法对开发环境和 CI/CD 管道特别有益，因为那里快速构建时间至关重要。Docker 分层架构的最佳实践将不经常变化的指令放在 Dockerfile 的开头。通过合并相关命令到单个 RUN 指令中，最小化层的数量。避免将不必要的文件复制到镜像上下文中，以保持层的清洁和小巧。使用多阶段构建将构建依赖项与最终运行时环境分开，减少最终镜像的大小。进一步阅读和资源，请查看以下链接：Docker 文档：https://docs.docker.com/Dockerfile 最佳实践：https://docs.docker.com/develop/develop-images/dockerfile_best-practices/理解 Docker 缓存：https://overcast.blog/@tonistiigi/advanced-dockerfiles-fc197de2b2842. 利用构建缓存Docker 的构建缓存存储了 Dockerfile 中先前执行的指令的结果。当您重建镜像时，Docker 会检查其缓存，看是否已经用相同的输入执行了相同的指令。如果是，Docker 使用缓存的结果而不是再次运行指令。这可以通过重用未改变的层大幅减少构建时间。如何使用 Docker 的构建缓存要最大程度地利用 Docker 的构建缓存，请构建您的 Dockerfile，使得最稳定和不经常变化的指令在顶部。这有助于最大化缓存层的重用。FROM node:14

WORKDIR /app

COPY package.json package-lock.json ./

RUN npm install

COPY . .

RUN npm run build

在这个例子中，如果只有源代码经常变化，依赖项保持不变，Docker 可以重用RUN npm install 指令的缓存结果，显著加快构建过程。何时使用 Docker 的构建缓存当构建有部分很少变化的镜像时，使用 Docker 的构建缓存。这在开发环境中特别有用，因为多个构建中使用了相同的依赖项。CI/CD 管道从构建缓存中获益匪浅，因为它减少了构建时间和资源消耗。Docker 构建缓存的最佳实践将不经常变化的指令放在 Dockerfile 的早期以最大化缓存利用率。使用具体版本的依赖项以确保一致性和缓存命中。避免使用ADD 或COPY 与大目录或经常变化的文件一起使用，因为它可以使后续层的缓存失效。使用多阶段构建以保持最终镜像小巧，并减少需要缓存管理的层数。进一步阅读和资源，请查看以下链接：Docker 文档：https://docs.docker.com/Dockerfile 最佳实践：https://docs.docker.com/develop/develop-images/dockerfile_best-practices/Docker 构建缓存：https://docs.docker.com/develop/develop-images/dockerfile_best-practices/#leverage-build-cache3. 使用缓存挂载缓存挂载是 Docker BuildKit 引入的一个功能，允许您在不同的构建步骤中使用缓存数据。通过共享缓存数据，您可以避免冗余操作并提高构建性能，特别是对于涉及下载依赖项或编译代码的步骤。如何使用缓存挂载要在 Dockerfile 中使用缓存挂载，您需要在 Dockerfile 的顶部添加一个语法指令以启用 BuildKit。然后，您可以在RUN 指令中使用--mount=type=cache 标志来指定缓存位置。FROM node:14

WORKDIR /app

RUN --mount=type=cache,target=/root/.npm

    npm install

COPY . .

RUN npm run build

在这个例子中，npm 缓存被挂载到/root/.npm，允许后续构建重用下载的依赖项而不是再次获取它们，从而加快构建过程。何时使用缓存挂载当您的构建过程涉及资源密集型或耗时的步骤时，使用缓存挂载，例如下载依赖项或编译源代码。它们在 CI/CD 管道中特别有益，频繁的构建可以通过重用缓存的数据来节省大量时间。缓存挂载的最佳实践通过在 Dockerfile 顶部指定语法版本来启用 BuildKit。对于涉及下载或编译大型依赖项的步骤使用缓存挂载。保持您的缓存挂载路径特定于缓存类型，以避免冲突并最大化重用。定期清理和管理您的缓存，以确保它不会变得陈旧或过载。进一步阅读和资源，请查看以下链接：Docker BuildKit：https://github.com/moby/buildkitDockerfile 最佳实践：https://docs.docker.com/develop/develop-images/dockerfile_best-practices/使用 BuildKit：https://docs.docker.com/develop/develop-images/build_enhancements/4. 外部缓存解决方案外部缓存解决方案涉及将 Docker 缓存层存储在远程存储中，使这些缓存层可以在不同的构建环境或 CI/CD 管道中重用。这种方法确保缓存数据持久且可访问，即使在本地开发、CI 服务器和其他环境之间切换。如何使用外部缓存解决方案要使用外部缓存解决方案，您可以利用 Docker 的buildx 命令，它支持将缓存导入和导出到各种存储后端。以下是如何配置和使用buildx 的外部缓存。docker buildx create --use

docker buildx build --cache-to=type=local,dest=./my-cache --cache-from=type=local,src=./my-cache .

docker buildx build --cache-to=type=registry,ref=myrepo/myimage:cache --cache-from=type=registry,ref=myrepo/myimage:cache .

在这些例子中，第一个命令配置 Docker 使用本地目录进行缓存。第二个命令展示了如何配置 Docker 使用远程注册表进行缓存。何时使用外部缓存解决方案外部缓存解决方案在 CI/CD 管道中特别有用，其中构建在不同的机器上运行。它们也适用于分布式团队工作，以确保所有团队成员都可以访问相同的缓存层，从而实现一致且更快的构建。外部缓存解决方案的最佳实践选择一个可靠且可扩展的远程缓存后端，如 Amazon S3、Google Cloud Storage 或私有 Docker 注册表。使用适当的认证和授权机制保护您的远程缓存。定期修剪和管理您的缓存存储，以避免过高的存储成本，并确保有效使用空间。将缓存推送和拉取步骤集成到您的 CI/CD 管道中，以自动化缓存过程。进一步阅读和资源，请查看以下链接：Docker Buildx：https://github.com/docker/buildxDocker 远程缓存：[https://docs.docker.com/build/cache/backends/] (https://docs.docker.com/build/cache/backends/)Amazon S3：https://aws.amazon.com/s3/5. 多阶段构建多阶段构建允许您在单个 Dockerfile 中使用多个FROM 语句来分离不同的构建阶段。这种技术帮助您通过在中间阶段编译代码和依赖项，并将仅必要的构件复制到最终阶段来创建精简的生产镜像。多阶段构建显著减少了最终镜像的大小并提高了构建效率。如何使用多阶段构建在多阶段构建中，您首先定义一个构建阶段，其中安装依赖项并编译应用程序。然后，您创建一个最终阶段，其中复制编译后的应用程序和其他所需文件。这种方法确保只有必要的组件包含在最终镜像中。# 构建阶段

FROM golang:1.16 AS builder

WORKDIR /app

COPY . .

RUN go build -o myapp

# 最终阶段

FROM alpine:latest

COPY --from=builder /app/myapp /myapp

CMD ["/myapp"]

在这个例子中，builder 阶段编译了 Go 应用程序。最终阶段使用轻量级的 Alpine 基础镜像，并从builder 阶段复制编译后的二进制文件，从而得到一个更小、更高效的最终镜像。何时使用多阶段构建当您需要将构建环境与运行时环境分离时，使用多阶段构建。这对于具有重型构建依赖项的应用程序特别有用，这些依赖项在最终运行时环境中并不需要。多阶段构建也有助于优化镜像大小，并确保最终镜像只包含必要的文件。多阶段构建的最佳实践通过只包含必要的运行时依赖项来保持最终阶段的最小化。为每个阶段使用具体名称，以提高可读性和可维护性。在每个阶段内合并相关指令，以最小化层数。定期审查和重构您的 Dockerfile，以确保它遵循最佳实践并优化构建过程。进一步阅读和资源，请查看以下链接：Docker 文档：https://docs.docker.com/develop/develop-images/multistage-build/Dockerfile 最佳实践：https://docs.docker.com/develop/develop-images/dockerfile_best-practices/多阶段构建：https://overcast.blog/@tonistiigi/advanced-multi-stage-build-patterns-6f741b852fae6. 优化 RUN 指令Dockerfile 中的 RUN 指令在 shell 中执行命令，例如安装软件包或配置环境。每个 RUN 指令都会在 Docker 镜像中创建一个新层。优化这些指令可以显著减少镜像大小并提高缓存效率。如何使用 RUN 指令要优化 RUN 指令，将多个命令合并到单个 RUN 指令中。这减少了创建的层数，并更好地利用 Docker 的缓存机制。例如：FROM ubuntu:20.04

RUN apt-get update && apt-get install -y

    build-essential

    curl

    git

    && rm -rf /var/lib/apt/lists/*

COPY . /app

WORKDIR /app

RUN make

CMD ["./app"]

在这个例子中，多个命令合并在单个 RUN 指令中，减少了层数并保持了镜像大小的小巧。何时使用 RUN 指令当您需要执行多个可以组合在一起的设置步骤时，使用优化的 RUN 指令。这种方法在环境的初始设置中特别有用，其中组合命令可以防止创建不必要的层，并改善构建过程。RUN 指令的最佳实践将相关命令合并到单个 RUN 指令中，以最小化层数。在同一个 RUN 指令中清理临时文件和缓存，以避免镜像膨胀。使用像&& 这样的 shell 操作符将命令串联在一起，确保所有步骤在 RUN 指令完成前都必须成功。避免在同一个 RUN 指令中运行经常变化的命令和保持不变的命令，以最大化缓存效率。进一步阅读和资源，请查看以下链接：Docker 文档：https://docs.docker.com/Dockerfile 最佳实践：https://docs.docker.com/develop/develop-images/dockerfile_best-practices/优化 Dockerfiles：https://docs.docker.com/develop/develop-images/dockerfile_best-practices/#optimize-your-dockerfile7. 缓存依赖项缓存依赖项涉及存储下载的依赖项，如库或包，在缓存中，这样它们就不需要在后续构建中重新下载。这一策略可以显著加快构建时间，特别是对于具有大型或众多依赖项的项目。如何使用缓存依赖项要有效地在 Dockerfile 中缓存依赖项，将依赖项的安装与源代码的复制分开。这样，源代码的变化不会使依赖项安装步骤的缓存失效。FROM node:14

WORKDIR /app

# 分别复制 package.json 和 package-lock.json

COPY package.json package-lock.json ./

RUN npm ci

# 复制其余的应用程序代码

COPY . .

RUN npm run build

CMD ["node", "dist/app.js"]

在这个例子中，通过在复制应用程序代码之前复制和安装依赖项，我们确保只有在package.json 或package-lock.json 变化时才重新安装依赖项。如果只有源代码变化，Docker 可以重用已安装依赖项的缓存层，加快构建过程。何时使用缓存依赖项对于具有重要或频繁使用的依赖项的项目，使用依赖项缓存。这在 CI/CD 管道和开发环境中特别有益，因为那里会重复执行构建。依赖项缓存可以通过重用先前下载的依赖项节省大量时间和带宽。缓存依赖项的最佳实践将依赖项描述文件（如package.json、requirements.txt）的复制与源代码的复制分开。使用特定版本的依赖文件以确保一致的构建和缓存命中。清理依赖项安装过程中创建的未使用或临时文件，以保持镜像大小小巧。定期更新和管理依赖项，以确保缓存不会变得陈旧。进一步阅读和资源，请查看以下链接：Docker 文档：https://docs.docker.com/Node.js 最佳实践：https://nodejs.dev/learnDockerfile 最佳实践：https://docs.docker.com/develop/develop-images/dockerfile_best-practices/8. 使用.dockerignore.dockerignore 文件指定了要从 Docker 构建上下文中排除的文件和目录。类似于.gitignore 文件，它通过阻止不必要的文件被发送到 Docker 守护进程来帮助保持构建上下文的最小化。这通过只包含相关文件减少了构建时间和最终镜像大小。如何使用.dockerignore要使用.dockerignore 文件，请在项目的根目录中创建它，并列出您想要从构建上下文中排除的文件和目录。例如：node_modules

dist

.git

Dockerfile

.dockerignore

这个例子排除了node_modules 目录、dist 目录、.git 目录和 Dockerfile 本身从构建上下文中。通过排除这些目录和文件，您可以确保只有应用程序的必要部分包含在构建上下文中，提高构建效率并减少镜像大小。何时使用.dockerignore当您的项目包含不需要在 Docker 镜像中的文件或目录时，使用.dockerignore 文件。这特别适用于排除本地开发工件、构建输出和版本控制目录。始终在您的项目中包含.dockerignore 文件以优化构建过程是一个最佳实践。.dockerignore 的最佳实践在每个项目中包含.dockerignore 文件以最小化构建上下文。定期审查和更新.dockerignore 文件，以确保它准确地反映了应该排除的文件和目录。使用特定模式排除不必要的文件，同时确保所需的文件包含在构建上下文中。测试您的 Docker 构建，以确保没有重要文件被.dockerignore 文件意外排除。进一步阅读和资源，请查看以下链接：Docker 文档：https://docs.docker.com/engine/reference/builder/#dockerignore-file使用 Docker 的最佳实践：[https://docs.docker.com/develop/develop-images/dockerfile_best-practices/(https://docs.docker.com/develop/develop-images/dockerfile_best-practices/)有效的.dockerignore 使用：https://medium.com/better-programming/using-dockerignore-to-keep-your-images-lightweight-824e4e45a81e9. 缓存破坏缓存破坏是一种技术，用于有意地使 Docker 的构建缓存失效，强制 Docker 即使在没有变化的情况下也重新运行特定指令。这在您需要确保某些步骤始终使用依赖项的最新版本时非常有用，或者在调试构建时。如何使用缓存破坏在 Dockerfile 中实现缓存破坏，您可以使用构建参数或在特定指令中添加动态数据以使缓存失效。例如，使用构建参数破坏缓存：FROM node:14

ARG CACHEBUST=1

RUN echo $CACHEBUST

WORKDIR /app

COPY package.json package-lock.json ./

RUN npm ci

COPY . .

RUN npm run build

CMD ["node", "dist/app.js"]

在这个例子中，CACHEBUST 参数被包含在RUN echo $CACHEBUST 指令中。每次CACHEBUST 参数变化时，Docker 将使此指令的缓存以及任何后续指令的缓存失效，强制重建。何时使用缓存破坏当您需要确保 Docker 不对特定指令使用陈旧的缓存时，使用缓存破坏。这在获取依赖项的最新版本或依赖项的来源频繁变化时特别有用。缓存破坏在调试过程中也很有帮助，以确保更改被正确应用。缓存破坏的最佳实践使用构建参数或动态数据有选择地破坏特定指令的缓存，而不是整个 Dockerfile。限制缓存破坏的使用到关键步骤，以避免不必要的构建时间增加。确保缓存破坏以受控的方式使用，例如在 CI/CD 管道中，您可以系统地管理构建参数。根据构建和部署需求定期审查和调整缓存破坏策略，以保持高效的构建过程。进一步阅读和资源，请查看以下链接：Docker 文档：https://docs.docker.com/有效的缓存破坏：https://overcast.blog/@tonistiigi/advanced-cache-management-38867f3e5e6eDockerfile 最佳实践：https://docs.docker.com/develop/develop-images/dockerfile_best-practices/10. 自动化缓存管理自动化缓存管理涉及使用工具和脚本来自动处理 Docker 缓存，确保您的构建在没有手动干预的情况下高效且最新。这可以集成到 CI/CD 管道中，以简化构建过程，最小化构建时间，并确保不同构建环境之间的一致性。如何使用自动化缓存管理在 CI/CD 管道中自动化缓存管理，您可以使用 Docker BuildKit 和 CI/CD 工具，如 GitHub Actions、GitLab CI 或 Jenkins。这些工具允许您设置缓存策略，自动管理和重用缓存层。以下是使用 GitHub Actions 的示例：name: BuildandCacheDocker

on:[push]

jobs:

build:

    runs-on:ubuntu-latest

    steps:

    -uses:actions/checkout@v2

    -name:SetupDockerBuildx

      uses:docker/setup-buildx-action@v1

    -name:CacheDockerlayers

      uses:actions/cache@v2

      with:

        path:/tmp/.buildx-cache

        key:${{runner.os}}-buildx-${{github.sha}}

        restore-keys:|

          ${{ runner.os }}-buildx-

    -name:Buildandpush

      run: |

        docker buildx build --cache-to=type=local,dest=/tmp/.buildx-cache --push .

在这个例子中，GitHub Actions 用于设置 Docker Buildx 并缓存 Docker 层。actions/cache 动作配置为存储和恢复缓存层，通过重用之前构建的层来提高构建时间，从而改善构建时间。何时使用自动化缓存管理在 CI/CD 管道中自动化缓存管理，以减少手动干预，并确保一致的构建性能。这对于频繁构建的项目特别有用，如那些具有积极开发或部署周期的项目。自动化有助于保持效率，减少构建时间，并确保正确管理和重用缓存层。自动化缓存管理的最佳实践将像 Docker BuildKit 这样的缓存管理工具集成到您的 CI/CD 管道中，以自动化缓存过程。使用缓存键和恢复键策略，确保正确存储和检索缓存层。定期监控和修剪缓存，防止它们变得过大并消耗过多资源。确保您的 CI/CD 配置是版本控制的，以在不同环境和团队成员之间保持一致性。进一步阅读和资源，请查看以下链接：Docker BuildKit：https://github.com/moby/buildkitGitHub Actions：https://docs.github.com/en/actionsDocker CI/CD 集成：https://docs.docker.com/ci-cd/11. 自定义缓存路径自定义缓存路径允许您指定 Docker 应该为特定构建步骤存储缓存数据的位置。通过将缓存指向特定位置，您可以更好地管理和重用缓存数据，优化构建性能并控制缓存粒度。如何使用自定义缓存路径要使用自定义缓存路径，请在 Dockerfile 中使用--mount=type=cache 标志与RUN 指令一起。这使您能够为缓存定义目标路径，并确保缓存针对指定的构建步骤有效使用。FROM golang:1.16

WORKDIR /app

RUN --mount=type=cache,target=/root/.cache/go-build

    go build -o myapp

COPY . .

RUN go install -v ./...

CMD ["myapp"]

在这个例子中，Go 构建缓存被定向到/root/.cache/go-build，确保后续构建可以重用缓存的数据，减少构建时间和提高效率。何时使用自定义缓存路径当特定构建步骤资源密集且涉及大量可以跨构建重用的数据时，使用自定义缓存路径。这对于依赖项繁重的应用程序或复杂构建过程特别有益，它们生成了大量临时数据。自定义缓存路径确保这些数据被有效管理和重用，增强构建性能。自定义缓存路径的最佳实践指定清晰和特定的缓存路径以避免冲突，并确保有效重用缓存数据。定期监控和管理缓存目录，防止它们变得过大并消耗过多资源。将自定义缓存路径与其他缓存策略（如多阶段构建）结合使用，以最大化构建效率。确保您的 Dockerfile 包含注释和文档，使所有团队成员都能清楚地了解自定义缓存路径的目的和使用。进一步阅读和资源，请查看以下链接：Docker BuildKit：https://github.com/moby/buildkitDockerfile 最佳实践：https://docs.docker.com/develop/develop-images/dockerfile_best-practices/管理 Docker 中的缓存：https://docs.docker.com/develop/develop-images/build_enhancements/12. Docker BuildKit 高级特性Docker BuildKit 是构建 Docker 镜像的后端，旨在提高性能、效率和安全性。它引入了高级特性，如并发构建、构建密钥和缓存导入/导出能力，增强了整体构建过程并优化了资源使用。如何使用 Docker BuildKit要使用 Docker BuildKit，您需要在 Docker 环境中启用它。您可以通过将DOCKER_BUILDKIT 环境变量设置为1，然后在 Dockerfile 中使用 BuildKit 特定的语法来实现。FROM node:14

WORKDIR /app

RUN --mount=type=cache,target=/root/.npm

    npm install

COPY . .

RUN npm run build

CMD ["node", "dist/app.js"]

在这个例子中，使用了--mount=type=cache 标志来指定 npm 的缓存挂载，利用 BuildKit 的高级缓存能力来加快依赖项安装。何时使用 Docker BuildKit当您需要优化复杂或大规模应用程序的构建过程时，使用 Docker BuildKit。BuildKit 特别适用于 CI/CD 环境中，那里构建速度和资源效率至关重要。它的高级特性，如并发构建和缓存导入/导出，使其适合于具有重型依赖管理和复杂构建需求的项目。Docker BuildKit 的最佳实践通过设置环境变量DOCKER_BUILDKIT=1 在您的 Docker 环境中启用 Docker BuildKit。使用 BuildKit 特定语法来利用高级特性，如缓存挂载、构建密钥和并发构建。定期审查和更新您的 Dockerfile，确保它充分利用了 BuildKit 的能力。将 BuildKit 集成到您的 CI/CD 管道中，以简化构建过程并提高整体效率。进一步阅读和资源，请查看以下链接：Docker BuildKit GitHub：https://github.com/moby/buildkitDocker BuildKit 文档：https://docs.docker.com/develop/develop-images/build_enhancements/高级 Dockerfiles：https://overcast.blog/@tonistiigi/advanced-dockerfiles-fc197de2b28413. Docker Compose 的层缓存Docker Compose 的层缓存涉及使用 Docker Compose 的构建选项来指定多服务应用程序的缓存设置。通过在 Docker Compose 文件中配置缓存，您可以为包含多个相互依赖服务的应用程序优化构建过程。如何使用 Docker Compose 的层缓存要使用 Docker Compose 的层缓存，您可以在docker-compose.yml 文件中定义缓存设置。这包括指定构建参数、缓存路径和其他构建选项，以确保每个服务都能从优化的缓存中受益。version: '3.8'

services:

app:

    build:

      context:.

      dockerfile:Dockerfile

      cache_from:

        -type=local,source=./my-cache

      args:

        -CACHEBUST=1

    volumes:

      -.:/app

web:

    build:

      context:./web

      dockerfile:Dockerfile

      cache_from:

        -type=local,source=./web-cache

      args:

        -CACHEBUST=1

    volumes:

      -./web:/web

在这个例子中，app 和web 服务被配置为使用cache_from 选项指定的本地缓存。args 选项与CACHEBUST 一起确保在需要时使缓存失效，按需强制重建层。何时使用 Docker Compose 的层缓存当管理多个服务的应用程序时，使用 Docker Compose 的层缓存，每个服务都可以从高效的缓存中受益。这种方法在开发和 CI/CD 环境中特别有用，那里的多个服务被频繁地构建和测试。层缓存有助于减少构建时间，并确保所有服务之间一致的构建性能。Docker Compose 层缓存的最佳实践为每个服务定义特定的缓存路径，以避免冲突并最大化缓存重用。使用构建参数控制缓存失效，确保只有必要的层被重建。定期监控和管理缓存目录，防止存储使用过多并确保高效的缓存性能。将层缓存配置集成到您的版本控制系统中，以在开发和 CI 环境中保持一致性。进一步阅读和资源，请查看以下链接：Docker Compose 文档：https://docs.docker.com/compose/Docker Compose 最佳实践：https://docs.docker.com/compose/best-practices/管理 Docker Compose 构建：https://docs.docker.com/develop/develop-images/multistage-build/#use-multi-stage-builds