Proper configuration for discard_unpacked_layers usage

[hugoprudente]

Hi team,

I noticed that docker 29 started using the ContainerD backend when experimental is enable.

Docker version 29.0.1, build eedd969
containerd containerd.io v2.1.5 fcd43222d6b07379a4be9786bda52438f0dd16a1

This causes a side effect on the ./io.containerd.content.v1.content folder where the packed data from the images are kept after the extraction using a lot of storage.

[root@3mi2ofit containerd]# du -h --max-depth=1
0       ./tmpmounts
0       ./io.containerd.snapshotter.v1.blockfile
0       ./io.containerd.snapshotter.v1.erofs
0       ./io.containerd.snapshotter.v1.native
809M    ./io.containerd.snapshotter.v1.overlayfs
240K    ./io.containerd.metadata.v1.bolt
0       ./io.containerd.runtime.v2.task
0       ./io.containerd.sandbox.controller.v1.shim
4.0K    ./io.containerd.grpc.v1.introspection
407M    ./io.containerd.content.v1.content
1.2G    .

If I enable only the discard_unpacked_layers I have the following issue

Found 'DiscardUnpackedLayers' in CRI config which is incompatible with transfer service (not supported with transfer service). Falling back to local image pull mode.

So I fixed my configuration and ended with something like this:

version = 3
[plugins]
  [plugins."io.containerd.cri.v1.images"]
    use_local_image_pull = true
    discard_unpacked_layers = true

That is the only place that containerd config dump provide me with information, and I waited 5 minutes that is the default time for the GC to run.

May I have some enlightenment ?

[TristisOris]

takes a lot space after few days.
i'm using docker:dind with gitlab runner.

36G     total
36G     .
33G     ./io.containerd.snapshotter.v1.overlayfs
3.2G    ./io.containerd.content.v1.content
6.9M    ./io.containerd.metadata.v1.bolt
16K     ./io.containerd.runtime.v2.task
8.0K    ./io.containerd.snapshotter.v1.native
8.0K    ./io.containerd.grpc.v1.introspection
4.0K    ./tmpmounts
4.0K    ./io.containerd.snapshotter.v1.erofs
4.0K    ./io.containerd.snapshotter.v1.blockfile
4.0K    ./io.containerd.sandbox.controller.v1.shim

[TristisOris]

After many experiments i found that tmps is only good solution. For both gitlab-runner and docker dind.

[martahbpuc]

Sie stoßen im Grunde auf das erwartete Verhalten von containerd, das Docker jedoch nicht sehr deutlich macht.

Wenn Docker 29 auf das containerd-Backend umstellt, speichert containerd komprimierte Image-Blobs auch nach dem Entpacken in io.containerd.content.v1.content. Diese Blobs werden von Images und Tags gemeinsam genutzt und daher nicht sofort gelöscht. Mit Play-JetX wird jede Runde zu einem Adrenalinkick. Die Garbage aviator spiel https://play-jetx.com/de/aviator-spiel/ Collection entfernt sie erst, wenn sie tatsächlich nicht mehr referenziert werden, was oft nicht der Fall ist, solange Images lokal vorhanden sind.

discard_unpacked_layers funktioniert nur, wenn containerd Images lokal herunterlädt. Wenn der Transferdienst aktiv ist, wird dies ignoriert, weshalb Sie use_local_image_pull = true erzwingen mussten. Selbst dann gibt die GC erst dann Speicherplatz frei, wenn Images entfernt und die GC erneut ausgeführt wird.

Kurz gesagt: Es ist nichts kaputt. Um die Speichernutzung zu reduzieren, entfernen Sie ungenutzte Images oder passen Sie die Schwellenwerte der GC an; das Wachstum des Content-Speichers ist bei containerd normal.
Отправить отзыв