皇上，还记得我吗?我就是1999年那个Linux伊甸园啊-----24小时滚动更新开源资讯，全年无休！

一次 Docker 镜像的逆向工程

2021-04-01 分类：开源资讯 评论(0)

这要从一次咨询的失误说起：政府组织 A 让政府组织 B 开发一个 Web 应用程序。政府机构 B 把部分工作外包给某个人。后来，项目的托管和维护被外包给一家私人公司 C。C 公司发现，之前外包的人（已经离开很久了）构建了一个自定义的 Docker 镜像，并将其成为系统构建的依赖项，但这个人没有提交原始的 Dockerfile。C 公司有合同义务管理这个 Docker 镜像，可是他们他们没有源代码。C 公司偶尔叫我进去做各种工作，所以处理一些关于这个神秘 Docker 镜像的事情就成了我的工作。

幸运的是，Docker 镜像的格式比想象的透明多了。虽然还需要做一些侦查工作，但只要解剖一个镜像文件，就能发现很多东西。例如，这里有一个 Prettier 代码格式化 的镜像可供快速浏览。

首先，让 Docker 守护进程daemon拉取镜像，然后将镜像提取到文件中：

  1. docker pull tmknom/prettier:2.0.5
  2. docker save tmknom/prettier:2.0.5 > prettier.tar

是的，该文件只是一个典型 tarball 格式的归档文件：

  1. $ tar xvf prettier.tar
  2. 6c37da2ee7de579a0bf5495df32ba3e7807b0a42e2a02779206d165f55f1ba70/
  3. 6c37da2ee7de579a0bf5495df32ba3e7807b0a42e2a02779206d165f55f1ba70/VERSION
  4. 6c37da2ee7de579a0bf5495df32ba3e7807b0a42e2a02779206d165f55f1ba70/json
  5. 6c37da2ee7de579a0bf5495df32ba3e7807b0a42e2a02779206d165f55f1ba70/layer.tar
  6. 88f38be28f05f38dba94ce0c1328ebe2b963b65848ab96594f8172a9c3b0f25b.json
  7. a9cc4ace48cd792ef888ade20810f82f6c24aaf2436f30337a2a712cd054dc97/
  8. a9cc4ace48cd792ef888ade20810f82f6c24aaf2436f30337a2a712cd054dc97/VERSION
  9. a9cc4ace48cd792ef888ade20810f82f6c24aaf2436f30337a2a712cd054dc97/json
  10. a9cc4ace48cd792ef888ade20810f82f6c24aaf2436f30337a2a712cd054dc97/layer.tar
  11. d4f612de5397f1fc91272cfbad245b89eac8fa4ad9f0fc10a40ffbb54a356cb4/
  12. d4f612de5397f1fc91272cfbad245b89eac8fa4ad9f0fc10a40ffbb54a356cb4/VERSION
  13. d4f612de5397f1fc91272cfbad245b89eac8fa4ad9f0fc10a40ffbb54a356cb4/json
  14. d4f612de5397f1fc91272cfbad245b89eac8fa4ad9f0fc10a40ffbb54a356cb4/layer.tar
  15. manifest.json
  16. repositories

如你所见，Docker 在命名时经常使用哈希hash。我们看看 manifest.json。它是以难以阅读的压缩 JSON 写的，不过 JSON 瑞士军刀 jq 可以很好地打印 JSON：

  1. $ jq . manifest.json
  2. [
  3. {
  4. "Config": "88f38be28f05f38dba94ce0c1328ebe2b963b65848ab96594f8172a9c3b0f25b.json",
  5. "RepoTags": [
  6. "tmknom/prettier:2.0.5"
  7. ],
  8. "Layers": [
  9. "a9cc4ace48cd792ef888ade20810f82f6c24aaf2436f30337a2a712cd054dc97/layer.tar",
  10. "d4f612de5397f1fc91272cfbad245b89eac8fa4ad9f0fc10a40ffbb54a356cb4/layer.tar",
  11. "6c37da2ee7de579a0bf5495df32ba3e7807b0a42e2a02779206d165f55f1ba70/layer.tar"
  12. ]
  13. }
  14. ]

请注意，这三个层Layer对应三个以哈希命名的目录。我们以后再看。现在，让我们看看 Config 键指向的 JSON 文件。它有点长，所以我只在这里转储第一部分：

  1. $ jq . 88f38be28f05f38dba94ce0c1328ebe2b963b65848ab96594f8172a9c3b0f25b.json | head -n 20
  2. {
  3. "architecture": "amd64",
  4. "config": {
  5. "Hostname": "",
  6. "Domainname": "",
  7. "User": "",
  8. "AttachStdin": false,
  9. "AttachStdout": false,
  10. "AttachStderr": false,
  11. "Tty": false,
  12. "OpenStdin": false,
  13. "StdinOnce": false,
  14. "Env": [
  15. "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
  16. ],
  17. "Cmd": [
  18. "--help"
  19. ],
  20. "ArgsEscaped": true,
  21. "Image": "sha256:93e72874b338c1e0734025e1d8ebe259d4f16265dc2840f88c4c754e1c01ba0a",

最重要的是 history 列表，它列出了镜像中的每一层。Docker 镜像由这些层堆叠而成。Dockerfile 中几乎每条命令都会变成一个层，描述该命令对镜像所做的更改。如果你执行 RUN script.sh 命令创建了 really_big_file，然后用 RUN rm really_big_file 命令删除文件，Docker 镜像实际生成两层：一个包含 really_big_file，一个包含 .wh.really_big_file 记录来删除它。整个镜像文件大小不变。这就是为什么你会经常看到像 RUN script.sh && rm really_big_file 这样的 Dockerfile 命令链接在一起——它保障所有更改都合并到一层中。

以下是该 Docker 镜像中记录的所有层。注意，大多数层不改变文件系统镜像，并且 empty_layer 标记为 true。以下只有三个层是非空的，与我们之前描述的相符。

  1. $ jq .history 88f38be28f05f38dba94ce0c1328ebe2b963b65848ab96594f8172a9c3b0f25b.json
  2. [
  3. {
  4. "created": "2020-04-24T01:05:03.608058404Z",
  5. "created_by": "/bin/sh -c #(nop) ADD file:b91adb67b670d3a6ff9463e48b7def903ed516be66fc4282d22c53e41512be49 in / "
  6. },
  7. {
  8. "created": "2020-04-24T01:05:03.92860976Z",
  9. "created_by": "/bin/sh -c #(nop) CMD [\"/bin/sh\"]",
  10. "empty_layer": true
  11. },
  12. {
  13. "created": "2020-04-29T06:34:06.617130538Z",
  14. "created_by": "/bin/sh -c #(nop) ARG BUILD_DATE",
  15. "empty_layer": true
  16. },
  17. {
  18. "created": "2020-04-29T06:34:07.020521808Z",
  19. "created_by": "/bin/sh -c #(nop) ARG VCS_REF",
  20. "empty_layer": true
  21. },
  22. {
  23. "created": "2020-04-29T06:34:07.36915054Z",
  24. "created_by": "/bin/sh -c #(nop) ARG VERSION",
  25. "empty_layer": true
  26. },
  27. {
  28. "created": "2020-04-29T06:34:07.708820086Z",
  29. "created_by": "/bin/sh -c #(nop) ARG REPO_NAME",
  30. "empty_layer": true
  31. },
  32. {
  33. "created": "2020-04-29T06:34:08.06429638Z",
  34. "created_by": "/bin/sh -c #(nop) LABEL org.label-schema.vendor=tmknom org.label-schema.name=tmknom/prettier org.label-schema.description=Prettier is an opinionated code formatter. org.label-schema.build-date=2020-04-29T06:34:01Z org
  35. .label-schema.version=2.0.5 org.label-schema.vcs-ref=35d2587 org.label-schema.vcs-url=https://github.com/tmknom/prettier org.label-schema.usage=https://github.com/tmknom/prettier/blob/master/README.md#usage org.label-schema.docker.cmd=do
  36. cker run --rm -v $PWD:/work tmknom/prettier --parser=markdown --write '**/*.md' org.label-schema.schema-version=1.0",
  37. "empty_layer": true
  38. },
  39. {
  40. "created": "2020-04-29T06:34:08.511269907Z",
  41. "created_by": "/bin/sh -c #(nop) ARG NODEJS_VERSION=12.15.0-r1",
  42. "empty_layer": true
  43. },
  44. {
  45. "created": "2020-04-29T06:34:08.775876657Z",
  46. "created_by": "/bin/sh -c #(nop) ARG PRETTIER_VERSION",
  47. "empty_layer": true
  48. },
  49. {
  50. "created": "2020-04-29T06:34:26.399622951Z",
  51. "created_by": "|6 BUILD_DATE=2020-04-29T06:34:01Z NODEJS_VERSION=12.15.0-r1 PRETTIER_VERSION=2.0.5 REPO_NAME=tmknom/prettier VCS_REF=35d2587 VERSION=2.0.5 /bin/sh -c set -x && apk add --no-cache nodejs=${NODEJS_VERSION} nodejs-np
  52. m=${NODEJS_VERSION} && npm install -g prettier@${PRETTIER_VERSION} && npm cache clean --force && apk del nodejs-npm"
  53. },
  54. {
  55. "created": "2020-04-29T06:34:26.764034848Z",
  56. "created_by": "/bin/sh -c #(nop) WORKDIR /work"
  57. },
  58. {
  59. "created": "2020-04-29T06:34:27.092671047Z",
  60. "created_by": "/bin/sh -c #(nop) ENTRYPOINT [\"/usr/bin/prettier\"]",
  61. "empty_layer": true
  62. },
  63. {
  64. "created": "2020-04-29T06:34:27.406606712Z",
  65. "created_by": "/bin/sh -c #(nop) CMD [\"--help\"]",
  66. "empty_layer": true
  67. }
  68. ]

太棒了！所有的命令都在 created_by 字段中，我们几乎可以用这些命令重建 Dockerfile。但不是完全可以。最上面的 ADD 命令实际上没有给我们需要添加的文件。COPY 命令也没有全部信息。我们还失去了 FROM 语句，因为它们扩展成了从基础 Docker 镜像继承的所有层。

我们可以通过查看时间戳timestamp，按 Dockerfile 对层进行分组。大多数层的时间戳相差不到一分钟，代表每一层构建所需的时间。但是前两层是 2020-04-24，其余的是 2020-04-29。这是因为前两层来自一个基础 Docker 镜像。理想情况下，我们可以找出一个 FROM 命令来获得这个镜像，这样我们就有了一个可维护的 Dockerfile。

manifest.json 展示第一个非空层是 a9cc4ace48cd792ef888ade20810f82f6c24aaf2436f30337a2a712cd054dc97/layer.tar。让我们看看它：

  1. $ cd a9cc4ace48cd792ef888ade20810f82f6c24aaf2436f30337a2a712cd054dc97/
  2. $ tar tf layer.tf | head
  3. bin/
  4. bin/arch
  5. bin/ash
  6. bin/base64
  7. bin/bbconfig
  8. bin/busybox
  9. bin/cat
  10. bin/chgrp
  11. bin/chmod
  12. bin/chown

看起来它可能是一个操作系统operating system基础镜像，这也是你期望从典型 Dockerfile 中看到的。Tarball 中有 488 个条目，如果你浏览一下，就会发现一些有趣的条目：

  1. ...
  2. dev/
  3. etc/
  4. etc/alpine-release
  5. etc/apk/
  6. etc/apk/arch
  7. etc/apk/keys/
  8. etc/apk/keys/alpine-devel@lists.alpinelinux.org-4a6a0840.rsa.pub
  9. etc/apk/keys/alpine-devel@lists.alpinelinux.org-5243ef4b.rsa.pub
  10. etc/apk/keys/alpine-devel@lists.alpinelinux.org-5261cecb.rsa.pub
  11. etc/apk/protected_paths.d/
  12. etc/apk/repositories
  13. etc/apk/world
  14. etc/conf.d/
  15. ...

果不其然，这是一个 Alpine 镜像，如果你注意到其他层使用 apk 命令安装软件包，你可能已经猜到了。让我们解压 tarball 看看：

  1. $ mkdir files
  2. $ cd files
  3. $ tar xf ../layer.tar
  4. $ ls
  5. bin dev etc home lib media mnt opt proc root run sbin srv sys tmp usr var
  6. $ cat etc/alpine-release
  7. 3.11.6

如果你拉取、解压 alpine:3.11.6，你会发现里面有一个非空层，layer.tar 与 Prettier 镜像基础层中的 layer.tar 是一样的。

出于兴趣，另外两个非空层是什么？第二层是包含 Prettier 安装包的主层。它有 528 个条目，包含 Prettier、一堆依赖项和证书更新：

  1. ...
  2. usr/lib/libuv.so.1
  3. usr/lib/libuv.so.1.0.0
  4. usr/lib/node_modules/
  5. usr/lib/node_modules/prettier/
  6. usr/lib/node_modules/prettier/LICENSE
  7. usr/lib/node_modules/prettier/README.md
  8. usr/lib/node_modules/prettier/bin-prettier.js
  9. usr/lib/node_modules/prettier/doc.js
  10. usr/lib/node_modules/prettier/index.js
  11. usr/lib/node_modules/prettier/package.json
  12. usr/lib/node_modules/prettier/parser-angular.js
  13. usr/lib/node_modules/prettier/parser-babel.js
  14. usr/lib/node_modules/prettier/parser-flow.js
  15. usr/lib/node_modules/prettier/parser-glimmer.js
  16. usr/lib/node_modules/prettier/parser-graphql.js
  17. usr/lib/node_modules/prettier/parser-html.js
  18. usr/lib/node_modules/prettier/parser-markdown.js
  19. usr/lib/node_modules/prettier/parser-postcss.js
  20. usr/lib/node_modules/prettier/parser-typescript.js
  21. usr/lib/node_modules/prettier/parser-yaml.js
  22. usr/lib/node_modules/prettier/standalone.js
  23. usr/lib/node_modules/prettier/third-party.js
  24. usr/local/
  25. usr/local/share/
  26. usr/local/share/ca-certificates/
  27. usr/sbin/
  28. usr/sbin/update-ca-certificates
  29. usr/share/
  30. usr/share/ca-certificates/
  31. usr/share/ca-certificates/mozilla/
  32. usr/share/ca-certificates/mozilla/ACCVRAIZ1.crt
  33. usr/share/ca-certificates/mozilla/AC_RAIZ_FNMT-RCM.crt
  34. usr/share/ca-certificates/mozilla/Actalis_Authentication_Root_CA.crt
  35. ...

第三层由 WORKDIR /work 命令创建，它只包含一个条目：

  1. $ tar tf 6c37da2ee7de579a0bf5495df32ba3e7807b0a42e2a02779206d165f55f1ba70/layer.tar
  2. work/

原始 Dockerfile 在 Prettier 的 git 仓库中。

via: https://theartofmachinery.com/2021/03/18/reverse_engineering_a_docker_image.html

作者：Simon Arneaud 选题：lujun9972 译者：DCOLIVERSUN 校对：wxy

本文由 LCTT 原创编译，Linux中国 荣誉推出

转自 https://linux.cn/article-13258-1.html

相关推荐