CentOS 7.3部署Harbor镜像仓库

#docker 服务已提前部署，可参考：https://docs.docker.com/engine/installation/linux/docker-ce/centos/
#如果使用 curl 或 wget 下载较慢，可以通过其他渠道提前下载后上传到服务器
[root@harbor ~]# curl -L https://github.com/docker/compose/releases/download/1.16.1/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose

#赋权
[root@harbor ~]# chmod +x /usr/local/bin/docker-compose

#验证 docker-compose 是否部署成功
[root@harbor ~]# docker-compose --version

#这里下载的是离线安装文件，在线安装文件为 "harbor-online-installer-v1.2.2.tgz"
[root@harbor ~]# cd /usr/local/src/
[root@harbor src]# wget https://github.com/vmware/harbor/releases/download/v1.2.2/harbor-offline-installer-v1.2.2.tgz
[root@harbor src]# tar -zxvf harbor-offline-installer-v1.2.2.tgz

[root@harbor src]# cd harbor

#解压目录下的 harbor.cfg 文件即配置文件，详细的配置项可见参考文档：https://github.com/vmware/harbor/blob/master/docs/installation_guide.md#configuring-harbor
[root@harbor harbor]# vim harbor.cfg
#设置访问地址，可用 ip，域名，不能使用 127.0.0.1 或 localhost
hostname = 10.11.51.71

#默认使用 http 协议访问 UI 与 token/notification 服务；如果采用 https，需要将 nginx ssl 设置为 on，可参考：https://github.com/vmware/harbor/blob/master/docs/configure_https.md
ui_url_protocol = http

#mysql 数据库 root 用户默认密码 root123.
db_password = root123

#image 复制并发量
max_job_workers = 3 

#是否为 token 生成证书，默认为 on
customize_crt = on

#nginx cert 与 key 文件的路径, 只有采用 https 协议是才有意义 
ssl_cert = /data/cert/server.crt
ssl_cert_key = /data/cert/server.key

#The path of secretkey storage
secretkey_path = /data

#Admiral's url, comment this attribute, or set its value to NA when Harbor is standalone
admiral_url = NA

#未启用 calir 服务，但解压目录下的”./prepare”文件中要检查以下相关参数配置，不能注释，否则环境准备检查不能通过，报 ”ConfigParser.NoOptionError: No option u'clair_db_password' in section: u'configuration'” 相关错误；或者在”./prepare”中注释相关检查与定义，但需要注意，文件中的关联太多，推荐修改“harbor.cfg”文件即可
clair_db_password = password

#以下配置为 option 配置，只在首次启动生效，可以登陆 UI 后修改
#email 相关配置，均为默认配置
email_identity = 
email_server = smtp.mydomain.com
email_server_port = 25
email_username = sample_admin@mydomain.com
email_password = abc
email_from = admin <sample_admin@mydomain.com>
email_ssl = false

#UI 登陆默认密码
harbor_admin_password = Harbor12345

##By default the auth mode is db_auth, i.e. the credentials are stored in a local database.
#Set it to ldap_auth if you want to verify a user's credentials against an LDAP server.
#默认认证 db_auth 为本地认证，支持 ladp 认证
auth_mode = db_auth

#ladp 相关设置，虽然未采用 ldap 认证，但解压目录下的”./prepare”文件中要检查以下相关参数配置，不能注释，否则环境准备检查不能通过，报 ”ConfigParser.NoOptionError: No option u'ldap_timeout' in section: u'configuration'” 相关错误；或者在”./prepare”中注释相关检查与定义，但需要注意，文件中的关联太多，推荐修改“harbor.cfg”文件即可
ldap_url = ldaps://ldap.mydomain.com
# ldap_searchdn = uid=searchuser,ou=people,dc=mydomain,dc=com
# ldap_search_pwd = password
ldap_basedn = ou=people,dc=mydomain,dc=com
# ldap_filter = (objectClass=person)
ldap_uid = uid 
ldap_scope = 3 
ldap_timeout = 5

#默认开启自注册
self_registration = on

#token 有效时间，默认 30minutes
token_expiration = 30

#创建项目权限控制，默认是 "everyone"(所有人)，可设置为 "adminonly"(管理员)
project_creation_restriction = everyone

#与远程 registry 通信时是否采用验证 ssl
verify_remote_cert = on

#harbor 解压目录下 "install.sh" 脚本会根据同目录下的 "docker-compose.yml" 的定义下载镜像并启动服务；
#镜像下载较耗时，可提前下载备用，以免发生部署过程中镜像不能 pull 的尴尬
[root@harbor harbor]# ./install.sh

#查看镜像，另有 Notary 与 Clair(漏洞扫描)相关的镜像，harbor 集成了这两个服务，但默认不安装；如果需要安装，执行 "./install.sh --with-notary --with-calir"
[root@harbor harbor]# docker images

#查看容器，可以看到没有 Notary 与 Clair 相关服务；也可使用 "docker ps"；
#"docker-compose ps" 需要在 "docker-compose.yml" 文件所在目录执行相关操作
[root@harbor harbor]# docker-compose ps

#需要修改 registry 支持 http 登陆，默认采用 https，详见最后的问题章节
[root@harbor ~]# docker login 10.11.51.71

#随意选取 1 个本地镜像打上私有 registry 的 tag；
#tag 格式为：domain(ip)/project/image:version
[root@harbor ~]# docker tag photon:1.0 10.11.51.71/harbor_1/photon:1.0
[root@harbor ~]# docker images

#随意选取 1 个本地镜像打上私有 registry 的 tag
[root@harbor ~]# docker push 10.11.51.71/harbor_1/photon:1.0

#删除本地镜像
[root@harbor ~]# docker rmi 10.11.51.71/harbor_1/photon:1.0
Untagged: 10.11.51.71/harbor_1/photon:1.0
Untagged: 10.11.51.71/harbor_1/photon@sha256:30daf1dc09787f9d886fb3f554237ca9ba656d84590703e700f8ab740b342693

#使用一般用户账号登陆本地私有 registry
[root@harbor ~]# docker logout 10.11.51.71
Remove login credentials for 10.11.51.71
[root@harbor ~]# docker login 10.11.51.71
Username: user1
Password: 
Login Succeeded

#下载镜像
[root@harbor ~]# docker pull 10.11.51.71/harbor_1/photon:1.0
1.0: Pulling from harbor_1/photon
Digest: sha256:30daf1dc09787f9d886fb3f554237ca9ba656d84590703e700f8ab740b342693
Status: Downloaded newer image for 10.11.51.71/harbor_1/photon:1.0

#"docker-compose" 可以对 harbor 服务整个生命周期进行管理；
#必须在 "docker-compose.yml" 文件所在目录执行相关操作
[root@harbor ~]# cd /usr/local/src/harbor
[root@harbor harbor]# docker-compose stop | start | restart

#停止服务
[root@harbor ~]# cd /usr/local/src/harbor
[root@harbor harbor]# docker-compose -v

#修改 harbor.cfg 文件
[root@harbor harbor]# vim harbor.cfg

#运行 prepare 脚本更新配置
[root@harbor harbor]# ./prepare

#重启服务
[root@harbor harbor]# docker-compose up -d

[root@harbor harbor]# docker-compose down -v

#持久数据，如镜像，数据库等在宿主机的 /data/ 目录下；
#日志在宿主机的 /var/log/harbor/ 目录下
[root@harbor harbor]# rm -r /data/database
[root@harbor harbor]# rm -r /data/registry

#修改在解压目录中”common/templates/registry/config.yml”，在最后追加“proxy”字段；
#在运行“./prepare”之前做追加操作
[root@harbor ~]# cd /usr/local/src/harbor
[root@harbor harbor]# vim common/config/registry/config.yml
proxy:
  remoteurl: https://registry-1.docker.io
  #如果访问私有仓库，需要带上 docker hub(指定的仓库)的账号 / 密码
  #username: [username]
  #password: 
  此处含有隐藏内容，需要正确输入密码后可见！
立即查看

#不执行“./prepare”
[root@harbor ~]# cd /usr/local/src/harbor
[root@harbor harbor]# docker-compose stop
[root@harbor harbor]# docker-compose rm -f
[root@harbor harbor]# docker-compose up -d

#修改 docker 启动文件”[service]”字段
[root@test ~]# vim /usr/lib/systemd/system/docker.service
[Service]
EnvironmentFile=/etc/sysconfig/docker
ExecStart=/usr/bin/dockerd $OPTIONS

#定义启动参数，添加 “--registry-mirror” 与“--insecure-registry”参数
[root@test ~]# vim /etc/sysconfig/docker
OPTIONS="-H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock --registry-mirror=http://10.11.51.71 --insecure-registry 10.11.51.71"

#重启 docker 服务
[root@test ~]# systemctl restart docker

#在 client 服务器拉取镜像，108Mb 的 nginx 镜像用时 36min 左右；
#虽然宿主机有做加速处理，但做 harbor registry 的容器没有加速，所以时间较长
[root@test ~]# date ; docker pull nginx ; date

#在 client 删除 nginx 镜像，再拉取 1 次，时间缩短到 11min，证明 mirror 缓存生效；
#效果依然不理想，但的确是生效了
[root@test ~]# docker rmi nginx
[root@test ~]# date ; docker pull nginx ; date

#如下从 mirror registry 拉取镜像的操作会很高效，同样的 nginx 镜像，实测在 30second 左右；
#即使在没有缓存的情况下效果也不错，但此时日志中显示操作用户名不再是 anonymous，而是前面已经登陆的账号 user1(登陆的是私有 registry)；
#且下载的镜像 REPOSITORY 也是”10.11.51.71/library/nginx”全称的形式，而不是 docker hub 默认的只有镜像名称
[root@test ~]# docker pull 10.11.51.71/library/nginx

#在 harbor 服务器查看
[root@harbor ~]# ll /data/registry/docker/registry/v2/repositories/library/

[root@harbor ~]# docker login 10.11.51.71
Username: admin
Password: 
Error response from daemon: Get https://10.11.51.71/v1/users/: dial tcp 10.11.51.71:443: getsockopt: connection refused