日志
- 2023-04-26:新增从Cloudflare中获得DNS令牌的方案。详见“
NPM——使用方法——获得DNS令牌
”。 - 2023-04-25:新增一种实用的防火墙方案。详见“
NPM——注意事项——防火墙
”。 - 2023-04-08:新增关于Cloudflare重定向错误(
ERR_TOO_MANY_REDIRECTS
)的应对之策。 - 2023-03-28:新增关于Cloudflare Proxy对ssl证书额外支持的说明。
- 2023-02-12:新增404 HOST的NPM设置方法。
- 2023-02-04:新增NPM注意事项警告,比如NPM可能导致网站无法访问,原因不明。
前言
如果有人问我:你觉得最重要的docker应用有些?
我的答案是:
ddns-go
。非常好用的动态域名解析服务。家用NAS必备神器。NPM
。Nginx反向代理神器之一,自动管理nginx代理配置、Let’s Encrypt的ssl证书自动申请和续期。类似的工具还有nginxWebUI、traefik/traefik。
当然,这里我不会说mysql/mariadb
,因为它们往往不直接面对用户,我们很难感受到它们的存在,虽然它们在搭建docker应用的时候会经常出现。
本文主要解决如何安装和基本使用
NPM/ddns-go。我之所以将两者合并讨论,是因为它们的组合可以很好地解决如何方便和安全地远程访问docker应用
这个使用场景。
值得一说的是,如果你用的是VPS,有固定的公网ip,此时ddns-go
不是必需的。你只需要去阿里云、cloudflare这样的域名托管商的后台一次性添加就行了!
当然,有些小伙伴可能都没怎么听说过这两个应用。除了之前测试用的Ward
,这两个应用就是我们安装好Docker要首先安装的应用噢!
下面我们一起来看看吧 :satisfied:
测试环境
- 操作系统: Linux openmediavault 5.4.174-2-pve #1 SMP PVE 5.4.174-2 (Thu, 10 Mar 2022 15:58:44 +0100) x86_64 GNU/Linux
- Docker: Docker version 20.10.14, build a224086
- docker-compose: Docker Compose version v2.4.1
准备工作
# 工作目录请按需修改
path_docker=~/docker
# 目录管理
mkdir -p ${path_docker}/ddns-go/ ${path_docker}/npm
# 有需要可以提前拉取好镜像
# docker pull jeessy/ddns-go:latest
# docker pull jc21/nginx-proxy-manager:latest
另外,你还需要在阿里云或者cloudflare进行域名托管,并且有至少1个域名。其它域名服务商应该也是类似的,我用是就是这两个,其它的不特别讨论。
DDNS-GO目前支持的DNS服务商有:Alidns(阿里云)、Dnspod(腾讯云)、Cloudflare、华为云和Callback。
NPM支持的服务商太多了,自己去看看吧,不再赘述。
NPM
Nginx proxy manager(NPM)是集Nginx设置和ssl证书申请的docker神器。
一般来说,我们会将域名登记到DNS服务商(比如Cloudflare),那么域名——公网IP
这条路已经打通。那么,NPM的作用是什么呢?它主要作用是反向代理
服务器——NPM可以看作nginx的可视化面板(当然远不止于此,但你暂时可以这样理解)。
反向代理
是位于一个或多个Web 服务器前面的服务器,拦截来自客户端的请求;然后,反向代理服务器将向源服务器发送请求并从源服务器接收响应。通俗地说,NPM可以决定该域名可以访问该IP源服务器的哪个端口,就是打通公网IP——端口
这条路。
不管怎么说都有点抽象。自己在实际使用时多体会就行了 (ฅ´ω`ฅ) 实测资源占用也不是很高:
目录管理
cd ${path_docker}/npm
配置yml文件
不了解docker的小伙伴请先看:《Docker系列 配置Docker全局环境》;《Docker系列 了解Docker Compose的配置文件》。
创建新文件docker-compose.yml
并添加内容如下:
version: '3'
services:
app:
image: 'jc21/nginx-proxy-manager:latest'
restart: unless-stopped
ports:
- '80:80'
- '<NPM-后台端口>:81'
- '443:443'
volumes:
- ./data:/data
- ./letsencrypt:/etc/letsencrypt
你可以使用默认端口或者自定义。
一般地,对于VPS来说,80和443端口应该使用默认的。可以使用80和443端口也是玩VPS的优势之一呀!想想你每次访问互联网服务都要加个端口号,看着就很难受。你的家用NAS一般是你或者你的家人等少数人用,有一些端口号也无伤大雅。
可是,如果你要建一个个人博客,用非443端口不合适吧?看着就很不正式呢!
一般地,新买的个人云服务器可以默认;而家用宽带一般不放行443端口,而要改用其它端口。
另外,这个81端口是NPM的默认后台端口,这个你可以改一个自己喜欢的。我建议不要用默认的81端口,这样可以使NPM更加隐蔽。
服务管理
# 上线服务
docker-compose up -d
# 下线服务
docker-compose down
# 更新服务(我还没用过。更新的话建议先对旧服务进行备份,以防新旧版本有兼容问题。)
docker-compose pull
docker-compose up -d
不要忘了用ufw
开放你选择的NPM-后台端口
端口喔!还记得ufw
怎么用吗?443
、80
端口在之前的演示中应该已经开放过了。自己用sudo ufw status numbered
查询一下。
访问:http://<ip>:<NPM-后台端口>
进行NPM管理。
根据官网,它的默认帐户和密码是:
默认帐户:[email protected]
默认密码:changeme
进入后台后,具体使用可以参考B站的咕咕鸽的演示:https://www.bilibili.com/video/BV1Gg411w7kQ。这里我也简单地介绍一下NPM的使用方式。
特别注意
:
个人宽带的公网ip不开放80端口,所以在NPM中一般用DNS challege而不是HTTP challege的方式申请Let’s Encrypt SSL证书。如果你使用的是DNS challege的方式,一般还要提供一些token信息,这个每个托管商都是不太一样的。你可以试一下,HTTP challege失败就换DNS challege。我在国内都可以成功申请到证书。
如果你用VPS的话,应该没有这个问题。这也是为什么推荐新手玩VPS嘛 :stuck_out_tongue_winking_eye:
这里值得一说的是,NPM是可以反向代理自己的!你第一次访问NPM的时候,是用http://<ip>:<NPM-后台端口>
的方式访问,这个时候你输入的帐户和密码都是明文传播的。你设置好NPM的自身反代后,要尽快用https://domain.com
的方式来访问它,然后将用户名和密码修改一下。NPM是本地和外界沟通的桥梁,可不能有什么安全隐患!
使用方法
获得DNS令牌
仅以苯苯使用的Cloudflare为例。其它域名托管商请自行Google/ChatGPT。
在NPM中,如果要申请类似*.hwb0307.com
、hwb0307.com
的通配符证书,需要使用DNS Challenge的方式;而这其中需要依赖DNS API令牌。
登陆Cloudflare的后台,在概述页面中找到获取您的API令牌
,点击进去:
直接创建令牌
。值得一提的是,该页面也可以看到既往申请并仍在使用中的API令牌:
推荐使用自带模板编辑区域DNS
。这种功能还是挺贴心的 (ฅ´ω`ฅ):
选好域名后,其它项目默认或者按需改动即可(图示是默认情况)。继续以显示摘要
:
最后,创建令牌
即可:
获得令牌,请妥善保存。你也可以用curl测试令牌:
在Cloudflare中,获得API令牌的整个过程是比较自然的,就算没人教,自己探索一下就会。这里点名批评一下阿里云,后台十分复杂和反人类 Σ( ° △ °|||)︴
申请SSL证书
我喜欢统一申请好二级域名证书(比如我自己,就只为hwb0307.com
申请1个证书),然后在建立新的反向代理记录后添加申请好的二级域名证书。
在国内,由于家庭宽带的80端口是被封锁的,所以用http challenge申请ssl证书的方式很容易失败。在Nginx proxmy manager中,国内用户推荐使用DNS challge的方式来申请Let’s Encrypt证书。这里也主要是讲述后者的方式。帐户设置等初始化工作就不再赘述。自己摸索一下,不是很难。
如果你想了解HTTPS证书相关的原理跟细节,可以阅读Ryan的博客文章《写给开发人员的实用密码学(八)—— 数字证书与 TLS 协议》。
在界面中点击SSL Certificates--Add SSL Certificate--Let's Encrypt
其它设置如下图。你可以申请一个二级域名的通用证书,或者专门为一个三级域名设置证书。下面我展示的是申请一个二级域名的通用证书。我个人推荐你申请一个二级域名证书给所有的三级域名使用。你要同时为两个域名申请*.hwb0307.com
、hwb0307.com
(*
是一种常用的正则表达式,用来代表所有字符),这样才可以正常使用喔:
个人的key和secret要注意保密。DNA provider可以选好多种,看你自己的情况。
对于腾讯云(DNSPod)的用户,ID和Token一定要填一起才可以使用喔!比如,你的后台Token信息如下:
填写时应该是:
dns_dnspod_email = "自己的邮箱"
dns_dnspod_api_token = "31XXXX,7ccXXXXXXXXXXXXXXXXXXXXX7"
按要求填写好相关信息后,按save
保存并申请SSL证书,稍等一会即可。如果有报错的话,再多试几次,检查一下自己的信息有没有填写错误。我在国内外的网络环境中通过DNS challenge的方法都可以成功申请证书。成功后如下图所示:
添加反向代理记录
添加一个记录:
这里以ddns-go为例。比如,ddns-go的反向代理设置如下。这个172.17.0.1
是docker的默认主机ip地址,通过这个地址加上docker应用的ports即可访问具体的docker应用。当然用192.XXX之类的地址也是可以的,你都可以试试看。
值得一提的是,这里NPM和ddns-go都是在同一个局域网中,所以可以通过反代局域网地址加端口号成功实现。而且,你不需要在路由器中为ddns-go专门设置一个端口映射,这样在互联网使用的环境下,外部的应用只能通过NPM对ddns-go服务进行访问。由于这种访问是https加密的,因此具有较好的安全性。
点击save保存,就会有一条记录:
此时通过:https://exampledomain.com:<NPM-443端口>
即可访问ddns-go。如果你用的是443端口,可以不加端口号,因为443是互联网中默认的https端口。
多数docker应用可以通过这样简单地设置即可以实现成功代理。不过,不是所有的docker服务都这么简单就可以设置好反代,它们还往往需要一些额外的Nginx基础才可以成功,比如Umami
。具体情况具体分析。有机会再开一个专题来讨论NPM的nginx自定义配置吧。
自动更新证书
NPM托管的Let’s Encrytp证书是可以自动更新的,访过程基于certbot。在conf文件里,有一个renew_before_expiry
的参数,默认是30 days
。Let’s Encrytp证书的有效期一般是3个月,它会在证书还有1个月到期的时候自动更新证书。
我有一个关于*.hwb0307.com, hwb0307.com
域名的证书,通过DNS challege的方法申请的。该证书由Cloudflare颁发,有效期是1年而不是3个月。当该证书没到仅剩30天过期时,尽管手动renew,证书依然不会被更新(日志信息提示Certificate not yet due for renewal
):
npm-app-1 | [10/24/2022] [10:19:32 AM] [SSL ] › ℹ info Renewing Let'sEncrypt certificates via Cloudflare for Cert #20: *.hwb0307.com, hwb0307.com
npm-app-1 | [10/24/2022] [10:19:32 AM] [SSL ] › ℹ info Command: certbot renew --config "/etc/letsencrypt.ini" --cert-name "npm-20" --disable-hook-validation --no-random-sleep-on-renew
npm-app-1 | [10/24/2022] [10:19:34 AM] [SSL ] › ℹ info - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
npm-app-1 | Processing /etc/letsencrypt/renewal/npm-20.conf
npm-app-1 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
npm-app-1 | Certificate not yet due for renewal
npm-app-1 |
npm-app-1 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
npm-app-1 | The following certificates are not due for renewal yet:
npm-app-1 | /etc/letsencrypt/live/npm-20/fullchain.pem expires on 2022-11-24 (skipped)
npm-app-1 | No renewals were attempted.
npm-app-1 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
我另外一个非DNS challege申请的证书,应该是Let’s Encrypt直接颁发的证书。它可以随时更新:
npm-app-1 | [10/24/2022] [10:27:28 AM] [SSL ] › ℹ info Renewing Let'sEncrypt certificates for Cert #22: XXX.org
npm-app-1 | [10/24/2022] [10:27:28 AM] [SSL ] › ℹ info Command: certbot renew --force-renewal --config "/etc/letsencrypt.ini" --cert-name "npm-22" --preferred-challenges "dns,http" --no-random-sleep-on-renew --disable-hook-validation
npm-app-1 | [10/24/2022] [10:27:37 AM] [SSL ] › ℹ info - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
npm-app-1 | Processing /etc/letsencrypt/renewal/npm-22.conf
npm-app-1 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
npm-app-1 | Renewing an existing certificate for XXX.org
npm-app-1 |
npm-app-1 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
npm-app-1 | Congratulations, all renewals succeeded:
npm-app-1 | /etc/letsencrypt/live/npm-22/fullchain.pem (success)
npm-app-1 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
不过,不管哪种方式,如果证书快到期了,应该是可以自动续期的。这里建议:如果你想频繁地更换证书,不要使用DNS challenge的方式申请。
此外,如果你使用了Cloudflare Proxy的方式(
)解析域名,其实不太需要担心ssl证书的问题。因此Cloudflare会颁发共享的边缘证书:如果查看网站证书,可以看到访客其实使用的是边缘证书而不是NPM中的证书:
这是我最近替换证书后但网站仍可https访问(Kuma实时监测)之后发现的。所以说Cloudflare CDN确实不错 (ฅ´ω`ฅ)
404 Host
为旧域名添加提示信息。相对冷门的一种用法。
404 Host
设置对于新旧域名交替是有利的。比如,域名A
曾经是某博客的域名,但时过境迁A
将不再被使用。如果弃之不顾,那么访客直接访问A
时将会处于离线状态,这可能会让访客误会你已经放弃提供原来的服务。如果你设置了404 Host
,并且添加一些提示信息(比如指向新网站),有利于让老朋友们知道你仍在维护该服务,从而保持用户粘性并逐渐完成过渡。
幸运的是,NPM也可以添加404 Host
!方法很简单,如图所示:
前面的步骤和添加Proxy是差不多的,就不演示了。这里的提示信息格式如下:
location / {
default_type text/html;
add_header Content-Type "text/html; charset=utf-8";
return 200 '<font face="黑体" color="#dc566f" size=10>由于netdata会造成较大的资源占用,我已经暂时下线netdata。不便之处,敬请谅解!</font><br><p align="center">本页面的生成方法详见我的文章<a href="https://blognas.hwb0307.com/linux/docker/604" data-wpel-link="external" title="Docker系列 两大神器NPM和ddns go的安装"><strong>《Docker系列 两大神器NPM和ddns go的安装》</strong></a></p><br><p align="center">苯苯的博客用什么<a href="https://blognas.hwb0307.com/ad" data-wpel-link="external" title="VPS"><strong>VPS</strong></a>?创作不易,您可以<a href="https://blognas.hwb0307.com/thankyou" data-wpel-link="external" title="Sponsor"><strong>支持</strong></a>苯苯!感谢<a href="https://cdn.onmicrosoft.cn/" data-wpel-link="external" title="渺软公益CDN"><strong>渺软公益CDN</strong></a>提供支持(~ ̄▽ ̄)~ </p>';
}
其实就是一段Nignx代码,返回HTML格式的文本。最终效果大致如下:
你可以访问https://wardrn2.hwb0307.com在线查看效果。
注意事项
不明原因连接失败
之前我的测试网站hwb0307.com忽然之间挂了,一直找不到明显的原因(可能与系统关机或重启时NPM正在工作有关)。后来在NPM里将原proxy记录删除了再重新添加新的Proxy记录即可。
如果你的网站莫名奇妙地挂了,又找不到明显原因,可以试试删除原proxy记录再重新录入。
重定向错误
如果你使用Cloudflare作为域名托管商,很可能会出现ERR_TOO_MANY_REDIRECTS
(重定向)的报错。这时你应该将SSL/TLS加密模式设置为完全
。具体见《简单介绍Cloudflare和常用配置》:
防火墙
以后我们经常会搭建各种各样的docker应用,一般NPM通过http://172.17.0.1:<端口号>
的方式对应用进行反向代理。
以前,我比较喜欢用类似这样的防火墙规则(以Ubuntu系统的ufw
为例):
# 这是一个使用4145端口的wordpress示例
sudo ufw allow 4145/tcp comment 'wordpress'
sudo ufw reload
但我逐渐发现这种方案的弊端。假设某个攻击者知道了你的服务器IP,它可以用http://<服务器ip>:<端口号>
访问你的服务(虽然访问总会报错,因为不符合https)。
那么,有没有一种一劳永逸的方案呢?我折腾了很久,终于让我想出一种比较巧妙的解决方案 (ฅ´ω`ฅ) 最终结果类似:
具体思路如下:
ddns-go
ddns-go
是一个动态域名解析神器,并提供漂亮的UI界面进行操作。简单好用的DDNS。支持阿里云DNS、腾讯云dnspod、Cloudflare、华为云 。官方镜像:https://registry.hub.docker.com/r/jeessy/ddns-go
温馨提示:使用VPS的小伙伴可以不安装这个ddns-go。每次有新的域名要解析,去域名托管商的后台进行操作即可。
在ddns-go
里,我们会展示一些Docker中相对特殊的用法:
- PUID和PGID可通过在Shell中输入
id
进行查询。这个在Linux基础里已经学过了!当然你也可以用root来运行,我也觉得没什么问题。值得注意的是,不是所有的docker应用都有这两个参数。可能Dockerfile
之类的方法可以指定,但我还没有尝试过。基于Docker系列 学习Docker之前中的讨论,你应该也知道一般情况下用root运行docker问题也不大的。 - 我们用
Shell命令行
来安装ddns-go。其实Shell命令行
是我最先接触的方法,对于一些比较简单的Docker应用,用它来安装也是毫无压力的。用docker-compose
的方案也行,有兴趣的自己试试看吧!
我展示一下阿里云和cloudflare的使用。应该还是蛮简单的吧 😉
阿里云
# aliyun
mkdir -p ${path_docker}/ddns-go/aliyun
docker run -d \
--restart=unless-stopped \
--name ddns-go-aliyun \
-e PUID=1000 \
-e PGID=100 \
-p <aliyun端口>:9876 \
-v ${path_docker}/ddns-go/aliyun:/root \
jeessy/ddns-go \
-f 60
访问http://<ip>:<aliyun端口>/
进行aliyun的域名解析。
Cloudflare
# cloudflare
mkdir -p ${path_docker}/ddns-go/cloudflare
docker run -d \
-e PUID=1000 \
-e PGID=100 \
--name ddns-go-cloudflare \
--restart=unless-stopped \
-p <cloudflare端口>:9876 \
-v ${path_docker}/ddns-go/cloudflare:/root \
jeessy/ddns-go \
-f 60
访问http://<ip>:<cloudflare端口>/
进行Cloudflare的域名解析。
ddns-go使用
NPM设置Nginx反代和ssl加密
在进行设置的时候,应该先用NPM进行反向代理和配置https加密。不然,你的所有信息都是明文传播,容易引发安全问题。强烈不推荐在http协议中使用ddns-go,因为它会传送你的DNS服务商的token,这意味着攻击者可以对你的帐号进行任何操作!
设置可以看上文的NPM的举例。
绑定DNS服务商
阿里云的是这样的:
Cloudflare的是这样的:
IPv4设置
用默认的参数,然后在Domains里写上要解析的域名。注意,你不需要专门去域名服务商后台添加记录。
其它配置
我喜欢设置用户名和密码,这样公网访问的时候会比较安全。
设置完成后,就点击页面左上方的Save
。这里会自动解析域名。右侧可以看到日志,会有IPv4未改变,将等待 5 次后与DNS服务商进行比对
、你的IP XXX 没有变化, 域名XXX
或者XXX解析成功
之类的字样。
参考资料
- How to set custom listening port for custom location · Issue #3024 · NginxProxyManager/nginx-proxy-manager:配合GitLab增加端口。
- https://nginxproxymanager.com/advanced-config/#docker-secrets
- 申请通配符SSL证书,让批量添加网站更省力!
- B站大佬的教学视频:https://www.bilibili.com/video/BV1Gg411w7kQ
- 域名从NameSilo转移到Cloudflare
---------------
完结,撒花!如果您点一下广告,可以养活苯苯😍😍😍
请问一下:我是腾讯轻量+centos上搭建的,然后NPM方面能利用域名+端口号访问,并且申请了证书,但是安装wordpress的时候NPM上反向代理出现Internal Error,就文章中的bi站视频一样,不知道怎么弄啦,已经尝试了几次都不行,望您有空闲时间还请教以下,谢谢!
关键词: DNS Challenge 。请仔细地阅读本文。
请问一下,为什么我的NPM反代本机服务器的容器只能用172.17.0.1,如果用127.0.0.1就会报错:502 Bad Gateway openresty,而且反代非容器服务也是一样,不能用127.0.0.1,只能用本机的IP+端口,不然也报502错误,这是哪里出了问题?谢谢
关于反代ip设置,假设有1234:5678的映射,那么好像可以设置127.0.0.1:1234或172.17.0.1:5678两种方式反代。虽然安全性好像差不多?可能走127.0.0.1:1234还要nat一下到172.17.0.1:5678罢。唉,好像说了一些没啥实际用途的东西
是的 127.0.0.1要走多点路,理论上没有172.17.0.1快。但实际使用上差别不大
今天想要用 ddns-go 实现 ipv6 的绑定,但是我用 docker 开启的服务访问 http://web:9876 却显示找不到相应的网卡,使用接口获取也找不到。
查看图片
ipv6没有使用经验,帮不了你了 (ฅ´ω`ฅ) 在群里问下小伙伴吧 https://t.me/benszhub
请问下http://ip:端口/guacamole这样后面要加上一个地址才能访问的,该如何在npm中进行反代呢
这个我也不太懂。 你可以去Nginx Proxy Manager的github issue里问一下。 如果你知道怎么做了,记得在这里回复下,我也学习一下哈!
行,我去问问
我用过这个npm一段时间,没弄清楚怎么自动更新证书,后来放弃了,这样看来可以再试试,部署到软路由上去
加油,挺简单的! 不懂可以提问哈!
你好,博主。按照教程到npm这一步,配置上自己的域名,http://ip:1004和http://ip:1005都是可以正常访问的。但是域名访问就是不行,这还是再没有绑定ssl证书的情况下。绑定上ssl证书,那更是不能访问了。不知道该怎么处理。(但是用宝塔面板配置就没有问题)
如果你是在家里面搭,是用不了443/80端口的。其它一般问题不大。
你是http不需要绑定证书啊,你应该用https 登录吧
博主提到 阿里云 的 DNS 令牌获取有点坑,所以博主成功获取了嘛,有没有相关教程链接(搜文档和百度,“DNS 令牌”没找到靠谱的方案)
你可以访问 https://ram.console.aliyun.com/manage/ak 找一下。剩下的自己加油!