基于专线,cosfs异地代理内网挂载腾讯云对象存储

1.前言

#此文服务器地址均为内网ip,相关公网地址均已打码或改写,需根据实际情况修改。

业务系统部署在的香港IDC,但是想要在服务器上基于专线内网挂载广州腾讯云的对象存储cos,实现异地更高效的读写。

实现起来是没有问题的,但是小坑有点多,感觉这个方案以后会是个比较常用的方案,所以以写成博客,不管是腾讯,阿里,等等等,均可参考此篇博客原理操作,希望你能从中获得灵感

2.方案介绍
#大致架构如下,相信聪明的你配上我牛皮的作图手艺,理解起来肯定没啥问题。

#专线实施这块咋们就不细聊,需要专门网络工程师协助,你可简单理解为香港和广州两台服务器之间拉了一个网线直连~比走公网效率高,真.顺着网线过去找你~

#七层HTTP代理，咋们用nginx实现,简单还高效，很香。

#不管是啥云,对于访问对象存储,基本都有一个特点,就是支持内网访问(符合一定条件),不可能说我得对象存储跟服务器隔得很近,搞不好在一个机柜上,你让我从公网访问它。

#阿里云对于对象存储策略是是直接提供内网连接地址(可能有些其他规则限制,可以自行查阅文档了解下:http://help.aliyun.com)

#腾讯云对对象存储的策略是，不直接提供内网连接地址，就给一个域名，但是这个域名可不是普通的域名,这个域名,你如果在跟对象存储同地域的服务器上ping的话是内网(需使用默认的腾讯dns服务器)，在外网ping的话，就是外网,这说明如果环境符合,是可以直接通过一个地址内网访问对象存储的，也就如下图，都是广州地域，服务器默认解析至内网,那么现在已知,广州代理服务器是直接内网访问对象存储的。

#那么,我们开始操作吧,让香港服务器也能内网调用对象存储!

 3.环境信息

#服务器

10.17.58.10  Centos7    cosfs工具包(cos挂载客户端)   

172.16.0.8   Centos7    nginx工具包(七层代理实现)

4.部署实施

4.1代理服务器部署

#红色部分需依据实际情况填写,配置这个的目的是给香港服务器暴露对象存储的地址(对象存储的调用逻辑这个小坑很关键,需要基于A,B两个域名分别代理至A,B,为啥要把基于和目标配置一样呢,请看4.1最后一张图,就是为做地址伪装做支持,因为1.1.1.1是不能直接访问到192.168.1.1的,但是又必须遵循域名格式需求)

#client_max_body_size 1000m   最大上传值,根据实际情况填写,太小会影响挂载对象存储后的写操作体验,写入大文件时会失败。

>yum -y install nginx

>cat /etc/nginx/nginx.conf

worker_processes  1;          #根据cpu核数修改
error_log  logs/error.log;
events {
    worker_connections  10240;
    use epoll;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
    access_log  logs/access.log  main;

    sendfile        on;
    keepalive_timeout  65;



    server{
        listen   80;
        server_name  <bucket-name>.<cos-domain>;           #根据你得对象存储地址填写,例如:b1-6666666666.cos.ap-guangzhou.myqcloud.com 
        charset  utf-8;
        location /{
        client_max_body_size 1000m;
        proxy_pass   https://<bucket-name>.<cos-domain>;   #同上
        }
}

    server {
        listen       80;
        server_name  <cos-domain>;                         #这里仅映射到对象存储域名即可,例如:cos.ap-guangzhou.myqcloud.com
        charset  utf-8;
        location / {
        client_max_body_size 1000m;
        proxy_pass https://<cos-domain>;                   #同上
        }

    }
}

#检查配置并启动

>nginx  -t 

nginx: the configuration file /etc/nginx/nginx.conf syntax is ok

nginx: configuration file /etc/nginx/nginx.conf test is successful

>nginx

>netstat -antp |grep LISTEN

tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      4124/nginx: master

 4.2 对象存储cos挂载客户端部署

#hosts配置,修改本地dns解析,将cos地址解析至跳板机,需添加两条解析记录[ip:cos-domain],[ip:bucket-name.cos-domain]

>vi /etc/hosts

172.16.0.8  cos-domain   #例如cos.ap-guangzhou.myqcloud.com

172.16.0.8  bucket-name.cos-domain   #例如b1-**********.cos.ap-guangzhou.myqcloud.com

#创建挂载点

>mkdir /mount-cos

#cosfs工具包部署
>yum -y install automake gcc-c++ git libcurl-devel libxml2-devel fuse-devel make openssl-devel
>git clone https://github.com/tencentyun/cosfs /usr/cosfs
>cd /usr/cosfs
>./autogen.sh
>./configure
>make
>make install

#创建ak,skj记录文件并基于跳板机挂载(挂载时域名填写的是腾讯cos地址，但是本地做了hosts配置，将会映射到跳板机)

#命令构成:echo <BucketName-APPID>:<SecretId>:<SecretKey> > /etc/passwd-cosfs (ak|sk获取:https://console.cloud.tencent.com/cam/capi)

>echo b1-6666666666:AKIDg6TZNkakakakakakakak:JciRt35qKaomSryuZiehsksksksksksk > /etc/passwd-cosfs

>chmod 600 /etc/passwd-cosfs

#命令构成: cosfs <BucketName-APPID> <MountPoint> -ourl=<CosDomainName> -odbglevel=info -oallow_other
> cosfs b1-6666666666 /mount-cos -ourl=http://cos.ap-guangzhou.myqcloud.com -odbglevel=info -onoxattr -oallow_other

4.3 验收测试

#挂载后验证

#写入100M文件测试(受到10M专线限制,这个速度是正常的)

#观察流量走向(图中192.168.100.102是专线idc边界ip,你可将其理解为就是香港客户端(10.17.58.10)即可)(iftop -i  网卡 -n)