fastdfs+nginx集群搭建的实现

一.简介fastdfs

1.什么是fastdfs

• fastdfs是一个轻量级的开源分布式文件系统；
• fastdfs主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡；
• fastdfs实现了软件方式的RAID，可以使用廉价的IDE硬盘进行存储支持存储服务器在线扩容支持相同内容的文件只保存一份，节约磁盘空间；
• fastdfs只能通过Client API访问，不支持POSIX访问方式；
• fastdfs特别适合大中型网站使用，用来存储资源文件（如：图片、文档、音频、视频等等）。

2.fastdfs框架图

作者（YuQing）给出了框架图如下：

其中：

Tracker Server：跟踪服务器，主要做调度工作，在访问上起负载均衡的作用。记录storage server的状态，是连接Client和Storage server的枢纽。
Storage Server：存储服务器，文件和meta data都保存到存储服务器上
group：组，也可称为卷。同组内服务器上的文件是完全相同的文件标识：包括两部分：组名和文件名（包含路径）
meta data：文件相关属性，键值对（Key Value Pair）方式，如：width=1024,heigth=768

 3.上传文件流程

 （1）client询问tracker上传到的storage，不需要附加参数；
 （2）tracker返回一台可用的storage；
 （3）client直接和storage通讯完成文件上传。 

4.下载文件流程

（1）client询问tracker下载文件的storage，参数为文件标识（组名和文件名）；
（2）tracker返回一台可用的storage；
（3）client直接和storage通讯完成文件下载。

5.同步机制

（1）同一组内的storage server之间是对等的，文件上传、删除等操作可以在任意一台storage server上进行；
（2）文件同步只在同组内的storage server之间进行，采用push方式，即源服务器同步给目标服务器；
（3）源头数据才需要同步，备份数据不需要再次同步，否则就构成环路了；
（4）上述第二条规则有个例外，就是新增加一台storage server时，由已有的一台storage server将已有的所有数据（包括源头数据和备份数据）同步给该新增服务器。

6.tracker server目录结构

（1）data

         storage_groups.dat：存储分组信息

         storage_servers.dat：存储服务器列表  

（2）logs

          trackerd.log：tracker server日志文件

7.storage server目录结构

1）data

         .data_init_flag：当前storage server初始化信息

         storage_stat.dat：当前storage server统计信息

         sync：存放数据同步相关文件

                 binlog.index：当前的binlog文件索引号

                 binlog.###：存放更新操作记录（日志）

                 ${ip_addr}_${port}.mark：存放同步的完成情况

（2）logs

              storaged.log：storage server日志文件

以上理论参考：

ChinaUnix论坛：http://bbs.chinaunix.net/forum-240-1.html

github下载地址：https://github.com/happyfish100

二、fastdfs安装和测试

1.下载

需要下载：libfastcommon     fastdfs（2.0之前的版本需要以来libevent）

2.安装

（1）安装libfastcommon

$ tar xzvf libfastcommon-1.0.38.tar.gz
$ cd libfastcommon-1.0.38
$ ./make.sh
$ sudo ./make.sh install

（2）安装fastdfs

$ tar xzvf fastdfs-5.11.tar.gz
$ cd fastdfs-5.11
$ ./make.sh
$ sudo ./make.sh install

3.配置

集群搭建拓扑图（由于硬盘不够了，下面192.168.31.4和192.168.31.14现在还没有，扩容后加上）

（1）配置tracker（192.168.31.95/192.168.31.99）

$cd /etc/fdfs/

目录文件如下：

然后，执行如下：

$sudo su
#cp tracker.conf.sample tracker.conf

配置tracker.conf文件：

vim tracker.conf

修改：base_path=/home/fastdfs/tracker （注意：在启动前必须存在此目录，否则会报错，找不到路径，也就是说需要手动新建tracker目录）

启动：

/etc/init.d/fdfs_trackerd start

（2）配置storage（192.168.31.2/192.168.31.12）

$ cd /etc/fdfs
$sudo su
#cp storage.conf.sample storage.conf

修改：

group_name=group1（192.168.31.2） 或者group2（192.168.31.12）

base_path=/home/fastdfs/storage

store_path0=/home/fastdfs/storage

修改：tracker服务ip与port：

tracker_server=192.168.31.95:22122  （注意：这里31.2 tracker_server配置31.95 ，31.12 tracker_server配置31.99）

启动：

/etc/init.d/fdfs_storaged start

查看fastdfs的相应配置信息

# fdfs_monitor /etc/fdfs/storage.conf

 有以下信息才算成功：

测试上传, 选择192.168.31.99 tracker机器当做fdfs_client

$ cd /etc/fdfs

$ sudo su

# cp client.conf.sample client.conf

# vim client.conf

修改：

base_path = /home/fastdfs

tracker_server=192.168.31.99:22122

测试上传net.png文件：

fdfs_upload_file /etc/fdfs/client.conf net.png

三、nginx配置

需要安装：

fastdfs-nginx-module-1.20  类似插件的东西

nginx-1.14.2.tar.gz

安装nginx需要先安装：

openssl       zlib     pcre

把astdfs-nginx-module插入到nginx（需要对nginx进行configure和make&&make install）

./configure --add-module=../../fastdfs-nginx-module/src/

 会报错：需要修改fastdfs-nginx-module-1.20/src/config文件

ngx_addon_name=ngx_http_fastdfs_module

if test -n "${ngx_module_link}"; then
  ngx_module_type=HTTP
  ngx_module_name=$ngx_addon_name
  ngx_module_incs="/usr/local/include"
  ngx_module_libs="-lfastcommon -lfdfsclient"
  ngx_module_srcs="$ngx_addon_dir/ngx_http_fastdfs_module.c"
  ngx_module_deps=
  CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
  . auto/module
else
  HTTP_MODULES="$HTTP_MODULES ngx_http_fastdfs_module"
  NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_fastdfs_module.c"
  CORE_INCS="$CORE_INCS /usr/local/include"
  CORE_LIBS="$CORE_LIBS -lfastcommon -lfdfsclient"
  CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
fi

修改为：

ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

ngx_addon_name=ngx_http_fastdfs_module

if test -n "${ngx_module_link}"; then
  ngx_module_type=HTTP
  ngx_module_name=$ngx_addon_name
  ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
  ngx_module_libs="-lfastcommon -lfdfsclient"
  ngx_module_srcs="$ngx_addon_dir/ngx_http_fastdfs_module.c"
  ngx_module_deps=
  CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
  . auto/module
else
  HTTP_MODULES="$HTTP_MODULES ngx_http_fastdfs_module"
  NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_fastdfs_module.c"
  CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
  CORE_LIBS="$CORE_LIBS -lfastcommon -lfdfsclient"
  CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
fi

然后重新configure 和make && make install

接下来，cp mod_fastdfs.conf /etc/fdfs/ 并修改mod_fastdfs.conf文件

$ cd fastdfs-nginx-module-1.20/src
$ cp mod_fastdfs.conf /etc/fdfs/

修改mod_fastdfs.conf

tracker_server=192.168.31.99:22122
store_path0=/home/fastdfs/storage
group_name=group1

[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs/storage


[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs/storage

 将fastdfs-5.11/conf/

$ cp http.conf /etc/fdfs/
$ cp mime.types /etc/fdfs/

修改：http.conf

http.anti_steal.token_check_fail=/home/fastdfs/fastdfs-5.11/conf/

修改nginx.conf 

cd /usr/local/nginx/sbin
vim ../conf/nginx.conf

 8888端口号与/etc/fdfs/storage.conf中的http.server_port=8888相对应

上传一张图片

http://192.168.31.12:8888/group1/M00/00/00/wKgfDFzxVTyAM4suABWWvfB6x_k962.png