我的家庭freenas存储和服务器1 硬件选型方案

鼓捣了半年左右，这次把家庭服务器和nas存储的硬件基本搭建完毕，发个贴把过程记录下来，顺便给网友们做个参考。

接触电脑大概20多年了吧，大概我是在09年的时候感觉到只用一台电脑储存数据不是很方便，恰巧当时流行AMD 5000+开四核，于是我也搞了一套玩玩，顺便搭建成一个小型家庭服务器提供存储和服务功能。那时我还不知道有nas这个概念，当时系统选择的是centos，搭samba服务做共享，一直用的也还可以。就这么用到了17年，想着系统有点老旧了，就升级了一次，这次本着静音节能的需求搭建了2台，一个是j3455，一个是j1900，配长城400NF无风扇电源，一共12块硬盘，10块酷狼4t，2块酷鱼2t，系统是ubuntuserver，但是实际用起来发现，节能倒是节能了，静音无从谈起，12块硬盘同时工作没法静音。于是就有了这次的再次升级。

18年大病了一场，一直休息，今年年中开始慢慢恢复，就打算再鼓捣点东西，j3455和j1900既然无法静音，性能有那么差，干脆抛弃掉静音方案，选大机箱大主板，性能强扩展性好，而且散热也更强。那么接下来就是下面这些具体选型和踩过的坑了。

1.软件系统选择
    为什么先选定系统？因为系统是需要硬件支持的，先选定硬件的话，万一想换系统，一旦出现兼容性问题甚至装不上就麻烦了。既然是存储加服务，我个人长期使用linux，所以服务系统肯定选ubuntu server，那接下来nas选什么？我自己用虚拟机玩了下各种热门的，包括群晖，freenas，omv，nas4free，unas等等，winserver我就不考虑了，远程管理在外网麻烦，用字符界面或web界面管理我更喜欢。

    经过一段时间摸索，觉得freenas更适合我，首先是硬件，既然抛弃了j3455这种低性能的，那直接上高性能的，搭载freebsd系统我也想学习了解下，另外各种配置和安装和linux差别不大，很快能上手，zfs拥有快照和写入是复制特性，都是我需要的。再就是免费开源，freenas官方论坛基本对各种问题都有回复。

    群晖的话，买正版硬件性能太差，企业级群晖好几万，感觉划不来，黑群晖说不定哪天出问题了，不敢用，毕竟是要保存工作生活这么多年来绝对不能丢失的数据。
    omv，nas4free等属于freenas分支，不如freenas支持稳定，毕竟freenas有商业公司支持。
    unas等国产还需要努力，暂不考虑。

    这样基本系统就定下来了
    家庭存储系统选择freenas，家庭服务系统选择用proxmox搭建虚拟机平台，1个win10做下载等服务（下载工具还是windows方便），1个ubuntu做其他服务，包括视频播放，云文件同步，ftp等等。

2.数据存储方案
    我个人包括家人数据我是这么分类的
    按重要性分类
    a.绝对不能丢失的,比如个人的工作数据和资料，这是很多年的积累，绝对不能丢，方案是双机备份+云盘备份
    b.最好不要丢失，但实在丢失了只有接受，比如家庭成员照片，视频生活资料等等，方案是单机raidz2(raid6)+云盘备份
    c.能不丢就不丢，丢了可以再想办法获取，比如下载的各种资料，方案就是单机raidz(raid5)

    按使用频率和存储模式分类
    a.频繁读取修改的热数据，使用ssd组stripe(raid0)，配合双机热备，保证访问效率和安全性
    b.只是经常读取，一般不会修改，使用机械硬盘组raidz(raid5)，多用在照片，视频，游戏读取
    c.备份后的数据，永远不会修改了，单机械硬盘+云盘

3.硬件选择
    软件系统和数据存储方案定了，接下来选硬件也是挑了好久，反反复复买买卖卖，最后终于定下来了。
    硬件选择分两块，一块是电脑的各部件，一块是网络结构，先说下电脑部件吧。按照上面的方案，我需要3台freenas服务器，一台用作最高性能ssd存储，一台左右ssd存储的备份机使用机械硬盘，另外还需要一台存储各类视频，照片等家庭成员数据。理论上搭建一台服务器塞下足够的硬盘也是可以的，但是我还是选择分开，在预算允许的情况下分开更安全，特别是我的工作数据不想和家庭成员数据搅在一起，怕万一哪一天家人一个误操作把服务器搞崩了。实际上成本来看硬盘是大头，多几台机器不会贵太多，而且在一台机器上更多硬盘还是要阵列卡，一样也贵。

    既然定下来了freenas做存储系统，那么必须上ecc内存，反正reg ecc内存也不贵，加上大船货这么多，直接上好了，其实只要是长期提供不间断服务的机器最好都用ecc内存。那么ecc又有几种选择，比如ddr3还是ddr4，reg ecc还是纯ecc，我一般在预算允许的情况下会选择买新不买旧，尽量买新一代的设备，因为制程规格等方面，发热量低支持新特性等等。如果选ddr3的话，那主板芯片组只能是c602，x79，x58一类，这类主板我看了一圈，原生sata3接口少，一般只有2个，剩下的都是sata2，而且较新一代c612，x99等便宜不了多少，这样内存就定下ddr4，那纯ecc和reg ecc怎么选，我优先选纯ecc，相对来说延迟小，但是reg ecc优点就是容量大，纯ecc ddr4我最大看到单条16g，reg ecc 32g很常见也很好买。

    主板和cpu我是一起考虑得，首先得配合内存，其次pcie通道数要多，因为以后还要扩展阵列卡，万兆网卡等设备，家用级别i7/i5或amd ryzen就不考虑了，当然高端的pcie通道数多，但太贵了，不考虑。ryzen pro到是支持ecc内存，但问题是很难买到，我有个习惯就是供应量稀少的商品除非是非他不可，否则不买，因为一旦出问题很难找到配件。

    这样一来，可选的cpu也就是志强系列了，首先是价格足够合适，其次供货量充足，e5系列有40条pcie通道，配合c612主板或x99主板以后扩展非常方便,e3只有16条pcie通道不考虑，e7太贵了也不考虑。

    主板/cpu/内存都确定了，剩下的就很好办，电源尽量选静音，手上有两个长城400nf，再配2个长城450w智能温控电源，低温下风扇停转。机械硬盘已有的10块酷狼4t继续服役，2块酷鱼可以作为冷备盘，新购入4块500g ssd，三星和西数各两片，这两种都带缓存，贵一点但是性能有保障。

    最后来说一下网络的选择，千兆网卡现在主板都自带，没什么好说的，关键是要不要上万兆网，我也纠结了很久，最后决定上，万兆会用在什么场景呢？就是进行数据备份双机互拷的时候用，硬盘难免不会出现问题，以后动则几十个t的数据互拷如果是千兆那得好几天，万兆的话时间会节省3-5呗吧。

    那万兆方案是选光口还是电口呢？最开始我倾向光口，就是便宜，淘宝上能找到达创24口全万兆交换机才1100，万兆光口网卡200多也可以买到，电口的话交换机最便宜的8口全万兆就是网件x508m，而且还得海淘，算下来接近3000，电口网卡大约300左右。但我又来发现光口网卡要买光模块或者直连线，这两个成本都很高，而家里以前留下了很多cat6的网线，跑家庭万兆足够了。并且电口的兼容性更好，配合万兆交换机，所有千兆万兆设备可以直接连在一起，用光口的话就麻烦点。更重要的是，光口设备都是老旧的，说明制程低发热量大，也就是说功耗高噪音大，家用不太适合。

    分析了下家里的设备情况，一共有5台机器需要进行万兆组网，那是不是可以让一台机器做交换机直连其他4台呢？于是开始四处找资料，发现可以用网卡做网桥搭建一个简单的二层交换机实现网络互通，而万兆电口网卡都是双网口的，单网口有价格也和双网口差不多，5台机器本来就要购入5块万兆网卡，现在多买1块，让一台机器有2块4口提供网桥就可以实现5台机器万兆互联了。

    最终简单的网络拓扑图就是这样的:


下面就是所有硬件清单了:
freenas 重要数据存储服务器 1台
        主板：超微X10SRL-F C612, 8个内存插槽，4个pcie3.0x8，2个pcie3.0x4，1个pcie2.0x4，10个sata3，1200元带散热器
        内存：8x16G 纯ECC 三星 ddr4 2133 3200元
        CPU：e5 2650L v3 12核24线程，低压版里面性能比较不错的 460元
        网卡：超微X540-t2 双口10Gb 2块 660元
        硬盘：三星860evo 500g x 2，wd blue 3d 500g x 2

freenas 家庭数据和热备机 各1台 配置一样
        主板：寨板x99(实测好像是c612,可以上regecc)，1个pcie3.0x16，1个pcie3.0x8，1个pcie2.0x4，1个pcie3.0x1，9个sata3，390元
        内存：4x16G REG ECC 三星 ddr4 2133 780元
        CPU：e5 2650L v3 460元
        网卡：BCM 57840S 双口10Gb 325元
        硬盘：酷鱼2T x 2，酷狼4T x 10

homeserver 家庭服务器 老机器废物利用
        主板：华硕Z97-K，1个pcie3.0x16，1个pcie2.0x4，2个pcie2.0x1
        内存：4x8G 三星 ddr3 1600
        CPU：i5 4590
        网卡：silicom X540-t2 双口10Gb 320元
        硬盘：pm981 256g 做pve系统盘放虚拟机足够了

自用PC 17年配的
        主板：华硕Z170-p d3，1个pcie3.0x16，1个pcie3.0x4，2个pcie2.0x1
        内存：4x8G 威刚 ddr3 1600
        CPU：i7 7700k
        网卡：BCM 57810S 双口10Gb 238元
        硬盘：pm981 512g

前前后后大概折腾了小半年吧，到这个月算是最终定下来了，装机运行大概快1个月了，还比较稳定，当然中间有些小插曲，我后面慢慢在整理出来，目前测试效果大概是这样的4块ssd组stripe，PC机互联万兆可以跑到1GB/s，5块酷狼4t组raidz大概跑到400-500MB/s，性能还是不错的，费用肯定比j3455要高些，但是也没高到哪里去，当年买j3455带8G ddr3就去了1000多，现在我配的热备机用寨板+cpu+64g内存也才1600，性能就不说了，待机是高些，大概50w左右，但是我的j3455实测待机也有30w，也没多到哪里去。

其实对性能要求不高的朋友，如果想用freenas，也可以选择低端i3或奔腾，这两天个支持ecc，但是板子贵，用x99寨板基本都支持reg ecc，原因就是他们其实用的是c610系列芯片组，用品牌的x99主板反而用不了reg ecc，要特别注意。cpu的话也有很多更便宜的选择，要是不像我这样选正式版，选es版，100-200左右都性能不错了，散热选个好点拆机的，然后换个静音风扇，我感觉和j3455这类带大量硬盘噪音差不多。

总之，我对这次的升级还是挺满意的，3台机器加网卡总费用不到1万(不算硬盘)，比那个群晖企业级5，6万的不知道强哪里去了。当然这对动手能力有一定要求，不过人生不就是折腾吗，哈哈。

进来看看楼主的米物