扫描二维码关注官方公众号
返回列表 发布新帖

[玩法/技巧] 20年存储方案,需要消化一个月,转载

6513 18
发表于 2016-11-22 00:20:37 | 查看全部 阅读模式

来吧兄弟,一起玩一起讨论!

您需要 登录 才可以下载或查看,没有账号?注册

×

                               
登录/注册后可看大图


拯救廿年数据之旅:惠普G8 建兴T9 WD红盘打造容错存储

追加修改(2016-09-05 00:01:19):
视频媒体库转码传流解决方案实现 视频媒体库转码传流解决方案建议使用 Plex Media Server,x86服务器端安装免费,全家PC客户端可以用Win8.1/10 UWP版播放器,高级授权需要购买,否则和手机端一样只能播放10分钟,PC端播放器永久解锁高级授权只需要31元人民币,一次付费可以多台机器用同一WindowsStore账号使用。Android和IOS移动端播放器需要按月氪金每月4.99刀,终身授权需要149.99刀太贵不划算不建议购买。 用户体验比免费的Kodi要好得多,Plex 自带的媒体库影片和TV剧集数据比Kodi的削刮器要齐全而且识别准确。 补充没法贴图,估计下次还要再写个新的原创来介绍家庭存储在文件同步/备份/视频流媒体库方面的软件方面的应用。


前言

从UP主拥有自己的PC开始,PC硬盘中开始存储私有用户数据,到现在已经过去20年。

↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑  UP主的第一块机械硬盘,昆腾 ProDrive LPS 210-AT ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ ↑ 它出品于互联网时代之前,甚至早于大名鼎鼎的昆腾Fireball火球硬盘

手里的IDE接口硬盘陪着UP主走过了ATA2/PIO4/UDMA66的上古PC时代,留下了4块硬盘“尸体”作为纪念(还有一块三星SP160N 160G作为末代IDE硬盘居然拍漏了)

如何留住这20间年累积的数据,UP主走了一条 机械硬盘——>刻录光盘——>HDD+SSD——>打造家庭存储系统的自我修炼不断进化之路。

2000年起UP主家的PC开始成为“家用电器”。跟很多家里老人不愿意学用电脑不一样,爸妈丈母娘都在我们小两口子熏陶下,学会了炒股,爱奇艺,PPS,QQ。所以家里一共保有着新旧7台电脑。

存储和备份家里的数据就变成了PO自觉担负的一道重要责任。下图充分体现了楼主这20年变化起伏的心情(~~好污~~)

其实UP主家电脑的数据存储和数据备份是2条发展路线:

数据存储就是存储“热”的用户数据,比如我的文档,我的图片,我的音乐,我的视频。

数据备份就是把上面存储有用用户数据定期备份,以防止存储介质自然损坏而丢失数据。

其中数据存储UP主经历了

20年间家用存储科技树的进化,代表着从机械硬盘到更快更性能稳定固态硬盘的演化过程。最直观的进步就是存储设备的持续读写速度,持续读取性能从最早PIO 16MB/s的速度一直进化到了SATA固态硬盘 550GB/s。

而数据备份方式也在同步发展着。


软驱时代作为主力数据备份的时代没有持续太多年,UP主最后一次使用软碟就是大学本科毕业交毕业论文。

给UP主留下最深刻的印象就是1.44寸磁碟机的相互兼容性差,磁头接触式软碟均不能使用太多次 。反复读写几次之后,一张新的软碟就因为交叉读写和刮花盘面的缘故会逐渐废掉了。

软驱时代结束后UP主的备份介质改用是CD-R和DVD±R,这期间有经历了DVD+R/DVD-R的格式大战,阵营壁垒造成的同室操戈。幸运的是最后的DVD±R刻录机统一了市场,所以UP主早期积攒的DVD-R和后期的DVD+R盘在2007年添置最后一台刻录机的时候已经不需要考虑再分别准备不同的刻录机来读写的问题了。

但是刻录光盘非常分散的离线存储特性决定了你很能难Review手上所有光盘备份的数据完整性和可靠性。DVD光盘的数据密度太低也是一个大难题,2002~2007那几年已经备份了上百张光盘,因为充分考虑光盘数据存放不当易丢失的可能,甚至重要数据都刻录2张一模一样的的备份,家里盘片数量在2006年停止使用DVD-R的时候已经超过了200张!甚至旧数据翻新——把15年前刻录的低容量CD-R全部拷贝下来,翻刻更高容量光盘的工作量也无法想象——事实上UP主最早自2002年累积起DVD数据备份到现在也从未读取过,现在能不能读取全部数据还是个未知数。

最大的灾难发生在2005年,UP主发现大约一桶2002~2003年刻录备份数据的50张CD-R放在光盘存储箱里面,没有放进电子防潮箱,那种很常见的无纺布光盘收纳套因为直接接触备份数据光盘,导致备份刻录盘面受潮——全!部!发!霉!了。也就是说,光盘只有传统的聚酯CD盘盒——CD唱片那种标准盒子才是最安全的,因为非接触盘面,否则就需要防潮箱存放盘片,南方梅雨季节才能保证备份光盘的数据安全。问题是UP主的防潮箱里面已经塞满了摄影器材和镜头,哪有存放光盘的空间了!考虑到全防潮箱的存放需求,存放刻录光盘介质这样特性的数据备份方式空间成本顿时让UP主接受不了。

而且即使是双重备份,也会因为保管不善,盘片质量问题丢失数据。上周UP主想到读取一张2000年拍摄的VCR视频,当时用的非大厂盘片(数码多~你懂的),现在看反射层已经半透明微微透光,结果换了3个光驱那张光盘最后最外道的5min视频都会导致死机,无法正常读取。幸亏有一个差点被遗忘的神奇的工具——CloneCD,它的RAW读取能力还能帮UP主恢复了这种读取困难的光盘数据。

于是在2010年泰国大水之前,UP主的数据备份方式已经由光盘转变为接近1T容量的机械硬盘+外置硬盘盒的备份方式。

之前使用机械硬盘存储数据对于UP主来说其实已经有十几年使用经验。对于略懂数据恢复,帮盆友恢复过多次坏盘数据的UP主来说,用机械硬盘备份数据还是非常非常提心吊胆的。

根据经验UP主家的机械硬盘使用到第3~5年,几乎90%都出现了坏道!2006年UP主终于碰到一次惨烈的突然死亡,2003年买的三星SP80 160G数据全丢。所以那时起,UP主需要做的事情就是在每月都定期巡视各机器Windows日志,结合硬盘S.M.A.R.T数据,在发现异常苗头但是还没有丢失数据之前,购买更大容量的硬盘,备份数据到新的硬盘上。

因为个人数据容量越来越多,机械硬盘返修之前需要先备份下原有个人用户数据,增加一个离线机械硬盘备份,最初是750G,目前扩容到2T。然后坏道盘就自然淘汰,久而久之居然攒下一沓报废机械硬盘!

离线机械硬盘备份第二个缺点就是跟光盘介质一样,离线状态,你完全 不知道你离线硬盘的备份文件里哪些文件过时了可以删掉了,哪些文件重复了,哪些文件遗漏了没有备份下来。甚至这个缺点可以推广到现在UP主家一机一硬盘的 PC存储结构上,这是多硬盘存储的通病。每台机器硬盘都有不完全相同的差量照片存储,每台机器都有不同时期下载的系统ISO,应用软件备份和驱动程序,但是都不是最新的同步的版本。

2012年起,增加百度云PC同步盘备份,最早是Dropbox,但是太慢和免费容量限制导致转向免费2T的百度云。其实百度云备份是个操蛋的东西——三天两头无法同步,PC客户端崩溃,“净网行动”。

不支持同步.GIT/.SVN这样的程序猿专属目录(仅有Dropbox支持,尿一样的网速>_<你懂得) 还有一次因为UP主误操作惨将多达100G的个人百度云数据全部洗白清零(幸好还有离线备份)!所以云盘同步注定只能当最后的那根救命稻草,不能用来做当唯一数据备份手段使用。

UP主希望在重复的“发现坏道迹象,买新大容量硬盘,拷贝备份数据”的怪圈中脱离出来。考虑部署一个多硬盘,多存储能够预警坏道(工作性质,维护服务器时候看见,指示灯亮红色或者橙色了,那就是要换盘了)有高性能,高可靠性,讲究性价比的家用NAS方案。

家用NAS方案

那么问题来了,是选择群辉还是联威通?DIY J2900 ITX还是HP MicroServer?

UP主的要求很清晰:

1、NAS希望塞进电视柜的格子里,所以最大尺寸限制为28cm(宽)*32cm(高)*36cm(长)。

2、最少4x3.5英寸HDD盘位,假如选择2盘位的NAS一开始就是HDD盘位全插满,这样一旦2个硬盘容量告急,就根本不能在扩充任何容量了,所以势必4盘位NAS起步。

3、额外的1~2个2.5英寸SSD盘位,系统盘的速度也很重要,最重要的是数据盘一旦升级或者损坏返修,不能影响到NAS的系统稳定运行,所以不能把NAS的系统存在数据盘上面(群辉通过每个数据盘都存储一份系统镜像来解决这个问题)

4、硬盘位必须有12025风扇主动散热。UP主观察表明,没有风扇主动散热的硬盘夏天30度气温下通电后硬盘温度将会高达55度以上,有风扇就会降温到33度。

5、机箱+电源+主板+ 奔腾级别CPU+8G内存的准系统价格应该在2000元,刨去其他配件,那么NAS机箱只能分配600元的预算。

但是寻找了大概一个半月参考了各种奇怪设计的NAS机箱之后,UP主不得不感觉败给山寨大国的工业设计水平了。普遍缺少磁盘托架背板,磁盘抽取架外露外观不美观,都是基于1U电源设计(DIY NAS使用1U电源意味着买需要工包电源,而准系统却带着经过厂家测试的1U电源无需操心这个问题)。

残酷的事实就是,600元价位目前我国的中小企业无法提供一台美观大方设计合理做工优秀硬盘笼还有风扇散热的NAS机箱~~但是世界最大的IT企业之一,世界五百强排名第96名的——惠普能做到!

家庭存储的最理想选择——惠普 ProLiant MictoServer Gen8 微型塔式服务器,国际大品牌高技术含量工艺卖白菜价, 支持iLO远程管理,体积小巧 ,4+1盘位全功能NAS+家庭个人服务器,阵列卡支持RIAD 0,1,5,十年珍贵个人照片数据全在方寸之间一机掌控。简直是居家旅行存片下载的必备机台。

所以,买!买!买! 惠普 ProLiant MictoServer Gen8服务器 张大妈已经推荐了无数次, 国行惠普 ProLiant MictoServer Gen8服务器  京东时不时特价大约在1999加上京东券和白条满减,最终入手价格在1900元左右。

惠普(HP)MicroServer Gen8微型立式服务器 712317-AA1 (G1610T 1P 2G 4...小巧精悍 家用办公两相宜¥2099京东查看百科详情
下单德淘

当然对于追求极致性价比的值友来说,德国computeruniverse才是购买惠普 ProLiant MictoServer Gen8服务器最佳的选择。具体德淘方法攻略这里就不赘述了,请参考

德国电商ComputerUniverse购物教程及常见问题解析本篇攻略将详细解答值友平时在ComputerUniverse购物普遍遇到的这几个问题:1.注册过程中验证码的问题2.所看到的价格与SMZDM推荐价格不一致的问题3.购物后如何查询...639812941294 cflier

注册账号,切换英文,不到1500的入手价格。这是DIY无法抗衡的实惠价格,记得领取并使用5欧新人优惠券!

DIY根本无法在1500元之内购买到带背板和硬盘笼4槽NAS机箱+双千兆网卡1155主板(那种J2900“四核”的NAS主板)/iLO 4/IPMI远程管理技术+200瓦服务器电源+4G ECC内存。

经过耐心地等待,德国海淘的惠普 ProLiant MictoServer Gen8服务器终于送到了




评论18

txb2dVIPLv.4 发表于 2016-11-22 00:21:09 | 查看全部

↑ ↑ ↑ ↑ ↑ ↑ ↑接到中国邮政小哥电话的时候,UP主想象中即将拿到的惠普 Gen8 是这样的 ↑ ↑ ↑ ↑ ↑ ↑ ↑

↓ ↓ ↓ ↓ ↓ ↓ ↓结果打开外箱的时候宝宝的内心是崩溃的,还没得摸过的宝贝就变成这样了 ↓ ↓ ↓ ↓ ↓ ↓ ↓

因为DHL/中国邮政在运送过程中,Gen8的外纸箱泡水了,导致Gen8的包装箱完全污化,知道真相的UP主眼泪差点掉下来。

好消息就是惠普Gen8机器还有一层塑料袋包装没有受潮也没有生锈!因为包装箱太惨了,装了2台Gen8接近半立方米的巨大邮包,海关居然没有征行邮税(可能认为已经被水泡过报废了吧)。无税加上DHL运费共花费人民币RMB ¥1440到手!

扩充内存

机器只预装了单条4G DDR3 1600 UDIMM ECC HP SmartMemory ,为了愉快的玩耍,势必要需要添加内存。UP主一开始鬼迷心窍,想着在淘宝买2条便宜的“原厂OEM ECC内存条 ”就好了。比起电商的正版金士顿8G DDR3 1600 ECC UDIMM 惠普服务器专用内存条来说,一条价格能买2条淘宝“现代原厂OEM ECC 8G内存条 ”。简直就是天上掉馅饼啊,结果买了以后上论坛一问才知道——哇,打磨条假得不要不要!再加上自己的一点点常识的判断,顿时后悔得肠子都青了。

各位张大妈的值友们都注意看,淘宝的“现代原厂OEM ECC 8G服务器内存条 ”上面印着“Hynix”“1502”的字样,后者代表颗粒生产日期,标签的“1534”也是如此,代表15年02周和15年34周生产,造假者为了表示 货品很新,所以产品生产时间都打成今年生产的,看着很让人信服。然而UP主对比京东自营金士顿服务器ECC内存条才发现——这根本都不需要别的知识,就能判断哪个是假货 了。

金士顿(Kingston)系统指定 DDR3 1600 8GB ECC 惠普服务器专用内存(KT...真的真的真的,这很重要,记得用500-40,手机端下单,加上白条满减199-10,入手价格是509!¥559京东

大家看看京东正品金士顿的内存条颗粒——清清楚楚的打着“SK Hynix”,并非“Hynix”标识。左边是惠普原装ECC内存使用美光颗粒,右边是京东金士顿ECC使用SK海力士颗粒。

大家想想,SK和现代集团2012年合并,合并后已经修改一切芯片标识,为何15年生产的颗粒依然打着“Hynix”?明显属于15年生产日期,打着“SK Hynix”标志的内存颗粒才可能是真货,而无论如何这个“Hynix”颗粒都是必假无疑。

UP主赶紧把淘宝买的李鬼内存亏邮费给退货了,换成正品金士顿的内存条 ,私人家庭存储的数据宝贵,还是使用正品内存条放心。

存储数据的磁盘阵列方案

UP主的存储应用分类:

1)3台PC的用户文档,软件项目,评测测试数据,个人照片RAW,QQ聊天记录,工作文档,写过的论文,签过的合同等等文书资料,云同步目录,希望数据冗余保护,希望快速读写访问。

2)从Steam和3DM上下载的游戏,现在的游戏的块头真是越来越大,显卡测试的游戏加起来700多G,而且由于是测试项目,所以希望游戏读盘不要影响到测试性能。

3)无损音乐和高清电影文件,美剧,IMDB Top500

4)游戏安装镜像,系统安装镜像,软件安装文件备份,驱动程序安装文件备份

5)归档项目资料,电子书,说明书电子版

UP主希望用户文件存储在NAS上面依然拥有超越机械硬盘的性能,达到SSD固态盘的响应速度和4K IOPS,因为游戏文件和数码照片,个人数据总容量超过了1TB全部用SSD存储目前代价还是太高,因此势必需要SSD缓存技术——带SSD缓存的HDD混合阵列 。

带SSD缓存的HDD混合阵列,UP主在本文中统一简称SSHD混合阵列。

业内有几种成熟的方案:

Intel Rapid Response Technology:基于Intel 高阶家用芯片组使用16~32G SSD为HDD机械硬盘缓存加速,早期128G以上大容量SSD成本高昂时候用于笔记本移动平台提高用户响应。随着纯SSD超级本概念推广和128G以上SSD成为中端笔记本标配,今年来影响逐渐式微。

传统机械硬盘企业的Hybird混合硬盘,正牌的SSHD概念: 混合硬盘是一块基于传统机械硬盘诞生出来的新硬盘,除了机械硬盘必备的碟片、马达、磁头等等,还内置了8G~16G NAND闪存颗粒,这NAND颗粒将用户经常访问的数据进行缓存储存,可以达到接近SSD(就是固态硬盘)效果的读取性能 。

LSI MegaRAID 阵列卡 CacheCade 2.0 SSD 缓存加速技术: LSI MegaRAID 阵列卡 的 CacheCade Pro 2.0 附件利用 SSD 的速度优势作为更大容量机械硬盘阵列的高速缓存池。使用连接到SAS端口的存储盘专门指定的 CacheCade SSD 存储最频繁被请求的数据 (最高支持多达 32 个 SSD)。Web、 文件服务器和数据服务器的热数据被请求时,SSD比机械硬盘更快的响应 ,极大的改善读和写操作密集型应用程序中的读写操作延迟。CacheCade 在后台持续运行,用其算法来添加或从 SSD 缓存中删除文件。

Windows Storage Space SSD分层存储:Windows Storage Space SSD分层存储的工作方式基于存储池,根据Mirror或者Simple卷方式,可以灵活搭配1 SSD :n HDD或者n SSD:n HDD。它有一个Heat Map,以每1MB为单位统计数据块的热度,然后默认是在每天凌晨1点进行热数据的搬移操作(Defrag),从HDD搬到SSD。这个搬移操作不影响线上应用。而且前面提到的默认1GB回写缓存,是利用了SSD的一部分空间为整个虚拟机磁盘提供一个回写缓存从而提高随机的写性能。

群辉 SSD缓存:

这几种“带SSD缓存的HDD混合阵列 ”方案的优劣扯起来又是羊肠一样的一片科普文了。UP主这里直接给出选择:

选择采用 Windows Server 2012 R2作为家庭超级NAS存储操作系统,Windows Storage Space with SSD Tiering方案,因为设置简单无需黑群晖,不需要专门的硬件设备(专用SSHD或者LSI MegaRAID阵列卡)投入。

结合需求确定存储配置:


1、 有惠普ProLiant MicroServer Gen8的情况下,所有的PC机都不在需要存储机械硬盘,通过千兆网络(计划今年会升级到X540-T2 10GE万兆)连接惠普ProLiant MicroServer Gen8


Windows Storage Space存储池的分配方案有两个:

方案#1 简单暴力:

大容量SSD:120+800GB SSD 作为NAS系统+百度云同步盘+用户数据文档高速存储盘

SSHD阵列为提供吞吐:Windows Storage Space SSD分层存储分配1个3.5寸4TB机械硬盘+256G高速缓存SSD作为储虚拟机/PC游戏文件/音频文件。

数据备份盘:4T 3.5寸机械硬盘作为备份数据盘,GoodSync/FreeSyncFile免费同步软件设置计划任务,每天凌晨差量备份大容量SSD的用户文档内容到备份数据盘,剩余空间作为存储1080p蓝光Remux高清视频文件(无备份)

方案#1 硬件分配如图所示:

方案 #2 比较文艺:将所有2个(240+800G)SSD和2个4T HDD磁盘作为存储池资源提供给Windows Storage Space SSD分层存储使用,按所需容量划分为2部分,

分配 3Tx2 HDD+240Gx2 SSD (Windows存储池允许按MB容量而不需整个物理驱动盘为单位分配组织存储卷,这点无论是群辉SSD缓存还是LSI阵列卡都做不到)组成Mirror卷(相当于RAID1)存储用户数据文件,提供高容错能力安全性,可以允许同时灭失损坏 1xHDD 和 1xSSD,

另外分配 HDD 1.5Tx2和 240G SSDx1 组成Simple卷,无容错能力但是具有接近SSD缓存性能的存取速度和IOPS性能,便于管理,简单易用。数据丢失也无妨,可以迅速从上面的容错数据存储卷或者离线备份中恢复数据

方案2的存储资源分配方式如图所示:

选择机械硬盘

作为磁盘阵列、NAS和服务器的硬盘是不能随便乱买的,首先要支持7x24小时连续不间断通电工作,支持TLER技术避免磁盘阵列掉盘,最好支持企业级硬盘盘片动态平衡,这样才能支持全年无休的盘体垂直安装使用,而不会因为重力加速轴承上部的磨损。

另 外要存储容量巨大。UP主原来存储数据的最大硬盘是2T,那么现在打造自己的私人家庭存储,为了未来3年内不需要升级硬盘容量,那么就必须使用更大容量的 4T硬盘。UP主原本在西部数据RE企业级和业内口碑最好的日立企业级之间犹豫不定,企业级4T售价高达1499,所以犹豫是不是要选择3T来降低总价。

西部数据(WD)红盘 4TB SATA6Gb/s 64M 台式机硬盘(WD40EFRX)...红盘定位是作为NAS盘使用,可以应对长时间/高速读写运转设计,相比7*24持续运行的紫盘和大吞吐量的黑盘来说更适合作为家用电脑硬盘使用。手机下单1166,满减+白条别忘...¥1166京东查看百科详情

双十一期间恰逢惊爆特价WD西部数据红盘4T 999,凑单1000-50加上白条满减券,直降到900元一块前所未有的低价位。直接比企业级4T便宜了接近500块!那根本就不用考虑了呀,买买买,就剁手了。

事实证明,家用NAS服务器最适合还是西部数据红盘这样的可变速5900转NAS盘,因为UP主事后又手贱买了一块东芝5T企业级硬盘,没想到7200转的企业级相当吵,4KQD32测试噪音居然高达56分贝!关电视机音响以后客厅就能听见Gen8里面东芝企业级在呼呼转的主轴电机声,而只装西部数据红盘的时候就会悄无声息。而持续读写性能的差距仅仅是180M/s vs 200M/s,UP主认为在家居要求静音的前提下,西部数据红盘家用显然更优,企业级硬盘更适合扔进IDC机房里面。

东芝(TOSHIBA) 3TB 7200转64M SATA3 台式机硬盘(DT01ACA300)这款东芝的3TB产品DT01ACA300,即来自原日立生产线¥589京东查看百科详情

不信邪大家可以购买7200转硬盘装满4槽位组成RAID5体验一下20M以上网速挂BT下载时的硬盘的轰鸣

固态硬盘

随着TLC闪存的普及,现在市场上MLC闪存的SSD越来越少,SSD的价格越来越低廉,TLC的寿命又很短,使得SSD越来越像一个快速消费的产品,低价位的SSD鲜见到MLC的闪存了,要不就是白片黑片固带,MLC的高价位盘大家又觉得性价比太低,这就造成一个供需的缺口,TLC和MLC白片的SSD价格低廉但是大家忌讳短命和性能不稳定不愿意去买,MLC正片的SSD价格大家不能接受。所以选择稳定第一,容量第二,颗粒第三的固态盘就是UP主打造这台家用超级NAS存储的关键。

Intel 520 240G掉盘

搭配惠普 Gen8的数据缓存固态盘,UP主先后尝试过的家用级SSD有美光M500 240G,Intel 520 240G,因为跟惠普B120i阵列控制器(其实就是Intel C204 PCH南桥)存在兼容性问题。

Intel 520 240G掉盘



回复 点赞

使用道具 举报

txb2dVIPLv.4 发表于 2016-11-22 00:21:44 | 查看全部

出现了然后掉链子,停止响应和运行中掉盘的疑难杂症。

Intel 520 240G掉盘

经过 闪迪Extreme Pro至尊超极速480G ——> 美光M500 240G ——> Intel 520 240G ——> 建兴 睿速 T9 256G 的替换,目前从大年廿十一持续开机到现在二十多天没有重启过也没有出现异常的日志警告。

建兴(LITEON) 睿速系列 T9 256G SATA3 固态硬盘eMLC颗粒的稳定,保证数据安全是最重要的¥519京东

建兴 睿速 T9 256G 选用的是MARVELL 88SS9187主控+东芝T19nm企业级eMLC正片闪存的SSD产品

这个盘现在用上500-40的券,凑完之后用各种白条满减大法,实际入手价能做到460元左右。

首先包装来说,全白色的包装风格比建兴ZETA系列的红黑配色看起来舒服点,其实就是区别于其他的系列产品而已,这个盘是建兴企业级N9S系列SSD的民用版本。

民用版本是256GB容量,如果是企业级NAS或者N9S系列的话就是200GB或240GB容量了。

背后官标是需要注意的参数:256GB持续读最高500MB/S,持续写最高410MB/S,4K随机读80000IOPS,4K随机写75000IOPS。官标了使用原片,三年免费上门维修。

建兴在睿速T9包装盒里面配了一张白色个性化贴纸流,全白色的包装下面竟然有一颗黑色的心脏

黑色金属拉丝面板

型号:T9 256;固件版本:PC803G3

英特尔(Intel) S3500 系列SATA 6Gb/s固态硬盘2.5英寸 800G

英特尔 Intel DC级SSD企业级固态硬盘,掉电保护、XOR、温控一应俱全,还有低延迟、高性能一致性保证使用感受,料件也是20nm中特挑的颗粒,经过了最严格的稳定性测试,无惧突然断电和意外死机。5年内Intel保修,最大限度保证数据安全,20nm MLC颗粒,450TBW的写入寿命比价格更为重要。

英特尔(Intel) S3500 系列 800G 固态硬盘讲真的,S3500不推荐京东零售渠道入手,eBay捡漏或者行业OEM采购能够碰到2500以下的超值二手。¥6299京东

使用Intel DC系列SSD固态盘存储数据这点UP主是经过一番折腾的,绝不是胡乱花钱。跟内存一样,UP主最初也想省钱,使用的是海淘性价比很高的闪迪Extreme Pro至尊超极速480G作为数据盘。结果在测试Windows Storage Space阵列的过程中,意外发生了——在满负荷读写测试的时候,闪迪Extreme Pro至尊超极速居然掉盘了——没错,开着机它就不见了。吓得UP主头发都竖起来了,惠普Gen8服务器重启依然找不到盘。上网查资料然后尝试关机断电10分钟再开机, 闪迪Extreme Pro至尊超极速才终于在ProLiant自检和设备管理器中重新出现。

实践证明,家用级SSD,在作为存储系统使用的时候,真的是会出现很多预想不到的意外状况而掉链子。所以虽然价格肉痛无比,UP主还是选择更换了Intel DC S3500系列企业级SSD。

亲手装配,打造自己的家庭超级存储

这里说明一下,组成2+2 SSHD混合阵列只需要一块240+480G SSD即可满足方案原始设计要求。但是UP主实际装机用的是800G+256G SSD,人总是要任性一下的 : )。

装配

惠普 ProLiant MicroServerer Gen8缺少一根光驱位的软驱转SATA供电线和数据线,所以需要用户自行购买一根,UP主发现家里零件正好够做出一根这样的供电线,所以就开始了DIY之旅。

找到的FDD软驱口转SATA线偷懒只焊接了一根地线和一根+5V,剩下12V和GND脚居然裸出在外,有短路隐患。另外UP主手上的Intel DC S3500/730 2.5英寸 SATA SSD是需要12V供电的,所以必须补全12V供电。焊接SATA供电转接线用的是18AWG的F46-2特氟龙镀银线。

UP主借助工具焊台焊接,避免烫手之苦

焊接完了为了避免短路,还应该套上热缩管,电吹风吹一吹,热缩管就包紧了

压好SATA端子,焊接好SATA端子

套上SATA胶壳

FDD转SATA转接线插上惠普Gen8顶部的供电线

插上系统SSD,没有ODD转换托架,就随意摆在那好了,平时也不会搬动那么重的一坨服务器。

然后4个非热拔插抽取托架,先装上4T硬盘

3.5寸托架安装2.5寸SSD是必须要使用转换挡板的。

把西部数据红盘和建兴 T9 256G都一一插入 HP Gen8的磁盘托架中。

HP Gen8 家用服务器装好就可以上架——上(电视)柜了。

配置Windows存储池和SSHD混合阵列

iLO 4在淘宝花10块钱可以激活iLO Advanced,就可以永久在惠普Gen8上使用iLO远程管理功能

通过iLO 4 开机按下F10,



回复 点赞

使用道具 举报

txb2dVIPLv.4 发表于 2016-11-22 00:22:21 | 查看全部

使用HP IP装操作系统,5块可以永久在线和电话激活的Windows Server 2012 R2,Tips:IP只要你看得懂英文,就不要选中文语言界面,惠普ROM的中文字库字体真的非常非常难看,

插入一张TF卡,设置SATA5启动,这个步骤网上教程很多,UP主就不搬运了。

物理磁盘如图

第一步,将2个机械硬盘,2个存储SSD都划入存储池中

UP主创建了一个存储池,命名为“我的数据仓库”

很大一部分存储空间的命令不能通过Windows Server 2012 R2的图形控制台界面完成,所以UP主接下来的操作将会使用Windows PowerShell通过命令行进行配置。

# 配置SSD层和HDD层 UP主的私人存储空间称为:“我的数据仓库”

Get-StoragePool "我的数据仓库" | New-StorageTier –FriendlyName SSDTier –MediaType SSD

Get-StoragePool "我的数据仓库" | New-StorageTier –FriendlyName HDDTier –MediaType HDD


接下来设置默认Resiliency Settings and Spaces 配置的Column

# 配置 resiliency settings

Get-StoragePool "我的数据仓库" | Set-ResiliencySetting -Name Simple -NumberOfColumnsDefault 2

Get-StoragePool "我的数据仓库" | Set-ResiliencySetting -Name Mirror -NumberOfColumnsDefault 1

# 分别创建一个1.5T大小的simple和一个3T大小的mirror存储空间,设置SSD分层缓存加速,设置5GB SSD写回高速缓存

$SSD = Get-StorageTier -FriendlyName SSDTier

$HDD = Get-StorageTier -FriendlyName HDDTier

Get-StoragePool "我的数据仓库" | New-VirtualDisk -FriendlyName "我的游戏" -ResiliencySettingName Simple -StorageTiers $SSD, $HDD -StorageTierSizes 216GB, 750GB -WriteCacheSize 5GB

Get-StoragePool "我的数据仓库" | New-VirtualDisk -FriendlyName "个人文档" -ResiliencySettingName Mirror -StorageTiers $SSD, $HDD -StorageTierSizes 216GB, 3072GB –WriteCacheSize 5GB

创建分区&卷

性能测试

先测试一下建兴睿速 T9 256G的裸盘性能


既然是存储,那么网上邻居的拷贝速度是最重要的

拷贝700G 3DM和Steam 游戏文件测试,通过网上邻居 SMB协议拷贝速度封死在1Gbps千兆双绞线的理论带宽(125M/s)之下稍低一点点,完全满足千兆网络传输的要求

我们再来对采用Simple Column=5+230G SSD缓存 1.5T的Gaming磁盘——就是UP主精心打造的高速游戏盘做性能测试:

我们可以看到,这个游戏盘的写入和读取性能,4K读写IOPS,均远超过了机械硬盘应有的200M/s以下的拷贝速度,AS SSD给出的评分超过SATA 2.0接口的SSD综合性能水准。

CDM性能测试没有测试出任何异常,一切表现都跟一块1.5T容量的SSD固态盘一般。

HDTune 暴露了SSHD的本质,在持续读取一定容量数据(216G)以后,性能会回落到HDD的水平,之前UP主设定的容量是5G写回缓存,如果希望在持续写入测试中写入量更大都不下降,可以增大写入缓存,不过根据UP主使用SSD的经验,正常使用一天的写入量一般不超过10G,极限情况大约为30G,一般上网打游戏聊天每天写入量仅仅为3G左右。所以设置成5G写回缓存已经足够12小时使用的写入所需容量。

Mirror镜像不知道为何SSD写回缓存没有发挥作用,但是读取速度却达到了RAID 0的速度。因为时间关系,UP主还需要更多的时间来深入研究存储空间的SSD-HDD混合缓存工作机制。

灾备冗余性能——拔盘测试

作为一个冗余数据存储方案,UP主的磁盘阵列必须经得住最残酷的考验——那就是拔盘测试。

UP主的设计这样的一个2SSD+2HDD存储阵列,需要考虑的是珍贵的个人数据的安全性,所以阵列冗余容错的目标:

1)拔掉(模拟故障或者损坏)2个SSD中的任意一个——存储重要数据的Documents毫无疑问都会downgrade,性能降低,但是读写数据不受影响。如果拔掉组成Gaming卷的SSD,Gaming卷数据丢失,但是并没有重要数据。

2)拔掉(模拟故障或者损坏)2个HDD中的任意一个——存储重要数据的Documents卷会downgrade,性能降低,但是读写数据不受影响。只存储游戏的Gaming卷无法访问,Gaming卷数据丢失,但是并没有重要数据。

3)拔掉同属于一个Column的一个SSD和一个HDD,存储重要数据的Documents卷会downgrade,但是依然能够读取数据。只存储游戏的Gaming卷无法访问,数据丢失,只能重建。

4)最糟糕的的情况,拔掉2个SSD或者不同属于一个Column的一个SSD和一个HDD,Documents卷和Gaming卷的数据都会丢失。

UP主接下来尝试模拟磁盘/SSD故障拔掉磁盘设备,通过PowerShell Retired拔掉的SSD/HDD,更换新的SSD/HDD,重建完整的阵列这一系列的维护步骤,来检验这个阵列是否能经受得起磁盘硬件故障的损坏。

首先尝试拔掉一个磁盘,先选择较小容量只有221G属于Mirror存储空间(阵列)的SSD拔下来。(注:Mirror相当于RAID 1,所以拔掉跟它同一组Column的西部数据4T红盘HDD对存储空间的影响也是同样的效果)



回复 点赞

使用道具 举报

txb2dVIPLv.4 发表于 2016-11-22 00:22:33 | 查看全部

现在可以看见丢失了的一块SSD/HDD磁盘存储池状态,物理磁盘列表中 (列出的第一个)磁盘已没有 FriendlyName 和 GUID——因为它是被UP主人为模拟掉盘状态拔掉的SSD。

可以看到虚拟磁盘列表中"个人文档"卷提示有黄色惊叹号,表示磁盘卷处于Degraded降级状态,此时需要系统管理员接入更换损坏硬件或者备份重要数据。

但是此时的2个虚拟磁盘卷是可以正常读写的,经过UP主创建目录/拷贝文件等测试,数据安然无恙。

再狠一点,拔掉2块SSD,现在可以看见丢失了的两块SSD或者HDD磁盘存储池状态,物理磁盘列表中 (列出的第一个)磁盘已没有 FriendlyName 和 GUID——因为它是被UP主人为模拟掉盘状态拔掉的SSD。

这种状况非常的糟糕,2个虚拟磁盘都失效了,但是SSD的故障率很低,一般情况下2块盘一起失效几乎是不可能的。

那么在丢失/损坏一块磁盘或者SSD的情况下,我们更换磁盘和SSD,需要做一些维护操作,才能恢复Windows Storage Spaces的数据完整和正常状态。

首先,依然是推荐使用Powershell命令行,通过Windows Server内建的服务器管理图形界面程序并不能很好地执行全部的维护操作命令。

接下来,UP主执行 Get-PhysicalDisk 以获取磁盘列表,这样可以retire 拔掉的磁盘:

Powershell 是一个功能强大的环境,可以将返回对象,而不仅仅是文本,所以列表中的第一项是实际上是指丢失的磁盘。捕获到名为 $results 的变量的列表:

PS C:> $results = Get-PhysicalDisk

$results 变量是零开始的数组,所以我们的硬盘里感兴趣的是 $results [0]:

正在更换了新磁盘和代替拔掉的磁盘进行修复,UP主现在可以删除损坏的磁盘 (请注意,之前上文提及它的引用句柄存储在我的PowerShell中 $results 变量):

PS C:> $results[1] | Set-PhysicalDisk -usage retired

PS C:> Get-PhysicalDisk

丢失的磁盘 retired了,UP主可以开始修复Mirror镜像卷的虚拟磁盘 (请注意磁盘卷状态是:InService 意味着它正在数据重构) 修复:

PS C:> Repair-VirtualDisk "个人文档"

PS C:> Get-VirtualDisk

PS C:> Remove-PhysicalDisk -physicaldisk $results[0] -storagepoolfriendlyname "我的数据仓库"

经过几个小时 (InService 维护),Mirror阵列被重建,恢复健康,状态跟新的一样。

更换了拔掉的磁盘,然后执行数据重构之后,整个SSHD混合加速阵列已经满血复活了。

功耗测试

备注,UP主的功率插座不太靠谱,本身什么都不插,亮着液晶屏背光就有6瓦的空载功耗,所以下面的功耗均减去了插座本身的功率消耗。

插电仅iLO部分电路和iLO口网卡工作功耗为6瓦。

日常功耗,34瓦(含1U电源转换效率损耗),

AIDA64 FPU烤机,满载功耗115瓦(含1U电源转换效率损耗)

迅雷满速下载功耗36瓦。

关于噪音

scottwong 的《HP 惠普 MicroServer Gen8 入坑两百天使用经验谈》中吐槽 Gen8 开机噪音大,问题是UP主家电费是0.45元,上面实际功耗测得Gen8每30小时耗电1度,也就是说30天7x24小时开机耗电24度共10.8元,Gen8到家里来100天还没开机关超过10次。所以开机那风扇狂转的3分钟UP住认为还是可以接受的。

这台 HP ProLiant MicroServer Gen8 家庭NAS超级存储 iLo 固件更新到2.3,取消SmartArray阵列后机箱尾部风扇转速在恒定18%,在使用西部数据红盘的时候噪音很低,保持在42分贝(dBA)。

7200转企业级硬盘待机

在使用7200转东芝的时候噪音较大,在44~46分贝(dBA),很多人觉得红盘不值那个价钱,有时候不得不说,家用NAS还真需要考虑静音的问题。

7200转企业级硬盘读写

基本上不到半夜万籁俱寂的时候起来把夜尿,不会觉察到 Gen8 的风扇噪音。

家庭超级存储实现功能 之 提供家庭共享文档

SMB共享是NAS最基本的应用了,不用再花文字篇幅赘述。

家庭超级存储实现功能之 提供家庭影院片源

在 Windows Server 2012 R2 系统用户管理和组策略中设置开启 GUEST 访客账号远程访问CIFS之后,UP主家的55寸海信非智能液晶电视就能直接访问 惠普 ProLiant MicroServer Gen8 上的1080p蓝光Remux文件了,支持MKV封装,支持x264和VC-1解码,支持外观SRT字幕。

2013年款已经停产的海信55寸非智能电视,弱爆了的交互界面,但是好处就是——不用买新的!不用安卓机顶盒,不用HTPC,不用电视棒,一根网线直联交换机就行!

唯一缺点就是不能记住Windows凭据,网上邻居访问ProLiant-MSG8每次都要手动输入GUEST账号,

看电影,星球大战补番,国产电视机SoC棒棒棒,支持MKV,支持SRT字幕外观太接地气了。

家庭超级存储实现功能之 迅雷远程下载

这个功能是偷师 scottwong 的《浅谈家庭NAS的组装与应用 篇二:软件应用篇》大家去原帖参考即可。

唯一的问题是这个 《RemoteApp Tool》 国内是无法下载的,我做个百度网盘共享出来。方便大家使用

http://pan.baidu.com/s/1jHfj4J8

总结

由于篇幅有限,只能先介绍用惠普ProLiant MictoServerGen8微型服务器搭建家庭超级存储的硬件配置,操作系统,SSHD混合阵列维护技巧。

还有更高级的应用例如:黑群辉、公共云同步、私有云、DLNA/Air Play家庭流媒体服务等等功能可供挖掘。留着下一篇文章的内容吧,UP主也需要更多的时间来研究更强大的功能实现。

这台惠普ProLiant MictoServer Gen8家用服务器存储性能强悍,拥有远超HDD阵列的吞吐量,4K寻址性能和并发访问速率,同时HP家用服务器(除了磁盘准系统)价格低廉。通过Windows Storage Space SSD分层WriteBack写入缓存+通过磁盘整理的方式将频繁读取的数据优先存储在SSD空间里面,大容量HDD一起组成存储阵列,作为SSD加速缓存盘来存储更多的更大容量的游戏。这都是一次具有非常高性价比的家庭超级存储打造&SSD加速体验。

包括1.5T容量存有800G单机和网络游戏的Gaming游戏卷拥有SSD的读写速度,尤其适合做需要高速响应的游戏运行读盘。

拥有单盘/有限条件双盘故障容错能力的个人资料Documents卷则拥有180M写入和900M读取的能力,适合存储照片,个人开发项目文档,程序代码,这些读取多于写入的用途,容错性要求高的用途。

讲道理,UP主的配置其实甚是任性,部分配置规格远超家用存储所需。现在其实3T硬盘性价比最高,用东芝3T 7200转硬盘才是最高性价比的选择,480G 带掉电保护 SSD 则是 OCZ Vector 180 480G 黑五价最好。按照建兴睿速 T9 256G、OCZ Vector 180 480G SSD黑五价格和东芝3T 7200转硬盘来计算成本。打造这台超级家庭存储合理成本一共是4830,去掉卖掉5块旧机械硬盘280+180+120+530+650回血(都统一超级存储了,留着一沓拆下的旧机械盘也没用了,统统扔咸鱼!),带6T机械硬盘+856G SSD盘的一共新投入是3070,这个价格甚至只够购买群辉四盘NAS,问题是买群辉也得要买机械硬盘啊。

现在花了一个月时间折腾 惠普 ProLiant MicroServer Gen8,不但确保了未来的4~5年内数据基本安全无忧 (两块全新硬盘京东行货3年保修,重要的个人数据还能保持2个拷贝),99%的日常使用数据是存储在SSD中或者通过SSD高速缓存访问,拥有SSD的访问速度,UP主自认为这个家用存储方案已经很完美。


回复 点赞

使用道具 举报

blueeddyLv.9 发表于 2016-11-22 08:38:14 | 查看全部
本帖最后由 blueeddy 于 2016-11-22 08:45 编辑

楼主原帖在哪里?你发的这个图片都显示不出来啊、、
已查到http://post.smzdm.com/p/425523/
谢谢楼主分享,学习了!
回复 点赞

使用道具 举报

woshiwaxiuLv.10 发表于 2016-11-22 08:43:04 | 查看全部
SMZDM的帖子。
回复 点赞

使用道具 举报

roosevelt122007Lv.10 发表于 2016-11-22 08:55:17 | 查看全部
这个好好学习~
感谢!
回复 点赞

使用道具 举报

05kingLv.5 发表于 2016-11-22 10:12:31 | 查看全部
谢谢分享~
回复 点赞

使用道具 举报

psp150Lv.5 发表于 2016-11-22 12:13:56 | 查看全部
好长,我没看完
回复 点赞

使用道具 举报

waylonVIPLv.5 发表于 2016-11-22 15:21:48 | 查看全部
本帖最后由 waylon 于 2016-11-22 15:31 编辑

还称不上20年吧,现在倒算20年也就是1996年,虽然贴主有提到3.5寸软盘的内容,但是我是不太相信所有3.5寸软盘的内容都被恢复了因为本人当年的软盘内容大部分都废掉了,而且1996年国内当时还存在5寸软盘,更是早就废掉了。。。。
不过话说我的经历基本上与贴主的一致,但凡经历了20年以上IT经历的,对数据保存比较敏感的人都多少会遇到这些问题,当年那些软盘、硬盘、CD-R、DVD±R都扛不住丢失重要数据的心痛,云存储时代仿若打开了一扇大门,但是紧接着公有云大量的转型和关闭又促使更多的人走上了搭建私有云的道路,总之这就是一条不归路,也不知道以后NAS这条路会走到哪里去。
有时想想都是自己的执念啊,存了那么多照片、影视,以后也未必有时间或动力去翻查,自己老去后也都变得一钱不值,就像父辈们积累了一辈子的书籍,我却压根没有去碰过一样。。。
回复 点赞

使用道具 举报

yvhaiLv.2 发表于 2016-11-22 22:43:41 来自手机 | 查看全部
学习学习。。。
回复 点赞

使用道具 举报

HonryVIPLv.5 发表于 2016-11-22 22:49:34 | 查看全部
之前看过
回复 点赞

使用道具 举报

jackson09 发表于 2016-11-24 10:54:56 | 查看全部
新手学习中
回复 点赞

使用道具 举报

gjyhx12Lv.3 发表于 2016-12-18 17:26:39 来自手机 | 查看全部
我居然都看完了,虽然很多看不懂
回复 点赞

使用道具 举报

crosstimeLv.3 发表于 2016-12-18 17:28:05 | 查看全部
图好像全挂了
回复 点赞

使用道具 举报

lujue 发表于 2016-12-26 10:11:45 | 查看全部
我也看完了,但是一头雾水,还是不知道怎么配置我的硬盘好
回复 点赞

使用道具 举报

nashao 发表于 2016-12-26 16:57:31 | 查看全部
看得出用心写的,就是看不到图片。
回复 点赞

使用道具 举报

56535519 发表于 2017-4-4 13:51:49 | 查看全部
感谢分享
回复 点赞

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则

淘宝小店

邀请码

VIP会员

微信客服

公众号

微信群

投诉/建议联系

support@gebi1.cn

未经授权禁止转载,复制和建立镜像,
如有违反,追究法律责任
  • 关注公众号
  • 添加微信客服
Copyright © 2001-2024 隔壁网 版权所有 All Rights Reserved. 粤ICP备14056481号-1
关灯 在本版发帖
扫一扫添加微信客服
返回顶部
快速回复 返回顶部 返回列表