4盘位黑群晖迁移到基于ESXi的8盘位组装系统

1、前言

这只是一个记录，可以让自己将来再次迁移做些参考，毕竟好记性不如烂笔头，也可以给有类似需求的朋友指明一些坑，少走点弯路。

2、背景

前几年家里宽带升级到100M之后，就上了NAS系统，当时是用4盘位的U-NAS成品机，装了黑群晖，里面装了optware, aria2, vlmcsd, xware等等，考虑到万一DSM挂了，数据要挂其他机子上修复，没有用群晖的SHR，而是用了RAID5，4个4T盘可用空间在11T左右。期间也从5.0升级到5.1再到5.2再到6.1，没出过问题。

最近磁盘使用空间超过80%，该考虑扩容了，目标指向8盘位，白群晖价格高高在上，并且灵活性不高，网上搜一圈，参考了无数多帖子，衡量了家里空间，最后决定参考tramp202哥们的帖子：https://tieba.baidu.com/p/4949131952，全虚拟化，配置做了一定的改变。

3、硬件清单

CPU：Intel Xeon E3-1235L v5 （淘宝）

主板：MSI C236M（淘宝）

内存：Kingston HyperX DDR4 2400 8g * 2（主板店家）

系统盘：WDC WDS240G1G0A 240G SSD（天猫）

数据盘：WDC WD40EFRX * 1 （原U-NAS用）（京东）

数据盘：Seagate ST4000VN000 * 3（原U-NAS用）（美亚）

数据盘：Seagate ST4000VN008 * 2 （先扩容两块）（京东）

网卡：Dell Broadcom 5720（天猫）

阵列卡：LSI SAS 9207-8i 6Gb PCI-E3.0 HBA（天猫）

数据线：AMPHENOL 36p to 7p minisas SFF 8087 to SATA 56-82cm * 2（天猫）

电源：XFX XTR650（京东）

机箱：Node 804（天猫）

散热器：采融 变形金刚（淘宝）

小插曲1：本来是要用ECC内存的，查了主板资料，只支持unbuffered ECC，于是买了三星UDIMM 16G一条，直接主板点不亮，EZ Debug灯报DRAM错误，和卖家交流没反应，还好主板卖家就在附近城市，淘宝上交流了很久最后决定直接带CPU主板内存过去测，最后确定是内存问题，换了两条8G神条，一切OK，赞有责任心有耐心的主板卖家一个。估计三星内存有问题，淘宝申请了退货，目前还在等待退货状态。

小插曲2：去测主板时候，主板卖家对这个CPU散热器赞不绝口，风扇几乎没声，用到现在各种折腾，散热器鳍片只是有点温而已。

小插曲3：本来是不想买网卡的，觉得用主板自带的就行了，在等配件期间查ESXi的资料，几乎都提到ESXi不支持这块主板自带的Realtek RTL8111H网卡，也找不到ESXi的驱动，Intel的原装网卡太贵，寨卡网评都是稳定性很差，于是就买了基于BCM5720的Dell网卡，和卖家确认ESXi直接支持。

小插曲4：主板自带6个SATA口，因为系统盘要接到主板SATA口上，数据盘要直通给群晖，直通只能基于设备不能基于某个口，只能用HBA接数据盘了。

经验：不想太折腾硬件的话，还是带着配置去电脑城找一家靠谱的店，让他们配比较好，虽然比自己淘会贵，但是淘宝到货期不一样，全到了才能测，某个配件出问题还得等。

4、硬件组装

就不多说了，反正很业余，多年没接触硬件了，打开CPU盖板知道要拉档杆，但是怎么拉都要问主板店家。理线水平也很差，比起网上晒的一些理线图，汗颜。

5、系统安装

BIOS设置

BIOS里面打开VT-D，才能直通设备，这里有个小坑，新版BIOS中VT-D开启在OC里面，其实说明书上已经说到了，我想我又不超频 ，没注意到，在SETTINGS里面找了很久。

ESXi安装配置

这个前前后后折腾了很多次，最早装了6.5U1，觉得Web Client比较慢，装了vSphere Client又连不上，老是说要从服务器0.0.0.0下载更新，不明觉厉，为了能用vSphere Client，又改成了6.0U3，但是里面的虚拟机鼠标发飘。几次取舍，还是装回了6.5U1。

没在BIOS打开VT-D之前，ESXi主机设备管理里面，HBA设备显示不支持直通，还以为ESXi不支持9207-8i的直通，查了很多资料，确认支持的，才反应过来是BIOS里面没打开。

切换直通前

1. esxcli hardware pci list

复制代码

能看到这张卡

1. esxcli storage core device list

复制代码

也能看到这张卡上插的硬盘

切换直通后，后一条命令就看不到硬盘了，说明直通起作用了。

虚拟机规划：

• 虚拟机1，DSM，2C/4G/16G厚置备，估计2G内存，1G硬盘也够，毕竟之前的U-NAS就是2G内存，硬盘就是装个loader而已
• 虚拟机2，Windows，2C/4G/100G精简置备
• 虚拟机3，Ubuntu, 2C/4G/80G精简置备
  

·         

6、黑群晖安装

黑群辉安装就不多说了，网上很多，反正基本就是下载Jun’sloader，然后挂载synoboot.img，改grub.cfg里面的MAC和SN，然后把synoboot.img写到硬盘，这里就是虚拟机1的本地硬盘。

这里有两个坑：坑1，换了无数多的PE，启动进去都发现键盘鼠标不能用，就无法把synoboot.img写到虚拟机硬盘上，不知道是ESXi的问题还是PE的问题，弄了很久一发狠，挂上U-NAS里面拿出来的盘， U盘启动，能看到所有硬盘，然后把ESXi铲掉，直接把synoboot.img写到SSD，主机就一个DSM系统，启动进去发现一个待迁移的系统，说明群晖是支持这张HBA的，上面也说了，ESXi也支持这张HBA，那么坑2，只能以为是群晖不支持这张HBA在ESXi直通，安装完成之前又没办法登录进DSM查看，都打算用DRM了，可惜DRM要破坏现有的数据，又是找了很多资料才把坑填掉。

填坑1

上传改好MAC和SN的synoboot.img到ESXi的存储空间，比如ISO子目录下，把Ubuntu Desktop的ISO挂载为CDROM，设置下次启动进BIOS，然后启动虚拟机1，直接进BIOS，选从CDROM启动，这本来就是一个LiveCD，进去之后选试用，就出来一个完整的Ubuntu系统，然后打开终端，运行下面命令查看虚拟机硬盘编号

1. sudo fdisk -lu

复制代码

我的是/dev/sda，那么再运行下面命令就可以吧synoboot.img写到虚拟机硬盘

1. scp root@esxi:/vmfs/volumes/datastore1/ISO/synoboot.img /tmp
   
2. sudo dd if=/tmp/synoboot.img of=/dev/sda

复制代码

填坑2

LSI 9207-8i直通不是缺省的这个设置

而是要添加PCI设备，然后选这个

之后挂上原来的4块盘启动虚拟机1，就能发现一个待迁移的系统，点一下迁移很快就完成，黑群就在虚拟机上装好了，数据配置都在。

这里有个问题，直通了PCI设备后，要求虚拟机预留内存，我设了预留8G，以后在主机监控界面，这个虚拟机内存占用一直都是4G以上，黑群需要这么大内存吗？还是说如果设成2G预留4G，内存占就是2G左右了？

7、数据迁移

数据迁移参考了群晖官方文档：https://www.synology.com/zh-cn/knowledgebase/DSM/tutorial/General/How_to_migrate_between_Synology_NAS_DSM_6_0_and_later

因为都是用DS3517XS的Loader，相当于是同机型的数据迁移，按照“2.1在两台型号相同的Synology NAS 之间迁移”就行了，把一块新的盘当做临时盘。

全部安装完成进到DSM，存储管理器里面发现问题，其实就是新加的两块硬盘没有初始化，点修复，一会就初始化好了，然后到存储空间里面添加这两块硬盘，因为是RAID5，条带数据要从原来的4块盘扩张到6块盘，估计要几天时间。

请教几个问题
我是在MacBook上用Firefox打开ESXi的Web Client，然后在Windows虚拟机里面的键盘映射有点不习惯，比如Command键被映射成Windows键，而Control键已经被macOS完全接管，不管在什么位置Control+空格都是打开Spotlight搜索，在macOS的虚拟软件Parallels Desktop的方案是把Command键映射成Ctrl键，这样拷贝粘贴中英文输入切换等都能实现。

问题1：如何在macOS上设置ESXi虚拟机的键盘映射，起码找到最常用的Ctrl键吧？

ESXi才是精华部分，一直想搞都不敢下手，感觉有些难！

3个虚拟机，这个配置有点过剩了。

dgiuobin 发表于 2017-8-12 13:18
3个虚拟机，这个配置有点过剩了。

开始三个，将来看情况应该会起更多虚拟机。

基于ESXi的好处体现出来了，目前经过几十小时RAID5扩容完成了，应该是稳定运行状态，在群晖里面看CPU占用不到2%，ESXi看主机CPU占用也是不到2%，群晖里面看内存占用20%，但是ESXi里面看内存占用5G以上，我觉得是因为直通给群晖预留了内存的原因，考虑减少群晖为2G内存预留4G。

这款机箱不错~

yaleyu 发表于 2017-8-12 19:18
开始三个，将来看情况应该会起更多虚拟机。

基于ESXi的好处体现出来了，目前经过几十小时RAID5扩容完成 ...

我也有两部ESXI，刚开始也是ALL IN ONE，什么都往里面装，运行也很稳定，速度跟裸机没什么区别。但一出现问题要停机停机维护时，所有服务都要暂停了。
我现在的方案是把储存分开，NAS+ESXI（虚拟一部备份的NAS）。这样就算无网络或其中一部NAS断线，也能访问资料。

All in One强帖，感谢分享。

两层楼编辑之后要审核，貌似被吃掉了，都3天了

yaleyu 发表于 2017-8-14 10:22
两层楼编辑之后要审核，貌似被吃掉了，都3天了

我想请教一下关于ESXi的问题，我也安装了6.5u1，但是没有vSphere client啊，找不到在哪下载，是不是必须得安装vcenter才有的啊？那个vcenter太吃资源了，必须得至少10G内存才行。你的这个vSphere client是不是就是官网上说的那个c#编写的基于Windows的客户端啊？

meerkat 发表于 2017-8-14 13:44
我想请教一下关于ESXi的问题，我也安装了6.5u1，但是没有vSphere client啊，找不到在哪下载，是不是必须 ...

vsphere client只到6.0，后面不更新了，反正我测了6.0连不上6.5U1的主机，老报错。6.0的Client下载很多的 http://www.prolved.com/vsphere-client-downloads/ 这个网页里面都是指向VMWare官网链接的，放心下。一个主机的话没必要上vcenter，那是同一个界面管理多个主机用的，一般公司里面会用。

dgiuobin 发表于 2017-8-13 19:32
我也有两部ESXI，刚开始也是ALL IN ONE，什么都往里面装，运行也很稳定，速度跟裸机没什么区别。但一出现 ...

4KB大神看来投票结果出来了，还是分开了NAS和虚拟化。

yaleyu 发表于 2017-8-14 13:57
vsphere client只到6.0，后面不更新了，反正我测了6.0连不上6.5U1的主机，老报错。6.0的Client下载很多的  ...

6.0的Client可以连接6.5的EXSI，我就是这么用的

moyawang 发表于 2017-8-14 15:09
6.0的Client可以连接6.5的EXSI，我就是这么用的

我的报要从服务器0.0.0.0下载更新，然后点更新就报错说连不上，能连上0.0.0.0到怪了，不懂它要干嘛。

下一步打算在Ubuntu里面装个Plex，和群晖的套件比比看。

woshiwaxiu 发表于 2017-8-14 15:05
4KB大神看来投票结果出来了，还是分开了NAS和虚拟化。

是的，最后用的比较顺手的是。。NAS主机+ESXI主机。

dgiuobin 发表于 2017-8-14 16:15
是的，最后用的比较顺手的是。。NAS主机+ESXI主机。

看到你的投票贴了，我因为是HBA直通给群晖的，并且设的RAID5，而没有用群晖的SHR，比较方便，群晖关机再直通HBA给Ubuntu，就能直接访问硬盘，方便群晖出问题时候拯救数据。

两个都开机时候就在Ubuntu上NFS挂载群晖的数据。

群晖里基于optware的应用也逐步迁移到Ubuntu上，毕竟Ubuntu上更新比optware及时多了。

两个物理机的话还是分开比较好。