Будет ли VROC на ESXi 7

Итак, сегодня мое повествование пойдет о том, как я сервер Supermicro X11DPU (Motherboard: SYS-6029U-TR4) опираясь на последующую заметку: "Как на SYS-6029U-TR4 создать VROC RAID" я произвел настройку VROC RAID массивов для U.2 дисков и M.2 дисков дабы в образе виртуализации в лице ESXi 7.0.1 (VMKernel Release Build 16850804) использовать данные RAID массивы как Datastore для виртуальных машин. Но вот тут и подкралась одна ситуация и как мы доверились поставщику у которого приобретался данный сервер под наши задачи.

Приступим:

Шаг №1: Для Сервера создан VROC RAID опираясь на заметку: "Как на SYS-6029U-TR4 создать VROC RAID"

Шаг №2: Образ VMware-VMvisor-Installer-7.0U1-16850804.x86_64.iso через IPMI подмонтирован:

https://IP&DNS (см заметку настройки IPMI "Как на SYS-6029U-TR4 настроить IPMI") – user&pass - Remote Control - Remote Console - Launch Console - Virtual Media - Virtual Storage, вкладка Device1

• Logical Drive Type: выбираю ISO Image
• Open Image: выбираю образ VMware-VMvisor-Installer-7.0U1-16850804.x86_64.iso

и нажимаю Plug In

на материнскую плату сервера подключаю USB носитель в лице: JetFlash 370 USB 2.0 размером в 32Gb, т.к. на нее я планирую поставить систему виртуализации ESXi 7.0.1

через BIOS выставляю в меню Boot, что

• Boot Option #1: [UEFI USB CD/DVD:UEFI: ATEN Virtual CDROM YSOJ]

и нажимаю клавишу F4 сохранения внесенных изменения и перезагрузки сервера с последующим этапом установки с образа.

Шаг №3: Обнаружил, что на этапе выбора куда устанавливать мастер привел такую простыню:

т.е. установщик не видит созданный RAID массив созданный через BIOS посредством соответствующего меню, ну да ладно, опускаю в самый низ и выбираю: JetFlash Mass Storage Dev (mpx.vmhba33:C0:T0:L0) 29.15 GiB и нажимаю клавишу "ENTER"

Далее указываю язык клавиатуры

• Please select a keyboard layout: US Default

и нажимаю клавишу "ENTER"

Задаю root пароль:

• Root password: 712mbddr@
• Confirm password: 712mbddr@

и нажимаю клавишу "ENTER"

Подтверждаю установку ESXi 7.0.1 на mpx.vmhba33:c0:T0:L0 путем нажатия клавиши F11

и ожидаю покуда процесс установки завершится успешно.

Installation Complete

ESXi 7.0.1 has been installed successfully

ESXi 7.0.1 will operate in evaluation mode for 60 days. To use ESXi 7.0.1 after the evaluation period, you must register for a VMware product license.

To administer your server, navigate to the server's hostname or IP address from your web browser or use the Direct Control User Interface.

Remove the installation media before rebooting

Reboot the server to start using ESXi 7.0.1

Отключаю смонтированный образ ESXi - Plug Out

и нажимаю клавишу "ENTER"

После как сервер перезагрузится все также через консоль IPMI произвожу настройку IP адреса опираясь на заметку: "Настраиваем IP адрес для хоста ESXi 7.0.1"

Шаг №4: Перехожу к хосту взаимодействуя с ним через браузер по IP адрес который указал, т.е. https://192.168.3.107 - user&pass – перейдя в Storage – вкладка Devices все также вижу установленные в сервере диски, но ни как ни VROC RAID массив.

Исходя из этого я так понимаю, что в образе ESXi нет драйвера для работы с VROC.

Шаг №5: Включаю на хосте сервер SSH

https://192.168.3.107 - user&pass - Host - Actions - Services - Enable Secure Shell (SSH)

запускаю на рабочей станции WinSCP и подключаюсь к хосту в режиме протокола SCP и копирую на USB флеш диска драйвер, intel-nvme-vmd-en_2.6.1.1001-1OEM.700.1.0.15843807_17797370-файл:

D:\SoftESXi\VMD_2_6_1_1001_ESXi_7_0_Kit\intel-nvme-vmd-en_2.6.1.1001-1OEM.700.1.0.15843807_17797370\vib20\intel-nvme-vmd\INT_bootbank_intel-nvme-vmd_2.6.1.1001-1OEM.700.1.0.15843807.vib на /vmfs/volumes/LOCKER-66d195ca-4287801e-d18f-7cc2554955f6/ intel-nvme-vmd\INT_bootbank_intel-nvme-vmd_2.6.1.1001-1OEM.700.1.0.15843807.vib

Затем через клиента putty подключаюсь по SSH к ESXi хосту дабы произвести установку VIB-файла:

[root@localhost:~] esxcli software vib update --maintenance-mode -v "/vmfs/volumes/LOCKER-66d5d2c7-9094cb46-c265-7cc2554955f6/INT_bootbank_intel-nvme-vmd_2.6.1.1001-1OEM.700.1.0.15843807.vib" Installation Result Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective. Reboot Required: true VIBs Installed: INT_bootbank_intel-nvme-vmd_2.6.1.1001-1OEM.700.1.0.15843807 VIBs Removed: VMW_bootbank_iavmd_2.0.0.1055-5vmw.701.0.0.16850804 VIBs Skipped: [root@localhost:~]

После отправляю систему в перезагрузку

[root@localhost:~] reboot

После авторизовавшись через браузер и перейдя в Storage – вкладка Devices я увидел RAID 1, но не RAID 10 нет:

Почему так, ведь сервер специально покупали, и поставщик заверил что ESXi будет работать и все диски будут поддерживаться, а получается все не так.

Шаг №6: Начался процесс дополнительного чтения различных источников что и как и по чему такое происходит:

в документе "ESXi-Intel-VROC-UserGuide.pdf"

Revision 005

July 2024 на стр7 (пункт 2.2)

Supported RAID Options

The “Intel® Virtual RAID on CPU” BIOS menu should be used to create the desired RAID volume(s). Currently supported RAID configurations are:

• RAID 1 boot volume.

• RAID 1 data volume.

• Only 1 volume is supported on a given array of drives. Matrix RAID is not supported.

• RAID 0/10/5 are not currently supported.

Вот такое забавное ограничение функционала для VMWare.

Пишу поставщику, что собственно – Получается мы г*авно а не сервер взяли, да причем даже 2 штуки и что нам нужно мы получить не можем, либо нам нужно докупать физический RAID-контроллер и диски, но уже SAS SSD, а что делать с этими U.2. К примеру поставщик предложил:

Комплект модернизации сервера в составе:

• Контроллер RAID Broadcom MegaRAID 8-internal channel SATA/SAS/NVMe LSI3508 HW RAID (0,1,10,5,50,6,60) controller 2GB cache = 1шт
• Опция контроллера LSI Maintenance Free Backup Unit with NAND Flash and Supercapacitor для контроллера 9400 серии = 1шт
• Набор для удаленного подключения батареи SERVER ACC REMOTE BATTERY KIT = 1шт
• Кабель HD SAS внутр., 80см., SFF8643-to-SFF8643 = 2шт
• Накопитель SSD 1920GB SAS V-NAND Enterprise = 4шт

итого плюс еще 430.000руб, да уже прикольно получается.

Шаг №7: Но вот если устанавливать Windows Server 2016 Std на сервер, то Windows с помощью всех проинсталлированных драйверов видит VROC RAID 10 массив, размечаю диск как мне нужно, устанавливаю роль Hyper-V и создаю виртуальные машины, но это все же не та виртуализация, которую я бы хотел иметь на сервере, да еще в продуктиве. Блин, будем с руководителем IT отдела обсуждать этот момент.

Шаг №8: На будущее мне, система виртуализации не любит, да и не поддерживает работу с софтварным RAID-массивом, ей лучше аппаратный RAID массив и тогда проблем не будет, но вот еще такой момент, у нас есть сервер и вот на нем успешно применяется VROC и через Storage созданы Datastore. Система виртуализации: ESXi-7.0U3b-18905247-standard (VMware, Inc.), но работу данного сервера настраивал не я, а наш уволенный руководитель IT-отдела, вот это попадос если что-то пойдет не так с ним, как он заставил ESXi видить VROC RAID массив.

Шаг №9: Попробую обновиться (ESXi 7.0 Update 3i 2022/12/08 20842708) ESXi подключившись по SSH к хосту через клиент putty:

[root@localhost:~] vi /etc/hosts
162.159.140.167 hostupdate.vmware.com
[root@localhost:~]
[root@localhost:~] esxcli software profile update -p ESXi-7.0U3i-20842708-standard -d https://hostupdate.vmware.com/software/VUM/PRODUCTION/main/vmw-depot-index.xml Update Result Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective. Reboot Required: true VIBs Installed: VMW_bootbank_atlantic_1.0.3.0-8vmw.703.0.20.19193900, VMW_bootbank_bnxtnet_216.0.50.0-44vmw.703.0.50.20036589, VMW_bootbank_bnxtroce_216.0.58.0-23vmw.703.0.50.20036589, VMW_bootbank_brcmfcoe_12.0.1500.2-3vmw.703.0.20.19193900, VMW_bootbank_elxiscsi_12.0.1200.0-9vmw.703.0.20.19193900, VMW_bootbank_elxnet_12.0.1250.0-5vmw.703.0.20.19193900, VMW_bootbank_i40en_1.11.1.31-1vmw.703.0.20.19193900, VMW_bootbank_iavmd_2.7.0.1157-2vmw.703.0.20.19193900, VMW_bootbank_icen_1.4.1.20-1vmw.703.0.50.20036589, VMW_bootbank_igbn_1.4.11.2-1vmw.703.0.20.19193900, VMW_bootbank_ionic-en_16.0.0-16vmw.703.0.20.19193900, VMW_bootbank_irdman_1.3.1.22-1vmw.703.0.50.20036589, VMW_bootbank_iser_1.1.0.1-1vmw.703.0.50.20036589, VMW_bootbank_ixgben_1.7.1.35-1vmw.703.0.20.19193900, VMW_bootbank_lpfc_14.0.169.26-5vmw.703.0.50.20036589, VMW_bootbank_lpnic_11.4.62.0-1vmw.703.0.20.19193900, VMW_bootbank_lsi-mr3_7.718.02.00-1vmw.703.0.20.19193900, VMW_bootbank_lsi-msgpt2_20.00.06.00-4vmw.703.0.20.19193900, VMW_bootbank_lsi-msgpt35_19.00.02.00-1vmw.703.0.20.19193900, VMW_bootbank_lsi-msgpt3_17.00.12.00-1vmw.703.0.20.19193900, VMW_bootbank_mtip32xx-native_3.9.8-1vmw.703.0.20.19193900, VMW_bootbank_ne1000_0.9.0-1vmw.703.0.50.20036589, VMW_bootbank_nenic_1.0.33.0-1vmw.703.0.20.19193900, VMW_bootbank_nfnic_4.0.0.70-1vmw.703.0.20.19193900, VMW_bootbank_nhpsa_70.0051.0.100-4vmw.703.0.20.19193900, VMW_bootbank_nmlx4-core_3.19.16.8-2vmw.703.0.20.19193900, VMW_bootbank_nmlx4-en_3.19.16.8-2vmw.703.0.20.19193900, VMW_bootbank_nmlx4-rdma_3.19.16.8-2vmw.703.0.20.19193900, VMW_bootbank_nmlx5-core_4.19.16.11-1vmw.703.0.20.19193900, VMW_bootbank_nmlx5-rdma_4.19.16.11-1vmw.703.0.20.19193900, VMW_bootbank_ntg3_4.1.8.0-4vmw.703.0.65.20842708, VMW_bootbank_nvme-pcie_1.2.3.16-1vmw.703.0.20.19193900, VMW_bootbank_nvmerdma_1.0.3.5-1vmw.703.0.20.19193900, VMW_bootbank_nvmetcp_1.0.0.1-1vmw.703.0.35.19482537, VMW_bootbank_nvmxnet3-ens_2.0.0.22-1vmw.703.0.20.19193900, VMW_bootbank_nvmxnet3_2.0.0.30-1vmw.703.0.20.19193900, VMW_bootbank_pvscsi_0.1-4vmw.703.0.20.19193900, VMW_bootbank_qcnic_1.0.15.0-14vmw.703.0.20.19193900, VMW_bootbank_qedentv_3.40.5.53-22vmw.703.0.20.19193900, VMW_bootbank_qedrntv_3.40.5.53-18vmw.703.0.20.19193900, VMW_bootbank_qfle3_1.0.67.0-22vmw.703.0.20.19193900, VMW_bootbank_qfle3f_1.0.51.0-22vmw.703.0.20.19193900, VMW_bootbank_qfle3i_1.0.15.0-15vmw.703.0.20.19193900, VMW_bootbank_qflge_1.1.0.11-1vmw.703.0.20.19193900, VMW_bootbank_rste_2.0.2.0088-7vmw.703.0.20.19193900, VMW_bootbank_sfvmk_2.4.0.2010-6vmw.703.0.20.19193900, VMW_bootbank_smartpqi_70.4149.0.5000-1vmw.703.0.20.19193900, VMW_bootbank_vmkata_0.1-1vmw.703.0.20.19193900, VMW_bootbank_vmkfcoe_1.0.0.2-1vmw.703.0.20.19193900, VMW_bootbank_vmkusb_0.1-7vmw.703.0.50.20036589, VMW_bootbank_vmw-ahci_2.0.11-1vmw.703.0.20.19193900, VMware_bootbank_bmcal_7.0.3-0.65.20842708, VMware_bootbank_cpu-microcode_7.0.3-0.65.20842708, VMware_bootbank_crx_7.0.3-0.65.20842708, VMware_bootbank_elx-esx-libelxima.so_12.0.1200.0-4vmw.703.0.20.19193900, VMware_bootbank_esx-base_7.0.3-0.65.20842708, VMware_bootbank_esx-dvfilter-generic-fastpath_7.0.3-0.65.20842708, VMware_bootbank_esx-ui_2.1.1-20188605, VMware_bootbank_esx-update_7.0.3-0.65.20842708, VMware_bootbank_esx-xserver_7.0.3-0.65.20842708, VMware_bootbank_esxio-combiner_7.0.3-0.65.20842708, VMware_bootbank_gc_7.0.3-0.65.20842708, VMware_bootbank_loadesx_7.0.3-0.65.20842708, VMware_bootbank_lsuv2-hpv2-hpsa-plugin_1.0.0-3vmw.703.0.20.19193900, VMware_bootbank_lsuv2-intelv2-nvme-vmd-plugin_2.7.2173-1vmw.703.0.20.19193900, VMware_bootbank_lsuv2-lsiv2-drivers-plugin_1.0.0-12vmw.703.0.50.20036589, VMware_bootbank_lsuv2-nvme-pcie-plugin_1.0.0-1vmw.703.0.20.19193900, VMware_bootbank_lsuv2-oem-dell-plugin_1.0.0-1vmw.703.0.20.19193900, VMware_bootbank_lsuv2-oem-hp-plugin_1.0.0-1vmw.703.0.20.19193900, VMware_bootbank_lsuv2-oem-lenovo-plugin_1.0.0-1vmw.703.0.20.19193900, VMware_bootbank_lsuv2-smartpqiv2-plugin_1.0.0-8vmw.703.0.20.19193900, VMware_bootbank_native-misc-drivers_7.0.3-0.65.20842708, VMware_bootbank_qlnativefc_4.1.14.0-26vmw.703.0.20.19193900, VMware_bootbank_trx_7.0.3-0.65.20842708, VMware_bootbank_vdfs_7.0.3-0.65.20842708, VMware_bootbank_vmware-esx-esxcli-nvme-plugin_1.2.0.44-1vmw.703.0.20.19193900, VMware_bootbank_vsan_7.0.3-0.65.20842708, VMware_bootbank_vsanhealth_7.0.3-0.65.20842708, VMware_locker_tools-light_12.1.0.20219665-20841705 VIBs Removed: INT_bootbank_intel-nvme-vmd_2.6.1.1001-1OEM.700.1.0.15843807, VMW_bootbank_bnxtnet_216.0.50.0-16vmw.701.0.0.16850804, VMW_bootbank_bnxtroce_216.0.58.0-7vmw.701.0.0.16850804, VMW_bootbank_brcmfcoe_12.0.1500.0-1vmw.701.0.0.16850804, VMW_bootbank_brcmnvmefc_12.6.278.10-3vmw.701.0.0.16850804, VMW_bootbank_elxiscsi_12.0.1200.0-2vmw.701.0.0.16850804, VMW_bootbank_elxnet_12.0.1250.0-5vmw.701.0.0.16850804, VMW_bootbank_i40en_1.8.1.123-1vmw.701.0.0.16850804, VMW_bootbank_i40iwn_1.1.2.6-1vmw.701.0.0.16850804, VMW_bootbank_icen_1.0.0.9-1vmw.701.0.0.16850804, VMW_bootbank_igbn_0.1.1.0-7vmw.701.0.0.16850804, VMW_bootbank_iser_1.1.0.1-1vmw.701.0.0.16850804, VMW_bootbank_ixgben_1.7.1.28-1vmw.701.0.0.16850804, VMW_bootbank_lpfc_12.6.278.10-8vmw.701.0.0.16850804, VMW_bootbank_lpnic_11.4.62.0-1vmw.701.0.0.16850804, VMW_bootbank_lsi-mr3_7.712.51.00-1vmw.701.0.0.16850804, VMW_bootbank_lsi-msgpt2_20.00.06.00-3vmw.701.0.0.16850804, VMW_bootbank_lsi-msgpt35_13.00.13.00-2vmw.701.0.0.16850804, VMW_bootbank_lsi-msgpt3_17.00.10.00-2vmw.701.0.0.16850804, VMW_bootbank_mtip32xx-native_3.9.8-1vmw.701.0.0.16850804, VMW_bootbank_ne1000_0.8.4-11vmw.701.0.0.16850804, VMW_bootbank_nenic_1.0.29.0-2vmw.701.0.0.16850804, VMW_bootbank_nfnic_4.0.0.44-2vmw.701.0.0.16850804, VMW_bootbank_nhpsa_70.0050.0.100-1vmw.701.0.0.16850804, VMW_bootbank_nmlx4-core_3.19.16.8-2vmw.701.0.0.16850804, VMW_bootbank_nmlx4-en_3.19.16.8-2vmw.701.0.0.16850804, VMW_bootbank_nmlx4-rdma_3.19.16.8-2vmw.701.0.0.16850804, VMW_bootbank_nmlx5-core_4.19.16.8-2vmw.701.0.0.16850804, VMW_bootbank_nmlx5-rdma_4.19.16.8-2vmw.701.0.0.16850804, VMW_bootbank_ntg3_4.1.5.0-0vmw.701.0.0.16850804, VMW_bootbank_nvme-pcie_1.2.3.9-2vmw.701.0.0.16850804, VMW_bootbank_nvmerdma_1.0.1.2-1vmw.701.0.0.16850804, VMW_bootbank_nvmxnet3-ens_2.0.0.22-1vmw.701.0.0.16850804, VMW_bootbank_nvmxnet3_2.0.0.30-1vmw.701.0.0.16850804, VMW_bootbank_pvscsi_0.1-2vmw.701.0.0.16850804, VMW_bootbank_qcnic_1.0.15.0-10vmw.701.0.0.16850804, VMW_bootbank_qedentv_3.40.3.0-12vmw.701.0.0.16850804, VMW_bootbank_qedrntv_3.40.4.0-12vmw.701.0.0.16850804, VMW_bootbank_qfle3_1.0.67.0-9vmw.701.0.0.16850804, VMW_bootbank_qfle3f_1.0.51.0-14vmw.701.0.0.16850804, VMW_bootbank_qfle3i_1.0.15.0-9vmw.701.0.0.16850804, VMW_bootbank_qflge_1.1.0.11-1vmw.701.0.0.16850804, VMW_bootbank_rste_2.0.2.0088-7vmw.701.0.0.16850804, VMW_bootbank_sfvmk_2.4.0.0010-15vmw.701.0.0.16850804, VMW_bootbank_smartpqi_70.4000.0.100-3vmw.701.0.0.16850804, VMW_bootbank_vmkata_0.1-1vmw.701.0.0.16850804, VMW_bootbank_vmkfcoe_1.0.0.2-1vmw.701.0.0.16850804, VMW_bootbank_vmkusb_0.1-1vmw.701.0.0.16850804, VMW_bootbank_vmw-ahci_2.0.5-2vmw.701.0.0.16850804, VMware_bootbank_cpu-microcode_7.0.1-0.0.16850804, VMware_bootbank_crx_7.0.1-0.0.16850804, VMware_bootbank_elx-esx-libelxima.so_12.0.1200.0-3vmw.701.0.0.16850804, VMware_bootbank_esx-base_7.0.1-0.0.16850804, VMware_bootbank_esx-dvfilter-generic-fastpath_7.0.1-0.0.16850804, VMware_bootbank_esx-ui_1.34.4-16668064, VMware_bootbank_esx-update_7.0.1-0.0.16850804, VMware_bootbank_esx-xserver_7.0.1-0.0.16850804, VMware_bootbank_gc_7.0.1-0.0.16850804, VMware_bootbank_loadesx_7.0.1-0.0.16850804, VMware_bootbank_lsuv2-hpv2-hpsa-plugin_1.0.0-3vmw.701.0.0.16850804, VMware_bootbank_lsuv2-intelv2-nvme-vmd-plugin_1.0.0-2vmw.701.0.0.16850804, VMware_bootbank_lsuv2-lsiv2-drivers-plugin_1.0.0-4vmw.701.0.0.16850804, VMware_bootbank_lsuv2-nvme-pcie-plugin_1.0.0-1vmw.701.0.0.16850804, VMware_bootbank_lsuv2-oem-dell-plugin_1.0.0-1vmw.701.0.0.16850804, VMware_bootbank_lsuv2-oem-hp-plugin_1.0.0-1vmw.701.0.0.16850804, VMware_bootbank_lsuv2-oem-lenovo-plugin_1.0.0-1vmw.701.0.0.16850804, VMware_bootbank_lsuv2-smartpqiv2-plugin_1.0.0-4vmw.701.0.0.16850804, VMware_bootbank_native-misc-drivers_7.0.1-0.0.16850804, VMware_bootbank_qlnativefc_4.0.3.0-17vmw.701.0.0.16850804, VMware_bootbank_vdfs_7.0.1-0.0.16850804, VMware_bootbank_vmware-esx-esxcli-nvme-plugin_1.2.0.38-1vmw.701.0.0.16850804, VMware_bootbank_vsan_7.0.1-0.0.16850804, VMware_bootbank_vsanhealth_7.0.1-0.0.16850804, VMware_locker_tools-light_11.1.1.16303738-16850804 VIBs Skipped: [root@localhost:~]

Отправляю систему в перезагрузку

[root@localhost:~] reboot

после на консоли IPMI вижу, что текущая версия ESXi 7.0.3 (VMKernel Release Build 20842708)

А версия Image Profile: (Updated) ESXi-7.0U3i-20842708-standard (VMware, Inc.)

Но увы, VROC RAID 10 я все равно не вижу во вкладке Devices

Что по итогу, лучше не гнаться за всем современным, а я повелся на тему что сейчас у нас имеется сервер с установленными дисками U.2 и работающими под ESXi 7.0.3 и захотел такую же конфигурацию с минимальной точкой отказа в лице аппаратного RAID-контроллера, да и поставщик подобрал по мои задачи что мне нужно было, но вот такая засада от самого ESXi, значит будем использовать связку: Windows Server 2016 + Hyper-V.

На этом заметка завершена, с уважением автор блога Олло Александр aka ekzorchik.