Оптимальная настройка iSCSI для VMware: VLAN и Multipath

Оптимальная организация iSCSI-подключения 8 двухконтроллерных СХД к 24 серверам VMware требует выделения отдельных VLAN /27 для каждого контроллера. Использование 4 VLAN вместо 16 для 8 СХД создает значительные риски, включая повышенный широковещательный трафик, потенциальные штормы, снижение производительности multipath и потерю изоляции между массивами.

Содержание

• Основные принципы проектирования iSCSI для VMware
• Оптимальная конфигурация VLAN для iSCSI
• Multipath в среде VMware: ключевые аспекты
• Риски использования сокращенного количества VLAN
• Практические рекомендации по внедрению
• Заключение

Основные принципы проектирования iSCSI для VMware

При проектировании инфраструктуры iSCSI для VMware vSphere существуют фундаментальные принципы, которые необходимо соблюдать для обеспечения надежности и производительности. Основной рекомендацией является использование dedicated LAN для трафика iSCSI, без разделения с другими типами трафика, такими как управление, виртуализация или обычная сетевая активность.

В отличие от традиционного подхода с использованием NIC teaming, VMware официально рекомендует использовать port binding для iSCSI-подключений. Порт-биндинг обеспечивает лучшую производительность multipath и упрощает конфигурацию. При этом все VMkernel порты, используемые для iSCSI, должны находиться в одном широковещательном домене и IP-подсети.

Критически важно понимать, что при использовании port binding существует жесткое требование: между vmkernel портами и физическими NIC портами должна быть прямая взаимосвязь (один к одному). Это означает, что каждый физический порт, подключенный к iSCSI-сети, должен быть привязан к соответствующему VMkernel порту.

Оптимальная конфигурация VLAN для iSCSI

При подключении 8 двухконтроллерных СХД к 24 серверам VMware оптимальным решением является выделение отдельного VLAN /27 для каждого контроллера. Такой подход обеспечивает максимальную изоляцию и производительность. Давайте разберем, почему именно такой конфигурации следует придерживаться.

Каждый контроллер СХД должен иметь свой собственный VLAN /27, что дает нам 16 VLAN для 8 двухконтроллерных массивов (16 контроллеров в сумме). Подсеть /27 предоставляет 32 IP-адреса, что более чем достаточно для подключения всех серверов VMware к конкретному контроллеру.

Основные преимущества такого подхода включают:

• Полная изоляция трафика: Каждый контроллер работает в своей сети, исключая взаимное влияние
• Оптимальное управление широковещательным трафиком: Каждый VLAN обрабатывает свой собственный трафик широковещания
• Упрощенная диагностика: Проблемы с одним контроллером не влияют на работу других
• Максимальная производительность multipath: Каждый путь имеет свою выделенную сеть

Отказ от этого подхода в пользу сокращенного количества VLAN (например, 4 вместо 16) создает значительные риски для стабильности и производительности всей системы.

Multipath в среде VMware: ключевые аспекты

Multipath - это фундаментальная технология для обеспечения отказоустойчивости iSCSI-подключений в среде VMware. При использовании порт-биндинга, который является предпочтительным методом для iSCSI в VMware, multipath организуется на уровне сетевых подключений, а не на уровне виртуальных коммутаторов.

Ключевое требование VMware гласит: все VMkernel порты, используемые для iSCSI, должны находиться в одном широковещательном домене и IP-подсети. Это означает, что при использовании port binding все привязанные VMkernel порты должны быть в одной и той же сети.

Для обеспечения эффективного multipath каждый сервер VMware должен иметь по крайней мере два отдельных физических NIC, подключенных к разным коммутаторам, а затем привязанных к соответствующим VMkernel портам. Эта конфигурация создает два или более независимых пути к каждому iSCSI-цели.

Важно отметить, что VMware использует стандартный алгоритм Path Selection Policy (PSP), такой как Round Robin или Fixed, для балансировки нагрузки между доступными путями. Правильная конфигурация VLAN критически важна для корректной работы этих механизмов.

Риски использования сокращенного количества VLAN

Использование 4 VLAN вместо 16 для 8 двухконтроллерных СХД создает значительные риски, которые могут серьезно повлиять на производительность и надежность всей инфраструктуры. Давайте рассмотрим основные из этих рисков:

1. Увеличенный широковещательный трафик

При объединении нескольких контроллеров в одну VLAN увеличивается объем широковещательного трафика. Каждый контроллер отправляет широковещательные пакеты для обнаружения и поддержания соединений. В одной сети с 8 контроллерами количество широковещательных сообщений будет в 8 раз больше, чем при разделении на отдельные VLAN. Это может привести к:

• Задержкам в обработке сетевых пакетов
• Увеличению нагрузки на ЦП коммутаторов
• Потенциальным проблемам с производительностью приложений

2. Риск широковещательных штормов

При объединении множества контроллеров в одну сеть существует риск возникновения широковещательного шторма. Если один из контроллеров начинает генерировать аномальное количество широковещательных пакетов (например, из-за сбоя), это может привести к полной блокировке сети для всех остальных устройств в этой VLAN.

3. Снижение производительности multipath

При использовании port binding, который является предпочтительным методом для iSCSI в VMware, все пути к целям должны находиться в одной подсети. Однако при объединении нескольких контроллеров в одну VLAN возникает конкуренция за ресурсы сети. Это может привести к:

• Небалансированной загрузке путей
• Снижению эффективной пропускной способности multipath
• Проблемам с failover при сбоях

4. Потеря изоляции между массивами

При использовании 4 VLAN вместо 16 теряется логическая изоляция между разными СХД. Проблемы с одним массивом могут повлиять на работу других массивов в той же сети. Это нарушает принцип отказоустойчивости, так как сбой одного компонента может привести к каскадным сбоям.

5. Сложность диагностики и управления

При объединении нескольких контроллеров в одну VLAN значительно усложняется процесс диагностики проблем. Логирование и мониторинг становятся менее эффективными, так как трудно отделить трафик одного контроллера от другого. Это замедляет время обнаружения и устранения неисправностей.

Практические рекомендации по внедрению

На основе анализа лучших практик для iSCSI-подключения в среде VMware, мы можем предложить следующие рекомендации по оптимальному внедрению:

Топология сети

Для 8 двухконтроллерных СХД к 24 серверам VMware рекомендуется следующая топология:

1. Сетевое оборудование: Используйте два высокопроизводительных коммутатора, поддерживающие 10GbE или выше, с поддержкой Jumbo Frame (9000 байт) для iSCSI трафика
2. Разделение трафика: Разделите трафик на три типа:

• iSCSI-трафик (отдельные VLAN /27 для каждого контроллера)
• Управление VMware (vMotion, FT, и т.д.)
• Общий корпоративный трафик

3. Конфигурация серверов VMware:

• На каждом сервере установите минимум 2 физических NIC для iSCSI
• Используйте порт-биндинг вместо NIC teaming
• Создайте отдельные VMkernel порты для каждого физического NIC
• Настройте отдельные VMkernel порты для каждого контроллера СХД

Конфигурация VLAN

Рекомендуемая схема VLAN:

• VLAN 10-25: Отдельные VLAN /27 для каждого из 16 контроллеров СХД
• VLAN 100: Управление VMware (для всех серверов)
• VLAN 200: vMotion и другие сервисы VMware
• VLAN 300: Корпоративный трафик

Настройка multipath

Для обеспечения отказоустойчивости:

1. Настройте минимум два физических NIC на каждом сервере VMware
2. Подключите эти NIC к разным коммутаторам
3. Используйте порт-биндинг для привязки каждого NIC к отдельному VMkernel порту
4. Настройте round-robin PSP для балансировки нагрузки

Мониторинг и диагностика

Реализуйте следующий подход к мониторингу:

1. Сетевой мониторинг: Используйте инструменты для мониторинга сетевой нагрузки на каждом VLAN
2. Performance monitoring: Отслеживайте производительность iSCSI-подключений с помощью встроенных инструментов VMware
3. Alerting: Настройте оповещения для аномального трафика или задержек
4. Регулярный аудит: Проводите регулярный аудит конфигураций и производительности

Оптимизация производительности

Для максимальной производительности iSCSI:

1. Jumbo Frames: Используйте MTU 9000 байт для iSCSI трафика
2. QoS: Настройте приоритезацию трафика iSCSI
3. CPU оптимизация: Отключите TCP/IP оффлоад на физических NIC
4. Storage QoS: Настройте приоритезацию на уровне хранилища

Заключение

Оптимальная организация iSCSI-подключения 8 двухконтроллерных СХД к 24 серверам VMware требует выделения отдельных VLAN /27 для каждого контроллера. Этот подход, хотя и требует большего количества сетевых ресурсов, обеспечивает максимальную надежность, производительность и отказоустойчивость всей инфраструктуры.

Использование 4 VLAN вместо 16 создает значительные риски, включая повышенный широковещательный трафик, потенциальные штормы, снижение производительности multipath и потерю изоляции между массивами. Эти риски могут привести к серьезным проблемам с производительностью и надежностью в будущем.

Следуя рекомендациям VMware и лучшим практикам в области проектирования iSCSI-сетей, можно создать высокопроизводительную и отказоустойчивую инфраструктуру, способную удовлетворить требования современных бизнес-приложений.

Источники

1. Best Practices For Running VMware vSphere On iSCSI — Официальная документация VMware по настройке iSCSI: https://core.vmware.com/resource/best-practices-running-vmware-vsphere-iscsi
2. Best Practices for Running VMware vSphere® on iSCSI — Практическое руководство по проектированию iSCSI сетей: https://smartstack.co.uk/wp-content/uploads/2015/05/VMware-iSCSI_design_deploy.pdf
3. Considerations for using software iSCSI port binding in ESXi — Статья базы знаний VMware о технических требованиях к port binding: https://kb.vmware.com/s/article/2038869
4. iSCSI Best Practices (Microsoft, EMC, VMware) — Обзор лучших практик от ведущих производителей: https://community.hpe.com/hpeb/attachments/hpeb/bsc-257/10670/1/iSCSI-Best-Practices-VMware-EMC-Microsoft.pdf