Fibre Channel - вспомнить все: часть 2

Модерн

Использование преимуществ Fibre Channel как высокоскоростной специализированной сети для передачи данных позволяет принципиально изменить архитектуру вычислительной сети организации. Fibre Channel дает возможность отделить все потоки данных между серверами предприятия, архивирование данных и т.п. от локальной сети пользователей. Пример такого решения показан на рисунке ниже.

В этом варианте возможности по конфигурированию огромны - любой сервер может обращаться к любому, разрешенному администратором системы дисковому ресурсу, возможен доступ к одному и тому же диску нескольких устройств одновременно, причем с высокой скоростью, не идущей ни в какое сравнение со скоростью передачи данных по Ethernet.  Не забывайте, что для каждого компьютера, подключенного к дисковому ресурсу этот ресурс представляется как локальный. В этом варианте и backup данных становится легкой и прозрачной задачей. В любой момент можно создать кластер, высвободив под него ресурсы на любой из FC систем хранения. Масштабирование также довольно наглядно и понятно - в зависимости от того, нехватка каких возможностей возникла, можно либо добавить сервер, который будет куплен исходя исключительно из его вычислительных возможностей, либо добавить новую систему хранения.

Существует довольно много различного программного обеспечения, которой позволяет фактически управлять всеми системами хранения как единым массивом + администрирование, в результате чего и получается SAN (Storage Area Network). Разумеется, что в этой схеме есть очевидный элемент ненадежности - единственная коммутируемая матрица для всех серверов и систем хранения. Этот недостаток легко убирается установкой дублирующей второй матрицы. Благодаря продуманной архитектуре Fibre Channel, вторая матрица может работать "параллельно" с первой и в случае выхода любой матрицы из строя система в целом этого просто не заметит. Правильные системы хранения, в свою очередь, имеют 2 канала Fibre Channel (4 порта), что также делает возможным распараллеливание процессов с помощью второй матрицы. На рисунке ниже вы можете видеть упрощенную схему системы с дублированием.

Нельзя не рассказать еще об одной весьма важной и нужной особенности Fibre Channel - возможности сегментирования или, как принято в терминологии Fibre Channel, зонирования системы. Разделение на зоны подобно разделению на виртуальные сети (VLAN) в локальной сети – устройства, находящиеся в разных зонах, не могут "видеть" друг друга. Разделение на зоны возможно либо с помощью коммутируемой матрицы (Switched Fabric) или на основе указания адреса WWN (World Wide Name). Адрес WWN подобен MAC адресу в сетях Ethernet, каждый FC котроллер имеет свой уникальный WWN адрес, который присваивает ему производитель, а любая правильная система хранения данных позволяет ввести адреса тех контроллеров или портов матриц, с которыми этому устройству разрешено работать. Разделение на зоны предназначено в первую очередь для повышения безопасности и производительности сетей хранения данных. В отличии от обычной сети, из внешнего мира нельзя "проломить" зоны и получить доступ к закрытому для данной зоны устройству.

Не только бизнес - сферы применения

Разумеется, сфера применения Fibre Channel не ограничивается только серверными системами предприятий. Одно из самых интересных направлений использования - работа с видео и цифровым кино (Digital Cinema). Исторически в России компании, работающие с кино/видео материалом были одними из первых потребителей внешних систем хранения данных. Причина очевидна - кино/видео материал требует огромных объемов дисковой памяти и без внешних дисковых массивов во многих случаях было просто невозможно работать над проектами.  Сейчас в России есть немало кино- видео- компаний, в которых количество систем хранения данных исчисляется десятками.

Но, с ростом рынка кино и телевидения в России возросла специализация сотрудников, занимающихся компьютерной обработкой кино- видео- материалов и возникла серьезная проблема - как обрабатывать материал последовательно нескольким специалистам? Либо надо пересаживать их с одной рабочей станции на другую и тем самым пропустить всех необходимых людей через станцию, к которой подключен внешний дисковый массив с конкретным фильмом, либо перегонять материал по сети с одного массива на другой, либо (не стоит смеяться, мы это видели своими глазами), перетаскивать систему хранения от одного компьютера к другому.  Система хранения, кстати, может весить от 15 до 40 килограммов. Все эти способы довольно заметно увеличивают время работы над проектом, поскольку даже перекачка по сети с одной рабочей станции на другую терабайтов данных процесс длительный.  Понятно, что в отличии от бизнес-приложений, обработка видео по локальной сети невозможна, слишком мала скорость обмена данными.

Поэтому для компаний, занимающихся post-production, применение Fibre Channel является самым логичным выходом из этой ситуации и ряд компаний уже успешно применяют в своей работе Fibre Channel. Структура системы в этом случае не отличается от ранее рассмотренной, просто вместо серверов в систему входят рабочие станции. В этом варианте все проблемы отпадают - по завершении очередного этапа другой сотрудник начинает заниматься тем же самым фильмом, никуда не перемещая файлы и нисколько не теряя в скорости доступа к данным. Используя специализированное программное обеспечение, вполне возможна и одновременная работа нескольких пользователей над одним проектом, что существенно ускоряет процесс. При обработке сериалов такие преимущества Fibre Channel просто жизненно необходимо использовать.

Есть еще одна серьезная причина для перехода на Fibre Channel - шум. Системы хранения данных включают в себя, как правило, до 16 жестких дисков, несколько блоков питания и вентиляторы охлаждения.  Все это техническое великолепие, увы, шумит и шумит заметно.  Если для бизнес-приложений это не столь важно, поскольку сервера и системы хранения обычно находятся в специальных помещениях, в которых персонал постоянно отсутствует, то для людей, занимающихся творчеством с утра до вечера шум является весьма серьезной проблемой.  Работая с SCSI системами хранения, компании идут на различные ухищрения для ликвидации шума. Например, убирают рабочие станции вместе с системами хранения в изолированные помещения, удлиняя кабели к мыши, клавиатуре и монитору.  Есть и другие, не менее хлопотные варианты. Применение же Fibre Channel ликвидирует проблему шума как класс. Допустимого для FC интерфейса расстояния в сотни метров от компьютера с лихвой хватит для удаления системы хранения от рабочей станции в любом здании.

Купили, подключили, но как всем этим управлять?

Вопрос правильный и своевременный. Итак, представим себе, что мы купили несколько Fibre Channel систем хранения, подключили к нему несколько серверов в корпоративной системе или рабочие станции для групповой обработки видео в кинокомпании. Что дальше? Проблема в том, что Fibre Channel дисковая система хранения с точки зрения компьютера есть обычный внутренний локальный диск, подключенный через обычный дисковый контроллер. Соответственно, если к этому FC диску будет иметь доступ несколько компьютеров, то совершенно непонятно, каким образом и кто будет следить за тем, чтобы один компьютер не записывал в одни и те же места диска одновременно с другим компьютером? Да и просто как одному компьютеру хотя бы увидеть, что кто-то чужой таинственным образом изменил содержимое его внутреннего диска ?

Решение, а точнее способ НЕ решения  этой задачи существенно зависит от сферы применения.

Бизнес

Зачастую в бизнес применениях не требуется разделение одного локального дискового пространства между несколькими компьютерами или такое разделение штатно поддерживается операционной системой (типичный пример - кластер). Во многих бизнес применениях администраторы вполне удовлетворяются гибкими возможностями Fibre Channel систем по перераспределению дискового пространства между компьютерами, легкостью конфигурирования, возможностям по масштабированию и т.п. Поэтому в бизнес применениях можно ограничиться штатными возможностями администрирования, которые предоставляют как Fibre Channel матрицы, так и сами системы хранения.

Цифровой кинематограф и телевидение

Здесь тоже часто применяется простой подход - виртуальная "перекидка" дисков от одного пользователя к другому в зависимости от этапов работы над проектом, либо элементарное жесткое закрепление определенного дискового пространства за конкретным компьютером (пользователем). К тому же квалификация системных администраторов в кино- видео- компаниях зачастую бывает намного ниже, чем в крупных коммерческих структурах, банках и т.п. и само по себе применение Fibre Channel в кино- видео- многим их руководителям и техническому персоналу кажется, к сожалению, ненужным. К счастью, в последнее время Fibre Channel становится все более и более популярным даже в небольших студиях.

Но варианты есть, их просто не может не быть

Разумеется, варианты "выжимания" из Fibre Channel систем всего, что они умеют и могут, есть, но проблема в массовом незнании этих возможностей. Если утрировать проблему, то ее  можно сформулировать таким образом - как, сохраняя огромные скорости обмена данными, возможности гибкой аппаратной настройки, маcштабирование и т.п. управлять SAN как локальной сетью? Кратко расскажем хотя бы о некоторых путях решения этой задачи.

  • Применение специализированного программного обеспечения, не привязанного к конкретному оборудованию. Одна из наиболее известных программ - MetaSAN от швейцарской Tiger Technology. Эта программа позволяет настраивать и управлять практически всеми возможностями SAN, добавляя к ним такие полезные вещи как переключение трафика на LAN в случае обрыва кабеля или выхода из строя FC контроллера, управление полосой пропускания и т.п.  Достоинства - большие возможности по администрированию, отсутствие выделенного сервера метаданных, хорошая защита от сбоев, нет привязки к конкретным типам матриц - систем хранения - FC контроллеров. К достоинствам следует отнести поддержку кроме Windows также Mac OS и Linux Red Hat. Недостатки - относительно высокая стоимость решения, составляющая $1100 на компьютер, подключенный к SAN. Кроме этого, для доступа по локальной сети к SAN дискам, управляемым MetaSAN, с компьютеров на которых MetaSAN не установлена, требуется приобрести хотя бы программу MetaLAN стоимостью $350 за одно рабочее место.

Цена вопроса

Еще несколько лет тому назад Fibre Channel могли применять только очень небедные организации. Коммутаторы (Switched Fabric) стоили до десятков тысяч долларов, контроллеры по несколько тысяч. Цены на системы хранения тоже не радовали - FC системы хранения стоили на $1500-2000 больше, чем точно такие же системы со SCSI интерфейсом. Но в последнее время, благодаря расширяющейся популярности Fibre Channel цены стали заметно снижаться. На лето 2011 года ситуация  такова:

  • Контроллеры PCI Express - $900 за порт.

  • Коммутаторы (Switched Fabric) - $450 за порт

  • Системы хранения - на $400 дороже аналогичных с SAS интерфейсом.

Недешево, скажет потенциальный покупатель, до этого восхитившийся возможностями Fibre Channel. На первый взгляд это действительно так. Но, внимательный читатель увидит, что за счет совсем иной конфигурации системы применение Fibre Channel позволит сэкономить значительные суммы на отказе от применения в серверах дорогих RAID контроллеров и дисков, на значительно меньшие затраты на расширение системы и ее администрирование. Конечно, применение Fibre Channel для двух-трех серверов или рабочих станций экономически неоправданно - но для больших или развивающихся систем есть смысл сразу использовать Fibre Channel, поскольку это даст существенную экономию при масштабировании системы.

Заключение

Эта заметка не претендует на всестороннее освещение всех преимуществ Fibre Channel - это лишь краткий экскурс, позволяющий оценить, подойдет ли в принципе вам Fibre Channel.

При написании статьи использовались материалы: