Это данные. На разумной планете, анализируя данные в реальном времени мы сможем сделать энергопотребление эффективным как в Калифорнии.

Эффективность энергопотребления да и не только энергопотребления но и американской энергосистемы вообще – это пять! На ум сразу приходят веерные отключения в Калифорнии, в Нью-Йорке и в других демократических местах. Аферисты под названием Enron – укравшие 11 миллиардов долларов сша. Вот она – эффективная американская энергосистема. Это, по мнению IBM, ориентир на который нам следует ровняться. Закрадывается мысль, уж не Анатолий ли Борисович, который Чубайс пишет рекламные слоганы для Российского IBM? Ведь подобная эффективность – цель его развала, простите, его реформ в РАО ЕЭС.

Руины научно-исследовательского института. Таких в России много. А всё от того, что у них не было энергосберегающих лампочек и нанодирижаблей.

• Мурманский морской биологический институт (ММБИ)

SNMP, HTTP и telnet работают без ключа. С их помощью можно проверить состояние сервера, перезагрузить его, запланировать включение или выключение, включить или выключить PXE загрузку и многое другое. Базовый веб-интерфейс выглядит вот так:

По умолчанию, порт IMM пытается получить адрес по DHCP. Если адрес по DHCP не присваивается, IMM использует адрес 192.168.70.125 и маску 255.255.255.0. Также, IP адрес можно присвоить из BIOS (точнее из UEFI). Логин и пароль по умолчанию USERID и PASSW0RD (через ноль) – всё в верхнем регистре.

IBM x3550 M2 – Топовый сервер из 1 юнитовой линейки IBM. Приписка M2 указывает на то, что это уже второе поколение серии x3550. Сервер IBM x3550 M2, способен нести до 2х четырёх ядерных процессоров Intel Xeon, до 128 Гб оперативной памяти и до 6 жёстких дисков. В базовой комплектации сервер оборудован 2мя гигабитными ethernet интерфейсами, одним 100 мегабитным интерфейсом ethernet для управления, 4мя портами USB, 2мя портами RGB (D-SUB) и одним последовательным портом. Внутри серии x3550 M2, существует несколько различных модификаций серверов. Каждая модификация обозначатся с помощью кода MTM (machine type model), например: 4198-PAA, 7946-22E или 7946-ZYY. MTM состоит из кодов machine type и model разделённых дефисом. Первая часть кода MTM – machine type, состоит из 4х цифр. Применительно к IBM x3550 M2, существует 2 типа машин – 4198 и 7946. Самый распространённый тип – 7946. Тип 4198 – раритетный, новых серверов этого типа – не найти. Модель кодируется 3мя символами и указывается в коде MTM после дефиса. Модель определяется базовой комплектацией Вашего сервера. Рассматриваемая сегодня модель сервера, имеет код MTM 7946-PCB.

Упаковка сервера – аскетична. Внутри большой картонной коробки находится сервер в антистатическом пакете. Сервер зафиксирован в коробке уголками из пенопласта. В выемки на пенопласте, а так же в полости по краям от сервера, уложено 3 небольшие коробки.

В продолговатой коробке над сервером находятся «рельсы» – специальные металлические направляющие, предназначенные для крепления сервера в 19 дюймовую стойку.

В коробке слева от сервера упакован кабель-менеджер. Кабель-менеджер, это специальное механическое устройство, крепящееся сзади сервера к направляющим. Кабель-менеджер позволяет полностью выдвинуть сервер из стойки не отключая его от проводов.

В последней, третей по счёту коробке, находится печатная и электронная документация.

Внимательно рассмотрев содержимое упаковки – переходим к самому интересному: извлекаем сервер и изучаем, с пристрастием его внешность и «богатый внутренний мир» :).

Начнём рассматривать сервер с его «лица». Слева спереди, в два ряда, находятся отсеки для жёстких дисков. Размер жёстких дисков для IBM x3550 M2 – 2.5 дюйма. Кстати, у первого поколения x3550 жёсткие диски 2.5 дюйма были опцией. Теперь, похоже, это стандарт. Отказ от 3.5 дюймовых дисков в пользу дисков размера 2.5 дюйма позволил разместить 6 дисков. Кстати, у линейки x340, а так же у первого поколения линеек x3550 и x3650 существовала неприятная особенность – фиксаторы жёстких дисков сильно люфтили. Это не влияло на работоспособность или надёжность сервера, однако подобный люфт давал ощущение хлипкости и ненадёжности. У второго поколения x3550 – эта проблема наконец-то устранена! Фиксаторы больше не люфтят, на место становятся плотно и с характерным щелчком.

Слева на фотографии – стандартный жёсткий диск 3.5 дюймов. Справа – 2.5 дюймов SAS в оснастке IBM. Сервер 7946-PCB в базовой комплектации имеет 1 жёсткий диск IBM 146GB 10K 6Gbps SAS 2.5″ SFF Slim-HS HDD (5537). Однако, вернёмся к лицу нашего сервера.

В правой части лицевой панели находятся кнопка запуска сервера, DVD-ROM, диагностическая панель и порты ввода-вывода. Кнопка запуска сервера содержит встроенный диод, индицирующий режим работы сервера. Кроме того, она, может быть закрыта пластиковой крышкой, препятствующей случайному нажатию. DVD-ROM идущий в базовой поставке умеет читать DVD и писать CD, опционально доступен пишущий DVD-ROM. Удачной особенностью IBM является наличие дополнительного порта D-SUB на лицевой стороне сервера. Используя D-SUB и USB порты с лицевой стороне сервера, можно устанавливать операционную систему не бегая вокруг стойки с оборудованием.

Самое интересное в этой части сервера – информационная панель Light-Path Diagnostics (сокращённо LPD). Для того что бы извлечь информационную панель, необходимо отвести защёлку LPD влево и потянуть её на себя.

С помощью диодов и алфавитно-цирового индикатора, сервер информирует о состоянии всех своих компонентов, в случае возникновения аппаратного сбоя – загорается диод соответствующий отказавшему компоненту. Кстати о сбоях, сервер способен работать даже если отказал один из процессоров (если операционная система не будет против).

Теперь посмотрим, что у сервера сзади. Слева внизу находится порт System Management – это традиционный 100 Мегабитный ethernet порт, используемый для out-of-band управления. С помощью этого порта можно получить удалённый доступ к системе вне зависимости от наличия ОС. Работа порта System Management обеспечивается с помощью Integrated Management Module (сокращённо IMM). Справа от порта управления – 2 дополнительных гнезда для ethernet интерфейсов. С помощью опционального модуля, количество сетевых интерфейсов может быть увеличено до 4х, превращая ваш 1 юнитовый сервер в мощнейший роутер. Правее, два гигабитных интерфейса доступные в базовой комплектации. Далее, за ними, один из двух портов D-SUB, для подключения монитора. Над портами расположены отверстия для интерфейсных плат. Данная модель поддерживает до двух интерфейсных плат PCIe2 x16: одну нормальной высоты и одну половинную.

Следом за портом D-SUB идёт блок индикаторов. Блок индикаторов содержит 3 диода – питание, ошибка и «маяк». Диод «питание» загорается, при наличии питания на материнской плате :). «Ошибка» загорается в случае отказа одного из компонентов сервера. Диод «Маяк» появился у IBM относительно недавно. Данный диод можно зажечь с передней панели сервера или по сети через порт System Management. Данный диод позволяет быстро и безошибочно найти сервер в стойке. Это бывает полезно, когда в стойке много одинаковых серверов, или же сервер находится далеко на колокейшене. Подобная фича давно есть у серверов Dell PowerEdge. Следом за диодами расположен последовательный интерфейс RS-232. Данный интерфейс чрезвычайно полезен на сервере, однако постепенно становится редкостью. Следом за COM портом находятся 2 порта USB.

В крайней правой части задней панели расположен отсек блоков питания. По умолчанию сервер комплектуется одним 675 ваттным блоком питания. Сервер может быть укомплектован вторым блоком питания. Это полезно, т.к. позволяет подключить сервер к разным фазам и понизить вероятность отказа из-за сбоя в энергосети или отказа одного из БП.

Богатый внутренний мир

Ознакомившись с сервером снаружи, приступим к изучению внутренностей. Крышка сервера фиксируется защёлкой, для того, что бы снять её, необходимо зажать голубую кнопку и сдвинуть крышку назад. Сервер со снятой крышкой выглядит вот так:

Кстати о снятой крышке. IBM всегда снабжает свои сервера подробнейшими инструкциями. Внутри 1 юнитого сервера, места совсем немного, по этому большинство инструкций вынесены на внутреннюю часть крышки сервера.

Внутри у нашего сервера мы видим сборку вентиляторов, сразу за отсеком для жёстких дисков. Сборку нельзя извлечь целиком, как, например, в IBM x346. Тем не менее, каждый кулер, может быть заменён по отдельности. Интересна конструкция кулера:

Каждый кулер состоит из двух вентиляторов. Вентиляторы вращаются в противоположных направлениях, вероятно для гашения вибрации и/или шума. Каждый кулер снабжён диодом, загорающимся в случае отказа. Это позволяет быстро и безошибочно определить отказавший элемент.

Сбоку от сборки кулеров расположен RAID контроллер. Линейка серверов IBM x3550 M2 оснащена контроллером ServeRAID 10. На этот раз под именем ServeRAID 10 скрывается RAID контроллер фирмы LSI. За небольшую доплату доступен более мощный контроллер под новым названием – MegaRAID (LSI SAS1078). Этот контроллер поддерживает большее количество режимов, включая такие экзотические как 50, 60 и 70. Все RAID контроллеры оборудованы USB интерфейсом, для подключения флешки с гипервизором VMware ESXi. Наличие гипервизора, позволяет запускать несколько операционных систем параллельно. Следом за сборкой из кулеров находятся два воздуховода. Первый воздуховод формирует воздушный поток для охлаждения второго процессора, а так же выполняет роль держателя для батарейки от «продвинутого» RAID контроллера – MegaRAID. Второй воздуховод – закрывает собой 16 разъёмов с памятью, для её эффективного охлаждения.

В базовой комплектации, сервер 7946-PCB оснащён одним четырёх ядерным процессором Intel Xeon 5504 и 4мя Гб оперативной памяти.

Радиатор, как и все элементы сервера, крепится без винтов – с помощью затяжного механизма. Для эффективной теплопроводности радиатор содержит термо трубки.

В задней части сервера расположен отсек для блоков питания, а так же 2 уголка – raizer для установки плат расширения. По умолчанию сервер комплектуется двумя уголками PCIe2 x16. Однако они могут быть опционально заменены на уголки PCI-X, что делает сервер совместимым с Вашими дорогими, но устаревшими платами Digium PCI 32bit 3.3v. Под вторым отсеком PCI находится еще один внутренний USB разъём предназначенный для установки ключа IBM Virtual Media Key. Данный ключ позволяет активировать некоторые «вкусные» возможности порта System Management.

В сервере 2 отсека под PCI платы – 1ый отсек рассчитан на плату половинной высоты, 2ой – на плату нормальной высоты. Оба отсека рассчитаны на платы половинной длинны, по этому установить монстра вроде Digium .. – в сервер IBM x3550 M2 – не удастся.

Монтаж сервера в стойку

Конструкция направляющих («рельс») в очередной раз претерпела изменения. Количество пластиковых деталей существенно уменьшилось.

Все элементы. как всегда, подписаны – перепутать право/лево и перёд/зад – практически невозможно. Качество изготовления – выше всяческих похвал – никаких необработанных краёв, никаких трущихся деталей. Все движущиеся элементы двигаются с помощью подшипников.

Каждый крепёж, оснащён замком и блокировкой замка исключающей случайное открытие. Как правило, блокировку можно снять как снаружи стойки, так и изнутри.

Задняя блокировка – подпружинена и «включается» автоматически, в отличие от блокировки переднего замка, которая защёлкивается либо в ручную, либо сервером в момент задвигания сервера в штатное положение.

Пару слов о кабель-менеджере. Кабель-менеджер, это механическое устройство, предназначенное для укладывания силовых и сигнальных кабелей идущих к серверу. Это устройство позволяет полностью выдвигать сервер из стойки – не отключая его. Кабель менеджер крепится к направляющим с помощью подпружиненных защёлок.

Для того, что бы снять кабель-менеджер, следует потянуть на себя голубой фиксатор. Установленный кабель-менеджер выглядит следующим образом:

Частичным недостатком новых салазок, можно считать отказ от круглых штырей в пользу квадратных. Теперь штыри, элементы входящие в отверстия на стойке, в точности повторяют прямоугольную форму отверстия на стойке. С одной стороны, данные подход позволяет более точно разместить сервер в стойке и исключить какие-либо люфты в креплении салазок. Но с другой стороны, появляется много проблем с некачественно изготовленными стойками. Так, например, стойку белорусского производства пришлось доработать напильником, для установки в неё салазок от IBM.

Заключение

IBM как всегда на высоте, хороший RAID контроллер, богатые возможности удалённого управления, великолепное качество изготовления всех деталей. Изъянов у данной модели я не нашёл.

• IBM System x3550 M2 Overview

Критерии «любви» к серверам – у всех разные. Например, мой хороший приятель, Артём Носов, высоко ценит сервера SuperMicro. По его мнению, основные плюсы этих серверов — наличие порта LOM, с помощью которого можно получить доступ к клавиатуре и VGA порту сервера, до установки операционной системы. Вторым преимуществом серверов фирмы SuperMicro, является отсутствие проблем с поставками в Москве. Не стоит недооценивать этот фактор, срок поставки некоторых «брендовых» серверов может доходить до 1-2 месяцев.

«Брендовые» сервера так же сильно отличаются друг от друга. Как я уже писал — я люблю IBM, на это есть комплекс причин. Возьмём, к примеру, сервер IBM x346.

Сервер данной модели, выпускался 3-4 года назад, позже, был заменён моделью IBM x3650. Сервер предназначен для монтажа в 19 дюймовую стойку, занимает 2 юнита. Поддерживает до 2х процессоров Socket604 (Intel Xeon), до 16 ГБ ОЗУ. Для того, что бы разобрать сервер, необходимо открыть замок на верхней крышке.

При открытии замка крышка сдвигается назад. Когда я первый раз «залез» в IBM, я был удивлён, насколько качественно все выполнено внутри, начиная от вентиляторов, заканчивая креплением процессоров и плат. Кстати о вентиляторах. Все вентиляторы могут быть заменены без остановки сервера.

Состояние любого вентилятора можно отслеживать с помощью фирменного софта IBM. Вентиляторы можно менять по одному, или сразу всей кассетой.

За вентиляторами, пространство поделено на 2 части. Слева находится отсек для блоков питания (PSU) и полноразмерных плат PCI-X.

Справа расположены 2 разъема Socket604, за ними разъемы ОЗУ. Процессоры и память закрываются пластиковым кожухом, который предназначен для правильного направления воздушных потоков и эффективной вентиляции.

Так же справа расположен отсек для 2х низкопрофильных плат PCI-X. Все блоки снабжены наклейками с подробнейшими инструкциями – запутаться невозможно.

Рассматриваемая модель, оснащена двумя процессорами Intel Xeon 3.4 Ghz и 8 ГБ ОЗУ.

Кстати ОЗУ поддерживает резервирование, вы можете назначить резервные планки памяти, они не будут использоваться в работе компьютера, до тех пор, пока основная память работает корректно. Если происходит сбой, который невозможно устранить обычной коррекцией ошибок, сбойная память автоматически заменяется памятью из резерва. Так же данный сервер оснащён тремя жесткими дисками U320 70 ГБ, объединенными в RAID5 с помощью встроенного контроллера IBM ServeRAID 7k.

Этот контроллер находится под корпусом с полноразмерными платами PCI-X и может быть заменён другой моделью. Управляется ServeRAID 7k с помощью утилиты ipssend – предшественницы arcconf. Её синтаксис будет многим знаком:

[root@conference dumplog]# ./ipssend GETCONFIG 1
...
-------------------------------------------------------------------------------
Logical drive information
-------------------------------------------------------------------------------
 Logical drive number 1
   Status of logical drive        : Okay (OKY)
   RAID level                     : 5
   Size (in MB)                   : 140012
   Write cache status             : Write back (WB)
   Number of chunks               : 3
   Stripe-unit size               : 8 KB
   Access blocked                 : No
   Part of array                  : A

   Array A stripe order (Channel/SCSI ID)  : 2,0 2,1 2,2
-------------------------------------------------------------------------------
Physical device information
-------------------------------------------------------------------------------
   Channel #1:
      Initiator at SCSI ID 7
   Channel #2:
      Initiator at SCSI ID 7
      Target on SCSI ID 0
         Device is a Hard disk
         SCSI ID                  : 0
         PFA (Yes/No)             : No
         State                    : Online (ONL)
         Size (in MB)/(in sectors): 70006/143373728
         Device ID                : IBM-ESXSMAW3073NC206AR904J9P
         FRU part number          : 39R7308

...

Всего может быть установлено 6 жестких дисков. Жесткие диски, поставляются с салазками и замком. Замок фиксирует ручку жёсткого диска, препятствую случайному удалению.

Ручка эта, в зафиксированном положении имеет довольно большой люфт, что лично мне — не нравится. Ручки жестких дисков — единственная люфтящая часть в сервере. Все остальные элементы крепятся на своих местах плотно, что создаёт ощущение солидности и надёжности.

Всего, в сервер может быть установлено 4 платы расширения PCI-X: 2 полноразмерных и 2 низкопрофильных. PCI-X это 64 битная версия PCI шины, предшественник PCI Express. Стандартное (32 бит, 3.3 вольт) оборудование, может быть установлено в эти разъёмы. У меня, например, в такой разъём установлена плата Digium TE412P.

Платы устанавливаются в специальные корпуса. Всего в сервере 2 корпуса — корпус для низкопрофильных и корпус для полноразмерных плат. Для того, что бы установить плату, необходимо снять нужный корпус. Каждый корпус крепится своим замком. При открытии замка, корпус с платами поднимается вверх. Далее сняв корпус, мы можем установить в него нужную плату.

Для крепежа плат не используется винтов. Для разборки и сборки серверов IBM винты не используются вообще. Все элементы сервера, начиная с процессоров, заканчивая салазками в стойку, крепятся с помощью удобных зажимов и замков.

После установки салазок в стойке, из них выдвигаются направляющие. Направляющие фиксируются в крайнем положении. Каждая направляющая имеет на себе 2 шипа. При установке сервера на направляющие, шипы направляющих входят в соответствующие пазы на сервере и защёлкиваются там, обеспечивая надёжное крепление сервера на направляющих. Для снятия сервера с направляющих необходимо нажать на защёлку и сдвинуть сервер вперёд. Что бы убрать сервер в стойку, необходимо сдвинуть фиксаторы на направляющих — вперёд.

В задней левой части сервера, находится отсек для блоков питания. Всего в сервер можно установить 2 блока питания. Это очень удобно — второй блок питания повышает надёжность сервера. Кроме того, можно носить сервер по серверной перетыкая провода от розетки к розетке :) . Блоки питания, как почти все компоненты, поддерживают горячую замену.

Т.е. Вы можете отключить отказавший блок питания и заменить его новым не прерывая работу сервера. Состояние блоков питания, можно отслеживать с помощью ПО от IBM. Для извлечения БП не надо открывать корпус. БП крепится сзади сервера с помощью удобного фиксатора.

На задней панеле сервера так же доступны: VGA порт для монитора, ps/2 порты для мышки и клавиатуры, 2 гигабитных порта ethernet, 2 USB, 100 мбитный Ethernet порт для управления, 2 последовательных RS485 порта для управления и 1 SCSI порт для подключения внешних устройств (например, сторадж или стример).

Подытожу: Сервер IBM это великолепный набор комплектующих, отличное качество изготовления всех элементов, отсутствие внутри сервера проводов в виде соплей, солидность и надёжность. А благодаря любви IBM к OpenSource — нет проблем с драйверами. С CentOS все компоненты сервера работают без проблем. После 4х лет эксплуатации, сервер IBM x346 не потерял актуальности и сейчас.

Около двух лет назад, я приобрёл отличный сервер IBM x3650. Сервер был предназначен для хранения биллинговой БД. Я очень люблю сервера IBM. Они делают отличное, качественное железо. Каждый элемент сервера продуман и выверен. Здесь и салазки, которые крепятся в стойку без винтов, и кулеры, работа которых мониторится, и удобные крепления жестких дисков. О конструктивных достоинствах серверов IBM можно рассказывать очень долго.

Для биллинга, одну из ключевых ролей играет дисковая подсистема. Она должна быть быстрой и надёжной. Купленный мной сервер, был оснащён контроллером IBM ServeRAID 8k и 8ю жесткими дисками IBM-ESXS MBB2073RC 10000 RPM 16MB Cache SAS 2.5″ 70G, 3.0 G/s. Под брендом ServeRAID 8k IBM продаёт контроллер известной компании Adaptec. Данный контроллер поддерживает большое число режимов и ещё больше опций к каждому из них. Для того, что бы количественно оценить быстродействие каждого из режимов, я воспользовался пакетом bonnie++. Не смотря на то, что с момента тестирования прошло около двух лет, надеюсь, что полученные мною данные до сих пор актуальны для многих. Кроме непосредственно производительности различных режимов, полученные данные позволяют понять, как различные режимы соотносятся друг к другу.

Методика тестирования.

Мною были протестированы следующие режимы raid0, raid1, raid1e, raid5, raid6 и raid10. Т.к. Я не вижу смысла в выделение отдельного жесткого диска под систему, на мой взгляд, можно ограничиться разделом на общем RAID массиве. По этому все жёсткие диски были объединены в 1 массив. Для тестирования использовалась «чистая» ОС CentOS 5.2. Рабочий объём тестирования — 16 гигабайт. Для уменьшения влияния погрешностей, каждый тест был повторён 20 раз, результаты усреднены.

Интерпретация результатов.

Протестировать быстродействие контроллера в различных режимах для посимвольных чтения и записи, а так же последовательного создания файлов и их удаления — не получилось. Дело в том, что эти операции упёрлись в быстродействие процессора. Выглядит это примерно вот так:

Как мы видим из графика, скорость чтения не зависит от режима raid контроллера и примерно одинакова. Это объясняется тем, что узким местом при посимвольном чтении является процессор. Нагрузка на процессор, так же одинакова и высока.

Свою силу контроллер показывает на операциях блочного чтения и записи. RAID1 и RAID0 – две противоположности. RAID1 это зеркало из 8 жёстких дисках, его производительность сводится к производительности отдельного жёсткого диска с быстрым кешем перед ним. RAID0 это страйп из 8 дисков, и его производительность, грубо, в 8 раз больше производительности RAID1. Удивительно выглядит большая скорость записи в RAID0, вероятно это объясняется большими кешами жёстких дисков и RAID контроллера, а так же «чистой» системой. Из других интересных моментов, хочу отметить провал RAID6 по скорости записи. Это объясняется сложным математическим аппаратом данного режима – при записи контроллеру необходимо произвести большое количество вычислений.

Скорость поиска лишь подтверждает тройку лидеров. В целом, режимы RAID5, RAID10 и RAID1e выглядят наиболее подходящими для промышленного использования. Там где надёжность желательна, но не критична, ей можно пожертвовать в пользу объёма и быстродействия, выбрав RAID5. Если же вы работаете с данными, потерять которые нельзя (например Биллинг) – ваш выбор RAID10.

Недостатки данного обзора

К сожалению, во время испытаний, я забыл провести один несложный, но очень важный тест: тест на скорость восстановления жесткого диска в случае сбоя. Интуитивно, я предполагаю, что максимальную скорость восстановления обеспечат RAID1 и RAID10, а минимальную RAID5 и RAID6. Однако очень интересно было бы узнать во сколько раз отличаются эти времена.

• Необработанные результаты измерений
• Bonnie++
• Чип и Дейл спешат на помощь: Hardware 3ware RAID10 vs Linux Software RAID10
• Using Bonnie++ for filesystem performance benchmarking