Собрал недавно сервер 1U c 4xSATA HotSwap bays. Заказал GT20 B5372 Tyan (GT20 B5372G20V4H-RS) c блоком питания 650W (TDPS-650CBC) c двух процессорной материнской платой Dual LGA771 Xeon/ FB-DIMM/ SATA2
В коробке с аксессуарами оказались reseiser-ы для PCI-X и PCI-Express. А я купил дополнительно. Благо продавец любезно согласился принять его обратно.
Процессор CPU Xeon E5355 BOX active. В продаже оказался только с активным кулером.
К нему были куплены и установлены в карманы четыре SATA II диска SEAGATE Barracuda ES.2 750GB, SATA II NCQ 32MB cache, 7200rpm, ST3750330NS. Просто бездумно вставить диски в карманы я не решился. Их печатные платы находятся настолько близко к нижней части кармана, которая в свою очередь очень тонкая и гибкая, что вполне реальна деформация металла, либо термическая, либо механическая и короткое замыкание на элементы платы жёсткого диска. От беды подальше, я заклеил прозрачным скотчем поверхность нижней крышки кармана со стороны платы HDD диска.
Куплен четырёх-канальный RAID (3Ware/AMCC Storage 9650SE-4LPML-SGL) и multilan кабель (3ware/AMCC Multilane Breakout Cable .6m CBL-SFF8087OCF-06M) для подключения 4-х жестких SATA дисков. И в комплект к контроллеру куплен батарейный модуль (3Ware/AMCC Storage BBU-MODULE-03)
4 модуля памяти KVR667D2D4F5K2/8G.
Купленый SMDC модуль (SMDC HITACHI RENESAS IPMI 2.0 WIN+LINUX MGMT S/W), по иронии судьбы никак не задумывался производителем для установки вместе с PCI-X или PCI-Express картой. Он по их задумке должен был вставляться в разъём Reiser карты, не соединяясь с этой картой ни одним электрическим контактом, и использовал PCI как механический захват. В корпусе было достаточно места для его установки но почему-то производитель решил сделать именно так.
SMDC имела в комплекте два типа кабелей: два для подключения в маму и два для rs-232. Установки кабеля под rs-232 удалось избежать. Конструкторы позаботились и сделали два варианта подключения ком-порта. Один: через COM-B шнурком. Второй: через COM-A без шнурка. Джамперами можно выбрать работу только через широкий кабель. И в маме тоже переключить. Супер!
После тщательного исследования и анализа корпуса я сделал заключение, что поставить SMDC IPMI в районе дисководной панели над одним из HDD дисков – нереально сразу по двум причинам.
1) высота платы разъёмов и перемычек не даёт возможности установить её туда без замыкаеия.
2) в эти самые разъемы ничего нельзя будет вставить.
Если бы сама SMDC была по-другому скомпонована и разъёмы выходили в сторону то можно было бы установить на место дисковода. А так оставалось только три варианта:
1) район между DIMM и Reiser, но крепить там не к чему;
2) район SATA контроллера на мамке (где-то под RAID контроллером);
3) район второго процессора (сам второй процессор при этом уже нельзя было бы поставить)
Самое красивое и доступное место из первого варианта. Мне оставалось только придумать, как его там крепить и как протянуть кабель. Кабель широкий и красивые изгибы в ограниченном пространстве не получатся. Решил располосовать кабель на 4 части и заузить. Разъём и кабель был 40 pin, но к несчастью с шагом 1 мм. Заменить на IDE кабель не удалось бы. Но на удачу с SMDC модулем шло два разных кабеля. Один зауженый но короткий и с перевёрнутым расположением разъёмов, по отношению как требовалось для нового места установки. И широкий кабель, который как раз было удобно переделать. Немного было неприятно, что на расстоянии 1/3 или 2/3 от концов кабеля висел средний разъём который не давал возможность резать кабель как раз в том месте где требовалась его минимальная ширина. Разъём я аккуратно снял, чтобы жилы не порезались и не повылазили через отверстия в изоляции. Кабель по большей части оставил как он был широким и по проим размашлениям, располагаясь ребром к набегающему потоку, он не сильно влиял на него, а лишь стабилизировал бы. разрезаные части аккуратно завернул, и обернул качественной тканевой изолентой, и сверху покрыл суперклейким скотчем, чтобы она случано не размоталась, в потоках горячего воздуха. Кабель оказался даже немножко длинноват, так что пришлось его немножко согнуть. Вот как это в целом выглядело:
На кабель, в месте, где он будет проходить в районе торчащих разъёмов SMDC карты, я приклеил крепкий армированный скотч, чтобы случайно не истёрлась изоляция и небыло короткого замыкания.
Можно было бы прикрепить к крышке корпуса, но это очень осложнило бы сбрку разборку сервера. Идеальным было прикрепить SMDC к средней стойке корпуса, куда крепится reseiser. Ничего готового не нашлось для того чтобы закрепить туда SMDC. Пришлось изготовить кронштейн для крепления SMDC к средней стойке корпуса, с обратной стороны крепления reseiser карты. Угольник алюминиевый 15х15х1, надфиля, напильник, дрель со свёрлами, чертёж, и через полтора часа у меня в руках прелестный кронштейн.
Защитная плёнка взята от обычной розничной упаковки Flash карточки. Прозрачная, непроводящая, жесткая.
Чтобы выводы конденсатора, торчащие из платы не коротнули никуда в планке пришлось вырезать под них место. А в плёнке, при помощи горячего воздуха идущего от зажигалки и колпачка от ручки, выдавить пузырь. Для того чтобы упомянутые выводы не прокололи плёнку. Сами выводы я максимально укоротил кусачками.
Кронштейн нужно было прикрепить к стойке. Там были запрессованы стойки в которых были сквозные отверстия с резьбой в которые завинчивались болты для крепления reseiser. К сожалению мне не удалось найти длинные болтики с дюймовой резьбой, чтобы прикрутив reseiser болты вышни насквозь и к ним можно было бы прикрутить кронштейн прижав гайкой через шайбу. Нет – так нет. Взял короткие винты, укоротил их и подточил так чтобы они, закрученные встречно, почти сошлись внутри резьбовой стойки где-то посредине (она достаточно длинная), получилось неплохо. Конструкция оказалась настолько жёсткой, что крепления платы за третью точку, которая показана на эскизе, не понадобилось. Она очень надёжно держится винтами через два отверстия, дополнительную устойчивость придаёт то что плата SMDC прикреплена с небольшим припуском за угольник и прижата к нему по длинне и довольно на большой площади. Это повышает вибрационную устойчивость конструкции. Установка SMDC не очень сильно повлияла на распределение потока воздуха внутри корпуса. Большее влияние на поток оказал кабель, за счёт того, что он стал толще. Но приблизительная оценка скорости вылета воздуха (при помощи располосованного листочка бумаги, на угол загибания полосок, и картины потоков вдоль всей задней стенки) с SMDC и без него показала, что визуально изменений не заметно. Работу по установке SMDC можно было считать успешной. Вот как это выглядело:
После установки кронштейна с платой я проверил зазоры между SMDC модулем и элементами его крепления и угольником, который нижней своей гранью показывал, как будет лежать верхняя крышка сервера. Зазоры были нормальные порядка милиметра в самых узких местах. Изоляция платы вместе с жёсткой верхней крышкой, которая в средней своей части плотно ложилась на поверхность средней планки корпуса, придавали уверенность в том, что короткого замыкания не будет.
После установки операционной системы (CentOS 5) и настройки мониторинга стало ясно, что датчики врут.
CPU0 Fan | 0 RPM | cr
CPU1 Fan | 0 RPM | cr
Front Fan1 | 0 RPM | cr
Front Fan2 | 0 RPM | cr
FAN 0x35 | 7680 RPM | ok
FAN 0x37 | 10920 RPM | ok
FAN 0x42 | 11400 RPM | ok
FAN 0x48 | 0 RPM | cr
FAN 0x49 | 0 RPM | cr
FAN 0x57 | 12180 RPM | ok
FAN 0x58 | 12480 RPM | ok
FAN 0x5C | 14760 RPM | ok
FAN 0x5D | 7680 RPM | ok
FAN 0x5F | 7680 RPM | ok
FAN 0x61 | 300 RPM | cr
FAN 0x62 | 0 RPM | cr
FAN 0x65 | 15300 RPM | cr
BIOS | Not Readable | ns
Первым делом был прошит самый последний BIOS с сайта производителя. Перепрошивка модуля SMDC новыми версиями с сайта не дала нужного результата. Чтобы отловить кто врёт, датчики или кулера, было устроено онлайновое тестирование кулеров. Онлайновое значит – на ходу. Как с растормаживанием кулеров из застопоренного состояния: – останавливать крыльчатку вращающуюся со скоростью 10 тыс оборотов занятие малоприятное. Так и включение и выключение провода кулера на ходу. Сначала выясняли какие разъёмы на плате каким кулерам и датчикам в SMDC соответствуют. А потом одним кулером, который показывал правду – прошлись по всем разъёмам. После продолжительной интенсивной переписки со службой поддержки, вопрос был решён. Нужно отдать должное китайцам, которые быстро реагировали и в конце концов выпустили правильное обновление. Часть проблемы была в том, что один из датчиков молчал и пришлось по гарантии заменить материнскую плату. Часть в путанице с версиями прошивок на сайте. Теперь всё в порядке.
CPU0 Vcc | 1.19 Volts | ok
CPU1 Vcc | disabled | ns
+1.5V ESB | 1.46 Volts | ok
+1.2V Vtt | 1.20 Volts | ok
+3.3V | 3.20 Volts | ok
+5V | 4.97 Volts | ok
+12V | 11.97 Volts | ok
VBat | 3.03 Volts | ok
+5V STB | 5.10 Volts | ok
+3.3V STB | 3.20 Volts | ok
CPU0 Below Tmax | 53 degrees C | ok
CPU1 Below Tmax | disabled | ns
Ambient temp1 | 25 degrees C | ok
Ambient temp2 | 20 degrees C | ok
Fan1 (J6.2) | 10560 RPM | ok
Fan2 (J6.5) | 5760 RPM | ok
Fan3 (J10.2) | 10200 RPM | ok
Fan4 (J10.5) | 6720 RPM | ok
Fan5 (J11.2) | 9960 RPM | ok
Fan6 (J11.5) | 6840 RPM | ok
Fan7 (J9.2) | 10560 RPM | ok
Fan8 (J9.5) | 6720 RPM | ok
Fan9 (J5.2) | 11760 RPM | ok
BIOS | Not Readable | ns
Аналогичная ситуация сложилась и с IPMI. Также пришлось перепрошивать. С первого раза не пошло. Остановился вот на этом варианте.
ftp://ftp.tech2.de/SMDC/S5372/
Что касается Eeupdate.exe 82551_K1.EEP нужно запустить
ftp://ftp.tech2.de/SMDC/S5372/NIC.bat
в файле ftp://ftp.tech2.de/SMDC/S5372/FLOP5372.TXT – ошибка, нужно –
eeupdate.exe /nic=3 /D=82551_K1.eep
Но в bat-нике – написано верно.
Для выжигания диска перепрошивки имеется инструкция.
To make a bootable CD for flashing bios:
You will need a program similiar to NERO to write to a CD.
Example with Nero 6:
1. Open Nero. Klick CD -> ‘CD-ROM Boot’.
2. Select Image file and use image file TYANBOOT.IMA. (see NEROSTART.JPG).
3. Click ‘New’. The Nero Screen opens.3. Add all the files in the bios flash zip file to the CD. (see NEROBURN.JPG)
4. Create the CD with Recorder -> Burn Compilation.
Use this CD to boot your computer.
You will automatically be on the CD-ROM when the boot is complete.
Enter ‘flash’ at the DOS prompt.
If you have any problems, please contact TYAN support.
Продолжение ещё ожидается…
С разъёмом CN5 так и не разобрались. Китайцы за работой над прошивками под сервер, как-то всё игнорировали этот вопрос. А руки так и чешутся вставить этот проводок из блока питания в мамку. А вдруг это тот самый желаемый мониторинг либо температуры в блоке питания, либо скорости вращения кулера…
После сборки и настройки сервера я отвёз его в дата центр. И там с трудом нашли шкаф в котором направляющие рамы стояли на такой ширине, чтобы можно было хоть как-то краешком прикрутить салазки сервера. Но нашли и прикрутили. Стоит и работает.