Кабелната система е ключов инфраструктурен елемент в центровете за обработка на данни, от който зависи неговата надеждност и отказоустойчивост. При формиране на техническите изисквания към СКС в ЦОД е важно да се определят актуалните и бъдещите потребности на мрежовите приложения, както и да се отчетат основните тенденции и препоръки на браншовите стандарти.

Светът на центровете за обработка на данни е многообразен: от неголеми сървърни стаи до мегакомплекси на гиганти като Google, Facebook и Yandex. Предпочитаният при избора на преносна среда и архитектура на СКС за обекти от различен тип са различни: експертите разделят ЦОД системите на 4 групи по площад на зоните за монтаж на ИТ оборудване (white space)

Прочетете още: До 2020 свързаната кола ще плаща за паркинг и гориво

Графика 1. Еволюция на системите Ethernet, реализирани на базата на кабели с усукан меден чифт

Източник: Ethernet Alliance

Графика 2. Еволюция на системите Ethernet, реализирани на базата на многомодова оптика

Източник: Ethernet Alliance

Графика 3. Еволюция на системите Ethernet, реализирани на базата на едномодова оптика

Източник: Ethernet Alliance

От малки до големи

Съотношението на дела на медножилните и оптичните линии в кабелната инфраструктура на ЦОД зависи от неговата площ. В малки корпоративни ЦОД, където площта на ИТ зоната не надхвърля 100 м2, доминират кабели с медни усукани чифтове – за неголеми разстояния е напълно достатъчен обхватът на медното окабеляване. В големите корпоративни центрове за обработка на данни (над 300 м2), както и в търговски ЦОД многомодовата оптика заема 60 до 90% от всички линии, като постоянно се увеличава делът на линиите с влакна ОМ4. Осве това в такива обекти все по-често се използват кабели с предварително терминирани многовлакнести MPO съединители; тези технически решения позволяват оперативно и с минимални разходи да се премине към по-високи скорости: например от 10GbE на 40GbE и по-нататък към 100GbE.

В така наречените мегаЦОД - в частност огромните хипермащабируеми (Hyperscale) комплекси, на базата на които много интернет гиганти предоставят облачни услуги, доминират едномодови линии, като делът им може да достигне 100%. Употребата на едномодова техника е обусловено от редица причини, включително големите разстояния между ИТ модулите и залите, както и по-високите изисквания към пропусквателната способност на мрежата. Собствениците на мегаЦОД първи започнаха да прилагат технологиите 40GbE и 100GbE. Същевременно е добре да се знае, че някои от тях разработват собственни принципи за организиране на СКС, които бяха доразвити в рамките на инициирания от Facebook проект Open Compute Project (OCP).

Основни варианти за монтиране на комутатори в ЦОД

Преносна среда и функционални области

Изборът на преносна среда (мед или оптика) зависи и от предназначението на тази функционална област в центъра за данни, в която е разгърнат конкретният сегмент от СКС (вж. Фиг. 5). В зона Entrance Facility, където се разполага градският входен порт от мрежата на телеком оператора (в големите ЦОД в тази зона се намира оборудване на кампусни магистрали, свързващи различните сгради), се използва основно едномодова оптика — даже в малки центрове. В главната разпределителна област (Main Distribution Area), където е инсталиран главната оптична крос връзка и е концентрирано ядрото на мрежата (както на LAN, так и на SAN), се ползват всички видове преносни среди: и мед, и едномодова, и многомодова оптика. В зоната MDA медният усукан чифт все по-често се заменя с оптика и делът й постоянно расте. В тази област медножилното окабеляване остава само в сервизните мрежи - например в мрежи за управление през външен канал (out-of-band), в които изискванията към пропусквателната способност са доста по-ниски.

Фиг. 5. Избор на преносна среда в зависимост от предназначението на функционалните области на ЦОД

При хоризонталното окабеляване и в зоната на свързване на крайните устройства (шкафове със сървъри и друго ИТ оборудване) съотношението мед/оптика може да се характеризира като „50 на 50“. Въпреки че Категория 6A е де юре стандарт за медножилни СКС, в много проекти се полза Категория 6, чиито характеристики са достатъчно, ако не е нужна скорост над 1 Gbps. За пълноценна поддръжка на 10 Gbps „по мед“ на разстояния до 100 м е необходима Категория 6А. Следващата стъпка при повишаване на скоростта на свързване на високопроизводителни сървъри ще бъде преходът към технология 25GbE. Такава скорост, както и 40 Gbps, е постижима през кабели с усукан чифт. Съответните технологии 25GBase-T и 40GBase-T трябва да бъдат окончателно стандартизирани през тази година, но за тяхната их реализация е нужна кабелна система Категория 8, а максималният обсег е само 30 метра, вместо традиционните за „медта“ 100 метра.

Как да поставим комутаторите

По данни на BSRIA през 2016 г. комутаторите ToR ще заемат 44% дял от всички инсталации в корпоративни ЦОД и 66% в търговските (вж. фиг. 6). Широко разпространение в корпоративните ЦОД имат и централизираното активно мрежово оборудване (33%), докато в търговските центрове този вариант се среща по-рядко (18%). Сумарният дял на вариантите EoR и MoR е 16% при корпоративните центрове и 10% при търговските.

Предпочитанията на купувачите явно са насочени към архитектурата ToR, за което способства и популярността на новите топологии за локални мрежи като Spine-Leaf (наричат я и Fat-tree Fabric). Тази топология предвижда преход от традиционна 3-слойна схема (достъп — разпределение — ядро) към двуслойна: на ниво ядро (в MDA) се инсталират магистрални комутатори (spine), към които директно се свързват комутатори за достъп (leaf), разполагани във всеки шкаф максимално близо до крайното оборудване. Мрежа с топология Spine-Leaf може да бъде изградена и при поставяне на комутаторите за достъп в един шкаф от редицата (EoR/MoR). В сравнение с мрежите с традиционна топология мрежата Spine-Leaf съществено намалява времезакъснението на трафика, опростява и ускорява процедурите за разширение, т.е. добавянето на ново оборудване. Тази топология намира отражение и в кабелните стандарти, в частност тя ще бъде разглеждана в бъдещата редакция на стандарта TIA 942.

Що се отнася до перспективите за използване на високоскоростни технологии (25 и 40 Gbps) на базата не медни усукани чифтове Категория 8, то те са предназначени предимно за хардуерната част на мрежата, изградена с архитектури ToR, EoR и MoR. При EoR разстоянието от сървъра до комутаторите не надхвърля дължината на редицата шкафове, а при варианта MoR — половин дължина на редицата, което попада в споменатото ограничение от 30 метра. Универсални кабелни системи Категория 8 могат ефективно да заменят кабелите за директно свързване (Direct-Attach Cable, DAC), които са скъпи и са доста нестандартни (всеки производител пуска свои модели).

Развитие на оптиката

На базата на многомодова оптика успешно се развиват не само локални Ethernet мрежи, но и друга неотменима част от мрежовата инфраструктура в много центрове— мрежите за съхранение на данни SAN на базата на Fibre Channel. Все по-голямо разпространение получава технология за паралелно предаване на трафика по няколко влакна, реализирана чрез предварително терминирани системи, снабдени с многовлакнести (групови) конектори MPO. Така например 24-влакнест тракт MPO е подходящ за създаване на 12 дуплексни линии 10GbE. На тази база (чрез проста замяна на по-евтини крайни компоненти) може да се реализира преход на 3 линии 40GbE, а по-нататък, при необходимост - на 100-гигабитов канал. По този начин се осигурява проста миграция на всички високоскоростни приложения с максимално запазване на направените инвестиции.

Въпреки преимуществата на многовлакнесите системи на базата на MPO те имат един сериозен недостатък — голям брой необходими влакна. В ЦОД увеличаването на броя влакна е нежелателно, тъй като води до допълнителни разходи, включително за заделяне на скъпоструващо пространство в кабелните канали. Скоростта на пренос на трафика може да се повиши и с други способи: чрез организиране на няколко канала на базата на едно влакно. Това е добре известната в телекомуникациите технология за спектрално уплътняване (WDM).

Използването на WDM обаче в най-популярните многомодови влакна OM3 и OM4 е невъзможно, тъй като тези влакна са оптимизирани за една дължина на вълната (850 нм). Те осигуряват широка пропусквателна лента (коефициент на широколентовост) за 850 нм, но при отклонение от тази вълнова дължина лентата се стеснява много рязко и затова тези влакна не са подходящи за пренос на няколко потока в режим WDM. За реализация на нескъпо предаване в режим WDM бе разработено ново влакно, по което ефективно да се предават сигнали и на други вълнови дължини. За осигуряване на ниска себестойност на системите WDM е необходимо номинално разделение между спектралните канали около 30 нм. Съответно за поддръжка на 4 спектрални потока (вж. Фиг. 7) е нужен диапазон (с отчитане на защитната лента) 100 нм — от 850 до 950 нм.

Фиг. 7. Система WDM с мултиплексиране на 4 спектрални канала

През октомври 2014 г. няколко производители на влакна и приемопредаватрели съвместно с доставчици на системни решения инициираха в Асоциацията TIA (Telecommunications Industry Association) проект за разработка на стандарта за влакно, което би предоставяло пропусквателна лента ОМ4 в целия посочен по-горе диапазон. Такова широколентово многомодово влакно (WideBand MultiMode Fiber, WBMMF) вече има и се ползва в търговски проекти. То осигурява една и съща производителност при дължина на вълната 850 нм, както и влакното ОМ4, затова е съвместимо с всички съществуващи приложения. Очевидно технологията WBMMF дава възможност за 4-кратно увеличаване скоростта на преноса на данни за даден брой влакна или съответното намаляване на броя на влакната, нужни за поддръжка на определена скорост (например 100 Gbps по един чифт влакна). Употребата на тази технология ще позволи по-ефективно реализиране на комуникационни канали с 40, 50 и 100 Gbps, но и достигане на по-високи скорости като 800 и 1600 Gbps.

За високоскоростни приложения (40 и 100 Gbps) ограничението за многомодова оптика е 100 до 150 метра. Това е достатъчно за мрежите в повечето типови корпоративни ЦОД, но в мегацентровете това разстояние често се оказва малко. Тогава се преминава към едномодова техника. Главният й недостатък е високата цена, макар че не става дума за кабелната система, а за за активното оборудване (скъпи са трансиверите). През последните няколко години редица производители и браншови организации се постараха да разработят по-евтини решения.

Facebook например разработи за своите ЦОД облекчен едномодов вариант на технологията 100GbE чрез намаляване на обхвата на трансиверите от 10 км на едва 500 метра (а това е напълно достатъчно за типичните приложения в ЦОД). В резултат бе създадена технологията 100G CWDM4 с много по-евтини трансивери. Но трябва да се има предвид, че тази и други подобни технологии не са стандартизирани от международни организации и затова не се препоръчват за мащабно използване в типови корпоративни центрове за данни.

Мрежовите технологии за ЦОД бурно се развиват. С този процес е свързано и развитието на решения в областта на кабелната инфраструктура, от която зависят ключови параметри на съществуващите, както и възможности за поддръжка на нови високоскоростни приложения. В центровете за данни се прилага широко многообразие от медни усукани чифтове и оптични кабелни системи, като очевидната тенденция е увеличаване на дела на оптичните. При избора на партньор за създаване и модернизация на кабелна инфраструктура е важно да се провери дали той има нужната експертиза за основните типове кабелни системи, дали е наясно с развитието на мрежите и се грижи за поддръжката на бъдещи приложения за максимална защита на направените инвестиции.