Центрове За Данни

Конвергенция в мрежите… и в умовете

Network World

Технологията Ethernet намира все повече нови приложения. Например с решенията на AVB вече и професионалните аудиовизуални системи преминават към бюджетни стандартни Ethernet мрежи. Но не всичко става просто и гладко. Към доста отдавна появилите се решения FCoE много специалисти продължават да се отнасят подозрително. Освен това в големите ЦОД често съществуват даже не две, а три различни мрежови инфраструктури: Ethernet, Fibre Channel и InfiniBand. Какви са причините за това положение и какви са перспективите за преход към единна конвергентна инфраструктура?

Основният проблем за ИТ специалистите, занимаващи се с развитие на мрежи за ЦОД, се състои в необходимостта от поддръжка на няколко инфраструктури. Става дума за паралелно съществуващи мрежи Ethernet (локална мрежа), Fibre Channel (SAN), а понякога и InfiniBand (изчислителен клъстер). Почти 40% от анкетираните в допитване на руските колеги от Откритие системи по време на организирана от тях конференция, са признали за този проблем. При това само четвърт от запираните, т.е. почти два пъти по-малко, са заявили намерение да осъществят конвергенция на локалните мрежи и SAN чрез използване на технологиите FCoE и Data Centre Bridging (DCB).

FCoE съзря …

За да претендира за ролята на универсален транспорт и да се използва за преноса на трафик FC (FСoE), технологията Ethernet трябва да гарантира доставка на блокове FC/SCSI без загуби (lossless), тъй като този тип трафик не „понася“ дори минималните загуби, които в класическите Ethernet мрежи нерядко възникват в случай на претоварване. За тези механизми за стандартизирани работни групи е необходим IEEE 802.1 DCB, набор от спецификации, който представлява основата на конвергентните Ethernet решения за ЦОД.

Представените решения на пазара, съставящи екосистемата FCoE (комутатори, адаптери, дискови масиви и т.н.), са вече второ или трето поколение продукти от дадения тип — това са „зрели“, готови за масово внедряване изделия. Към основните предимства на FCoE са намаляване на броя съединения (преди всичко на ниво достъп), унифициране на транспорта за локални мрежи и SAN, ускоряване на достъпа до данни в SAN мрежи благодарение на по-високите скорости на Ethernet.

Намаляването на броя портове на комутаторите, сървърните адаптери, трансиверите и кабелите води до значително понижаване на разходите за изграждане и развитие на мрежи. А унифицирането на транспорта дава възможност да се използват еднотипни комутатори, трансивери и кабели, включително в онези случаи, в които архитектурни или експлоатационни съображения диктуват необходимост от употреба на отделни (заделени) съединения за локална мрежа и за SAN. В резултат се намалява броят и номенклатурата на използваните устройства и се появява възможност за гъвкаво преразпределяне на портове между различните системи или добавяне на конвергентна функционалност в мрежата, която първоначално се е изграждала изключително като локална мрежа.

Що се отнася до скоростите на FCoE, комутаторът Nexus 6004 например разполага с тази технология и поддържа скорости не само 10G, но и 40G. Това е почти три пъти повече от производителността на най-високоскоростните интерфейси Fibre Channel (16G FC), - обясняват от Cisco. — Очакваме в бъдеще в комутаторите Cisco да се появят портове 100GbE с поддръжка на FcoE, а за да достигне тази „летва“, традиционният Fibre Channel ще се нуждае от много години. (В FC за разлика от Ethernet се отчита не полезната, а пълната скорост на битовия поток, затова с отчитане на административните разходи за 16G FC със схема на кодиране 64b/66b, полезната скорост е само 80% от номиналната 16 Gbps.)

Достатъчно зряла за ползване в различни по мащаби ЦОД е технологията FCoE и според други специалисти от системните интегратори. Основното й предимство е възможността за изграждане на големи хетерогенни мрежи без прекомерно усложняване на инфраструктурата. По-рано създаването за отделни канали за предаване на данни чрез отделни мрежови адаптери за FC и за Ethernet означаваха рязко нарастване на разходите за цялата инфраструктура в ЦОД: за покупка на мрежово оборудване, разширяване на кабелното „стопанство“, повишаване мощността на инженерните системи и т.н. Появата на решения FCoE позволи да се погледне по различен начин на архитектурата за изграждане на мрежовия сегмент в ЦОД, в резултат на което стана възможно поне двойното свиване на разходите за кабели и оборудване.

Много производители поеха по пътя на вграждане на FCoE в свои интегрирани решения. Днес често се случва купувачът да получи заедно с шаси за блейд сървъри оборудване с поддръжка на FCoE, макар че първоначално не е предвиждал внедряване на тази технология. В резултат за използване на FCoE е достатъчно да се купи само съответната лицензия.

… Бариерите остават

Към основните препятствия пред внедряването на FCoE повечето експерти отнасят преди всичко организационните особености на ИТ поделенията на купувачите: по принцип локалната мрежа и SAN инфраструктурата се създават и експлоатират от различни групи, между които съществуват нелеки отношения и организационни бариери. И двата екипа, особено в големи организации, обикновено не са заинтересовани от внедряване на решения, разширяващи зоната на техните отговорности, особено ако това налага изменения на експлоатацията на инфраструктурата и установените допълнителни взаимовръзки с другия екип. Това положение е една от причините SAN транспортът (FCoE) в комутаторите от директориен клас Nexus 7000 винаги да бъдат изнесени в отделен логически комутатор (VDC), така че да се обезпечи пълна изолация на експлоатационните зони на LAN и SAN в рамките на едно устройство.

Организационните бариери се посочват и от Dell. Технологията Fcе отделен от Ethernet „паралелен“ свят със свои принципи за изграждане на мрежи и тяхното функциониране, свой инструментариум за мониторинг, свои процедури за обслужване. До появата на конвергентни решения тези светове практически не се пресичаха. Затова в проектите, свързани с конвергенция на мрежовата инфраструктура, е необходимо да отчитат интересите на администраторите от различните отдели (мрежовия и системи за съхранение на данни) и да разграничават зони за отговорност между тях, което в случая с конвергентните мрежи не винаги е лесно да се направи. И ако технологичните решения FCoE вече са съзрели и позволяват да се обединят тези две мрежи, то светоусещането на специалистите, проектиращи и обслужващи тези мрежи, все още има нужда от конвергенция.

Липсата на грамотни технически специалисти, способни да настройват FcoE, е основна пречка. Внедряването на тази технология изисква наличие на определени знания, т.е. отделяне на време и финансови средства за обучение, а това често е в разрез с интересите на ръководството на компанията. Важно е и това, че администраторите на SAN и шефовете на бизнеса говорят на различни езици: първите не могат грамотно да аргументират изгодата от внедряването, а вторите не са готови да плащат за скъпо оборудвани, необходимостта от което често не е обоснована добре. Ориентирането към облака и облачните услуги забележимо свива списъка с потенциални потребители на FCoE.

Очевидно конвергенцията на инфраструктурата на ЦОД предполага по-тясно взаимодействие на поделенията, отговарящи за инфраструктурата за съхранение на данни и мрежова инфраструктура, а в идеалния случай сливането им. Процедурата за взаимодействие на поделенията при някои купувачи е доста формализирана и сложна, затова без помощта на ИТ шефовете, имащи административни пълномощия за въздействие, внедряването може да забави.

За проблема с човешкия фактора говорят и други експерти. Администратор на традиционна мрежа за съхранение на данни на базата на FC винаги ясно разбира, къде се намира SAN A, а къде - SAN B, по какви маршрути се пренася трафикът от сървърите към системите за съхранение и т.н. В конвергентната фабрика се размиват обичайните рамки на администриране и освен това се натрупват допълнителни ограничения на топологията: например трафикът FCoE трябва да се предава чрез заделен физически порт извън групата MLAG.

При прехода към единна мрежова инфраструктура на компанията всички „яйца се слагат в една кошница и това обстоятелство може да възпрепятства внедряването на FCoE. Мрежата FC в определено отношение е по-критична от Ethernet. В нея пакетите не само не трябва да се губят, но и не трябва да има сериозно закъснение при комутацията на трафика. Затова много купувачи предпочитат да платят за две несвързани помежду си мрежи, което е малко по-консервативен подход от риска от загуба на данни, твърдят от Extreme Networks.

Чрез намаляване на броя комутатори, мрежовите карти в сървърите и кабелинте връзки конвергентните решения трябва да са по-евтини, но всъщност не винаги става така. Според Extreme Networks при определяне на цената на цялостното решение FCoE е необходимо да се отчетат разходите не само за мрежова инфраструктура, реализираща функцията DCB, но и за необходимите програмни лицензи за нея. На практика се оказва, че за неголеми ЦОД традиционните решения на базата на отделна LAN и заделени комутатори Fibre Channel за SAN излизат по-евтино от конвергентните.

Конвергенцията се реализира само при високоскоростни (10G) канали, а самата функционалност, по правило се лицензира естествено не безплатно. Може да се окаже, че на купувача са достатъчни гигабитова LAN и отделна SAN за относително неголям брой сървъри, а такова решение ще е по-евтино от конвергентното.

За ЦОД е характерно разполагането на всички бизнес критични ресурси в локалните площадки, това може да са отделни сгради или група близко разположени сгради. При това не се поставя задачата за преноса на трафика между сървърите и системите за съхранение на големи разстояния и, съответно, конкуренцията между технологиите FC и FCoE не е толкова актуална, смятат от HP. - Подобна дискусия има смисъл с развитие на облачни инфраструктури и по-нататъшно усъвършенстване на технологията FCoE (в частта скорост на преноса на данни и стандартизация на преноса на трафик FCoE по многовъзлови линии — multihop FCoE), както и за намаляване стойността на притежание на технологията FCoE.

Сценарии за преход към FCOE

 На практика технологията FCoE най-често се използва за конвергенция на ниво достъп. Купувачите, избрали комплексно (end-to-end) решение FCoE [когато всички компонентите от мрежата, включително сървъри, комутатори и системи за съхранение, работят по FCoE], са по-малко от онези, които използват конвергенция на ниво вход-извод от сървърите. „Най-често от тях се интересуват компании, които изграждат големи ЦОД от нулата, казват от Extreme Networks. - Повечето купувачи с големи мрежи за съхранение на данни, използват комутатори Fibre Channel, на първо място за да привлекат конвергенцията на ниво достъп, когато сървъри се свързват към съществуващата фабрика FC чрез конвергентни комутатори на ниво достъп. Практически всички адаптери 10GbE, които днес се поставят в сървъри, са конвергентни“.

Експертите препоръчват да се започне преход към конвергентна инфраструктура FCoE именно с включване на сървъри към комутатори за достъп и интеграция със съществуваща вече фабрика Fibre Channel. „В ситуация, типична за нашите купувачи, им препоръчваме постепенно да се избавят от използване на FC на ниво достъп, а като първа стъпка да ползват за свързване сървъри на конвергентни решения ToR [Top of Rack — комутатори, инсталирани в горната част на всяка комуникационна стойка], които, на свой ред, се свързват към съществуващото ядро на SAN по FC, споделят от Extreme Networks.

Специалистите от HP предлагат няколко варианта на внедряване на FCoE. Най-простият способ е свързване на сървърна ферма (virtualized blade servers) към мрежите за предаване и съхранение на данни, базиран на употребата на конвергентни мрежови адаптери от фамилията HP Virtual Connect FlexFabric. Например 24-портовият модул осигурява достъп на сървърната ферма до различни мрежи през 10 Gbps канал без каквито и да е преработки на съществуващите мрежи (вж. Фигура 1).

 

Фигура 1. Свързване на сървърна ферма към мрежа за пренос и мрежа за съхранение на данни с приложение на конвергентни мрежови адаптери HP Virtual Connect FlexFabric.

Вариантът с използване на FCoE на ниво достъп (вж. Фигура 2) позволява максимално да се защитят инвестициите във вече съществуваща инфраструктура, включително за инсталираните сървъри с адаптери HBA и мрежови карти NIC. В същото време при разгръщане на новите сървъри с конвергентни адаптери CNA може да се икономиса оборудване, а в бъдеще да се свият и оперативните разходи (по-малко електроенергия, топлоотделяне, по-просто управление и др.).



Конвергенция в мрежите… и в умовете

© Network World, Networkworld.bg


Фигура 2. Вариант с внедряване на FCoE на ниво достъп

По-мащабно внедряване предполага използване на комутатори с поддръжка на FCoE от различно ниво, включително устройство за ядрото на мрежата (вж. Фигура 3). В този случай допълнително се предлага да се задейства комутатор, който наред с FCoE позволява да се свържат по обичайните FC канали. Подобно решение обезпечава всичко необходимо за интеграция на традиционни системи, както и максимална гъвкавост за по-нататъшно развитие. Следва да се отбележи, че HP препоръчва да се използват комутатори, поддържащи протокол TRILL.



Конвергенция в мрежите… и в умовете

© Network World, Networkworld.bg


Фигура 3. Вариант с комплексно (end-to-end) внедряване FCoE и интеграция в съществуваща FC мрежа

Вариант с iSCSI

Говорейки за перспективите за прехода в ЦОД към единна мрежова Ethernet инфраструктура, не трябва да се забравя и за друга технология за пренос на трафика от системите за съхранение по Ethernet (по-точно по TCP/IP) — iSCSI. Както показва споменатата анкета, ако технологията Fibre Channel използват 67% от респондентите, то iSCSI е при 36% (вж. Фигура 4). По-ниската цена прави iSCSI привлекателно решение за слабонатоварени и некритични сървъри, за които е необходим блоков достъп.



Конвергенция в мрежите… и в умовете

© Network World, Networkworld.bg


Фигура 4. Резултати от отговорите на въпроса „Какви технологии се ползват за свързване на системи за съхранение?“, получени от анкета през септември 2012 г.

Реализацията на iSCSI, за разлика от FCoE, не изисква допълнителни инвестиции в съществуваща инфраструктура на ЦОД, тъй като се използват обикновени комутатори Ethernet, докато за внедряване на FCoE е нужна мрежова инфраструктура Lossless Ethernet. Ако основната област на употреба на FCoE са големите ЦОД, то iSCSI е незаменима за изграждане на инфраструктура за неголеми центрове за обработка на данни в предприятия със среден размер, за които скоростта на обмен на данните не е толкова критична, колкото цената на реализацията.

Според Extreme Networks, технологията iSCSI е идеален вариант за неголеми компании, в които няма инфраструктура FC и специалисти с опит в нейната експлоатация, тъй като тя предполага употреба на достъпни комутатори, прости процедури за настройка и обслужване на мрежата. При традиционния подход обикновено се монтират отделни комутатори за iSCSI SAN и LAN, a благодарение на поддръжката на технология DCB и нейното разширение за iSCSI се появи възможност да се създаде една обща мрежа. Например Dell предлага комплексното решение на базата на системата за съхранение Dell EqualLogic, комутатори Dell Networking и сървъри Dell PowerEdge, като всички компоненти поддържат технологията iSCSI DCB. Решението позволява да се откажем от монтиране на отделени комутатори за iSCSI (икономисват се средства) благодарение на използването на единни конвергентни комутатори 10GbE, които поддържат трафик LAN и iSCSI, осигурявайки пренос на трафик iSCSI без загуби.

Технологията iSCSI се препоръчва и при организиране на отдалечени хранилища на данни и репликация на информация между географски разпределени ЦОД чрез обикновени IP мрежи, като в този случай не се налага да се отделят комуникационни канали между ЦОД.

Тъй като iSCSI работи над протоколите TCP/IP (вж. Фигура 5), функционалните особености на споменатите протоколи ограничават възможностите за изградената на тази база мрежа за съхранение на данни. Наличието на стек TCP/IP неизбежно оказва влияние върху производителността на мрежата, повишава натоварването върху централния процесор. Затова iSCSI се ползва по-добре там, където изискванията към пропусквателната способност не са критични. Където компромиси са недопустими, по-добре да се ориентирате към FC и/или FCoE.


Конвергенция в мрежите… и в умовете

© Network World, Networkworld.bg


Фигура 5. Сравнение между iSCSI и FCoE

Немалко специалисти смятат, че при преноса на трафик от системи за съхранени в Ethernet мрежи по-голяма популярност ще имат технологии, в които се използва „чист“ Ethernet, — като iSCSI и NFS. Днес редица системи за съхранение на базата на технологии iSCSI и NFS показват с 30% по-голяма пропусквателна способност от конкуренти, използващи FC и FCoE. Вероятно преходът от системи за съхранение към Ethernet ще стане благодарение на развитието на технологията iSCSI и NFS и постепенно изместване на технологиите FC и FCoE. Но пътят е дълъг, най-вече заради критичността на данните, предавани чрез FC мрежа.

IBoE като нов етап на конвергенцията

 В допълнение към Ethernet и FC, в ЦОД, особено в големите, се използва още една мрежова технология InfiniBand - основно за организиране на високопроизводителни клъстери (HPC). Какви са перспективите за пренос на трафик InfiniBand в Ethernet мрежи? Макар че официален термин IBoE не съществува, съответни решения има и те се наричат RDMA over Ethernet (RoE). Спецификация за тази технология бе приета от организацията InfiniBand Trade Association (IBTA) още през 2010 г. Много експерти предполагат, че названието IBoE по-точно би отразявало смисъла на тази технология, но IBTA, видимо по политически съображения, въведе друг термин.

Отдалеченият директен достъп до паметта - така се разшифрова названието на технологията RDMA - позволява предаване на данни между сървъри директно от паметта на едното приложение в паметта на другото без участието на централния процесор. Решенията RoE (ползва и терминът RoCE — RDMA over Converged Ethernet), обезпечава предаване на данни с много малко времезакъснение в Ethernet мрежа без загуби.

Технологията RoCE е реализирана от компанията Mellanox Technologies в адаптерите ConnectX-2 EN, което е отговорът на производителя на системи InfiniBand на ръста на „популярността на конвергенцията на мрежовите инфраструктури на базата на надеждна технология Ethernet“. Все пак от компанията признават, че IBoE има доста специфична реализация и не може да замени IB при решаване на класически задачи, например при организиране на междувъзлово взаимодействие във високопроизводителен клъстер.

Адаптери Mellanox с поддръжка на IBoE/RoCE използват и други производители. Cisco предлага комплексно решение на базата на сървъри Cisco UCS, комутатори Cisco Nexus и адаптери Mellanox ConnectX-2 EN на купувачи, работещи в сферата на алгоритмичните механизми за финансови пазари.

Ако IBoE/RoCE е някъв аналог на FCoE в света на системите HPC, то аналог на iSCSI е технологията iWARP. IBoE/RoCE и iWARP решават близки задачи, но се опират на различни подходи и допускания относно мрежовата инфраструктура. Плюс за iWARP е липсата на специални изисквания към инфраструктурата, а предимство за RoCE е използването на потенциала на DCB за предотвратяване на загуба на съобщения (и свързаната с това необходимост от повторно предаване на данни), както и запазване на логиката на транспортно и мрежово ниво на InfiniBand.

Тестовете показват, че ако iWARP е два пъти по-бърза от класическите системи TCP/IP, то RoCE е толкова по-бърза от iWARP (вж. Таблица 1). IBoE се опира на проверен транспорт InfiniBand и е прозрачен за вече написан софтуер. — iWARP се базира на транспорт TCP, със свойствените му ограничения, и за употребата се налага адаптиран на програмните продукти HPC.  

Според Extreme, InfiniBand няма да се наложи, а подобно на много други технологии, за които Ethernet става транспорт, InfiniBand ще започне полека да губи и без това не особено силните си позиции. Сред недостатъците на InfiniBand специалистите от Extreme отбелязват по-високите капиталови (CAPEX) и експлоатационни (OPEX) разходи за изграждане и съдържание на съответната инфраструктура. CAPEX за InfiniBand се състои от стойността на самата инфраструктура InfiniBand, стойността на комутатора Ethernet за управление, както и на шлюза Ethernet за маршрутизация на трафика към външния свят. При отчитане на оперативните разходи, които за хетерогенна мрежа очевидно са по-високи, е необходимо да се отчита заплащането на труда на специалистите по InfiniBand, а те не са много. Освен това пазарът на InfiniBand се контролира на 90% от един производител, значи съществува риск от зависимост от него.

Ethernet - всичко е нейно?

Ethernet е универсална технология, но далеч не винаги и във всичко тя е най-добрата. „Наличието на пазара на решения като IBoE и iWARP позволява да се говори за нишови решения, които ще се ползват и в бъдеще. Освен за създаване на инфраструктура с отделни супер характеристики, немаловажната им роля е, че стимулират по-нататъшното развитие на Ethernet в посока все още незаети сегменти от инфраструктурата.

В близка перспектива високопроизводителният Ethernet все повече ще претендира да стане основен и дори единствен транспорт за предаване на трафик от приложения, трафик от съхранение на данни и междувъзлови взаимодействия в HPC.

В териториално разпределени мрежи процесът на изземване на функциите на „класическите“ WAN протоколи от каналния слой от Ethernet протокола започна преди около 10 г. и досега не е приключил. Затова за изграждане на центрове за обработка на данни, в които на всички интерфейси за обмен на данни ще се ползва Ethernet, едва ли ще чуем през следващите 5 г., тъй като преходът към конвергентна инфраструктура в ЦОД едва сега започва.

И така, универсализмът на Ethernet, широката разпространеност и относително ниска цена на съответните решения способстват за все по-широкото им разпространение и „завладяването“ на нови области. Конвергенцията на „всичко и навсякъде“ на базата на Ethernet няма да се случи за една нощ. И Fibre Channel, и InfiniBand се използват и ще се използват. Наличието на достатъчно зрели решения FCoE и IBoE дава на купувачите възможност да задействат техните предимства в нови инсталации. И това често води до съществена икономия на средства, понижава сложността на мрежата, повишава нейната гъвкавост, оптимизира я за виртуализация и разгръщане на облачни услуги.

И шампион е Ethernet

Както навремето заяви Гари Линекер, футболът е проста игра, в която накрая побеждават немците. В света на комуникационните технологии фаворит е Ethernet. Но докато немският футбол едва наскоро започна да възстановява силните си позиции и то само на клубно ниво, то доминирането на Ethernet много години не е застрашено от нищо, при това не само на „локалната“ арена. Освен това 40-годишната технология активно разширява „ареала“ на своето местообитание.
Ethernet отдавна не е технология изключително за локални изчислителни мрежи. Усъвършенстванията през периода 1990–2000 позволиха използването й и в териториално разпределени мрежи. През 2001 г. бе създаден форумът Metro Ethernet за стандартизация на Ethernet услуги в градски мрежи. По прогнози на анализаторите Infonetics, обемът на пазара за оборудване Carrier Ethernet през 2017 г. ще достигне $39 млрд. Освен това днес именно потребностите от развитие на Ethernet имат решаваща тежест при избора на поредното по-по-високо ниво на скоростта в комуникационните мрежи. Тъй като пакетният трафик става доминиращ, именно общността Ethernet определя скоростта в системите за връзка, но защо 400GbE, а не 1ТbE?
Успехът на Ethernet има много съставни, но в крайна сметка те могат да бъдат сведени до простота и съответно по-ниска цена от конкурентите. Много недостатъци на Ethernet, например негарантирана доставка на кадри, бяха компенсирани чрез по-високите поддържани скорости. Не винаги обаче това се оказва достатъчно. И в своето развитие тази технология придоби много допълнителни черти, които й позволиха да проникне в тези области, в които приложението на Ethernet бе съвършено неприемливо.
Така появата на Ethernet като алтернатива на полевата шина в промишлената автоматика преди около 10 г. бе възприето с голяма доза скептицизъм. Чрез адаптиране на Ethernet обаче значително се стесни приложението на традиционните протоколи за полеви шини. И днес по обем на доставките за системи за промишлена автоматика устройствата с поддръжка на Ethernet изпреварват всички останали. Една от перспективните области за приложение на Ethernet е автоматиката в автомобилите, където технологията се използваше първоначално изключително за диагностика, а днес вече е задействана в системи, помагащи на шофьора и в информационно развлекателните платформи.





© Ай Си Ти Медиа ЕООД 1997-2020 съгласно Общи условия за ползване

X