Гигабитный Ethernet (ge)

В настоящее время разрабатываются новые еще более скоростные варианты Ethernet IEEE 802.3z. Гигабитный Ethernet утвержден в качестве стандарта в 1998 году; 1000base-FX; ftp:/stdsbbs.ieee.org/pub, смотри также www.gigabit-ethernet.org/technology/faq.html и Гигабитный Ethernet Introduction to Gigabit Ethernet, Maximizing Performance of a Gigabit Ethernet NIC Interface . Эти сети ориентированы на применение 4-х скрученных пар категории 5 или выше (до 100м, разъем RJ-45) и оптоволоконных кабелей. Вместо манчестерского кода применяется кодировка 8В/10B. Эта нотация означает, что каждый байт кодируется при передаче десятью битами. При этом не должно быть более 4 идентичных бит подряд и ни в одном коде не должно быть более 6 нулей или 6 единиц. Так достигаются хорошие условия синхронизации и высокая стабильность постоянной составляющей. В рассматриваемом варианте по каждой паре передаются сигналы с частотой 125МГц, и за каждый так транспортируется два бита. Сетевые интерфейсы используют шину PCI. В этом стандарте могут использоваться полнодуплексные повторители (FRD). Эти повторители в отличии от традиционных имеют встроенные буферы на каждом из портов. Схема передачи предполагает карусельный способ доступа портов к шине повторителя. Но в этом приборе, в отличие от коммутатора, нет анализа адреса места назначения и пакет передается всем портам устройства. Блок-схема сетевого интерфейса GE и 10GE показана на рис. 4.1.1.2.6 (работа через скрученную пару). Поскольку в локальной сети могут присутствовать сегменты как FE, так и GE, возможны переполнения буферов в переключателях и потери кадров. Перекладывание подавления перегрузки на уровень L4 в данном случае особенно накладно. Для решения проблемы перегрузки одна из сторон посылает служебный кадр, сообщающий о том, что другая сторона на некоторое время должна прервать передачу. В поле тип такого кадра заносится код 0x8808, а первые два байта поля данных являются управляющими, последующие октеты могут содержать параметры команды. Для управления используются кадры типа PAUSE, в качестве параметра может быть указано длительность паузы в единицах времени передачи кадра минимальной длины. Для GE такая единица равна 512 нсек. Максимальная длительность паузы равна 33,6 мсек. Хотя использование концентраторов не запрещено, оно крайне нежелательно, так как приводит к понижению эффективности использования сети.

Процесс перехода пользователей с одного стандарта Ethernet на другой определяется в заметной мере стоимостями соответствующих интерфейсов. Исторически эту миграцию для интерфейсов персональных машин можно проследить на рис. 4.1.1.2.6 (по вертикальной оси отложена доля соответствующих интерфейсных карт в %). К 2007 году на плато вышли интерфейсные карты GE и начали свое восхождение карты 10GE (пока для серверов). Переход с FE на GE дает выигрыш в скорости обмена на 341% (результат измерений Deploying Gigabit Ethernet on the desktop), при работе с базами данных аналогичный выигрыш в скорости составляет 42%.

Рис. 4.1.1.2.6. Темп перехода пользователей с одного стандарта Ethernet на другой

Для решения проблемы перегрузки в GE и 10GE одна из сторон посылает служебный кадр, сообщающий о том, что другая сторона на некоторое время должна прервать передачу. В поле тип такого кадра заносится код 0x8808, а первые два байта поля данных являются управляющими, последующие октеты могут содержать параметры команды. Для управления используются кадры типа PAUSE, в качестве параметра может быть указана длительность паузы в единицах времени передачи кадра минимальной длины.

Для GE такая единица равна 512 нсек. Максимальная длительность паузы равна 33,6 мсек. Хотя использование концентраторов не запрещено, оно крайне нежелательно, так как приводит к понижению эффективности использования сети.

Соединительные кабели для GE

Тип сути	Вид кабеля	Длина	Особенности
1000Base-SX	Оптоволокно	550м	Многомодовое
1000Base-LX	Оптоволокно	5000м	Одно- или многомодовое
1000Base-СX	2 экранир. пары	25м	Экраниров. витая пара
1000Base-Т	4 неэкранир. пары	100м	Витые пары 5-ой катег.

Новые Ethernet протоколы 1000BASE-T и 10GBASE-T требуют применения скрученных пар существенно более высокого качества (с большей полосой пропускания, с низкими уровнями NEXT и FEXT). Передача в этом случае производится по четырем скрученным парам одновременно. (Смотри ieee802.3/10GBT.) Предполагается, что эта технология станет стандартной в первой половине 2006 года и станет частью спецификации IEEE 803.3ae. Требования к кабелю определяются документом ISO/IEC-11801:2002 для классов D или выше. Характеристики соответствующих кабелей смотри в разделе "Кабельные каналы связи". Анализ распределения используемых длин показывает, наиболее часто используются кабели длиной 40м, а с вероятностью более 90% длина кабеля не превышает 80м. Кабели классов D-F имеют полосу пропускания 250-625 МГц.

Рис. 4.1.1.2.6a. Блок схема сетевой карты для работы с GE и 10GE

Из рисунка видно, что цифровая обработка сигналов стала основой работы такого устройства. Для кабелей класса F (категория 7) максимальная длина составляет 100м, для класса Е (категория 6) от 55 до 100м, а для класса D (категория 5е) - 20-60м. При этом ожидается уровень BER не хуже 10^-12. Скрученные пары предлагаются в качестве дешевого решения, при больших длинах оптическое волокно остается вне конкуренции. Ниже в таблице приводится сравнение режимов работы приемо-передатчиков в 1000BASE-T и 10GBASE-T.

1000BASE-T	10GBASE-T
5-уровневая амплитудно-импульсная модуляция (2 бита на символ)	10-уровневая амплитудно-импульсная модуляция (3 бита на символ)
4D код Треллиса на пару (8 состояний)	4D код Треллиса на пару (8 состояний)
Полный дуплекс с эхоподавлением при передаче	Полный дуплекс с эхоподавлением при передаче
125 Мбод, ~80MГц используемой полосы	833 Мбод, ~450МГц используемой полосы
Подавления FEXT нет	Необходимо подавление FEXT

При построении высокопроизводительных серверов для скоростей обмена 1-10Гбит/c и более возможно встраивание в него многоканального переключателя. Для этой цели может быть применен контроллер Intel 82598 (10GE; см. Intel). Такое решение позволит существенно удешевить систему. При этом отдельный вход/выход переключателя может обслуживаться отдельным процессором или отдельной виртуальной машиной. Так как межпроцессорный обмен происходит 32- или даже 64-битными кодами, схема существенно упрощается. Смотри GE-FC

Для решения проблемы мониторирования трафика рекомендуется обратиться к статье Net Optics Tap Campaigns.

Схема мониторинга трафика в сетях с быстродействием 10/100/1000 Мбит/с

Для получения дополнительной информации рекомендую обратиться к статье Increased Productivity with Gigabit to the Desktop.

10-Гигабитный Ethernet

Хотя Ethernet на 1 Гбит/с и не использовал все свои возможности, реализован уже 10Гбитный Ethernet (IEEE 802.3ae, 10GBase-LW или 10GBase-ER). Этот стандарт утвержден в июне 2002 года и в случае использования для построения региональных каналов соответствует спецификациям OC-192c/SDH VC-4-46c (WAN). Опробован канал длиной 200 км с 10 сегментами. Существует серийное сетевое оборудование обеспечивающее надежную передачу на скорости 10Гбит/с при длине одномодового кабеля 10 км (=1310 nm). Эти данные взяты из журнала "LANline" (www.lanline.de) N7, Juli 2002. При работе с оптическими волокнами могут применяться лазеры с вертикальными резонаторами и поверхностным излучением VCSEL (Vertical Cavity Surface Emitting Laser). В случае мультимодовых вариантов используются волокна с градиентом коэффициента преломления. В протоколе 10Гбит/c Ethernet предусмотрен интерфейс chip-to-chip (802.3ae-XAUI - буквы ае означают здесь Ethernet Alliance - www.10gea.org). Такие каналы могут использоваться и в LAN для соединения переключателей сетевых кластеров. Соединение организуется по схеме точка-точка. Эта технология удобна для использования в фермах ЭВМ. Стандартизованы порты: 10Gbase-LR (до 10 км по одномодовому волокну - для высокопроизводительных магистральных и корпоративных каналов), 10Gbase-ER (до 40 км по одномодовому волокну), 10Gbase-SR (до 28 м по мультимодовому волокну - для соединений переключателей друг с другом), а также 10Gbase-LХ4 (до 300 м по мультимодовому волокну стандарта FDDI - для сетей в пределах одного здания). Обсуждается возможность построения 100Гбит/c Ethernet. В 10Gbase для локальных сетей применяется кодирование 64В/66B (вместо 8В/10B, используемого в обычном гигабитном Ethernet), так как старая схема дает 25% увеличение паразитного трафика. Следует обратить внимание, что такое решение делает непригодными существующие оптоволоконные технологии SDH/SONET. К концу 2002 года технология 10Гбит-Ethernet вторглась в область региональных (MAN; смотри форум Metro-Ethernet и EFM Task Force) и даже межрегиональных (WAN) сетей, тесня SDH, Fibre Channel, OC-192, PCI Express и InfiniBand. Этот стандарт удобен для реализации серверов на базе многоядерных базовых процессорных плат. Новые 10GE интерфейсные платы обеспечивают следующие сервисы:

• MSI-X - распределение сетевых прерывания между несколькими ЦПУ и ядрами, что повышает эффективность машины и ускоряет обработку прерываний.

• Несколько Tx/Rx очередей, организованных на аппаратном уровне, что позволяет обрабатывать трафик в параллель.

• Распараллеливание обработки пакетов разными ЦПУ (Linux) с учетом IP-адресов и ТСР-портов.

• Обеспечение малых задержек отклика. Система позволяет работать одновременно с разными ОС.

Таблица 4.1.1.2.4a. Стандарты 10GE-каналов и их реализации (О стандарте 10GE).

Тип кабеля	Стандарт	Длина волны	Тип	Длина	Среда
Оптическое волокно	10GBASE-SR/W	850нм	послед.	300м	MFM
	10GBASE-LRM	1310нм	послед.	220м	MMF
	10GBASE-LX4	1310нм	WDM	300м 10км	MMF SMF
	10GBASE-LR/W	1310нм	послед.	10км	SMF
	10GBASE-ER/W	1550нм	послед.	40км	SMF
	De-Facto ZR/W	1550нм	послед.	80км	SMF
Медь	10GBASE-CX4	-	4 линии	15м	сдвоен. аксиал
	10GBASE-T	-	скруч. пара	100м	UTP
Backplane	10GBASE-KX4	-	4линии	1м	улучшен. FR-4
	10GBASE-KR	-	послед.	1м	улучшен. FR-4

Как видно из таблицы, сегодня 10GE допускает применение и скрученных пар (см. таблицу ниже TIA-942 Data Center Networking Applications: 10 Gigabit Ethernet Over Twisted-pair Copper). Таким образом, в пределах одной, даже очень большой комнаты 10GE-сеть может быть реализована на скрученных парах.

Кабель	Допустимая длина	Регламентирующий документ
Класс Е/категория 6	55-100м	ISO/IEC TR-24750/TIA/EIA TSB-155
Класс Е/категория 6 без экрана	55м	ISO/IEC TR-24750/TIA/EIA TSB-155
Класс Е/категория 6 с экраном	100м	ISO/IEC TR-24750/TIA/EIA TSB-155
Класс F	100м	ISO/IEC TR-24750
Класс ЕA/Augmented category 6	100м	ISO/IEC 11801 Ed 2.1/TIA/EIA 568-B.2-10

В версии 10Gbase-X4 используется кодирование 8В/10B. Там формируется 4 потока по 3,125Гбит/с, которые передаются по одному волокну (1310нм) с привлечением техники мультиплексирования длин волн (WWDM). В случае 10Gbase-W на уровне МАС вводится большая минимальная длина IPG. Смотри статью "О стандарте 10GE".

Рис. 4.1.1.2.7. Схема уровней для 10Gbase Ethernet

• MDI Medium Dependent Interface

• XGMII 10 Gigabit Media Independent Interface

• PCS Physical Coding Sublayer

• PMA Physical Medium Attachment

• PMD Physical Medium Dependent

• WIS WAN Interface Sublayer

• LLC Logical Link Control

Переход на технологию 10GE открывает новые возможности, например, использование распределенной, совместно используемой памяти SAN (Storage-Area Network). Возможно эффективное совмещение возможностей 10GE и технологии Fibre Channel (FC). Смотри рис. 4.1.1.2.8. (New Trends Make 10 Gigabit Ethernet the Data-Center Performance Choice.

Рис. 4.1.1.2.8. Применение 10GE в среде SAN (совмещение с FC; GbE=GE)

В перспективе можно ожидать совмещения трафика LAN и SAN (см. рис. 4.1.1.2.9. FCoE - Fibre Channel over Ethernet).

Рис. 4.1.1.2.9. Применение 10GE в среде SAN (совмещение с FC)

Рис. 4.1.1.2.9a. Формат пакета Fibre Channel, передаваемого по сети Ethernet

FC сегодня может обеспечить скорость передачи 8-18Гбит/с. О практической реализации FCoE можно прочесть в fcoe.com, а также в Wikipedia. Код FCoE=0x8906.

Таблица 4.1.1.2.5. Классификация категорий оптических волокон для сетевых приложений (данные взяты из журнала "LAN line Special" за июль-август 2002 года; www.lanline.de). Согласно принятым сокращениям буквы в конце обозначения канала (например, 10Gbase-LX) характеризуют оптическое волокно [E - Extended (для WAN или MAN, длина волны 1550нм), L - Long (для расстояний <10км при длине волны 1310нм, возможен вариант с многомодовым волокном длиной до 300м и привлечением техники WWDM) и S - Short (для расстояний менее 35 м при длине волны 850нм; для волокон с 160 МГц*км длина <28м, а для 200МГц*км < 35м)] и тип кодирования (R, W или X).

Тип сети	Потери ввода (дБ)			Канал ISO/IEC 11801на основе
	Много- мод		Одно- модa	Волокна ОМ1		Волокна ОМ2		Волокна ОМ3		Волокно ОS1
	850 нм	1300 нм	1300 нм	850 нм	1300 нм	850 нм	1300 нм	850 нм	1300 нм	1300 нм	1500 нм
ISO/IEC 8802-3: 10Base-FL, FPb & FBf	12,5(6,8)	-	-	OF-2000		OF-2000		OF-2000
ISO/IEC TR 11802-4: 4 & 16 Мбит/c, Token Ringf	13,0(8,0)	-	-	OF-2000		OF-2000		OF-2000		/td>
ATM @ 52 Мбит/cg	NA	10,0(5,3)	10.0		OF-2000		OF-2000		OF-2000	OF-2000
ATM @ 155 Мбит/cg	7,2	10,0(5,3)	7.0	OF-500	OF-2000	OF-500	OF-2000	OF-500	OF-2000	OF-2000
ATM @ 622 Мбит/ce,f,g	4.0	6,0(2,0)	7,0	OF-300	OF-500	OF-300	OF-500	OF-300	OF-500	OF-2000
ISO/IEC 14165-111: Fibre Channel (FC-PH)@ 133Мбит/cc,f	NA	6,0			OF-2000		OF-2000		OF-2000
ISO/IEC 14165-111: Fibre Channel (FC-PH)@ 266Мбит/cc,g	12.0	6,0(5.5)	6.0	OF-2000	OF-2000	OF-2000	OF-2000	OF-2000	OF-2000	OF-2000
ISO/IEC 14165-111: Fibre Channel (FC-PH)@ 531Мбит/cc,g	8.0	-	14.0	OF-500		OF-500		OF-500		OF-2000
ISO/IEC 14165-111: Fibre Channel (FC-PH)@ 1062Мбит/ce,g	4.0	->	6.0	OF-300		OF-500		OF-500		OF-2000
ISO/IEC 8802-3: 1000Base-SXe	2.6(3.56)	-	-			OF-500		OF-500
ISO/IEC 8802-3: 1000Base-LXe,g	-	2.35	4.56		OF-500		OF-500		OF-500	OF-2000
ISO/IEC 9314-9: FDDI LCF-PMDb,f	-	7.0(2.0)	-		OF-500		OF-500		OF-500
ISO/IEC 9314-3: FDDI PMDf	-	11.0(6.0)	-		OF-2000		OF-2000		OF-2000
ISO/IEC 9314-3: FDDI SMF-PMDg	-	-	10.0							OF-2000
ISO/IEC 8802-3: 100BASE-FXf		11.0(6.0)	-		OF-2000		OF-2000		OF-2000
IEEE 802.3: 10GBASE-LX4d		2.0	6.2		OF-300		OF-300		OF-300	OF-2000>
IEEE 802.3: 10GBASE-ER/EWd											OF-2000
IEEE 802.3: 10GBASE-SR/SWd	1.6(62.5) 1.8(OM-2) 2.6(OM-3)	-	-					OF-300
IEEE 802.3: 10GBASE-LR/LWd,g	-	-	6.2							OF-2000

1. Представлены значения для волокон с диаметрами 62.5/125 и 50/125 (MMF). Там, где значения отличаются, в скобках дается величина для 50 мкм.

2. Приложение в настоящее время промышленностью не поддерживается

3. Приложение в настоящее время не поддерживается разрабатывавшей его группой

4. Приложение в стадии разработки

5. Приложение с ограниченной полосой пропускания для указанных длин канала. Использование для каналов с более высокими требованиями в случае применения компонентов с меньшим ослаблением, не рекомендуется.

6. Длина канала может быть ограничена для волокон с диаметром 50 мкм.

7. Длина канала для одномодового волокна может быть больше, но это находится вне пределов регламентаций стандарта.

Таблица 4.1.1.2.6. Максимальные длины каналов с мультимодовыми волокнами

Сетевое приложение	Номинальная длина волны [нм]	Максимальная длина канала в м
		Волокно 50мкмa	Волокно 62,5мкм;b
ISO/IEC 8802-3: FOIRL	850	514	1000
ISO/IEC 8802-3: 10BASE-FL&FB	850	1514	2000
ISO/IEC TR 11802-4: 4 &16Мбит/c Token Ring	850	1857	2000
ATM @ 155 Мбит/c	850	1000a	1000b
ATM @ 622 Мбит/c	850	300a	300b
ISO/IEC 14165-111: Fibre Channel (FC-PH) @ 266 Мбит/c	850	2000	700
ISO/IEC 14165-111: Fibre Channel (FC-PH) @ 531 Мбит/c	850	1000	350
ISO/IEC 14165-111: Fibre Channel (FC-PH) @ 1062 Мбит/cc	850	500a	350b
IEEE 802.3: 1000BASE-SX	850	550a	275b
ISO/IEC 9314-9: FDDI LCF-PMD	1300	500	500
ISO/IEC 9314-3: FDDI PMD	1300	2000	2000
ISO/IEC 8802-3: 100BASE-FX	1300	2000	2000
IEEE 802.5t: 100Мбит/c Token Ring	1300>	2000	2000
ATM @ 52 Мбит/c	1300	2000	2000
ATM @ 155 Мбит/c	1000	2000	2000
ATM @ 622 Мбит/c	1300	330	500
ISO/IEC 14165-111: Fibre Channel (FC-PH) @ 133 Мбит/c	1300	Не поддер-живается	1500
ISO/IEC 14165-111: Fibre Channel (FC-PH) @ 266 Мбит/c	1300	2000	1500
IEEE 802.3: 1000BASE-LXc	1300	550a	550b

1. Максимальное ослабление на км (850/130нм): 3.5/1.5 дБ/км; минимальная полоса пропускания для длин волн (850/130нм): 500МГцкм

2. Максимальное ослабление на км (850/130нм): 3.5/1.5 дБ/км; минимальная полоса пропускания для длин волн (850/130нм): 200МГцкм/500МГцкм

3. Эти приложения ограничены по полосе. Использование компонентов с меньшим поглощением для получения каналов с улучшенными параметрами, не рекомендуется.

Всякая, даже гигантская сеть была когда-то маленькой. Обычно сеть начинается с одного сегмента типа 1, 3 или 4 (рис. 4.1.1.2.1). Когда ресурсы одного сегмента или концентратора (повторители для скрученных пар) исчерпаны, добавляется повторитель. Так продолжается до тех пор, пока ресурсы удлинения сегментов и каналы концентраторов закончатся и будет достигнуто предельное число повторителей в сети (4 для 10МГц-ного Ethernet). Если при построении сети длина кабельных сегментов и их качество не контролировалось, возможен и худший сценарий - резкое увеличение числа столкновений или вообще самопроизвольное отключение от сети некоторых ЭВМ. Когда это произошло, администратор сети должен понять, что время дешевого развития сети закончилось - надо думать о приобретении мостов, сетевых переключателей, маршрутизаторов, а возможно и диагностического оборудования. Применение этих устройств может решить и проблему загрузки некоторых сегментов, ведь в пределах одного логического сегмента потоки, создаваемые каждым сервером или обычной ЭВМ, суммируются. Не исключено, что именно в этот момент сетевой администратор заметит, что топология сети неудачна и ее нужно изменить. Чтобы этого не произошло, рекомендуется с самого начала тщательно документировать все элементы (кабельные сегменты, интерфейсы, повторители и пр.). Хорошо, если уже на первом этапе вы хорошо представляете конечную цель и те возможности, которыми располагаете. Бухгалтерская сеть и сеть, ориентированная на выход в Интернет, будут иметь разные структуры. Прокладывая кабели, рекомендуется учитывать, что положение ЭВМ время от времени меняется, и это не должно приводить к изменению длины сегмента или к появлению дополнительных “сросток”. Следует также избегать применения в пределах сегмента кабелей разного типа и разных производителей. Если сеть уже создана, научитесь измерять информационные потоки в сегментах и внешние потоки (если ваша сеть соединена с другими сетями, например с Интернет), это позволит осмысленно намечать пути дальнейшей эволюции сети. Если возможности позволяют, избегайте использования дешевых сетевых интерфейсов, их параметры часто не отвечают требованиям стандарта. Сетевая архитектура требует немалых знаний и это дело лучше поручить профессионалам.

Когда потоки данных в сети достигают уровня, при котором использование мостов и сетевых переключателей уже недостаточно, можно подумать о внедрении маршрутизаторов или быстрого Ethernet. Эти субсети будут играть роль магистралей, по которым идет основной поток данных, ответвляясь в нужных местах в субсети, построенные по традиционной технологии.

Особую проблему составляют переходы 100 Мбит/с 10 Мбит/с (рис. 4.1.1.2.10). Дело в том, что на MAC-уровне нет механизмов понижения скорости передачи для согласования возможностей отправителя и приемника. Такие возможности существуют только на IP-уровне (ICMP-congestion, опция quench). Если функцию шлюза исполняет, например, переключатель, то исключить переполнение его буфера невозможно. Такое переполнение неизбежно приведет к потере пакетов, повторным передачам и, как следствие, к потере эффективной пропускной способности канала. Решить проблему может применение в качестве шлюза маршрутизатора (здесь работает ICMP-механизм ”обратного давления”).

Рис. 4.1.1.2.10 Схема переходов 10-100-10 Мбит/с

Если любые 2 или более каналов справа попытаются начать работу с одним из каналов слева, или наоборот, потери пакетов неизбежны. Лучше, когда N<10. Проблема исчезает, когда SW работают на IP-уровне.

При требованиях повышенного быстродействия может быть успешно применен GE или 10GE. Это особенно полезно при создании информационных центров коллективного пользования или виртуальных информационных центров, в частности с привлечением технологии SAN, когда желательно иметь минимальные задержки. Задержки при работе с переключателем 10GE cut-through представлены в таблице ниже (Ethernet: The High Bandwidth Low-Latency Data Center Switching Fabric, там же обсуждаются различные практические решения):

Число шагов	Длина пакетов	Задержка
Один шаг	64 байта 1500 байтов	351нс 1.5мксек
3 шага	64 байта 1500 байтов	951нс 2.1мксек
5 шагов	64 байта 1500 байтов	1.55мксек 2.7мксек