.RU

3.4 ГРИД ННС - Отчет о научно-исследовательской работе


^ 3.4 ГРИД ННС

ГРИД ННС – проект по созданию комплексной и унифицированной инфраструктуры грид-сервисов для предоставления исследователям, разработчикам, инженерам, управляющему персоналу, а также преподавателям и студентам, эффективных возможностей по использованию географически распределенных вычислительных и информационных ресурсов ННС, с обеспечением масштабируемости по объему решаемых задач, числу обслуживаемых пользователей, организаций-участников и проектных групп, а также задействованных компьютерных и информационных ресурсов сети.





Рисунок 7 – Общая схема ГРИД ННС инфраструктуры.


Общая схема ГРИД ННС инфраструктуры представлена на рисунке 7. Основным локальным ресурсом, который предполагается предоставлять пользователям ― это вычислительные ресурсы на базе суперкомпьютерных центров. Представляется, что число таких центров не будет превышать нескольких десятков. Однако должна быть предусмотрена возможность подключения любых видов ЛР на основе общего стандарта обработки заданий в гриде.

Интерфейсы пользователя предназначены для формирования задания пользователя и запуск его на обработку; после этого пользователь может отключиться от системы; подключаясь время от времени к ГридННС, пользователь может контролировать ход выполнения задания; по окончанию задания, пользователь может получить результат выполнения задания на свой компьютер.

Слой сайтов с грид-шлюзами и ресурсами: грид-шлюзы это сервисы, обеспечивающие, вместе с интерфейсами к локальным ресурсам (ИЛР), доступ к локальным ресурсам; благодаря грид-шлюзам любые локальные ресурсы ГридННС представлены для остальных компонент грид-инфраструктуры в виде грид/веб-сервисов, что означает "виртуализацию" локальных ресурсов в соответствии с принципами OGSA.

Слой общих грид-сервисов обеспечивает работу и управление всем гридом в целом. Группы общих грид-сервисов и грид-шлюзов структурно объединяются по их функциональному назначению в ряд систем ГридННС.

Веб-интерфейс ГридННС (ВИГ) предназначен для взаимодействия пользователя с грид-средой посредством обычного веб-браузера. ВИГ позволяет пользователю получать информацию о грид-ресурсах, создавать прямо в окне веб-браузера описания заданий с помощью специальных редакторов и запускать их на обработку. После этого пользователь может отключиться от системы. Затем, подключаясь время от времени к ГридННС, пользователь может контролировать ход выполнения задания, а по окончанию задания, пользователь может получить результат выполнения задания на свой компьютер. Таким образом, ВИГ позволяет пользователю работающему за компьютером с любой операционной системой взаимодействовать с ГридННС без установки какого-либо дополнительного программного обеспечения (ПО).

Система управления выполнением заданий (СУВЗ) обеспечивает распределение и контроль за выполнением заданий на грид-ресурсах. К слою общесистемных служб относится сервис распределения и контроля заданий (СРКЗ), а также сервисы передачи данных. Помимо них в СУВЗ входят сервисы грид-шлюзов к локальным ресурсам. В частности, в случае вычислительного ресурса сервис грид-шлюза называется Вычислительным элементом (ВЭ). Функционально к грид-шлюзам относятся еще интерфейсы к локальным ресурсам (ИЛР) - модули, которые обеспечивают трансляцию "языка" грид-среды на "язык", понятный конкретному ресурсу. Для каждого типа ресурсов (точнее - типа менеджера локального ресурса (МЛР)) должен быть свой ИЛР. Кроме того, грид-шлюзом является сервис надежной передачи файлов, который используется для передачи входных данных заданий на рабочие узлы ресурсов, а результатов заданий - на серверы GridFTP, откуда они могут быть забраны пользователем на свой компьютер.

Система безопасности и контроля прав доступа (СБКПД) обеспечивает безопасный доступ к ресурсам в незащищенных сетях общего доступа (Интернет) с учетом прав данного пользователя и правил обслуживания пользователей данным ресурсным центром. СБКПД предоставляет такие сервисы, как аутентификация, конфиденциальность передачи информации, делегирование прав и управление виртуальными организациями, включая права отдельных пользователей в грид-среде.

Информационная система (ИС) решает задачу сбора и управления данными о состоянии грида, получая информацию от множества распределенных источников – поставщиков. Она предназначена для постоянного контроля функционирования грид-системы, обеспечения своевременного реагирования на возникающие проблемы и работы сервиса распределения и контроля заданий.

Система мониторинга и учета ресурсов (СМУР) предназначена для отслеживания текущего состояния ресурсов, заданий и других объектов в системе. Инструментарий СМУР предоставляет как статическую так и динамическую информацию о функционировании ГридННС (примером динамической информации может служить состояние очередей на вычислительном кластере). Служба регистрации ресурсов и грид-сервисов (СРРГС) обеспечивает доступ пользователей и грид-сервисов к реестру всех ресурсных грид-сайтов и сервисов ГридННС. Используется также для управлением ГридННС (например, для отключения менеджерами грида каких-либо сервисов или ресурсов по соображениям безопасности всей грид-инфраструктуры).

В результате проведенного исследования мы видим, что классическим способом создания грид-инфраструктуры является построение иерархической архитектуры с ресурсными центрами различной функциональности. Таким образом, в основу модели будет положена иерархическая архитектура грид-инфраструктуры. Это не исключает других возможных вариантов построения инфраструктуры, но тогда нам необходимо доказать эффективность иной архитектуры в сравнении с классическим вариантом. Для выполнения этой задачи могут быть использованы средства имитационного моделирования. Исследования существующих подходов к созданию распределенных систем хранения и обработки данных показали, что весьма желательно и возможно использовать для создания такой инфраструктуры стандартные открытые протоколы связи и имеющееся открытое программное обеспечение.
^ 4 Составление прогноза увеличения производительности аппаратных средств на период эксплуатации установки НИКА

Учитывая текущие тенденции развития вычислительных средств и систем хранения данных, которые устойчиво демонстрируют увеличение производительности ЦПУ и остальных компонент вычислительных систем в 2 раза каждые 1,5-2 года (закон Мура). В тоже время, емкость систем хранения данных на одну установку, повышается примерно с такой же скоростью, в основном за счет увеличения емкости отдельных дисков и увеличения скорости доступа к ним. Возможности увеличения скорости работы локальных сетей (LAN) появляются не плавно, но их рост на протяжении 5-10 лет также можно прогнозировать как увеличение в 1-1,5 раза в год (5-10 раз за десятилетие). В последние годы проявляется тенденция значительного увеличения скорости работы распределенных сетей (WAN), что, при тенденции постоянного снижения стоимости оборудования передачи данных и самих каналов связи, позволяет прогнозировать возможность построения сильно распределенных комплексов хранения и обработки данных, удовлетворяющих всем требованиям проекта НИКА.
^ 5 Проведение сравнительного анализа организации мониторинга и управления распределёнными системами обработки данных

Одной из важнейших составляющих любого программного обеспечения грид является система мониторинга. Система мониторинга - это набор программных и аппаратных средств для анализа и контроля состояния некоторой системы. Система мониторинга должна не только собирать информацию, но и предоставлять её для различных систем, нуждающихся в данной информации. Для обеспечения этих возможностей система мониторинга должна соответствовать некоторым требованиям:

  1. ^ Гибкость собираемой информации. Для этого вводится понятие метрики. Метрика – это некая «элементарная», «неделимая» характеристика ресурса. Примерами метрик служат: количество доступных байт памяти, процент загруженности процессора, версия операционной системы, объем свободного места на диске и т. д. Кроме того, все метрики можно разделить на два класса: статические и динамические. Первые меняются медленно или не меняются вообще, вторые меняются быстро. Таким образом, механизм метрик позволяет нам четко структурировать собираемую информацию. Система должна поддерживать конфигурацию метрик: набор собираемых метрик, вид метрики (статическая или динамическая), интервал обновления и др.

  2. Универсальность относительно используемого программного окружения. Здесь, в первую очередь, речь идет о поддержке различных операционных систем, таких как:

Данное требование является абсолютно необходимым, поскольку грид-инфраструктура может быть крайне разнородной, гетерогенной. Различные ресурсы могут работать не только под различными ОС, но также иметь различную архитектуру. И здесь на первое место выходят такие требования, как общность механизмов реализации отдельных компонент системы и стандартные интерфейсы, описывающие эти компоненты. Только стандарты способны обеспечить интероперабельность между различными реализациями одного и того же интерфейса.

В настоящее время для сбора информации о функционировании элементов российского грид-сегмента используется система мониторинга MonALISA (Monitoring Agents in A Large Integrated Services Architecture, разрабатывается в Калифорнийском Технологическом Институте).


Данная система представляет собой распределенный сервис для мониторинга, контроля и глобальной оптимизации сложных систем. MonALISA основана на масштабируемой архитектуре динамически распределенных сервисов (Dynamic Distributed Services Architecture (DDSA)), реализованной с помощью технологий Java / JINI и Web-сервисов. Масштабируемость системы обеспечивается использованием многопоточных средств выполнения и тесно связанных, самоописывающихся динамических сервисов или агентов, а также возможностью для каждого сервиса регистрироваться самостоятельно и использоваться другими сервисами или клиентами, которые требуют подобную информацию. Посредством использования сервисов поиска, распределенного реестра сервисов и механизмов обнаружения и извещения сервисы имеют доступ друг к другу.

Парадигма мобильного кода (мобильные агенты), используемая в архитектуре DDSA, расширяет подходы вызова удаленных процедур (remote procedure call) и модели клиент-сервер. Как программный код, так и соответствующие параметры загружаются в систему динамически. Совмещение архитектуры сервисов и мобильности кода делает возможным построение расширяемой иерархии сервисов, которая способна управлять очень большими системами.



Рисунок 8 – Схема сбора данных в системе MonALISA.


Система следит за вычислительными фермами, сетевыми соединениями, маршрутизатор, коммутаторами, используя протокол SNMP, и динамически загружает модули, которые обеспечивают интерфейс к уже существующим средствам для мониторинга и приложениям, таким как Ganglia, PBS, LSF. Ядро сервиса мониторинга основано на многопоточности, когда большинство данных собирается параллельно, независимо друг от друга. Модули, используемые для получения и накопления различных наборов данных, динамически загружаются и выполняются каждый, как отдельный процесс (легковесный процесс Java). Для того чтобы уменьшить загрузку машины, на которой установлена MonALISA, динамический пул потоков выполнения создается единожды, и каждый поток может быть использован заново после завершения задачи, к которому она приписана. Если какая-либо задача в процессе выполнения «падает» или «подвисает» из-за ошибок ввода/вывода, другая задача не прерывается и не прекращается, так как они выполняются независимо. Для контроля над такими ситуациями реализован специальный механизм остановки потока и последующего перезапуска, если задача не была успешно завершена. Схематичное представление механизма сбора данных показано на рисунке 8.

Такой подход делает относительно легким наблюдение большого числа разнородных узлов с различными временами отклика и в то же время оперировать с машинами, которые недоступны, не влияя на другие измерения.

Мониторинг распределенных систем обработки данных непосредственно связан с сервисом управления данными. В проекте WLCG такой сервис реализован следующим образом. На каждом сайте должна быть установлена система хранения данных Castor, dCache или DPM, так же обязательной частью является SRM (Storage Resource Manager) – протокол, используемый для управления системами хранения, основной обязанностью которого является подготовка файла для транспортировки либо создание места на диске для последующей записи файла. За перемещение данных на физическом уровне отвечает GridFTP – протокол, разработанный в рамках проекта Globus, либо его модификации. FTS сервер, может быть установлен, либо не установлен на сайте, в зависимости от его статуса. FTS организует и контролирует работу всех перечисленных выше элементов либо непосредственно с ними контактируя, либо используя стандартные интерфейсы промежуточных элементов, например SRM.

В зависимости от настроек, FTS может взаимодействовать с SRM и GridFTP, либо только с SRM. Первый вариант взаимодействия - (gridFTP/URLCOPY) представлен на рисунке 9.



Рисунок 9 – Схема взаимодействия элементов при транспортировке типа gridFTP/URLCOPY.


Мониторинг и управление распределёнными системами обработки данных представляют собой важный элемент контроля работоспособности грид-среды. При моделировании работы грид стоит учитывать информацию об отказах тех или иных ресурсов, переполнение дисковых массивов и другие ситуации влияющие на производительность системы. Проведенные исследования позволяют определить параметры отражающие состояние всей грид-инфраструктуры.

2-scenarnie-usloviya-funkcionirovaniya-ekonomiki-subektov-rossijskoj-federacii.html
2-segmentaciya-rinka-truda-struktura-rabochej-sili-uchebnik-pod-redakciej-doktora.html
2-semanticheskie-osobennosti-funkcionirovaniya-drevnerusskih-i-obshekulturnih-simvolov.html
2-semestrlekciya-1-uchebno-metodicheskij-kompleks-inostrannih-yazikov-lingvistika.html
2-serebryanij-monometalizm-testi-po-kursu-istoriya-ekonomiki-tema-stanovlenie-russkoj-civilizacii-v-kontekste-mirovoj.html
2-set-obrazovatelnih-uchrezhdenij-municipalnogo-obrazovaniya-poselok-zavolzhskij-4.html
  • learn.bystrickaya.ru/glava-1-chto-takoe-povedenie-chto-takoe-psihologiya-v-2-h-t-t-1-per-s-franc-m-mir-1992-496-s.html
  • lesson.bystrickaya.ru/nekotorie-aspekti-otravlenij-azotnoj-kislotoj-i-okislami-azota-pri-himicheskih-avariyah.html
  • paragraf.bystrickaya.ru/zelenogradskij-gorodskoj-administrativnij-okrug-centralnij-adminastrativnij-okrug-svedeniya-ob-izbiratelnih-uchastkah.html
  • holiday.bystrickaya.ru/obrazovatelnij-standart-visshego-professionalnogo-obrazovaniya-po-napravleniyu-podgotovki-specialnosti-090303-informacionnaya-bezopasnost.html
  • college.bystrickaya.ru/20-marketing-i-ocenka-vliyaniya-socialnih-faktorov-na-povedenie-potrebitelej-povedenie-potrebitelej-shpargalka.html
  • turn.bystrickaya.ru/pochemu-bi-ne-poslat-pozdravitelnuyu-otkritku-za-poltora-dollara-mtv-ili-kak-video-pogubilo-zvezdu-radio.html
  • tests.bystrickaya.ru/marzhinalnaya-torgovlya-na-rinke-cennih-bumag.html
  • letter.bystrickaya.ru/obvinitelnoe-zaklyuchenie-po-ugolovnomu-delu-18432766-07.html
  • knigi.bystrickaya.ru/sbornik-statej-mezhdunarodnogo-simpoziuma-zhidkoe-sostoyanie-metallov-i-ih-splavov-m-1967-21-stranica-4.html
  • credit.bystrickaya.ru/pilates-telo-sozdaetsya-razumom.html
  • ekzamen.bystrickaya.ru/rekomendacii-po-organizacii-i-provedeniyu-igr.html
  • kolledzh.bystrickaya.ru/4-struktura-programmi-praktikum-po-delphi-dlya-resheniya-prikladnih-zadach-uchebnoe-posobie-dlya-studentov.html
  • control.bystrickaya.ru/ekologicheskoe-strahovanne.html
  • grade.bystrickaya.ru/obshestvennaya-palata-rossijskoj-federacii-stranica-3.html
  • thescience.bystrickaya.ru/kandiba-dmitrij-viktorovich-stranica-5.html
  • knigi.bystrickaya.ru/selskohozyajstvennaya-politika-zakonodatelnaya-baza-viborov-predstavitelnoj-vlasti.html
  • knigi.bystrickaya.ru/rossijskoe-zakonodatelstvo-x-xx-vekov-v-9-t-t-2-zakonodatelstvo-perioda-obrazovaniya-i-ukrepleniya-russkogo-centralizovannogo-gosudarstva-pod-obsh-red-o-i.html
  • lektsiya.bystrickaya.ru/programma-disciplini-datchiki-i-ustrojstva-svyazi-s-obektom-v-tehnicheskih-sistemah-dlya-podgotovki-specialistov.html
  • prepodavatel.bystrickaya.ru/tema-24-ogranichennie-veshnie-prava-metodicheskie-ukazaniya-i-kontrolnie-zadaniya-dlya-studentov-zaochnikov-salavatskogo.html
  • znaniya.bystrickaya.ru/programma-seminara-po-istorii-kursa-arheologiya-dlya-uchashihsya-9-11-klassov-programma-otkritie.html
  • textbook.bystrickaya.ru/instrukciya-po-pokupke-sazhencev-plodovih-rinochnih-31-kak-podderzhat-horoshij-sazhenec-pravilnoj-posadkoj-32-stranica-21.html
  • books.bystrickaya.ru/ekonomicheskie-sistemi-obshestva.html
  • bystrickaya.ru/velikaya-francuzskaya-revolyuciya-stranica-8.html
  • uchebnik.bystrickaya.ru/uchebno-metodicheskij-kompleks-disciplini-istoriya-kulturi-i-literaturi-stran-izuchaemih-regionov.html
  • universitet.bystrickaya.ru/tematicheskoe-planirovanie-i-soderzhanie-kursa-matematiki-4-klassa-mi-moro-i-dr.html
  • lektsiya.bystrickaya.ru/prekrashenie-dogovora-socialnogo-najma-zhilogo-pomesheniya.html
  • credit.bystrickaya.ru/polozhenie-o-konferencii-gercenovskie-chteniya-inostrannie-yaziki.html
  • predmet.bystrickaya.ru/ris-173-profili-razvitiya-mz-i-dz-bliznecov-453-a-mz-blizneci-b-dz-blizneci-377-ris-174.html
  • kolledzh.bystrickaya.ru/615-srochnie-soobsheniya-prikazom-rosaeronavigacii.html
  • esse.bystrickaya.ru/prostranstvennoe-raspredelenie-amplitudi-lazernogo-izlucheniya.html
  • klass.bystrickaya.ru/baltika-baltijka-rodnoj-kraj-istoriya-koshkinskogo-rajona-v-nazvaniyah-i-dokumentah-kraevedcheskij-spravochnik-arnoldov-n-a.html
  • literature.bystrickaya.ru/ekogoroda-nemeckie-goroda-priznani-odnimi-iz-samih-ekologichnih-v-evropelentaru.html
  • portfolio.bystrickaya.ru/operaciya-slavyanskij-shkaf-roman-sladkijvkussmert-i-putvrazvedk-u.html
  • paragraph.bystrickaya.ru/metodicheskie-ukazaniya-dlya-studentov-4-kursa-zaochnogo-otdeleniya-specialnosti-finansi-i-kredit.html
  • lesson.bystrickaya.ru/razdel-1-osnovi-upravleniya-i-organizacii-svyazi-v-suhoputnih-vojskah-uchebnaya-programma-dlya-visshih-uchebnih-zavedenij.html
  • © bystrickaya.ru
    Мобильный рефератник - для мобильных людей.