Главная | Новости | Полезная информация | Документация | Школа | Файлы | Ссылки | Форум
 Текущая сборка
RusNuke Current
Web-SVN
SVN репозиторий
Bug Tracker

 Навигация
Главная
Новости
Обзоры
Информация
Документация
Вопросы и ответы
Каталог файлов
Каталог ссылок
Информация о проекте
Рассылка новостей
Контакт с автором
Наполнение сайта
Добавить статью
Добавить файл
Добавить ссылку

Наши услуги
Обменный пункт WM
Реклама на проекте
Платные услуги
Услуги хостинга

Отраслевые публикации
Статьи по отраслям

 Поиск по сайту


Google
Web nukefiles.ru


Spark BI получает обновление безопасности



Существует новый метод для добавления мелкого зерна безопасности при использовании Apache Hive и Spark для работы с большими наборами данных. Spark позволяет использовать SQL-выражения на данные в Hive, но разрешение до сих пор требует использовать HDFS ACL. Этому не хватает детализации, необходимой столбчатым данным. Хотя идеальным решением было бы, если бы Spark могла распознавать и реагировать на тонкие настройки безопасности зерна, одной из альтернатив является использование внешнего демона, который мог бы взаимодействовать с настройками безопасности на уровне схемы.

LLAP - это набор долгоживущих демонов, который работает в тандеме с файловой системой обслуживания узла данных HDFS, и предоставляет возможность взаимодействовать с безопасностью на основе схемы. LLAP был введен в Hive 2. Это гибридная модель исполнения, которая предлагает преимущества, такие как кэширование данных, а также снижение накладных расходов на несколько запросов (в том числе одновременных запросов).

Объясняя технику на блоге платформы HortonWorks, Вадим Вакс сказал, что при включении LLAP считывает HDFS непосредственно через LLAP, и другой необходимый элемент-это централизованная система авторизации, которая может быть предоставлена Apache Ranger. Это обеспечивает централизованные сервисы авторизации и аудита для многих компонентов, которые работают на Yarn или полагаются на данные из HDFS, включая HDFS, Yarn, Hive (Spark с LLAP), HBase, Kafka, Storm, Solr, Atlas и Knox.

Вакс говорит:

"Каждая из вышеуказанных услуг будет интегрироваться в Ranger через плагин, который вытягивает последние протоколы безопасности, кэширует их, а затем применяет их во время выполнения."

Так Spark получает запрос и общается с Hive при этом получая соответствующие схемы и план запроса. Плагин Ranger Hive используется для проверки кэширования данных безопасности и информирует Spark о столбцах, которые он может открыть. Apache Ranger обеспечивает централизованную систему безопасности для управления контролем доступа поверх Hadoop и связанных с ним компонентов (Apache Hive, HBase и т. д.). Плагин Ranger находится на пути запроса пользователя и может принять решение о том, будет ли запрос пользователя разрешен. Модуль также собирает запрос на доступ к информации, необходимой для аудита.

Как только Spark было сказано, какие столбцы он может открыть, он использует LLAP, чтобы читать из файловой системы. LLAP занимается фильтрацией или маскировкой, и если запрос содержит запросы для столбцов, которые не уполномочены, LLAP прекращает обработку запроса и генерирует исключение, с разрешением на Spark. При использовании маски, столбцы возвращаются, но содержащие только звездочки или хэш исходного значения.

Ranger также может быть использован для обеспечения безопасности на уровне строк, так что запрос вернет только строки, на которые пользователь имеет разрешение на просмотр. Как Вакс объясняет, политика на уровне строк Ranger поручает Hive, чтобы вернуться план запроса, который включает в себя предикат, который фильтрует несанкционированные строки. Spark получает измененный план запроса и запускает обработку, считывая данные через LLAP. LLAP гарантирует, что предикат применяется и, что ограниченные строки не возвращаются.



admin1 - 26/02/2017



Комментарии к статье
Вы не можете отправить комментарий анонимно, пожалуйста зарегистрируйтесь.


пїЅпїЅпїЅпїЅпїЅпїЅпїЅ пїЅпїЅпїЅпїЅпїЅпїЅпїЅ пїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅ - пїЅпїЅпїЅпїЅпїЅпїЅ

 Авторизация
Логин
Пароль
Регистрация на сайте
Забыли свой пароль?

 Сейчас на сайте
Гостей: 15
Пользователей: 5
Всего: 20

Пользователи:
01: AdolphCab
02: Samuelaccox
03: RichardThele
04: BradleyVEP
05: CharlesHoida

 Наш опрос
Какой форум предпочитаете?

Invision Power Board
vBulletin
Phorum
MyBB
PunBB
Simple Machines Forum
phpBB
BBtoNuke



Результаты
Другие опросы

Ответов: 1339
Комментариев: 10

 Рассылка новостей
Подробнее...

 Реклама


Главная | Новости | Полезная информация | Документация | Школа | Файлы | Ссылки | Форум
Copyright © 2002 Internet studio. All Rights Reserved.
Web site engine's code is Copyright © 2002 by PHP-Nuke.
PHP-Nuke is a free test software released under the GNU/GPL.
Страница сгенерирована за 0.0199 с. Выполнено 17 запроса к базе данных за 0.0030 с.

Rambler's Top100 Рейтинг@Mail.ru liveinternet.ru: показано число просмотров и посетителей за 24 часа