Главная | Новости | Полезная информация | Документация | Школа | Файлы | Ссылки | Форум
 Текущая сборка
RusNuke Current
Web-SVN
SVN репозиторий
Bug Tracker

 Навигация
Главная
Новости
Обзоры
Информация
Документация
Вопросы и ответы
Каталог файлов
Каталог ссылок
Информация о проекте
Рассылка новостей
Контакт с автором
Наполнение сайта
Добавить статью
Добавить файл
Добавить ссылку

Наши услуги
Обменный пункт WM
Реклама на проекте
Платные услуги
Услуги хостинга

Отраслевые публикации
Статьи по отраслям

 Поиск по сайту


Google
Web nukefiles.ru


Появилась новая версия Apache Fluo



Fluo - это реализация Percolator от Google для Apache Accumulo. Версия 1.1.0 Apache Fluo (в инкубации) улучшает масштабируемость и интеграцию Spark. Он также имеет новый API Observers.

Fluo - это реализация Perolator с открытым исходным кодом (которая заполняет поисковый индекс Google). Fluo позволяет обновлять результаты крупномасштабных вычислений, индексов или аналитических данных при обнаружении новых данных. Проблема Fluo и Percolator была разработана для того, что вызвано необходимостью иметь обновленный индекс сети, когда новые документы постоянно прибывают. Система индексирования Google хранит десятки петабайт данных и обрабатывает миллиарды обновлений в день на тысячах компьютеров. MapReduce и другие системы пакетной обработки полагаются на создание больших партий для повышения эффективности, поэтому не могут справиться с необходимостью выполнять так много небольших обновлений, в то время как базы данных не могут справляться с требованиями к хранению и пропускной способности.

Percolator был разработан для удовлетворения этой потребности. Он постепенно обрабатывает обновления большого набора данных и используется для создания индекса веб-поиска Google. Google утверждает, что, заменив систему индексирования пакетной обработки на систему индексирования на основе инкрементной обработки с помощью Percolator, они могут обрабатывать одинаковое количество документов в день, одновременно уменьшая средний возраст документов в результатах поиска Google на 50%.

Fluo предоставляет версию Perolator с открытым исходным кодом, которая работает с Apache Accumulo. Accumulo - это сортированное распределенное хранилище ключей / значений, которое предлагает надежную, масштабируемую высокопроизводительную систему хранения и извлечения данных. Он основан на дизайне BigTable от Google и построен поверх Apache Hadoop, Zookeeper и Thrift.

Улучшения в последней версии Fluo начинаются с лучшего API для обеспечения Observer. В предыдущей версии требовалось настроить класс Observer для каждого наблюдаемого столбца. Было громоздко использовать его, а использовать с помощью лямбда невозможно. Новый API требует только настройки одного класса, который предоставляет все Observer. Этот единственный класс может регистрировать лямбда для наблюдения за столбцом.

Масштабируемость - еще одна область, которая должна быть улучшена. В предыдущем выпуске каждый работник просматривал всю таблицу, просматривая уведомления, которые хэшируются. В новой версии работники делятся на группы, и каждая группа просматривает подмножество таблицы для уведомлений. Каждый рабочий в группе просматривает весь поднабор группы в таблице, в поисках уведомлений о том, где хеш для нее. Конечным улучшением является лучшая интеграция Spark. Apache Spark может использоваться для предварительной обработки и загрузки пакетов данных в Fluo, но в предыдущем выпуске было сложно передать объекты FluoConfiguration на удаленные процессы Spark. Текущая версия имеет сериализуемую FluoConfiguration, облегчающую эту задачу.



admin1 - 28/07/2017



Комментарии к статье
Вы не можете отправить комментарий анонимно, пожалуйста зарегистрируйтесь.


пїЅпїЅпїЅпїЅпїЅпїЅпїЅ пїЅпїЅпїЅпїЅпїЅпїЅпїЅ пїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅ - пїЅпїЅпїЅпїЅпїЅпїЅ

 Авторизация
Логин
Пароль
Регистрация на сайте
Забыли свой пароль?

 Сейчас на сайте
Гостей: 7
Пользователей: 0
Всего: 7

 Наш опрос
Какой форум предпочитаете?

Invision Power Board
vBulletin
Phorum
MyBB
PunBB
Simple Machines Forum
phpBB
BBtoNuke



Результаты
Другие опросы

Ответов: 1339
Комментариев: 10

 Рассылка новостей
Подробнее...

 Реклама


Главная | Новости | Полезная информация | Документация | Школа | Файлы | Ссылки | Форум
Copyright © 2002 Internet studio. All Rights Reserved.
Web site engine's code is Copyright © 2002 by PHP-Nuke.
PHP-Nuke is a free test software released under the GNU/GPL.
Страница сгенерирована за 0.3410 с. Выполнено 17 запроса к базе данных за 0.1507 с.

Rambler's Top100 Рейтинг@Mail.ru liveinternet.ru: показано число просмотров и посетителей за 24 часа