Главная | Новости | Полезная информация | Документация | Школа | Файлы | Ссылки | Форум
 Текущая сборка
RusNuke Current
Web-SVN
SVN репозиторий
Bug Tracker

 Навигация
Главная
Новости
Обзоры
Информация
Документация
Вопросы и ответы
Каталог файлов
Каталог ссылок
Информация о проекте
Рассылка новостей
Контакт с автором
Наполнение сайта
Добавить статью
Добавить файл
Добавить ссылку

Наши услуги
Обменный пункт WM
Реклама на проекте
Платные услуги
Услуги хостинга

Отраслевые публикации
Статьи по отраслям

 Поиск по сайту


Google
Web nukefiles.ru


Новая версия Apache Arrow



Появилась новая версия Apache Arrow, которая описывается как важная веха для проекта. Apache Arrow является столбчатой аналитикой, которая позволяет произвольный доступ к памяти.

Apache Arrow это не отдельный кусок программного обеспечения. Он используется в качестве компонента в системах для ускорения аналитики и позволяет Arrow поддерживать системы обмена данными с низкими издержками. Она является достаточно гибким для поддержки наиболее сложных моделей данных. Apache Arrow может быть использован для хранения набора канонических in-memory представлений о плоских и иерархических данных с несколькими привязками языков для манипулирования структурой. Он также обеспечивает низкие потоковые накладные расходы и пакетный обмен сообщениями, zero-copy межпроцессного взаимодействия, и общий алгоритм реализации.

Тодд Липкон, оригинальный создатель Apache Kudu и член руководящего комитета проекта Apache Arrow, сказал Apache Arrow важен, потому что: "Столбчатый слой in-memory данных позволяет системам и приложениям обрабатывать данные на полной скорости оборудования. Современные процессоры предназначены для использования данных уровня параллельности с помощью операции векторизации и simd-инструкций. Arrow облегчает такую обработку". При многих рабочих нагрузках, 70-80 процентов циклов ЦП тратятся на сериализацию и десериализацию данных. Arrow решает эту проблему путем включения данных между системами и процессами без сериализации, десериализации или копирования.

Компонент может быть особенно полезен для разработчиков на Python и R, так как Arrow обеспечивает возможность для взаимодействия данных, которая была одним из основных препятствий для более тесной интеграции с большой системой данных. Преимущества Apache Arrow в его макете столбчатой памяти, который позволяет производить произвольный доступ. Планировка высоко кэш-эффективная в аналитических рабочих нагрузках и поддерживает SIMD оптимизацию с современными процессорами. Это позволяет разработчикам создавать очень быстрые алгоритмы, которые обрабатывают структуры данных Arrow.

Еще одним преимуществом является способность Arrow обеспечивать эффективный и быстрый обмен данными между системами без затрат ресурсов на сериализацию, связанные с другими системами, такими как Thrift, Avro, и Protocol Buffers.

Наконец стрелка показывает гибкость своего структурированную модель данных, которая поддерживает сложные типы. Он обрабатывает плоских таблиц, как в реальном мире в json-как инженерной обработки данных. Данный релиз является важной вехой для проекта, так как он добавляет интеграционные тесты проверки двоичной совместимости между Java и C++ (и Python) реализаций.

Еще одно улучшение в новой версии-это новый потоковый двоичный формат (с Java и реализациями C++/ Python). Функциональность в Python была значительно расширена, особенно с pandas и совместимостью с Apache Parquet. Формат JSON для определения интеграционных тестов был добавлен и расширен zero-copy или с низкой нагрузкой на многопотоковое исполнение ввода-вывода в C++.



admin1 - 15/03/2017



Комментарии к статье
Вы не можете отправить комментарий анонимно, пожалуйста зарегистрируйтесь.


пїЅпїЅпїЅпїЅпїЅпїЅпїЅ пїЅпїЅпїЅпїЅпїЅпїЅпїЅ пїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅ - пїЅпїЅпїЅпїЅпїЅпїЅ

 Авторизация
Логин
Пароль
Регистрация на сайте
Забыли свой пароль?

 Сейчас на сайте
Гостей: 9
Пользователей: 0
Всего: 9

 Наш опрос
Какой форум предпочитаете?

Invision Power Board
vBulletin
Phorum
MyBB
PunBB
Simple Machines Forum
phpBB
BBtoNuke



Результаты
Другие опросы

Ответов: 1339
Комментариев: 10

 Рассылка новостей
Подробнее...

 Реклама


Главная | Новости | Полезная информация | Документация | Школа | Файлы | Ссылки | Форум
Copyright © 2002 Internet studio. All Rights Reserved.
Web site engine's code is Copyright © 2002 by PHP-Nuke.
PHP-Nuke is a free test software released under the GNU/GPL.
Страница сгенерирована за 0.0532 с. Выполнено 17 запроса к базе данных за 0.0201 с.

Rambler's Top100 Рейтинг@Mail.ru liveinternet.ru: показано число просмотров и посетителей за 24 часа