IT記者会Report

IT/ICTのこと、アレヤコレヤ

アシスト、超高速ETLツール 「Syncsort DMExpress」の新バージョン9.1を提供開始

クラウドストレージサービスへの連携や、Spark実行に対応しビッグデータETL基盤としての機能を拡充

株式会社アシスト(本社:東京都千代田区代表取締役社長:大塚辰男)は、取扱製品である超高速ETLツール「Syncsort DMExpress」(開発元:Syncsort Incorporated)の新バージョン9.1を本日より提供開始します。「Syncsort DMExpress」は、高性能なデータ統合処理やバッチ処理を簡単に開発できるETLツールです。独自のスマートETLオプティマイザを搭載した自動チューニング機構により、処理対象のデータ分析とシステムリソース分析を行い、最適なアルゴリズムを組み合わせてETL処理を実行します。そのため、テスト運用での性能改善やチューニングに工数をかけることなく、ノンプログラミング&ノンチューニングで高品質/高性能なETL処理を開発することが可能です。

新バージョン9.1 では、主要なクラウドストレージサービスとの連携や、IoTに欠かせないセンサーデータ等に対応するための機能拡張が実装されています。
また、Hadoop環境上で並列分散処理を高速に実行する「Syncsort DMX-h」では、ビッグデータ処理エンジンとしてSpark実行に対応し、昨今のデータ活用に求められるビッグデータETL基盤としての機能を拡充しています。

バージョン9.1の主な新機能は下記のとおりです。
<Syncsort DMExpress>
クラウドストレージサービス連携
 Amazon Web ServicesクラウドストレージサービスであるAmazon S3、およびGoogle Cloud PlatformのクラウドストレージサービスであるGoogle Cloud Storageへの入出力が可能になりました。
・最大レコード長を拡張
 従来の64KB(65,535バイト)から16MB(16,777,216バイト)に拡張し、IoTに欠かせないセンサーデータ等、より長いレコードへの対応が可能になりました。
・データファネル機能
 Oracle Database等の主要なデータベースのデータ移行を行う際に必要な複数の処理定義を、DTL(テキストベースのコマンド言語)形式で自動生成する機能を追加しました。これにより、データベースからの一括アンロード処理の開発工数を大幅に削減することが可能になります。この機能は、2017年5月にサポートプログラムが終了するCA Fast Unload for Distributed Databases(FUO)の代替手法として、開発コスト低減を図る上でも有効な手法です。
・DTLインポート機能
 DTL定義をGUIの開発インターフェイスにインポートし、編集できる機能が追加されました。
<Syncsort DMX-h>
・Spark実行
 ビッグデータ処理エンジンとして従来のMapReduceに加え、Sparkが選択できるようになり、データ量や処理特性に応じたETL基盤の構築が可能になります。
・インテリジェント実行の強化
 インテリジェント実行は、DMExpressのジョブフローを自動的にMapReduceまたはSpark処理に分解して実行することにより、MapReduceやSparkの特性を意識せずに開発を行える機能です。従来は、「集計」「結合」タスクのみが対象でしたが、本バージョンよりすべての処理に対応しました。
 
Syncsort DMExpress体験セミナー
~2時間で高速バッチアプリが作れるようになる!!~
(12月21日東京開催) https://mp.ashisuto.jp/public/seminar/view/6260
「Syncsort DMExpress新機能ガイド」
本バージョンについての詳細をまとめた資料を用意しました。以下のDMExpress製品サイトよりダウンロードできます。
https://www.ashisuto.co.jp/product/category/etl/syncsort-dmexpress/download/#doc

「Syncsort DMExpress」および「Syncsort DMX-h」について
パフォーマンスに特化したソフトウェアを40年以上開発しているSyncsort社の“最も賢い超高速ETL”DMExpressは、データ結合やソート/マージ処理を伴うバッチ処理、またデータ・ウェアハウス、データ・マート構築時のデータ結合処理などのETL処理開発に威力を発揮するETLツールです。独自の高速処理アルゴリズム、並列処理などにより、システム資源を最大限に有効活用してバッチ処理時間を劇的に短縮します。メインフレーム環境からのダウンサイジング時に課題となる高速性と安定性を確保し、コモディティなオープン環境でもメインフレームと同等以上のパフォーマンスを実現します。アシストは、通信、金融、公共業界をはじめ2,800ライセンス、380社以上の導入実績を誇ります。また、「DMX-h」は、「Syncsort DMExpress」のオプション製品であり、Hadoopフレームワーク上での並列分散処理を実現します。Map/Reduce処理をDMExpressのGUIで簡単に開発し、各Hadoopデータノードで稼動するC++ベースの「DMX-h」によって、Java、Pig、Hiveなどに比べて2~5倍(*)の処理性能向上が得られます。

Syncsort社調べ