注目の投稿

【kepler.gl】コロナ対策による人流の変化も地図上に可視化(各種メディアで報道)

kepler.glのサイト画面 kepler.glを使ってコロナ対策の効果を分析したところ、テレビ、新聞、ネットのメディアから問い合わせや報道依頼が殺到。今も、土日返上で都内や全国の人流変化を分析しています。この記事では人流変化の可視化に便利なkepler.glにつ...

2016年3月1日火曜日

【Rで大規模データを扱う】freadを使えば26倍早くcsvファイルを読み込める

【方法】data.table パッケージの fread() を使う

Rの弱み:大規模データの処理
→ data.tableパッケージを活用することで大規模データも高速に処理可能

> library(data.table) > > #Rで大規模csvファイルを読み込む > > #read.csvで読み込む場合 > system.time(df.read.csv <- read.csv(file("C:/R_test/data/test.csv"))) ユーザ システム 経過 50.34 0.18 50.56 > > #data.tableパッケージのfreadで読み込む場合 > system.time(df.fread <- fread("C:/R_test/data/test.csv")) ユーザ システム 経過 1.92 0.02 1.94

経過時間
read.csv50.56
fread1.94

freadの方が26倍以上早い!

0 件のコメント :

コメントを投稿

注: コメントを投稿できるのは、このブログのメンバーだけです。