Your verification ID is: guDlT7MCuIOFFHSbB3jPFN5QLaQ Big Computing: Fastest way to read a CSV file into R

Monday, July 13, 2015

Fastest way to read a CSV file into R

So I thought it would be really help to see just what the difference is between the two methods. FOr this example I an still using a relatively small data set. It is a little over five and a half million rows by six columns.
So for the read.csv function built in R
## Start timer
ptm<-proc.time()
test1<-read.csv("baby_data.csv")
## Stop timer and print time
ptm<-proc.time()-ptm
dim(test1)
## [1] 5674089       6
print(ptm)
##    user  system elapsed 
##  33.427   0.495  33.945

for the fread function in the data.table
## Start timer
ptm<-proc.time()
require(data.table)
## Loading required package: data.table
test2<-fread("baby_data.csv")
## 
Read 64.9% of 5674089 rows
Read 86.2% of 5674089 rows
Read 5674089 rows and 6 (of 6) columns from 0.187 GB file in 00:00:05
ptm<-proc.time()-ptm
print(ptm)
##    user  system elapsed 
##   4.027   0.190   4.224

As you can see fread() is almost 10 times faster than read.csv to process this data set. That is pretty amazing. There is also a package called readr by Hadley Wickham that is a little slower than data.table but has some nice added features.

1 comment:

  1. شركة مكافحة حشرات
    تهتم شركة قمم التميز باعمال الرش والقضاء على الحشرات المنزلية فمهما كانت المعاناة ومهما كانت كمية الحشرات التى تعانى منها فتعاون مع افضل شركة تهتم بهذه الخدمة الان شركة مكافحة حشرات بخميس مشيط
    الحشرات المنزلية من المشكلات التى تعانى منها البيوت ، وخصوص فى المناطق المرتفعة فيها الحرارة ، وحيث تنشر الحشرات فى المنزل وقد تسبب متاعب كثيرة وأمراض خطيرة .
    وللحماية منزلك من الحشرات ومنع دخولها ويمكن ان نطرح بعض النصائح :
    *الحرص على النظافة الدائمة للمنزل ،
    *التهوية الجيدة لغرف المنزل ودخول أشعة الشمس لقتل الحشرات التى لا ترى إلا بالعين المجردة .
    *التخلص من القمامة أول بأول حتى لا تكون عرضه للأنتشار الحشرات .
    نتظيف خزانات الطعام وتهويتها جيدة، والتخلص من الفضلات ، وغلق المحكم للبرطمانات للطعام التى تواجد فى خزانة حتى لا تكون مصدر لتسرب الحشرات .
    *وضع سلك شبكة صغير الحجم على النوافذ والأبواب ، وسد الثقوب والشقوق بالأسمنت اوجبس ،لكى لا تتسرب الحشرات منها .
    *تنظيف الأطباق وأوانى الطعام بعد استعمالها مباشرة ، لأنها قد تسبب فى خروج الحشرات من المكان التى تعيش فيه .
    *عدم ترك فضلات الطعام على مائدة الطعام ، وتنظيف بصفة دورية تمنع من أنتشار الحشرات والوقاية منها .
    وهناك حشرات متعددة قد تسبب للأنسان أزعاج دائم ومنها : النمل والصراصير والبق والذباب والناموس والفئران .
    النمل نوعان * النمل عادى مصدر غذائه فضلات الطعام ويعيش فى ثقوب وشقوق المنزل . شركة مكافحة النمل الابيض بخميس مشيط
    والنمل الأبيض يسمى ( العتة) وهو يحتاج إلى طعام الدائم لكى يبقى على قيد الحياة ، مصدر غذائه السكر (الجلكوز) الموجود فى الخشب ، و المتواجد فى الأبواب والنوافذ والأثاث ، وقد يسبب خطر كبير على منزلك فالنمل الأبيض يعمل ممرات ويقوم بتأسيس بيت له أسفل المنزل ، ويكون دمار بمرور الوقت وأضرار فادحة لايمكن اصلاحها إلا بعد فوات الآوان .
    ويمكن التخلص من النمل الأبيض برش مبيدات كيمائية مخصص لها أثناء بناء الأثاث فى الأرض ، وعند تركيب الأبواب التأكيد من أغلاق جميع الفتحات فى جوانب الباب وألأفضل تركيب الأبواب بالمفاصل وليس بالمواد اللزقة ، وعند شراء الأثاث الضغط على الخشب وتأكد مدى قوتها وعدم أصابتها بالنمل الأبيض . شركة نقل عفش بخميس مشيط
    أما النمل العادى التى يتواجد المطبخ يمكن التخلص منه بقليل من الصودا المخلوطة بالسكر وضعها فى الثقوب والفتحات التى تخرج منها فالنمل يموت فى الحال .
    فى خزانة الطعام نضع فيها قليل من القهوة المرة أو الفلفل غير المطحون فهو يخلصك من النمل نهائيا وكذلك الحشرات الأخرى .
    والصراصير لمنعها من أنتشارها فى المنزل يمكن سد البالوعات والمراحيض فى الليل ، صب المحاليل السامة أو مشتقات البترول القتلة فى فتحات المراحيض والبالوعات ثم صب ماء عليها فى الصباح.

    ReplyDelete