طلای جدید روزگار ما داده ها هستند. در اقتصاد مبتنی بر داده (Data-Driven Economy) که در آن مدیریت کلان داده ها (Big Data) یکی از بخش های مهم هر کسب و کار است، داشتن داده هایی تمیز (Clean data) و یکپارچه بسیار ارزشمند است زیرا برای پردازش و تبدیل به اطلاعات و تولید دانش نیازمند داده های پاکسازی شده هستیم. در غیر اینصورت هرگونه تحلیل و مصورسازی (Visualization) اطلاعات بدست آمده بی ارزش خواهد بود.
اگر شما یک متخصص داده ها هستید که برای کسب و کار خود نیازمند اصلاح و رفع خطاهای داده های خام هستید و یا اگر یک محقق یا دانشجو هستید که برای پروژه های خود لازمست داده هایی تمیز با ساختاری یکپارچه داشته باشید، شما نیاز به یک نرم افزار پیش پردازش داده ها دارید.
داده ها اغلب به هم ریخته (messy data)، ناهمگون و غیر مرتب هستند، مخصوصا اگر داده ها از منابع مختلف جمع آوری شده باشند. وقتی حجم این داده های خام از حدی بزرگتر میشوند دیگر نرم افزارهای صفحه گسترده ای مانند اکسل قابل استفاده نخواهند بود و نیاز به نرم افزارهای تخصصی داریم.
نرم افزار متن باز و رایگان OpenRefine نرم افزاری بسیار قدرتمند است که در عین سادگی میتواند به یک مهندس داده برای وظایف پیش پردازش داده ها مانند تمیز کردن داده ها (Data Cleanup) ، ایجاد تغییرات (Transform)، همگون کردن داده ها، افزایش کیفیت داده ها، کمک به کاهش زمان بازیابی و لینک به سایر مجموعه داده ها در کوتاهترین زمان و با دقت بسیار کمک کند.
نرم افزار Open Refine قطعا برای هر کسی که با داده ها کار میکند مورد نیاز است. مخصوص برای کار با داده های بزرگ. از طرفی مانند یک صفحه گسترده امکان اصلاح و تبدیلات داده ها را فراهم کرده و از طرف دیگر امکانات مدیریت داده ها را مانند یک دیتابیس دارا میباشد. این نرم افزار با زبان جاوا نوشته شده و لذا روی کلیه پلتفرم ها مانند ویندوز، مک و لینوکس قابل اجراست.
در این دوره آموزشی پس از آموزش چگونگی Import کردن انواع داده ها، Clean up کردن داده ها، رفع خطاهای داده ها، انجام عملیات پیچیده روی داده ها، آماده کردن داده ها برای عملیات های بعدی، عبارات با قاعده (Regular Expressions) و زبان (GREL: General Refine Expression Language) توضیح داده شده است.