آمارستان

• امروزه با گسترش سيستم هاي پايگاهي و حجم بالاي داده ها ي ذخيره شده در اين سيستم‌ها، نياز به ابزاري است تا بتوان داده‌هاي ذخيره شده را پردازش کرد و اطلاعات حاصل از اين پردازش را در اختيار کاربران قرار داد.
• با استفاده ار پرسش‌هاي ساده در SQL و ابزارهاي گوناگون گزارش‌گيري معمولي، مي‌توان اطلاعاتي را در اختيار کاربران قرار داد تا بتوانند به نتيجه‌گيري در مورد داده‌ها و روابط منطقي ميان آنها بپردازند.
• اما وقتي که حجم داده‌ها بالا باشد، کاربران هر چند زبر دست و با تجربه باشند نمي‌توانند الگوهاي مفيد را در ميان حجم انبوه داده‌ها تشخيص دهند و يا اگر قادر به اين کار هم باشند، هزينه عمليات از نظر نيروي انساني و مادي بسيار بالا است.

تاریخچه
• داده کاوی فرایندی است که در آغاز دهه 90 پا به عرصه ظهور گذاشته است و با نگرشی نو ، به مسئله استخراج داده ها می‌پردازد.
• در سال 1989 و1991 کارگاه های کشف دانش از پایگاه های داده ها توسط پیا تتسکی و همکارانش برگزار گردید.
• از سال 1995 داده کاوی به صورت جدی وارد مباحث آمار شد و در سال 1996 اولین  مجله " کشف دانش از پایگاه داده ها " منتشر شد .

داده کاوی چیست ؟
• فرآیندی از شناخت الگوها ی معتبر، جدید، بالقوه مفید و قابل فهم از داده‌ها است.
• مجموعه ای از روش‌ها در فرایند کشف دانش است که برای تشخیص الگوها و رابطه های نا معلوم در داده ها مورد استفاده قرار می‌گیرد.
• در حقیقت کشف ساختارهای قابل توجه، غیر منتظره و با ارزش از داخل مجموعه وسیعی از داده‌ها  می‌باشد.
• کشف اطلاعات با ارزش ولی ناشناخته است و فرایند آن به طور ضروری برخلاف تجزیه و تحلیل آماری صرفأ، اکتشافی است.
• دانشی که داده کاوی در اختیار ما قرار می‌دهد، یا توصیف وضعیت موجود است، یا پیش‌بینی وضعیت آینده.

کشف دانش از پایگاه داده ها KDD
1- درک قلمرو
2- آماده کردن مجموعه داده ها
3- کشف الگوها (داده کاوی)
4- پردازش بعد کشف الگو

 

فرآیند کشف دانش

اختلافات و تشابهات داده‌کاوی با آمار
• داده کاوی از ایده‌ها، ابزارها و روش‌هایی از دیگر سطوح به ویژه یادگیری ماشین، نظریه و فناوری پایگاه داده‌ها استفاده می‌کند و ضرورتی ندارد که به برخی از سطوحي که مدنظر آمار است ، مربوط شود.
• داده‌کاوی با مجموعه داده‌های بزرگ سروکار دارد در صورتی که برای آمارشناسان مجموعه داده‌ها با 1000رکورد ممکن است خیلی بزرگ تلقی شود.
• داده‌کاوی با داده‌های جامعه سروکار دارد و آمار با نمونه‌ای از جامعه.
• در آمار مدل نقش مهمی را ایفا می‌کند و در داده کاوی الگوریتم ها مهم هستند.
• عبارت داده کاوی برای فرد آماری جدید نیست واغلب در یک مفهوم جزئی مانند فرایند تولید مدل های زیادی به منظور به دست آوردن برازش خوب به کار برده شده است.

شاخه های مرتبط با داده کاوی
• آمار کلاسیک

• هوش مصنوعی : به عنوان یکی از علوم مرتبط با داده کاوی ، با الگوبرداری از ذهن انسان مسائل آماری را پردازش میکند .

• یادگیری ماشین : تلفیقی از آمار و هوش مصنوعی است .

 

روش‌های داده کاوی
• گزارش دهی و پردازش تحلیل آنی (OLAP)
• مدل سازی نظریه رهنمون
    همبستگی
    آزمون t
    تحلیل واریانس
    رگرسیون خطی
    رگرسیون لوژستیک
    تحلیل تشخیص مدل های پیش بینی
    تحلیل خوشه ای
    تصویر کردن داده ها
    قاعده های پیوند
    قاعده استقرا
    درخت های تصمیم
    شبکه های عصبی

درخت های انتخاب
درخت هاي انتخاب راهي براي نمايش يك سري از قوانين كه به يك كلاس يا مقدار منجر مي شود ميباشند .
براي مثال شما ممكن است بخواهيد درخواستهاي وام را برحسب ريسك اعتبار خوب يا بد طبقه بندي كنيد.

شبکه های عصبی
• شبكه‌هاي عصبي به طور خاصي مورد استفاده اند چرا كه آنها ابزاري موثر براي مدلسازي مسائل بزرگ و پيچيده كه ممكن است در آنها صدها متغير پيش بيني كننده كه فعل و انفعالات زيادي دارند وجود داشته باشد .
• شبكه هاي عصبي مي توانند در مسائل طبقه بندي يا حدسهاي بازگشتي (كه در آنها متغير خروجي پيوسته است) استفاده شوند .
• يك شبكه عصبي با يك لايه داخلي شروع مي شود كه در آن هر گره به يك متغير پيشگو منسوب ميگردد .
• اين گره هاي ورودي به يك تعداد از گره ها در لايه پنهان متصل مي شوند.گره ها در لايه پنهان مي توانند به گره هايي در يك لايه پنهان ديگر يا به يك لايه خروجي متصل شود .
• لايه خروجي خود شامل يك يا بيشتر متغيرهاي جواب مي باشد .

 

نرم‌افزار های داده کاوی
نرم‌افزارهای آماری عمومی مانند:
SAS و SPSS و STATISTICA با امکاناتی برای داده کاوی

بو بسته‌های نرم‌افزاری اختصاصی داده‌کاوی :
Insightful
Weka
Enterprise
Text Mining Software
Miner3
Poly Analyst 4.6
Data Mining Software

کاربردهاي داده کاوي
• خرده فروشي  :
از کاربردهاي کلاسيک داده کاوي است که مي توان به موارد زير اشاره کرد : 
     تعيين الگوهاي خريد مشتريان
     تجزيه و تحليل سبد خريد بازار
     پيشگويي ميزان خريد مشتريان از طريق پست(فروش الکترونيکي)

• بيمه :
     تجزيه و تحليل دعاوي
     پيشگويي ميزان خريد بيمه نامه هاي جديد توسط مشتريان

• پزشکي :
     تعيين نوع رفتار با بيماران و پيشگويي ميزان موفقيت اعمال جراحي
     تعيين ميزان موفقيت روشهاي درماني در برخورد با بيماريهاي سخت

• بانکداري :
     پيش بيني الگوهاي کلاهبرداري از طريق کارتهاي اعتباري
     تشخيص مشتريان ثابت
     تعيين ميزان استفاده از کارتهاي اعتباري بر اساس گروههاي اجتماعي

• متن کاوی

• تصویر کاوی

• سیستم هواشناسی

• صنعت وبازار کار

و ... .