داده کاوی و کاوش قوانین ارتباطی

داده کاوی و کاوش قوانین ارتباطی

وب کاوی
متن کاوی
داده کاوی
دیتا ماینینگ
کاوش قوانین ارتباطی داده کاوی
دانلود پایان نامه رشته کامپیوتر
داده کاوی و کاوش قوانین ارتباطی
دانلود پایان نامه داده کاوی
دانلود پروژه داده کاوی
دانلود پایان نامه کامپیوتر

رفتن به سایت اصلی

دانلود پایان نامه رشته کامپیوتر

داده کاوی و کاوش قوانین ارتباطی

 

چکیده:

در دو دهه قبل توانایی های فنی بشر برای تولید و جمع آوری داده‌ها به سرعت افزایش یافته است. عواملی نظیر استفاده گسترده از بارکد برای تولیدات تجاری، به خدمت گرفتن کامپیوتر در کسب و کار، علوم، خدمات  دولتی و پیشرفت در وسائل جمع آوری داده، از اسکن کردن متون و تصاویر تا سیستمهای سنجش از دور ماهواره ای، در این تغییرات نقش مهمی دارند.

 

بطور کلی استفاده همگانی از وب و اینترنت به عنوان یک سیستم اطلاع رسانی جهانی ما را مواجه با حجم زیادی از داده و اطلاعات می‌کند. این رشد انفجاری در داده‌های ذخیره شده، نیاز مبرم وجود تکنولوژی های جدید و ابزارهای خودکاری را ایجاد کرده که به صورت هوشمند به انسان یاری رسانند تا این حجم زیاد داده را به اطلاعات و دانش تبدیل کند. داده کاوی به عنوان یک راه حل برای این مسائل مطرح می باشد. در یک تعریف غیر رسمی داده کاوی فرآیندی است، خودکار برای استخراج الگوهایی که دانش را بازنمایی می کنند، که این دانش به صورت ضمنی در پایگاه داده های عظیم، انباره داده  و دیگر مخازن بزرگ اطلاعات، ذخیره شده است.

 

به لحاظ اینکه در چند سال اخیر مبحث داده کاوی و اکتشاف دانش موضوع بسیاری از مقالات و کنفرانسها قرار گرفته و نرم افزار های آن در بازار به شدت مورد توجه قرار گرفته، از اینرو در مقاله سعی بر آن شده تا گذری بر آن داشته باشیم.در این پایان نامه درفصل مروری بر داده کاوی خواهیم داشت . که به طور عمده به تاریخچه ، تعاریف، کاربردها وارتباط آن با انبار داده و OLAP خواهیم پرداخت. در پایان فصل مراحل فرایند کشف دانش از پایگاه داده ها را ذکر کردیم که داده کاوی یکی از مراحل آن است.در فصل 2 یکی از شیوه های داده کاوی که از سبد خرید گرفته شده  است توضیح داده شده است . در این فصل به شرح قوانین ارتباطی خواهیم پرداخت که در آن بعد از دسته بندی الگوریتمها ، الگوریتم Apriori ( که یک الگوریتم پایه در این زمینه است ) و الگوریتم FP-Growth ( یک الگوریتم جدید میباشد) را با شرح یک مثال توضیح می دهیم و در آخر آن دو را با هم مقایسه می کنیم . در فصل 3 مباحث وب کاوی و متن کاوی را که در بسیاری از مراجع جزء کاربردهای داده کاوی به حساب می آید شرح داده خواهد شد.

 

 

کلمات کلیدی:

وب کاوی

متن کاوی

داده کاوی

دیتا ماینینگ

کاوش قوانین ارتباطی داده کاوی

 

 

 

 

مقدمه:

امروزه با گسترش سیستم‌های پایگاهی و حجم بالای داده‌های ذخیره شده در این سیستم‌ها، نیاز به ابزاری است تا بتوان داده‌های ذخیره شده را پردازش کرد و اطلاعات حاصل از این پردازش را در اختیار کاربران قرار داد.با استفاده از پرسش‌های ساده در SQL و ابزارهای گوناگون گزارش‌گیری معمولی، می‌توان اطلاعاتی را در اختیار کاربران قرار داد تا بتوانند به نتیجه‌گیری در مورد داده‌ها و روابط منطقی میان آنها بپردازند. امّا وقتی که حجم داده‌ها بالا باشد، کاربران هرچند زبر دست و با تجربه باشند نمی‌توانند الگوها مفید را در میان حجم انبوه داده‌ها تشخیص دهند و یا اگر قادر به این کار هم باشند، هزینه عملیات از نظر نیروی انسانی و مادی بسیار بالا است. از سوی دیگر، کاربران معمولاً فرضیه‌ای را مطرح می‌کنند و سپس بر اساس گزارشات مشاهده شده به اثبات یا رد فرضیه می‌پردازند، در حالی که امروزه نیاز به روشهایی است که اصطلاحاً به کشف دانش   بپردازند یعنی با کمترین دخالت کاربر و بصورت خودکار الگوها و رابطه‌های منطقی را بیان نمایند.

 

داده کاوی  یکی از مهمترین این روشها است که به الگوهای مفید در داده‌ها با حداقل دخالت کاربران شناخته می‌شوند واطلاعاتی را در اختیار کاربران و تحلیل گران قرار می‌دهند تا براساس آن تصمیمات مهم و حیاتی در سازمانها اتخاذ شوند.اصطلاح داده کاوی زمانی بکار برده می‌شود که با حجم بزرگی از داده‌ها، در حد مگا یا ترابایت، مواجه باشیم. در تمامی منابع داده کاوی بر این مطلب تأکید شده است. هرچه حجم داده‌ها بیشتر و روابط آنها پیچیده تر باشد دسترسی به اطلاعات نهفته در میان داده ها مشکل تر می‌شود و نقش داده کاوی بعنوان یکی از روش های کشف دانش، روشن‌تر می‌گردد.داده کاوی بطور همزمان از چندین رشته علمی بهره می‌برد نظیر: تکنولوژی پایگاه داده، هوش مصنوعی، یادگیری ماشین، شبکه‌های عصبی، آمار، الگو، سیستم‌های مبتنی بر دانش ، حصول دانش ، بازیابی اطلاعات ، محاسبات سرعت بالا  و بازنمایی بصری داده .

 

 

 

 

فهرست مطالب

چکیده 2

فصل1: مقدمه ای بر داده کاوی   13

1-1 تعریف داده کاوی   . 15

2-1 تاریخچه داده کاوی   16

3-1 چه چیزی سبب پیدایش داده کاوی شده است؟   17

4-1 اجزای سیستم داده کاوی   . 19

5-1 جایگاه داده کاوی در میان علوم مختلف   21

6-1 قابلیتهای داده کاوی   . 22

7-1 چرا به داده کاوی نیاز داریم؟   . 23

8-1 داده کاوی چه کارهایی نمی تواند انجام دهد؟   25

9-1 کاربردهای داده کاوی   . 25

1-9-1 کاربردهای پیش بینی کننده   . 27

2-9-1 کاربردهای توصیف کننده   27

10-1 ابزارهای تجاری داده کاوی   . 28

11-1 داده کاوی و انبار داده ها   . 29

1-11-1 تعاریف انبار داده   29

2-11-1 چهار خصوصیت اصلی انبار داده   . 30

3-11-1 موارد تفاوت انبار داده و پایگاه  داده   31

12-1 داده کاوی و OLAP   . 33

1-12-1 OLAP   . 33

2-12-1 انواع OLAP   . 34

13-1 مراحل فرایند کشف دانش از پایگاه داده ها   . 34

1-13-1 انبارش داده ها   35

2-13-1 انتخاب داده ها   36

3-13-1 پاکسازی- پیش پردازش- آماده سازی   36

4-13-1 تبدیل داده ها   36

5-13-1 کاوش در داده ها (Data Mining)   . 37

6-13-1 تفسیر نتیجه   38

 

فصل 2: قوانین ارتباطی   . 39

1-2 قوانین ارتباطی   40

2-2 اصول پایه   . 41

1-2-2 شرح مشکل جدی   . 41

2-2-2 پیمایش فضای جستجو   . 43

3-2-2 مشخص کردن درجه حمایت مجموعه اقلام   . 45

3-2 الگوریتمهای عمومی   45

1-3-2 دسته بندی   45

2-3-2 BFS و شمارش رویداد ها   . 46

3-3-2 BFS و دونیم سازی TID-list   . 47

4-3-2 DFS و شمارش رویداد   47

5-3-2 DFS و دو نیم سازی TID-list   48

4-2 الگوریتم Apriori   48

1-4-2 مفاهیم کلیدی   . 48

2-4-2 پیاده سازی الگوریتم Apriori   49

3-4-2 معایب Apriori و رفع آنها   . 54

5-2 الگوریتم رشد الگوی تکرارشونده   55

1-5-2 چرا رشد الگوی تکرار سریع است؟   . 58

6-2 مقایسه دو الگوریتم Apriori و FP-growth   59

7-2 تحلیل ارتباطات   63

 

فصل 3: وب کاوی و متن کاوی   . 65

1-3 وب کاوی   . 66

1-1-3 الگوریتمهای هیتس و لاگسام   . 69

2-1-3 کاوش الگوهای پیمایش مسیر   76

2-3 متن کاوی   . 90

1-2-3 کاربردهای متن کاوی   . 92

1-1-2-3 جستجو و بازیابی   95

2-1-2-3 گروه بندی و طبقه بندی   97

3-1-2-3 خلاصه سازی   99

4-1-2-3 روابط میان مفاهیم   . 101

5-1-2-3 یافتن و تحلیل گرایشات  

6-1-2-3 برچسب زدن نحوی (pos)   .

7-1-2-3 ایجاد Thesaurus و آنتولوژی به صورت اتوماتیک   . 107

2-2-3 فرایند متن کاوی   .

3-2-3 روشهای متن کاوی   . 110

مراجع   . 116

 

 

فهرست اشکال

1-1 مراحل فرایند کشف دانش   17

2-1 سیر تکاملی صنعت پایگاه داده   19

3-1 معماری یک نمونه سیستم داده کاوی   . 20

4-1 نرخ رشد اطلاعات   . 24

5-1 کاربرد پیش بینی کننده   27

6-1 داده ها از انبار داده ها استخراج می گردند   32

7-1 داده ها از از چند پایگاه داده  استخراج می گردند   32

1-2 شبکه‌ای برای     .

3-2 دسته بندی الگوریتمها   46

4-2 پایان الگوریتم Apriori   52

5-2 درخت الگوی تکرار   57

6-2 اندازه گیری کارکرد درجه حمایت برای پایگاه داده D1 40K   61

7-2 اندازه گیری Apriori با درجه حمایت/تراکنش   . 62

8-2 اندازه گیری FP-growth با درجه حمایت/تراکنش   62

1-3 مقداردهی اولیه الگوریتم HITS   72

2-3 مثالی از الگوهای پیمایش   . 80

3-3 فرایند متن کاوی   . 86

4-3 مثال یافتن روابط   . 88

 

 

فهرست جداول

1-2 کاوش FP-tree با ایجاد پایگاه های الگوشرطی   . 58

2-2 پارامترها   . 59

3-2 نتایج برای فاکتور درجه حمایت 5%   60

4-2 نتایج برای D1 150K با درجه حمایت   . 61

1-3 تراکنش های توصیف شده توسط مجموعه ای از URLها   . 75

2-3 نمایش URLها به عنوان بردارهایی از فعالیت گروه تراکنش   75

3-3 یک SOM مرسوم که توسط توصیف URLها تولید شده است   76

 

  • توانمندسازی سکونتگاه های غیررسمی اطراف شهرهای بزرگ

    توانمندسازی سکونتگاه های غیررسمی اطراف شهرهای بزرگ کلمات کلیدی : سکونتگاه های غیررسمی پایان نامه اسکان غیر رسمی پایان نامه سکونتگاه های غیررسمی ویژگی های سکونتگاه های غیررسمی توانمندسازی سکونتگاه های غیررسمی سکونتگاه های غیررسمی و حاشیه نشینی علل شکلگیری…

  • پاورپوینت کلیه ها

    پاورپوینت کلیه ها پاورپوینت کلیه ها مقاله پاورپوینت کلیه ها تحقیق پاورپوینت کلیه ها پژوهش پاورپوینت کلیه ها پروژه پاورپوینت کلیه ها پرژه رفتن به سایت اصلی تصویری از پاورپوینت کلیه:  

  • ماهیت نقدشوندگی و ریسک نقدشوندگی بازر و سهام

    ماهیت نقدشوندگی و ریسک نقدشوندگی بازر و سهام کلمات کلیدی : نقدشوندگی آمیهود اهمیت نقدشوندگی افزایش نقدشوندگی سهام تعریف نقدشوندگی سهام نقدشوندگی سهام چیست نقدشوندگی سهام در بورس اهمیت نقدشوندگی در بازار ریسک نقدشوندگی بازر و سهام نقدشوندگی سهام و…

  • مبانی نظری و پیشینه تحقیق هویت خانوادگی دانشجویان 83 صفحه

    مبانی نظری و پیشینه تحقیق هویت خانوادگی دانشجویان 83 صفحه کلمات کلیدی : مبانی نظری هویت خانوادگی پیشینه تحقیق هویت خانوادگی پیشینه داخلی هویت خانوادگی پیشینه خارجی هویت خانوادگی پیشینه پژوهش هویت خانوادگی چارچوب نظری هویت خانوادگی فصل دوم پایان…

  • پروپوزال شناسایی نهاد وقف و حقوق موقوفه، تبیین موانع و تنگناها و ارائه راه حلهایی برای برای افزایش بهره وری

    پروپوزال شناسایی نهاد وقف و حقوق موقوفه، تبیین موانع و تنگناها و ارائه راه حلهایی برای برای افزایش بهره وری شناخت نهاد وقف تبیین موانع و تنگناهای نهاد وقف شناخت حقوق موقوفه افزایش بهره وری نهاد وقف پروپوزال راهکارهای حقوقی…

  • تاریخچه تصفیه خانه های آب تهران،فرآیند تصفیه آب و شرح مراحل و تاسیسات تصفیه آب

    تاریخچه تصفیه خانه های آب تهران،فرآیند تصفیه آب و شرح مراحل و تاسیسات تصفیه آب تصفیه آب تصفیه خانه آب آشامیدنی فرآیند تصفیه آب تاریخچه تصفیه خانه های آب تهران تاریخچه تصفیه خانه های آب تهران،فرآیند تصفیه آب و شرح…

  • چارچوب نظری و پیشینه پژوهش اجرای احکام داوری بین المللی

    چارچوب نظری و پیشینه پژوهش اجرای احکام داوری بین المللی مبانی نظری اجرای احکام داوری بین المللی دانلود مبانی نظری اجرای احکام داوری بین المللی پیشینه اجرای احکام داوری بین المللی ادبیات نظری اجرای احکام داوری بین المللی فصل دوم…

  • وجدان اخلاقی از دیدگاه ایمانوئل کانت وعلامه محمّد تقی جعفری

    وجدان اخلاقی از دیدگاه ایمانوئل کانت وعلامه محمّد تقی جعفری وجدان اخلاقی دانلود پایان نامه وجدان اخلاقی وجدان اخلاقی از دیدگاه ایمانوئل کانت وجدان اخلاقی از دیدگاه علامه محمّد تقی جعفری وجدان اخلاقی از دیدگاه ایمانوئل کانت وعلامه محمّد تقی…

  • خدمات دهی به مراجعین به جایگاه های سوخت

    خدمات دهی به مراجعین به جایگاه های سوخت زمان انتظار خدمت دهنده جایگاه های سوخت رسانی ترکیبی اصول صف مدیریت زمان در نحوه خدمات دهی به مراجعین به جایگاه های سوخت رسانی بهینه سازی فرآیند مدیریت زمان در نحوه خدمات…

  • ادبیات نظری و پیشینه تجربی فراتحلیل

    ادبیات نظری و پیشینه تجربی فراتحلیل کلمات کلیدی : فصل دوم پایان نامه فراتحلیل مبانی نظری فراتحلیل پیشینه تحقیق فراتحلیل پیشینه داخلی فراتحلیل پیشینه خارجی فراتحلیل پیشینه پژوهش فراتحلیل پیشینه نظری فراتحلیل ادبیات نظری فراتحلیل چارچوب نظری فراتحلیل رفتن به سایت…

  • پاورپوینت ساخت و سازمان شهر در دوره متقدم اسلامی و از قرن دوم تا هفتم هجری

    پاورپوینت ساخت و سازمان شهر در دوره متقدم اسلامی و از قرن دوم تا هفتم هجری کلمات کلیدی : ساخت و سازمان شهر در دوره متقدم اسلامی و از قرن دوم تا هفتم هجری ساخت و سازمان شهر در دوره…

  • پرسشنامه سازگاری نوجوانان دبیرستانی سینها و سینگ 1993

    پرسشنامه سازگاری نوجوانان دبیرستانی سینها و سینگ 1993 کلمات کلیدی : پرسشنامه سازگاری نوجوانان دبیرستانی دانلود پرسشنامه سازگاری سینها و سینگ پرسشنامه سازگاری اجتماعی سینها و سینگ 1993 پرسشنامه سازگاری تحصیلی دانش آموزان پرسشنامه سازگاری اجتماعی دانش آموزان ابتدایی دانلود…

  • دانلود پرسشنامه هوش سازمانی آلبرخت با روایی و پایایی

    دانلود پرسشنامه هوش سازمانی آلبرخت با روایی و پایایی کلمات کلیدی : پرسشنامه هوش سازمانی پرسشنامه هوش سازمانی آلبرخت پرسشنامه هوش سازمانی کارل آلبرخت پرسشنامه هوش سازمانی آلبرشت پرسشنامه استاندارد هوش سازمانی دانلود پرسشنامه هوش سازمانی آلبرخت پرسشنامه هوش سازمانی…

  • مبانی نظری و پیشینه تحقیق شاخص های تشکیل دهنده توسعه انسانی 34 صفحه

    مبانی نظری و پیشینه تحقیق شاخص های تشکیل دهنده توسعه انسانی 34 صفحه کلمات کلیدی : مبانی نظری توسعه منابع انسانی پیشینه تحقیق توسعه منابع انسانی فصل دوم پایان نامه توسعه منابع انسانی مبانی نظری شاخص های تشکیل دهنده توسعه…

  • خرید دین در معاملات بانکی

    خرید دین در معاملات بانکی خرید دین در فقه پایان نامه خرید دین خرید دین در حقوق بانکی ایران بررسی خرید دین در فقه امامیه خرید دین در بانکداری اسلامی خرید دین در نظام بانکی خرید دین در معاملات بانکی…

  • پاورپوینت عرضه و تقاضا در بازار کار

    پاورپوینت عرضه و تقاضا در بازار کار کلمات کلیدی : پاورپوینت عرضه و تقاضا در بازار کار مدل سادۀ کوری افزایش درآمد ناشی از افزایش اشتغال تقاضای کل نیروی کار منحنی عرضه کار جمعی و کل تعادل بازار کار منحنی…

  • علل و ابعاد فرسودگی شغلی

    علل و ابعاد فرسودگی شغلی کلمات کلیدی : تعریف فرسودگی شغلی ابعاد فرسودگی شغلی دلایل فرسودگی شغلی پایان نامه فرسودگی شغلی تحقیق در مورد فرسودگی شغلی از خود بیگانگی و فرسودگی شغلی شیوه‌ پیشگیری‌ از فرسودگی‌ شغلی عوامل  ایجاد فرسودگی…

  • پرسشنامه استاندارد سازگاری شغلی پورکبیریان با نمره گذاری، روایی و پایایی

    پرسشنامه استاندارد سازگاری شغلی پورکبیریان با نمره گذاری، روایی و پایایی کلمات کلیدی : پرسشنامه سازگاری شغلی دانلود پرسشنامه سازگاری شغلی پرسشنامه استاندارد سازگاری شغلی پرسشنامه سازگاری شغلی پورکبیریان نمره گذاری پرسشنامه سازگاری شغلی پورکبیریان روایی و پایایی پرسشنامه سازگاری…

  • بررسی اختلاف زوجین در نوع عقد نکاح

    بررسی اختلاف زوجین در نوع عقد نکاح کلمات کلیدی : تراضی در عقد تراضي في عقد البيع تراضی طرفین یعنی چه اصل حاکمیت اراده در حقوق ایران تعارض اراده ظاهری و باطنی اختلاف زوجین در نوع عقد تحلیل روانی اراده…

  • بررسی تاثیر نسبت وزنی گلوله به پودر، براندازه دانه كاربید تنگستن در تركیبCo %10WC- با استفاده از انرژی بالای آسیاب

    بررسی تاثیر نسبت وزنی گلوله به پودر، براندازه دانه كاربید تنگستن در تركیبCo %10WC- با استفاده از انرژی بالای آسیاب كاربید تنگستن كبالت انرژی بالای آسیاب چقرمگی تركیبCo %10WC نسبت وزنی گلوله به پودر اندازه دانه كاربید تنگستن استفاده از…

  • طرح تفصیلی پایان نامه تدلیس در ازدواج و نحوه ضمانت اجرای کیفری آن

    طرح تفصیلی پایان نامه تدلیس در ازدواج و نحوه ضمانت اجرای کیفری آن فریب در ازدواج تدلیس در ازدواج دانلود پروپوزال تدلیس در ازدواج ضمانت اجرای کیفری فریب در ازدواج پروپوزال ضمانت اجرای كیفری تدلیس در ازدواج پروپوزال تدلیس در…

  • پروپوزال شناسایی و بررسی عوامل موفقیت پیاده سازی سیستم برنامه ریزی منابع سازمان

    پروپوزال شناسایی و بررسی عوامل موفقیت پیاده سازی سیستم برنامه ریزی منابع سازمان پروپوزال ERP مراحل پیاده سازی erp پروپوزال پیاده سازی erp پیاده سازی erp در سازمان پیاده سازی برنامه ریزی منابع سازمان عوامل کلیدی موفقیت erp پروپوزال عوامل…

  • مقاله بررسی تاثیر مدیریت دانش بر کارآفرینی

    مقاله بررسی تاثیر مدیریت دانش بر کارآفرینی پایان نامه مدیریت دانش پایان نامه میزان کارآفرینی بررسی تاثیر مدیریت دانش بر كارآفرینی رابطه مدیریت دانش و کارآفرینی مدیران پایان نامه رابطه مدیریت دانش و میزان کارآفرینی مدیران پیاده سازی مدیریت دانش…

  • پرسشنامه بررسی تطبیقی ارتباط فرسودگی شغلی با سلامت روان

    پرسشنامه بررسی تطبیقی ارتباط فرسودگی شغلی با سلامت روان کلمات کلیدی : پرسشنامه فرسودگی شغلی پرسشنامه فرسودگی شغلی پرستاران پرسشنامه فرسودگي شغلي پنيس و ارونسون روایی و پایایی پرسشنامه فرسودگی شغلی تحلیل پرسشنامه فرسودگی شغلی دانلود پرسشنامه فرسودگی شغلی پرسشنامه…

  • پروژه مالی مبلمان

    پروژه مالی مبلمان دانلود پروژه مالی دانلود پروژه مالی مبلمان دانلود پروژه مالی رشته حسابداری پروژه مالی رشته حسابداری دانلود پروژه مالی رشته حسابداری با عنوان مبلمان رفتن به سایت اصلی دانلود پروژه مالی رشته حسابداری با عنوان مبلمان  …