دانلود پایان نامه مهندسی فناوری اطلاعات: روشهای استخراج اطلاعات با استفاده از داده های دسترسی به وب

پایان نامه مقطع کارشناسی ارشد رشته فناوری اطلاعات

سمینار ویژه کارشناسی ارشد مهندسی فناوری اطلاعات

گرایش طراحی و تولید نرم افزار

عنوان:

روشهای استخراج اطلاعات با استفاده از داده های دسترسی به وب

استاد درس:

جناب آقای دکتر حمزه

برای رعایت حریم خصوصی نام نگارنده درج نمی شود

تکه هایی از متن به عنوان نمونه :

فهرست مطالب:

1- مفهوم داده کاوی و وب کاوی   ——————————————- 5

1-1- وب کاوی ———————————————————-5

2-1- ارتباط وب کاوی و داده کاوی——————————————-6

3-1- انواع وب کاوی——————————————————-7

2- اهداف و کاربرد ———————————————————8

1-2- خصوصی سازی محتوای وب———————————————8

2-2- پیش بازیابی ———————————————————8

3-2- بهبود طراحی سایت های وب——————————————–8

2-4- تشخیص اجتماعات وب—————————————————9

2-5-پیمایش وب————————————————————9

2-6- کاربردهای وب کاوی—————————————————–9

2-6-1- تجارت الکترونیکی—————————————————-10

2-6-2- موتورهای جستجو—————————————————10

2-6-3- حراجی در وب——————————————————10

3- مشکلات و چالش های وب کاوی——————————————11

4- وب کاوی و زمینه های تحقیقاتی مرتبط————————————12

4-1- وب کاوی و داده کاوی————————————————–12

4-2- وب کاوی و بازیابی اطلاعات———————————————-12

4-3- وب کاوی و استخراج اطلاعات———————————————13

4-4- وب کاوی و یادگیری ماشین———————————————-13

5- انواع وب کاوی———————————————————–14

5-1- کاوش محتوای وب—————————————————–15

5-1-1- انواع کاوش محتوا در وب ———————————————16

5-1-1-1- طبقه بندی——————————————————-16

5-1-1-3- خوشه بندی——————————————————16

5-1-1-4- سایر انواع کاوش محتوا در وب—————————————-17

5-1-2- رویکردهای کاوش محتوا در وب ————————————————-17

5-1-3- الگوریتم های کاوش محتوا در وب —————————————18

5-1-3- 1- درخت تصمیم——————————————————–18

5-1-3- 2- شبکه عصبی———————————————————-18

5-1-3- 3- سایر الگوریتم های کاوش————————————————18

5-2- کاوش ساختار وب———————————————————–19

5-2-1- مدل های بازنمایی ساختار وب———————————————–19

5-2-1-1- مدل های مبتنی بر گراف————————————————-19

5-2-1-2- مدل های مارکو———————————————————21

5-2-2- الگوریتم های کاوش ساختار وب———————————————-21

5-2-2-1- HITS—————————————————————-

5-2-2-2- Page Rank———————————————————-

5-2-2-3- الگوریتم جریان بیشینه—————————————————23

5-2-2-4- Average Clicks—————————————————–

6- کاوش استفاده از وب————————————————————24

6-1- انواع داده های استفاده از وب—————————————————25

6-1-1- داده های سرورهای وب—————————————————–25

6-1-2- داده های سرورهای پراکسی————————————————–25

6-1-3- داده های کلاینت———————————————————-25

6-2- پیش پردازش داده های استفاده از وب——————————————–26

6-2-1- پاکسازی داده————————————————————-26

6-2-2- تشخیص و بازسازی نشست—————————————————26

6-2-3- بازیابی ساختار و محتوا——————————————————27

6-2-4- قالب بندی داده————————————————————27

6-3- روش های کاوش استفاده از وب————————————————-28

6-3-1- قوانین انجمنی————————————————————-28

6-3-2- الگوهای ترتیبی————————————————————28

6-3-3- خوشه بندی—————————————————————29

6-4- کاربردهای کاوش استفاده از وب————————————————-29

6-4-1- خصوصی سازی محتوای وب————————————————–30

6-4-2- پیش بازیابی ————————————————————–30

6-4-3- بهبود طراحی سایت های وب————————————————-30

6-5-خروجیها و تکنیکهای wum—————————————————-

6-6 -تحلیل wum—————————————————————

7- نتیجه گیری——————————————————————-32

8- مراجع————————————————————————33

چکیده:

با افزایش محبوبیت شبکه جهانی وب، مقدار حجیمی از داده‌ها توسط وب سرورها در قالب فایلهای ثبت وقایع وب جمع‌آوری می‌شوند. این فایلها که در آنها تمامی فعالیتهای و رخ‌داده در سیستم وب‌سرور ثبت می‌شود، می‌توانند به عنوان منابع بسیار غنی از اطلاعات برای درک و تشخیص رفتار کاربران وب، استفاده شوند. با توجه به گسترش روز افزون حجم اطلاعات در وب و ارتباط وب کاوی با تجارت الکترونیکی، وب کاوی به یک زمینه تحقیقاتی وسیع مبدل گشته است .

کاوش استفاده از وب یا به بیان بهتر کاوش داده های استفاده از وب که آن را کاوش فایل ثبت وقایع در وب نیز می‌نامند، در واقع استفاده از الگوریتمهای داده کاوی بر روی فایلهای ثبت وقایع وب به منظور پیدا کردن مسیر حرکت و نظم موجود در الگوهای جستجوی کاربران وب است.

کاوش داده های استفاده از وب، روش پیداکردن کاربرانی است که در اینترنت به دنبال اهداف خاصی می گردند. بعضی از کاربران ممکن است به دنبال داده های متنی باشند در حالی که بعضی دیگر ممکن است بخواهند داده های سمعی وبصری را ازاینترنت دریافت نمایند.کاوش داده های استفاده از وب به ما کمک می کند تا الگو هایی از گروه های مشخصی از افراد را که به مناطق مشخصی تعلق دارند پیدا کنیم.

2- مفهوم داده کاوی و وب کاوی

داده کاوی یک نوع تحلیل برروی پایگاه داده های بزرگ است که به کشف دانش جدید از آن پایگاه داده منتهی می شود. وقتی پایگاه داده سیستم بزرگ می شود و اطلاعات متنوعی در آن وجود دارد با استفاده از داده کاوی می توانیم الگوهایی را برروی این پایگاه داده کشف کنیم که با روابط درون پایگاه داده نمی شد به آن پی برد.بعنوان مثالی ساده ، شما پایگاه داده سایت آمازون (خرید و فروش اینترنتی) را در نظر بگیرید، برروی پایگاه داده این سایت اطلاعات زیادی از خرید ها و جستجو های افراد مختلف وجود دارد، با استفاده از تکنیک های داده کاوی می توانیم یک الگو بدست بیاوریم که مشخص می کند هر جستجو در سایت در نهایت منجر به چه خریدی شده است و سپس آن را به سایر کاربران بعنوان راهنمایی ارائه کنیم.

داده کاوی فرایندی تحلیلی است که برای کاوش داده ها (معمولا حجم عظیمی از داده ها – در زمینه های کسب وکار و بازار) صورت می‌گیرد و یافته‌ها‌با‌به‌کارگیری الگوهایی‌،‌احراز اعتبار می‌شوند . هدف اصلی داده کاوی پیش بینی است و به صورت دقیق تر میتوان گفت :
کاوش داده ها شناسایی الگوهای صحیح، بدیع، سودمند و قابل درک از داده های موجود در یک پایگاه داده است که با استفاده از پرداز شهای معمول قابل دستیابی نیستند” [5].

داده کاوی، علم استخراج اطلاعات مفید از پایگاه های داده یا مجموعه داده ای می باشد. به عبارت دیگرداده کاوی استخراج نیمه اتوماتیک الگوها، تغییرات، وابستگی ها، نابهنجاری ها و دیگر ساختارهای معنی دار آماری از پایگاه های بزرگ داده می باشد [5].

برای دانلود متن کامل پایان نامه اینجا کلیک کنید

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *