3-5-جمعبندی……………………………………………………………………………………………………….. 51
مراجع…………………………………………………………………………………………………………………… 53
فصل چهارم:……………………………………………………………………………………………………. 55
4-1-مقدمه…………………………………………………………………………………………………………….. 56
4-2-مجموعه داده ها…………………………………………………………………………………………………. 56
4-2-1-دیتاست YANDEX…………………………………………………………………………………….
4-2-1-1-پیش پردازش انجام شده با مجموعه داده های خام قبل از انتشار………………………….. 57
4-3-پارامترهای ارزیابی……………………………………………………………………………………………… 60
4-4-آزمایشات انجام شده…………………………………………………………………………………………… 61
4-4-1-سخت افزار مورد استفاده……………………………………………………………………………….. 62
4-4-2-نتایج آزمایشات…………………………………………………………………………………………. 62
4-5-جمعبندی……………………………………………………………………………………………………….. 64
مراجع:…………………………………………………………………………………………………………………… 65
فصل پنجم:…………………………………………………………………………………………………………. 66
5-1-مقدمه…………………………………………………………………………………………………………….. 67
5-2-نتایج و دستاوردهای پروژه……………………………………………………………………………………. 68
5-3-پیشنهادات……………………………………………………………………………………………………… 68
مراجع……………………………………………………………………………………………………………………. 70
چکیده:
گرانبار شدن اطلاعات یک مشکل عمده در وب کنونی به شمار میرود. برای مقابله با این مشکل، سیستمهای شخصیسازی وب ارائه شده اند که محتوا و سرویسهای یک وبسایت را با افراد براساس علایق و رفتار گردشی آنها سازگار می کنند. یک مؤلفهی اساسی در هر سیستم شخصیسازی وب، مدل کاربر آن است. هدف از شخصی سازی وب، مهیا ساختن محتوا و سرویسهای مورد نیاز کاربران به وسیله دانش به دست آمده از تعاملات قبلی کاربران در صفحات وب است. در حال حاضر، برای شخصیسازی وب چندین متد خوشهبندی در دسترس است. روشهایی که تاکنون ارائه شده اند، در مواردی دارای اشکالاتی بودند. البته تکنیکهای جدیدی در رفع این مشکلات و بهبود آنها ارائه شده است. اما در بیشتر این تکنیکها، مسائل افزونگی داده و مقیاسبندی بالا وجود دارد. با توجه به اینکه افزایش کاربران وب منجر به افزایش اندازهی خوشه میگرد، نیاز به بهینهسازی خوشهها اجتنابناپذیر خواهد بود. در تحقیق، یک متدولوژی بهینهسازی خوشه بر اساس سیستم فازی ارائه شده است. به منظور افزایش دقت نهایی خوشه بندی، برای تنظیم پارامترهای توابع عضویت از الگوریتم ژنتیک استفاده شده است. نتایج حاصل از شبیهسازی نشان میدهد که روش پیشنهادی دقت خوشه بندی صفحات وب را تا حد قابل توجهی افزایش میدهد.
فصل اول: کلیات تحقیق
1-1- مقدمه
با توسعه سیستمهای اطلاعاتی، داده به یکی از منابع پراهمیت سازمانها مبدل گشته است. بنابراین روشها و تکنیکهایی برای دستیابی کارا به داده، اشتراک داده، استخراج اطلاعات از داده و استفاده از این اطلاعات، مورد نیاز میباشد. با ایجاد و گسترش وب و افزایش چشمگیر حجم اطلاعات، نیاز به این روشها و تکنیکها بیش از پیش احساس میشود. وب، محیطی وسیع، متنوع و پویا است که کاربران متعدد اسناد خود را در آن منتشر میکنند. در حال حاضر بیش از دو بیلیون صفحه در وب موجود است و این تعداد با نرخ 7.3 میلیون صفحه در روز افزایش مییابد. با توجه به حجم وسیع اطلاعات در وب، مدیریت آن با ابزارهای سنتی تقریباً غیر ممکن است و ابزارها و روشهایی نو برای مدیریت آن مورد نیاز است. به طور کلی کاربران وب در استفاده از آن با مشکلات زیر روبرو هستند:
1- یافتن اطلاعات مرتبط: یافتن اطلاعات مورد نیاز در وب دشوار میباشد. روشهای سنتی بازیابی اطلاعات که برای جستجوی اطلاعات در پایگاه دادهها به کار میروند، قابل استفاده در وب نمیباشند و کاربران معمولاً از موتورهای جستجو که مهمترین و رایج ترین ابزار برای یافتن اطلاعات در وب می باشند، استفاده میکنند. این موتورها، یک پرس و جوی مبتنی بر کلمات کلیدی از کاربر دریافت کرده و در پاسخ لیستی از اسناد مرتبط با پرس و جوی وی را که بر اساس میزان ارتباط با این پرس و جو مرتب شده اند، به وی ارائه می کنند. اما موتورهای جستجو دارای دو مشکل اصلی هستند (Baeza-Yates, 2004). اولاً دقت موتورهای جستجو پایین است، چراکه این موتورها در پاسخ به یک پرس و جوی کاربر صدها یا هزاران سند را بازیابی میکنند، در حالی که بسیاری از اسناد بازیابی شده توسط آنها با
این مطلب را هم بخوانید :
لینک نوفالو – Nofollow
نیاز اطلاعاتی کاربر مرتبط نمیباشند (Bharat, and et. al., 2001). ثانیاً میزان فراخوان این موتورها کم میباشد، به آن معنی که قادر به بازیابی کلیه اسناد مرتبط با نیاز اطلاعاتی کاربر نیستند. چرا که حجم اسناد در وب بسیار زیاد است و موتورهای جستجو قادر به نگهداری اطلاعات کلیه اسناد وب، در پایگاه دادههای خود نمیباشند (Chakrabarti, and et. al., 1999).
2- ایجاد دانش جدید با بهره گرفتن از اطلاعات موجود در وب: در حال حاضر این سوال مطرح است که چگونه میتوان دادههای فراوان موجود در وب را به دانشی قابل استفاده تبدیل کرد، به طوری که یافتن اطلاعات مورد نیاز در آن به سادگی صورت بگیرد. همچنین چگونه میتوان با بهره گرفتن از دادههای وب به اطلاعات و دانشی جدید دست یافت.
3- خصوصی سازی اطلاعات: از آن جا که کاربران متفاوت هر یک درباره نوع و نحوهی بازنمایی اطلاعات سلیقه خاصی دارند، این مسئله باید توسط تأمینکنندگان اطلاعات در وب مورد توجه قرار بگیرد. برای این منظور با توجه به خواستهها و تمایلات کاربران متفاوت، نحوه ارائه اطلاعات به آنها باید سفارشی گردد.
تکنیکهای وب کاوی قادر به حل این مشکلات میباشند (Chakrabarti, 2000).