مقدمه :

با گسترش نمایی حجم اطلاعات در دسترس روی اینترنت ، فرایند بازیابی اطلاعات مرتبط با نیاز کاربر به طور فزاینده ای مشکل شده است و کاربران به طور معمول با لیست های بسیار طویل از لینک های حاوی اطلاعات و البته با دقت پایین مواجه اند . محققین برای پیشبرد حل این مسئله ی چالش بر انگیز تکنیک های گوناگونی توسعه داده اند که البته مشکل اصلی بیشتر ان تکنیک ها این است که همکاری کاربران را که پتانسیل توسعه ی کیفیت و کارایی جستجو های وب را دارد ، تهسیل نمی کنند . بدون همکاری ، کاربران باید در هر بار انجام یک عمل جستجو ، از نقطه صفر شروع کنند حتی اگر کابران دیگر جستجو های مشابه یا مرتبطی را پیشتر انجام داده باشند .یک راه برای حل این مسئله این است که رهیافت چند عامله را برای وب کاوی و بازیابی اطلاعات به صورت مشارکتی ، برگزنیم . سیستم پشتیبانی کننده از این روش ، کاربر را قادر می کند که جلسه های جستجو را حاشیه نویسی کند و انها را با سایر کاربران به اشتراک بگذارد .نکته دیگر اینکه فرایند های جمع اور ی و بازیابی اطلاعات در موتور های جستجوی سنتی مستقل از ترجیحات کاربر هستند . یک راه برای این که تا حدودی بتوان این مسئله و نیز مشکلات مقیاس پذیری که با توجه به اندازه و طبیعت پویای وب پدید امده را برطرف کرد این است که وب را به عامل های سرویس دهنده ی محلی متمرکز (localized server agents –SA) تقسیم کنیم که این عامل های سرویس دهنده حوزه های خاصی را به وسیله ی مجموعه ای از عامل های صفحات وب (Web page agents- WPA) ، عامل گونه می کنند . در این حیطه مباحثی چون متدلوژی های خوشه بندی عامل ها در قالب اجتماعات و نیز مکانیزم های مسیر یابی query مطرح هستند .نظر به اینکه اکثر کاربران تنها از یک موتور جستجوی منفرد استفاده می کنند ، یک پرسش مطرح می شود : با این همه موتور جستجوی موجود ، چرا تنها تز یکی از انها استفاده می کنیم ؟ ممکن است موتور های جستجوی مختلف پاسخ های بهینه به query های متفاوت را برای ما فراهم نمایند . در این راستا روش های توافقی ، بر اساس تئوری توافق شکل گرفته اند که بیان می نمایند که اگر یک کار مشابه به چندین متخصص( که اعتبار انها تقریبا مشابه است ) سپرده شود ، راه حل تطبیقی و وفق یافته ی ان ها ( پاسخ توافقی یا توافق – که این عبارت را در ادامه به کار خواهیم برد ) معتبر تر از پاسخ هایی است که هریک به تنهایی رائه داده اند. به طور مشابه ، پاسخ توافقی بر اساس پاسخ های تولید شده توسط چندین موتور جستجو ، می بایست مرتبط تر از هر یک از پاسخ ها به طور منفرد باشد . این مهم ، به کار گیری چندین موتور جستجو در بازیابی اطلاعات از اینترنت را ترغیب میکندسیستم عامل گرای پشتیبانی کننده از روش های توافقی می تواند برای رفع اختلافات مجموعه جواب ها به کار گرفته شده و از چندین عامل برای بازیابی استفاده نماید . مزیت این راهکار این است که عامل ها ، از موتور های جستجوی متفاوت استفاده می کنند . برای این که پاسخ نهایی را خلق کنیم ، از روش توافقی برای انتخاب url هایی استفاده می کنیم که کمترین فاصله از ان هایی که توسط سایر عامل ها تهیه شده اند ، را دارند . پاسخ توافقی برای کاربر به نمایش گذاشته می شود و با توجه به روش حصولش، انتظار می رود که کاملتر و مرتبط تر باشد . از سوی دیگر ، هر عامل پایگاه دانش خود را دارد که شامل اطلاعاتی در مورد نتایج جستجو های پیشین است و برای انتخاب موتور جستجوی مورد استفاده در جستجوهای اتی به کار می رود .

فهرست مطالب

  • هدف                                                                                                            5
  • روش کار و تحقیق                                                                                        5

فصل دوم : راهکار مشارکت و همکاری در سیستم های وب کاوی چند عامله

1-2)مباحث مقدماتی                                                                                         9

2-1-1) موتور های جستجوی وب                                                                      9

2-1-2) کاوش محتوای وب و انالیز پس – بازیابی                                               10

2-1-3) بازیابی اطلاعات مشارکتی و فیلترینگ مشارکتی                                      12

2-1-4) عامل های نرم افزاری                                                                            14

2-1-4-1) عامل های روی وب                                                                         14

2-1-4-2) سیستم های چند عامله                                                                      15

2-1-5) مسائل و مشکلات رهیافت های فعلی                                                      16

2-2) collaborative spider : معماری سیستم و اجزا اصلی                             17

2-2-1) عامل کاربر                                                                                          19

2-2-2) عامل زمانبند                                                                                        20

2-2-3) عامل همکار                                                                                        21

2-2-4) طراحی مخزنداده                                                                                 21

2-2-5) زبان ارتباط عانمل ها                                                                            22

2-3) جلسه های کاربر نمونه با به کارگیری collaborative spider              ا     23

2-3-1) ثبت نام کاربر                                                                                      23

2-3-2) انالیز و جستجوی وب                                                                         24

2-3-3) دسترسی به جلسه های جستجوی سایر کاربران                                        28

2-3-4) ذخیره و به اشتراک گذاری جلسه های جستجو                                        30

2-3-5) نظارت بر جلسه ها                                                                                31

2-4) متد لوژی ارزیابی                                                                                      31

2-4-1) طرح ازمایشی                                                                                       31

2-4-2) پیمانه هایی برای سنجش کارایی                                                            34

2-5) نتایج کمی                                                                                               35

2-5-2) رفتار همکارانه                                                                                     39

فصل سوم : راهکار عامل گونه کردن فضا ، خوشه بندی و توزیع در سیستم های وب کاوی چند عامله

  • عامل گونه کردن سرویس دهنده وب                                                            44

3-2) خلق کردن اجتماعات عامل ها                                                                   46

3-3) مکانیزم مسیر یابی kodama                                             ا                        47

3-4 ) توزیع جستجوی وب در kodama                              ا                             48

3-5) نتایج تجربی                                                                                             50

فصل چهارم : راهکار توافق در سیتم های وب کاوی چند عامله

4-1) طرا حی سیستم چند عامله                                                                          53

4-1-1) انگیزه                                                                                                 53

4-1-2) طراحی سیستم                                                                                     54

4-1-3) الگوریتم های اصلی به کار رفته در سیستم                                               58

4-2) نتایج تجربی اولیه                                                                                      62

فصل پنجم : نتیجه گیری و پیشنهادات

5-1) نتیجه گیر ی                                                                                             66

5-2) پیشنهادات                                                                                                67

فهرست منابع لاتین                                                                                             69

چکیده انگلیسی                                                                                                70

فهرست جداول

1-2: متوسط زمان مصرفی روی هر عمل جستجو                                                                 35

2-2: تحلیل اثر گذاری روی گروه های مختلف                                                               36

2-3: نتایج t-tests               ا                                                                                       36

2-4: تحلیل کارایی انوا گوناگون رفتار های مشارکتی                                                    41

1-3: صفات عامل سرویس دهنده                                                                               49

1-4: نتایج شش نمونه برای glosowane.wybiry.: query                     ا               63

فهرست شکل ها

1-2: معماری collaborative spider                                                             ا                                18

2-2: تعیین url های اغازین ، عبارات جستجو و امکانات به اشتراک گذاری                                            24

2-3: نتایج جستجو                                                                                                        25

2-4: noun phrase عباراتی که بیشترین تکرار را در صفحات وب بازیابی شده دارند ، نشان می دهد     26

2-5: قشه خود سازمان ده ، یک نقشه ی موضوعی که صفحات وب بازیابی شده رت به نواحی مختلف دسته بندی میکند                                                                                                                       27

2-6: داشبورد دانش                                                                                          30

2-7: مقیاس هاس کارایی بر اساس تعداد جلسه های در دسترس از سایر کاربران      38

3-1: ساختار سلسله مراتبی یک قلمرو عامل گونه شده                                           46

3-2: دقت query ها                                                                                       50

4-1: دیاگرام use case سیستم                                                                         55

4-2: سرویس دهی به query کاربر – دیاگرام فعالیت UML                        ا       57

هدف

هدف اصلی از این تحقیق به کار گیری سیستم های چند عامله در جهت بهبود کارایی در کاوش وب است . به دلیلی نیاز روز افزون کاربران اینترنت به دسترسی سریع و دقیق به اطلاعات مطلوب و در عین حال گسترش فزاینده ی حجم اطلاعات در این شبکه جهانی ، سیستم های سنتی جستجوی وب قادر به پاسخگویی به شکل مطلوب نبوده و بهره گیری از راهکار های چند عامله یکی از روش های موثر در راستای تجهیز سیستم های وب کاوی است تا بر مشکل فائق ایند .ابزار جستجوی وب موجود غالبا با کاربران منفرد کار می کنند و از نتایج جستجو های پیشین سایرین کمک نمی گیرند . در این فصل COLLABORATIVE SPIDER را ارئه می کنیم که یک سیستم چند عامله طراحی شده برای انالیز پس – بازیابی و ایجاد امکان همکاری کاربران در جستجو و کاوش وب است . این سیستم کاربر را قادر می کند که جلسه های جستجو را حاشیه نویسی کند و انها را با سایر کاربران به اشتراک بگذارد . در ادامه نیز طرحی برای ارزیابی سودمندی این سیستم ارائه خواهیم کرد . یافته های تجریی نشان می دهد که کارایی جستجوی موضوعی با دسترسی به تعداد محدودی ( مثلا 1یا 2 مورد ) از جلسه های جستجوی اخیر که توسط کاربران دیگر انجام شده اند در مقایسه با سناریو های جستجوس نفرد – که در انها کاربران هیچ گونه دسترسی به جستجو های پیشین نداشته اند – پایین تر است . با این حال کارایی جستجو ، با دسترسی موضوعات به جلسه های بیشتر ، پیشرفت معنی داری پیذا می کند . این نشان می دهد که بهره مندی از همکاری در جستجو وتحلیل وب مشارکتی ، بالا سری بازبینی و درک جستجو های پیشین سلیر کاربران را تا زمانی که تعداد مشخصی از جلسه های به اشتراک گذاشته شده مورد دسترسی قرار نگیرند، جبران نمی کند .

از مطالب مهم می توان به موارد ذیل اشاره کرد :

الف) اثر روش مطرح شده روی کارایی تحلیل و جستجوی کاربر و حجم بهینه اطلاعات مشارکتی لازم برای راندمان بالا

ب) انواع مختلف رفتار های همکارانه ی کاربران که در وب کاوی مشاهده شده است

کاوش محتوای وب و انالیز پس – بازیابی

وب کاوی ، به کار گیری تکنیک های داده کاوی است . در راستای کشف و استخراج خودکار اطلاعات از سرویس ها و اسناد وب . مطالعه روی وب کاوی می تواند به سه رده تقسیم شود :

کاوش محتوایی وب ، کاوش ساختاری وب و کاوش کاربردب وب

کاوش محتوایی وب ، به کشف اطلاعات مفید از محتوای وب که شامل متن ، تصویر ، صوت ، ویدیو و ..و است ، می پرازد . تحقیقات در این نوع کاوش وب ، کشف منابع از طریق وب ، خوشه بندی و دسته بندی اسناد و استخراج اطلاعات از صفحات وب را در بر می گیرد .عکمل زمانبند به طور مستمر در پس زمینه در حال اجرا است و درخواست های مانیتورینگ ( نظارت ) ارسالی توسط عامل کاربر را شنود می کند . این عامل ، لیست کامل اعمال نظارتی را برای هر کاربر نگهداری می کند و مسئول اجرای هر عمل انالیز و بازیابی بر اساس برنامه ارائه شده توسط کاربر است . این عامل عمل موازنه بار را نیز انجام می دهد تا از فزونی یافتن بار سرویس دهنده وب ، وقتی که فعالیت های زمان بندی شده ی زیادی با ابتکارات غیر مستدل ساده داریم ف جلوگیری شود . ( به عنوان مثال ، جلوگیری از اجرای دو عمل جستجوی زمان بندی شده یه صورت همزمان روی یک وب سایت ) .هرگاه یک جلسه جستجوی جدید تمام شود ، عامل زمانبند ان جلسه را ذخیره می کند وبه عامل کاربر و عامل همکار متناظر می فرستد.


مقطع کارشناسی ارشد

بلافاصاله بعد از پرداخت به ایمیلی که در مرحله بعد وارد میکنید ارسال میشود.


فایل pdf غیر قابل ویرایش

قیمت25000تومان

قیمت45000تومان