![]() |
|
сделать стартовой | добавить в избранное |
![]() |
Проблеми використання роботів /Укр./ |
Національний університет "Києво-Могилянська Академія" Департамент комп‘ютерних технологій Кафедра інформатики Проблеми використання роботів в Інтернеті Реферат з курсу "Програмне забезпечення інтелектуальних систем" студента ДКТ-5 Підгорного Свєтослава Викладач: Гороховський С. С. Київ 2001 Вступ. 3 Використання роботів. 3 Статистичний аналіз. 4 Підтримка. 4 Дзеркала. 5 Пошук ресурсів 6 Комбіноване використання. 7 Ціна використання та застереження. 7 Ресурси мережі та завантаження серверів. 7 Оновлення. 8 Погані реалізації. 10 Ведення каталогу. 11 Забагато матеріалу, що є забагато динамічним. 11 Визначення що індексувати, а що ні. 11 Статистичний аналіз. 13 Етика. 13 Альтернативи для пошуку ресурсів. 15 Висновок. 16 Література. 18 Вступ Всесвітня павутина стала дуже популярною за останні декілька років, і є зараз основним засобом розміщення інформації в інтернет. Коли розмір WWW збільшився від декількох десятків сайтів, стало зрозуміло, що людина не в змозі самостійно переглянути таку кількість сайтів, тим паче знайти нові. Тому почалися розробки програм, що автоматично переглядають WWW. Така програма-робот передивляється Інтернет сторінка за сторінкою, йдучи за посиланнями на інші сторінки. Роботів також називають павуками (spiders) або черв‘яками (worms), але ці назви дають хибне враження, що роботи пересуваються самі, або, що вони копіюють себе, як відомі інтернет-черви. Насправді, робот – це одна програмна система, що отримує інформацію з Інтернет сайтів використовуючи стандартні протоколи WWW. Використання роботів Переглядаючи Інтернет, роботи можуть виконувати такі функції: Статистичний аналіз Найперші роботи були створені для підрахунку кількості WWW-серверів. Сучасні роботи можуть також підраховувати іншу статистичну інформацію, як то, середню кількість документів на один сервер, пропорцію заданих типів файлів, середній розмір веб-сайту, ступень міжсполучення між сайтами. Підтримка Одна з основних проблем підтримки Інтернет виникає, коли перестають працювати посилання на інші сторінки. Це відбувається тоді, коли сторінка, на яку посилаються, перемістилася на іншу адресу або взагалі перестала існувати. Нажаль, натепер не існує автоматичного механізму, що повідомляв би веб-мастерів про такі зміни. Деякі сервери, наприклад CER H PD, записують у файл журналу, запити до сторінки, що не існує, з адресою сторінки, звідки йшло посилання, що дозволяє виправити ситуацію пізніше. Але це не практично, і, насправді, автори дізнаються, про неправильні посилання на своїх сторінках, коли помітять самі, або коли користувачі повідомлять їх по пошті. Робот, що перевіряє посилання, такий як MOMspider, допомагає автору знайти такі неправильні посилання, тому допомагає підтримувати сайт. Роботи можуть допомагати підтримувати зміст так само, як і структуру, первіряючи правильність H ML коду, регулярність оновлення інформації, але це використовується не дуже часто. Цей вид функціональності часто є вбудованою частиною H ML редакторів, але, роботи можуть повторювати ці перевірки при кожній модифікації сайту, і будь-які проблеми можуть бути вирішені негайно.
Дзеркала Дзеркальність – популярна техніка для підтримки F P архівів. Дзеркало містить копію усього дерева каталогів F P сайту і регулярно оновлює ті документи, що додаються до оригінального сайту. Це дозволяє зменшити трафік до кожного з вузлів, їх завантаженість, працювати з архівом, якщо оригінальний сервер не працює, мати швидкий та дешевий локальний доступ та доступ без підключення до інтернет. Дзеркальність може бути легко забезпечена роботом. Вже існують роботи, що отримують дерево каталогів веб-вузлу та записують його локально, але вони не мають можливості оновлювати тільки ту інформацію, що змінилася. Необхідність таких засобів зменшилася з появою складних кеш-серверів, які можуть робити вибіркове оновлення, та гарантувати, що документ з кешу є оновленим. Пошук ресурсів Мабуть, найбільш захоплюючим використанням роботів є пошук нових ресурсів. Там, де люди не можуть впоратись з величезною кількістю інформації, комп‘ютер зробить цю задачу швидко й якісно. Існує багато роботів, що оглядають великі частини WWW та дають доступ до зібраної інформації за допомогою пошукової системи. Це значить, що користувач може одночасно використовувати перегляд та пошук для знаходження потрібної інформації. Навіть, якщо база даних не містить саме ту інформацію, що вам потрібна, ймовірно вона містить сторінки на яких є посилання на потрібну. Другою перевагою є те, що ці бази даних можуть оновлюватися періодично, і посилання на сторінки, що не існують, можуть бути знайдені та видалені. Це добра альтернатива ручній підтримці документів, де перевірки бувають рідкі та не глибокі. Комбіноване використання Один робот може виконувати декілька задач. Наприклад RBSE Spider робить статистичний аналіз отриманих документів та видає базу даних знайдених ресурсів. Ціна використання та застереження В цьому розділі ми побачимо, як роботи можуть завдавати шкоди, та як цю шкоду можна мінімізувати. Ресурси мережі та завантаження серверів Роботи потребують чималого трафіку. Перші роботи працювали протягом тривалого часу, інколи місяцями. Щоб прискорити виконання завдання, деякі роботи працюють у паралельному режимі, чимало завантажуючи трафік. Навіть віддалені сервери можуть відчути заповільнення роботи, якщо робот отримує велику кількість документів за короткий час. Це призводить до зменшення швидкості роботи інших користувачів, особливо на повільних лініях. Деякі корпоративні користувачі можуть вбачати пряму залежність між видатками на Інтернет та завантаженістю мережі. Ці видатки окуплять себе для потенційних користувачів, але не окупить використання мережі роботами. Крім ставлення високих вимог до мережі, роботи можуть ставити високі вимоги серверам. У залежності від частоти отримування документів з серверу, одночасне завантаження багатьох документів може призвести до відчутної завантаженості серверу, що призведе, у свою чергу, до зниження рівню сервісу для інших користувачів, цього ж серверу. У випадку, коли сервер використовується також з іншими цілями, це може бути взагалі не допустимо. Тому, робот не може часто отримувати документи з одного серверу.
Навіть сучасний браузер e scape страждає на цю проблему, отримуючи вбудовані у сторінку малюнки одночасово. H P протокол не пристосований до паралельного отримування документів, тому ведуться розробки нових протоколів. Оновлення Було сказано, що бази даних про документи Інтернет мусять оновлюватися регулярно, але ж не існує механізмів контролю за змінами у WWW. Не існує єдиного запиту, що визначав би які з заданих URL‘ів знищені, модифіковані або переміщені. Але, H P протокол разом з запитом даних дозволяє задати дату цього ж документу з кеша. Сервер передасть документ тільки тоді, коли документ було змінено з часу коли він був записаний у кеш. Ця можливість може бути використана роботом лише тоді, коли він зберігає зв‘язок між даними, які він отримує з документу, його URL та часом отримування. Це ставить додаткові вимоги до розміру та складності бази даних, і застосовується не часто. Завантаженість мережі грає особливу роль, коли роботи використовуються кінцевими користувачами, що працюють на повільних лініях. Інший небезпечний аспект клієнтських роботів: коли робот розповсюджений — ніякі помилки не можуть бути виправлені, ніякі інші дані не можуть бути додані і нові можливості не можуть бути реалізовані тому, що не всі оновлять версії своїх роботів. Але найбільш небезпечним є те, що хоча деякі люди будуть використовувати роботів розумно, тобто не перевищувати який-небудь максимум, будуть люди, що зловживатимуть своїми можливостями, через незнання чи самонадійність. "Розумні агенти" або "персональні асистенти" користувача, є зараз популярною темою для дослідження. Очевидно, що автоматизація безцінна для пошуку ресурсів, потрібно ще багато досліджень, щоб пошук став більш ефективним. Прості роботи користувача ще дуже далекі від розумних мережних агентів. Погані реалізації Навантаження на мережу та сервери іноді збільшується за рахунок погано написаних нових роботів. Навіть якщо вхідні та вихідні дані правильні, є багато менш очевидних проблем. Наприклад, іноді один робот звертається декілька раз до одного й того ж ресурсу. Іноді робота просто тестують на цьому ресурсі, а у інших випадках є помилки у програмі робота. Повторні звертання трапляються, коли не записуються історія завантажених ресурсів (що обов‘язково потрібно робити), або коли робот не розпізнає випадки коли використовуються різні D S-назви для однієї IP адреси. Деякі роботи отримують файли таких типів, які вони не можуть обробити (GIF, PS), і ігнорують, хоча їх можна було б і не завантажувати. Ведення каталогу Бази даних ресурсів, що знайдені роботом, безумовно, популярні. Однак, є декілька проблем, що обмежують використання роботів для пошуку ресурсів. Забагато матеріалу, що є забагато динамічним. Виміром ефективності заданого підходу отримання інформації є відсоток релевантних документів серед усіх знайдених. Пошук інформації відбувається не у самому Інтернеті а у локальній базі даних конкретного робота, що може не містити інформації, яка насправді існує у Інтернеті, тому що розмір Інтернет велетенський і зміни дуже часті. Визначення що індексувати, а що ні.
Перцептрон на микросхемах Как только к глазу перцептрона будет поднесена, скажем, цифра 1, нарисованная черным лаком на пластине из органического стекла, она закроет фотодиоды второй и четвёртой ячеек. Закроются соответствующие транзисторы, и на входах элементов DD1.2, DD1.4 будет напряжение, соответствующее уровню логической 1, а на их выходах логического 0. Нетрудно проследить, что при этом у элемента DD2.1 на всех входах будет сигнал 1, а на выходе 0. Включится лампа HL1, высветив на табло цифру 1. Когда глазу перцептрона покажут цифру 2, загорится лампа HL2, при цифре 3 будет светиться лампа HL3, и т.д. В перцептроне можно применить другие фотодиоды, разброс их параметров компенсируют под строечным резистором R2 и подборкой резистора R1. Лампы HL1 НЬ5 на напряжение 6,3 В и ток не более 60 мА. Самовоспроизводство роботов От искусственного интеллекта и самообучения ЭВМ и роботов остаётся совсем немного до проблемы самовоспроизводства роботов. Рассмотрим самую удивительную из всех кибернетических машин машину, способную к самовоспроизводству или, ещё лучше, способную производить более совершенные машины, чем она сама (рис. 80). Рис. 80
1. Проблеми золотоносності надр України
2. Проблеми відродження української державності
3. Проблема ментальності в українській народознавчій науці
4. Прибуткове оподаткування підприємств, проблеми та шляхи розвитку в Україні
5. Проблеми розвитку малих підприємств в Україні
9. Використання та облік вексельного обігу в Україні, його контроль, значения в діяльності підрпиємства
10. Фондова біржа в україні проблеми та перспективи розвитку
11. Проблема українізації у драмі Миколи Куліша "Мина Мазайло"
12. Проблеми і перспективи розвитку медичного страхування в Україні
13. Проблеми розвитку іпотечного ринку в Україні
14. Проблеми функціонування фінансових бірж України
15. Орендні відносини в сільському господарстві України. Проблеми і перспективи розвитку
16. Шляхи покращення використання лісових ресурсів України
17. Екологічні проблеми України та шляхи їх розв’язання
18. Аналіз українського та світового досвіду колдоговірної роботи
20. Організація роботи народного депутата України в парламенті та у виборчому окрузі
21. Правовий режим використання і охорони надр України
26. Національні і політичні проблеми України у творчості М. Костомарова
27. Художнє відтворення проблеми українізації у комедії "Мина Мазайло" Миколи Куліша
28. Здобутки і проблеми зовнішньої політики України на сучасному етапі
29. Проблема вступу України до міжнародних економічних організацій
31. Україна в системі сучасних міжнародних відносин: проблеми і перспективи розвитку
32. Тенденції та проблеми розвитку електронного бізнесу в Україні
34. Використання ігор на уроках української мови в початкових класах
35. Соціально-педагогічна робота як нагальна потреба розвитку українського суспільства
36. Технологія використання психолого-педагогічної діагностики в соціально-педагогічній роботі
37. Деякi вiхи становлення i проблеми української маркшейдерiї
41. Дослідження організації роботи митних органів України в сфері попередження скоєння митних злочинів
42. Курортно-рекреаційний комплекс України. Основні проблеми і перспективи розвитку
43. Кредитна система і проблеми її функціонування в Україні
44. Проблеми податкового реформування в Україні
45. Проблеми та перспективи розвитку податку на додану вартість в Україні
46. Використання векселів в Україні
47. Екологія України. Проблеми. Географія. Шляхи рішення
48. Держбюджет та проблема бюджетного дефіциту в Україні
50. Актуальні проблеми та напрямки реформування спрощеної системи оподаткування в Україні
51. Поняття проблеми та перспективи розвитку середніх міст України
52. Проблема внеземных цивилизаций
53. Проблема Великого Молчания Внеземных Цивилизаций
58. Глобальна продовольча проблема
60. Проблема занятости трудовых ресурсов, их численность. Центральный экономический район.
62. Проблемы размещения производительных сил. Карпатский регион
63. Продовольственная проблема мира
64. Индия. Проблемы и пути их решения
65. Проблема ресурсообеспечения
66. Территориальная проблема Курильских островов
67. Глобальные проблемы человечества. Использование Мирового океана
68. Угольная промышленность мира. Проблемы и перспективы
69. Рост населения, проблема продовольствия
73. ПОДАТКИ ТА ПОДАТКОВА СИСТЕМА УКРАЇНИ
74. Проблемы и перспективы развития денежной системы России
75. Проблемы налогообложения в Российской экономике
76. Проблемы реформирования налоговой системы в России
77. Проблемы формирования бюджета Ханты-Мансийского Автономного Округа
78. Государственный долг России: проблемы и решения
79. Проблема ограничения административных деликтов от преступления
81. Проблемы защиты авторского права в сфере web-журналистики Рунета
82. Особенности и проблемы правового регулирования договора строительного подряда
84. Проблема отношений всей России с Кавказом
85. Налогообложение на Украине (Система оподаткування в Українії податкова політика в сучасних умовах)
89. Актуальные проблемы Украины в 2003-2004годах
90. Выборы: декларации и действительность (Некоторые проблемы избирательного права в современной России)
93. Проблемы укрепления самостоятельности местного самоуправления в РФ
94. Актуальные проблемы возмещения экспортного налога на добавленную стоимость
95. Кримінальний кодекс України (Проект криминального кодекса Украины, варианты 1998-2001гг.)
96. Проблемы разграничения административных деликтов от преступлений /Украина/
97. Проблема пользования нелицензионными товарами
98. Проблема праворозуміння (Проблема правопонимания)
99. Малый бизнес характерные черты, преимущества и проблемы в социально-культурой сфере