ДОСЛІДЖЕННЯ ШВИДКОДІЇ РОБОТИ АПРІОРНИХ АЛГОРИТМІВ НА ДАНИХ ВЕЛИКИХ ОБСЯГІВ
DOI:
https://doi.org/10.31498/2522-9990222020211383Ключові слова:
швидкодія, неструктуровані дані, пошук асоціативних правил, Apriori, AIS, AprioriTID, великі дані.Анотація
В статті обґрунтовано використання алгоритмів пошуку асоціативних правил для роботи з неструктурованими даними великих обсягів. Зазначено, що найбільш популярним алгоритмом пошуку асоціацій є алгоритм Apriori. Наведено результати аналізу роботи лінійних алгоритмів пошуку асоціацій з неструктурованими даними великих обсягів. Розглянуто найбільш відомі модифікації апріорних алгоритмів пошуку асоціативних правил, отримано їх порівняльні характеристики. Вказані сильні та слабкі моменти кожного алгоритму. Наведено результати дослідження швидкодії роботи лінійних алгоритмів AIS, Apriori та AprioriTID на даних різних обсягів з використанням комп'ютерів зі стандартним обсягом оперативної пам'яті. Виявлено, що при обробці великих даних в заявлених умовах, робота алгоритмів Apriori та AprioriTID стає неможливою через нестачу оперативної пам'яті. Для вирішення означеної проблеми проведено подальший аналіз структурних особливостей алгоритмів з апріорної групи. За його результатами для обробки даних великих обсягів на комп’ютерах зі стандартним обсягом пам'яті, обрано алгоритм AIS, який є більш повільним, але не вимагає завантаження транзакцій в оперативну пам’ять комп'ютера, а, отже, не залежить від її обсягу. Наведені результати роботи алгоритму AIS на різних обсягах даних, на основі яких зроблено висновок, що запропонована реалізація не вимагає великого обсягу оперативної пам'яті, що є перевагою, однак є досить повільною і на великих обсягах даних потребує для виконання неприйнятний для практики час. Для вирішення цієї проблеми запропоновано звернутися до методів побудови паралельних або розподілених структур. Зроблено висновки про необхідність застосування для розв’язання сформульованої задачі паралельних алгоритмів
Посилання
Зайко Т.А. Ассоциативные правила в интеллектуальном анализе данных / Т.А.
Зайко, А.А. Олейник, С.А. Субботин // Вісник НТУ «ХПІ». Серія : Інформатика і
моделювання. – Харьков, 2013. – № 39 (1012). – С. 82-96.
Белим С.В. Использование ассоциативных правил для восстановления
зашумленных изображений / С.В. Белим, А.О. Майоров-Зильбернагель, С.А. Селиверстов //
Вестник ОмГУ. Серия : Компьютерные и информационные науки. – Омск, 2013. – № 4 (70). –
С. 197-200.
Биллиг В.А. Построение ассоциативных правил в задаче медицинской діагностики
/ В.А. Биллиг, О.В. Иванова, Н.А. // Программные продукты и системы. – 2016. – №2 (114). –
Режим доступу: https://cyberleninka.ru/article/n/postroenie-assotsiativnyh-pravil-v-zadachemeditsinskoy-
diagnostiki.
Маслова Н.О. Застосування методів пошуку асоціацій при створенні тестів з
інформаційної безпеки / Н.О. Маслова, О.Л. Половинка // Збірник наукових праць Донецького національного технічного університету. Серія: Інформатика кібернетика та
обчислювальна техника. – Покровськ, 2019. – №1(29). – С. 47-53.
Интеллектуальные информационные технологии проектирования
автоматизированных систем диагностирования и распознавания образов: монография / С.А.
Субботин, Ан.А. Олейник, Е.А. Гофман, С.А. Зайцев, Ал.А. Олейник. – Харьков: Компания
Смит, 2012. – 317 с.
Adamo J.-M. Data mining for association rules and sequential patterns: sequential and
parallel algorithms. – New York: Springer-Verlag, 2001. – 259 p.
Agrawal Rakesh. Mining association rules between sets of items in large databases / R.
Agrawal, T. Imielinski, and A. Swami // In Proc. of the ACM SIGMOD Conference on Management
of Data. – 1993. Режим доступу: https://rakesh.agrawal-family.com/papers/sigmod93assoc.pdf.
Agrawal Rakesh. Fast algorithms for mining association rules / Agrawal Rakesh and
Ramakrishnan Srikant // Proc. 20th int. conf. very large data bases, VLDB. – 1994. – Vol. 1215. –
Р. 487-499.
