ДОСЛІДЖЕННЯ ШВИДКОДІЇ РОБОТИ АПРІОРНИХ АЛГОРИТМІВ НА ДАНИХ ВЕЛИКИХ ОБСЯГІВ

Автор(и)

  • Ольга Леонідівна Половинка ДВНЗ «ДонНТУ»,
  • Данило Володимирович Нікулін ДВНЗ «ДонНТУ»
  • Ольга Анатоліївна Дмитрієва ДВНЗ «ДонНТУ»

DOI:

https://doi.org/10.31498/2522-9990222020211383

Ключові слова:

швидкодія, неструктуровані дані, пошук асоціативних правил, Apriori, AIS, AprioriTID, великі дані.

Анотація

В статті обґрунтовано використання алгоритмів пошуку асоціативних правил для роботи з неструктурованими даними великих обсягів. Зазначено, що найбільш популярним алгоритмом пошуку асоціацій є алгоритм Apriori. Наведено результати аналізу роботи лінійних алгоритмів пошуку асоціацій з неструктурованими даними великих обсягів. Розглянуто найбільш відомі модифікації апріорних алгоритмів пошуку асоціативних правил,  отримано їх порівняльні характеристики. Вказані сильні та слабкі моменти кожного алгоритму. Наведено результати дослідження швидкодії роботи лінійних алгоритмів AIS, Apriori та AprioriTID на даних різних обсягів з використанням комп'ютерів зі стандартним обсягом оперативної пам'яті. Виявлено, що при обробці великих даних в заявлених умовах, робота алгоритмів Apriori та AprioriTID стає неможливою через нестачу оперативної пам'яті. Для вирішення означеної проблеми проведено подальший аналіз структурних особливостей алгоритмів з апріорної групи. За його результатами для обробки даних великих обсягів на комп’ютерах зі стандартним обсягом пам'яті, обрано алгоритм AIS, який є більш повільним, але не вимагає завантаження транзакцій в оперативну пам’ять комп'ютера, а, отже, не залежить від її обсягу. Наведені результати роботи алгоритму AIS на різних обсягах даних, на основі яких зроблено висновок, що запропонована реалізація не вимагає великого обсягу оперативної пам'яті, що є перевагою, однак є досить повільною і на великих обсягах даних потребує для виконання неприйнятний для практики час. Для вирішення цієї проблеми запропоновано звернутися до методів побудови паралельних або розподілених структур. Зроблено висновки про необхідність застосування для розв’язання сформульованої задачі паралельних алгоритмів

Біографії авторів

Ольга Леонідівна Половинка, ДВНЗ «ДонНТУ»,

аспірант кафедри «Прикладна математика та інформатика»

Данило Володимирович Нікулін, ДВНЗ «ДонНТУ»

магістр кафедри «Прикладна математика та інформатика»

Ольга Анатоліївна Дмитрієва, ДВНЗ «ДонНТУ»

д.т.н., професор кафедри «Прикладна математика і інформатика»

Посилання

Зайко Т.А. Ассоциативные правила в интеллектуальном анализе данных / Т.А.

Зайко, А.А. Олейник, С.А. Субботин // Вісник НТУ «ХПІ». Серія : Інформатика і

моделювання. – Харьков, 2013. – № 39 (1012). – С. 82-96.

Белим С.В. Использование ассоциативных правил для восстановления

зашумленных изображений / С.В. Белим, А.О. Майоров-Зильбернагель, С.А. Селиверстов //

Вестник ОмГУ. Серия : Компьютерные и информационные науки. – Омск, 2013. – № 4 (70). –

С. 197-200.

Биллиг В.А. Построение ассоциативных правил в задаче медицинской діагностики

/ В.А. Биллиг, О.В. Иванова, Н.А. // Программные продукты и системы. – 2016. – №2 (114). –

Режим доступу: https://cyberleninka.ru/article/n/postroenie-assotsiativnyh-pravil-v-zadachemeditsinskoy-

diagnostiki.

Маслова Н.О. Застосування методів пошуку асоціацій при створенні тестів з

інформаційної безпеки / Н.О. Маслова, О.Л. Половинка // Збірник наукових праць Донецького національного технічного університету. Серія: Інформатика кібернетика та

обчислювальна техника. – Покровськ, 2019. – №1(29). – С. 47-53.

Интеллектуальные информационные технологии проектирования

автоматизированных систем диагностирования и распознавания образов: монография / С.А.

Субботин, Ан.А. Олейник, Е.А. Гофман, С.А. Зайцев, Ал.А. Олейник. – Харьков: Компания

Смит, 2012. – 317 с.

Adamo J.-M. Data mining for association rules and sequential patterns: sequential and

parallel algorithms. – New York: Springer-Verlag, 2001. – 259 p.

Agrawal Rakesh. Mining association rules between sets of items in large databases / R.

Agrawal, T. Imielinski, and A. Swami // In Proc. of the ACM SIGMOD Conference on Management

of Data. – 1993. Режим доступу: https://rakesh.agrawal-family.com/papers/sigmod93assoc.pdf.

Agrawal Rakesh. Fast algorithms for mining association rules / Agrawal Rakesh and

Ramakrishnan Srikant // Proc. 20th int. conf. very large data bases, VLDB. – 1994. – Vol. 1215. –

Р. 487-499.

##submission.downloads##

Опубліковано

2020-02-20

Номер

Розділ

Інформаційні технології