ПРОЕКТУВАННЯ АВТОМАТИЧНОЇ СИСТЕМИ ЗБОРУ ТА АНАЛІЗУ ВІДГУКІВ ТА ДУМОК

Анотація

У даній статті розглянуто основні проблеми обробки природної мови, основні підходи до необхідності структурування та систематизації даних, аналізу емоційного забарвлення тексту та можливості подальшого використання, отриманих результатів. Проведено аналіз ефективності методів класифікації. Спроектовано систему аналізу відгуків, побудована модель класифікації тональності. Завдання обробки тексту зводяться до задач машинного навчання, де потрібно сформувати вектор ознак і створити навчальну вибірку. Потім класифікатор навчається за вибіркою і перевіряється якість класифікації на колекції текстів певної предметної області. В якості базових класифікаційний ознак для методів машинного навчання розглядаються всі слова документа за винятком службових частин мови, числівників і дат, а також прості іменні групи. Для збільшення кількості ознак пропонують лінгвістичний підхід, розширюючи список атрибутів за рахунок синонімів і гіпонімів з використанням словників оціночної лексики. Програмно реалізовано ключовий модуль до запропонованого підходу за допомогою мови програмування Python. В процесі тестування використовувалася бібліотека scikit-learn, що реалізує множину алгоритмів машинного навчання в тому числі SVM і k-найближчих сусідів. Також була використана бібліотека для обробки текстів на природних мовах NLTK, в якій реалізований наївний байесовий класифікатор. Для тестування алгоритмів було використано метод перехресної перевірки. Основним результатом роботи є те, що під час її написання було запропоновано спосіб кодування послідовностей ключів для побудови стислого змісти відгуку. Наукова новизна роботи визначається ґрунтовним дослідженням можливостей використання різних видів кодування шаблонів для семантичних кортежем. Практична значущість роботи полягає у детальній розробці алгоритму аналізу тональностей універсальних текстів.