ПОРІВНЯННЯ КЛАСИФІКАТОРІВ ДЛЯ ЗАДАЧІ АНАЛІЗУ ТОНАЛЬНОСТІ ТЕКСТУ

Анотація

Метою дослідження є визначення найбільш ефективного класифікатора для задачі аналізу тональності тексту. Серед вибраних у роботі для порівняння наводиться наївний Баєс, логістична регресія, дерево рішень, випадковий ліс. Для задачі аналізу тональності тексту вибрано сентимент аналіз. Основою для проведення дослідження вибрано набір відгуків на фільми, що надані критиками IMDB. Об’єктами дослідження є безпосередньо вибрані класифікатори, а предметом відповідно є визначення їх ефективності у разі застосування до вищезгаданої задачі. Задачею цього розділу є ознайомлення та оцінка методів класифікації у контексті задачі сентимент аналізу. Для порівняння було вибрано такі класифікатори, як наївний Баєс, логістична регресія, дерево рішень та випадковий ліс. Перейдемо до детальнішого опису кожного з них. Це дослідження дозволить визначити найефективніший алгоритм класифікації для аналізу тональності тексту. Це, своєю чергою, дає можливість програмам, які виконують такий аналіз, покращити якість розподілення тексту на різні групи. У цій роботі було визначено класифікатор, який серед вибраних є найефективнішим, – це метод логістичної регресії. Під час виконання такої роботи були проведені аналізи актуальності задачі та наукових джерел, серед яких було досліджено точність класифікаторів наївного Баєса, логістичної регресії, дерев рішень та випадкового лісу. Перед безпосередньою класифікацією наведений розподіл набору даних на навчальну та тестову вибірки. Проводиться Тренування кожного класифікатора з певними гіперпараметрами. Також був виконаний детальний аналіз та підготовка даних для задачі бінарної класифікації. Паралельно виконувалось безпосереднє тренування класифікаторів та проведення експериментів з кожним. Було обговорено результати дослідження за допомогою повної статистики всіх метрик та всіх вибраних класифікаторів. Для покращення точності класифікаторів необхідно підбирати відповідні гіперпараметри на кожен тип. Проводиться аналіз самих слів. Проведено статистичні обчислення слів, вживаних у позитивних та негативних відгуках, та побудовані, відповідно, «хмари слів» з найбільш вживаними словами. Для детальнішого аналізу побудовано також матриці невідповідностей по кожному методу.