Наш клиент изучает настроения иностранной аудитории по поводу войны в Украине, используя в качестве одного из главных источников соцсеть X (бывший Twitter). Аналитикам нужен был инструмент для автоматического сбора и классификации десятков тысяч твитов о войне, связанных с темами вторжения, военных преступлений, беженцев, санкций, расширения НАТО и т. д.
Ведение такой аналитики вручную было слишком трудоемким и не позволяло принимать оперативные решения. Кастомное AI-решение для классификации твитов X должно было решить эти проблемы.
Клиент обратился к нам в поисках возможностей ИИ, поскольку "ручная" аналитика соцсетей не позволяла делать своевременные и точные выводы о восприятии войны англоязычной аудиторией — а это крайне важно в условиях информационной войны. AI-анализ твитов о войне в Украине должен был сделать возможным мониторинг динамики общественных настроений в реальном времени, обеспечить объективность и прозрачность оценок, а также снизить нагрузку на фахівців.
Команда обработала запрос клиента, продумала архитектуру системы, подобрала подходящие NLP-модели для анализа тональности твитов X и технологии для реализации пайплайна/визуализации. Организация работ велась по методологии Scrum — с короткими спринтами и регулярными демо для заказчика.
- Точное определение тональности сообщений
Система должна была эффективно определять тон сообщений (положительный, отрицательный, нейтральный), с учетом контекста сообщения и типичных для социальных сетей лексических искажений. Современные NLP-модели не могут предоставлять столь глубокий анализ “из коробки”, без дополнительного обучения и тонкой настройки.
- Требования защиты данных и комплаенса
Чтобы работать на западных платформах без юридических, финансовых и репутационных рисков, продукт должен был соответствовать строгим требованиям Общего регламента защиты данных ЕС (GDPR). Это диктовало для проекта жесткие ограничения в части архитектуры, логики сбора, хранения и обработки данных.
- Реализация дружественного UX/UI и доступной визуализации
Эффективный мониторинг войны в Twitter с помощью AI требовал не только совершенных алгоритмов, но и качественного интерфейса, который предоставит результаты сложной аналитики в доступном и удобном для работы формате. Команда должна была реализовать веб-интерфейс, который будет обновляться в реальном времени.
- Архитектура модели и подход к обучению
Для точной и мгновенной классификации постов мы применили две трансформерные модели: BART-large-MNLI (для классификации тем) и DeBERTa-v3 (для анализа настроений). Обе модели обучены на выборке из более чем трех тысяч англоязычных твитов, которые маркировались вручную. Сообщения собирались по наиболее релевантным для клиента хэштегам, в частности: #ukrainewar, #standwithukraine, #donbas, #nato, #invasion, #refugees, #putin, #zelensky и т. д.
- Обработка и подготовка данных
Чтобы искусственному интеллекту было что анализировать, мы наладили сбор данных с помощью Twitter API и масштабируемого пула аккаунтов. На этапе предварительного отбора система фильтрует нерелевантные сообщения по ряду критериев: спам, активность ботов, дубликаты (как эвристически, так и с использованием Pandas). Сообщения также очищаются от всех мультимедийных вложений и внешних ссылок.
- Настройка пайплайна и тренировка
Для ML-классификации текста в Twitter был реализован пайплайн на Python с использованием библиотек трансформеров HuggingFace, Pandas и Scikit-learn. Особое внимание при настройке разработчики уделили метрикам Accuracy, F1-score, Precision и Recall, которые проверялись на валидационных и тестовых выборках. Также применялась перекрестная валидация и дальнейший анализ ошибок на независимых данных.
- Безопасное выведение и визуализация данных
Для проведения классификации твитов система сохраняет только текст сообщений и анонимизированные хэшем User ID — продукт сохраняет анонимность пользователя и полностью соответствует требованиям GDPR. Языковой DeBERTa/BERT-анализ твитов о войне осуществляется в пайплайне практически мгновенно. Результат выводится на универсальный веб-дашборд для анализа тональности твитов: он позволяет отслеживать распределение сообщений по тематике и тону, динамику настроений в разрезе дней/недель, всплески активности и т. д.
Новое кастомное ИИ-решение для геополитической классификации в Twitter серьезно изменило повседневную работу наших партнеров. Оно автоматизировало трудоемкий ежедневный сбор и анализ десятков тысяч твитов, значительно сократив время обработки данных и уменьшив нагрузку на аналитиков.
Благодаря своей гибкой архитектуре платформа AI-мониторинга войны в соцсетях бесшовно интегрировалась с внутренними аналитическими системами клиента. Специалисты могут без проблем открыть дашборд на смартфоне и наблюдать за изменением трендов в реальном времени. Доступные open‑source NLP‑инструменты для Twitter в правильных руках обеспечивают практически стопроцентную точность анализа контента. Это делает платформу пригодной для задач информационной войны, которая требует мгновенной реакции и релевантных данных.
Возможности продукта не ограничиваются соцсетью X/Twitter. При необходимости его можно с минимальными усилиями приспособить к любым другим площадкам: Reddit, Telegram, YouTube и т. д. Подобные возможности могут оказаться бесценными для редакторских коллективов, OSINT-аналитиков, СМИ, аналитических центров и т. д.
Высококачественный enterprise AI-анализ данных из социальных сетей — это лишь один из возможных сценариев внедрения технологии. Возможности ИИ на этом пути практически безграничны, так что мы вместе с нашими клиентами делаем лишь первые шаги в будущее.
ваш бизнес!