ABCNews.ru — облако тегов новостей

Проект автоматически собирает и анализирует новости из различных источников, выделяя ключевые слова и показывая их в виде облака тегов.

Как это работает

  1. Парсер собирает новости из RSS-лент и HTML-страниц источников
  2. NLP-анализатор (pymorphy2) выделяет значимые слова (существительные, прилагательные)
  3. Авто-синонимизатор (word2vec) находит похожие слова
  4. Статистика обновляется ежедневно и доступна в виде облака тегов и графиков

Технологии

  • Backend: Python, FastAPI, SQLAlchemy, MySQL
  • NLP: pymorphy2, gensim (word2vec)
  • Frontend: HTML, CSS, JavaScript, jQuery
  • Парсинг: BeautifulSoup4, aiohttp, feedparser

История

Проект работает с 2011 года, собирая статистику употребления слов в новостях. За это время накоплена обширная база данных, позволяющая анализировать изменения информационного поля в долгосрочной перспективе.