Пульс Рунета облако тегов новостей

О проекте

Ежедневный срез того, о чём пишут российские СМИ

Что это

«Пульс Рунета» каждый день собирает новости крупнейших российских новостных сайтов, выделяет из заголовков значимые слова и показывает их облаком: чем чаще слово встречалось за день, тем крупнее оно на странице.

Как это работает

  1. Парсер обходит RSS-ленты и главные страницы источников.
  2. Морфологический анализатор приводит слова к начальной форме и оставляет только значимые существительные, отсеивая служебные слова и технический мусор.
  3. Частоты слов за день сохраняются в базу — так накапливается история наблюдений.
  4. Облако обновляется ночью; у каждого слова есть страница с графиком динамики упоминаний.

Технологии

  • Бэкенд: Python 3, FastAPI, SQLAlchemy, MySQL; Uvicorn за nginx
  • Сбор новостей: httpx, feedparser, BeautifulSoup4; расписание — APScheduler
  • Морфология: pymorphy3, gensim (word2vec) для поиска похожих слов
  • Фронтенд: без фреймворков — HTML, CSS со светлой и тёмной темой, обычный JavaScript, Chart.js для графиков

История

Проект работает с 2011 года. За это время накопилась база наблюдений, по которой видно, как менялась повестка: какие темы вспыхивали, какие уходили и какие возвращаются каждый год. Итоги каждого года собраны в отдельные облака.