Разработай масштабируемый сервис для хранения и обмена текстом, похожий на Pastebin, который поддерживает создание, получение и обмен текстовыми фрагментами. Твой дизайн должен решить следующие задачи: реализация архитектуры хранилища для контента и метаданных, генерация уникальных коротких URL для доступа, применение ограничений на размер контента и политик истечения, управление контролем видимости (публичный, приватный, неиндексируемый), предоставление возможностей подсветки синтаксиса и внедрение механизмов модерации контента.

Основная архитектура

Сервис, похожий на Pastebin, разделяет хранилище контента и хранилище метаданных для масштабируемости:

• Object storage (например, S3) хранит сырой текстовый контент как файлы
• Реляционная база данных (например, PostgreSQL) хранит метаданные: владелец, видимость, время истечения, язык программирования, URL-ключ
• Слой кэша (например, Redis) отдаёт часто запрашиваемые pastes с низкой задержкой

Генерация уникального короткого URL

Каждый paste получает уникальный короткий ключ (например, 6–8 буквенно-цифровых символов):

Используй распределённый генератор идентификаторов (например, Snowflake), чтобы избежать коллизий при масштабировании.

Лимиты хранилища и размера

• Устанавливай лимит размера контента (например, 10 МБ на один paste) на уровне API gateway
• Сохраняй контент как плоский файл в object storage; записывай в базу данных только путь к файлу
• Это позволяет держать базу данных лёгкой и масштабировать слой контента независимо

Контроль истечения и видимости

• Метаданные включают временну́ю метку expires_at; фоновая задача периодически удаляет просроченные pastes и их файлы из object storage
• Режимы видимости:
  • public — индексируется и доступен для поиска
  • unlisted — доступен только по прямой ссылке
  • private — требует аутентификации для просмотра

Подсветка синтаксиса

• Сохраняй тег языка программирования в метаданных (например, language: python)
• Применяй подсветку на клиенте с помощью библиотеки типа highlight.js, чтобы не нагружать сервер лишней обработкой

Модерация контента

• Запускай асинхронную модерацию после загрузки — через текстовый классификатор или сторонний API
• Помечай или удаляй pastes, нарушающие политики, не блокируя ответ на запрос загрузки
• Веди чёрный список на основе хешей, чтобы мгновенно отклонять повторную отправку уже известного запрещённого контента