Стартап проводит пилотное развёртывание 100 датчиков по городским районам для измерения уличного шума и качества воздуха на протяжении 3 месяцев. Сейчас система генерирует примерно 4GB данных с датчиков в месяц и использует load-balanced, auto-scaled EC2 инстансы с RDS базой данных, настроенной на 500GB стандартного хранилища. Пилот прошёл успешно, и компания теперь планирует масштабироваться минимум до 100,000 датчиков. Система должна хранить данные минимум 2 года для аналитики. Какое инфраструктурное решение ты бы порекомендовал для поддержки этого расширенного развёртывания?

Оценка текущей архитектуры

Пилотное развёртывание успешно доказало концепцию с 100 датчиками, генерирующими 4GB в месяц. Текущая инфраструктура использует EC2-инстансы с балансировкой нагрузки и автомасштабированием, а также базу данных RDS с хранилищем на 500GB. Такая архитектура оказалась жизнеспособной для ограниченного масштаба пилота.

Анализ требований масштабирования

Предлагаемое расширение до 100 000 датчиков представляет тысячекратный рост их количества. Исходя из темпов генерации данных в пилоте, такое масштабирование потребует:

• 4TB данных в месяц (4GB × 1 000 датчиков)
• 96TB данных за 2 года (4TB × 24 месяца)

Рекомендуемое решение: кластер Amazon Redshift

Да, миграция на 6-узловой кластер Redshift — правильный выбор по следующим причинам:

Преимущества хранилища и производительности

• Ёмкость 96TB точно соответствует требованию двухлетнего хранения
• Колоночная архитектура Redshift обеспечивает лучшее сжатие и более быстрые аналитические запросы
• 6-узловая конфигурация даёт достаточно вычислительных ресурсов для обработки огромных объёмов данных
• Устраняет ограничения хранилища, которые стали бы настоящей проблемой при стандартном масштабировании RDS

Почему Redshift лучше RDS

RDS со стандартным хранилищем требовал бы постоянного масштабирования и обошёлся бы непомерно дорого. Redshift специально создан для:

• Масштабных операций Data Warehouse
• Аналитики временных рядов по данным с датчиков
• Сложных запросов к историческим данным за несколько лет
• Лучшей экономичности при аналитических нагрузках

Полная стратегия инфраструктуры

Сохраняй слой EC2 с балансировкой нагрузки и автомасштабированием для приёма данных в реальном времени и их предварительной обработки. Внедри инструменты data pipeline (AWS Glue или Kinesis) для передачи обработанных данных в Redshift на анализ. Такой гибридный подход сочетает операционную эффективность с аналитическими возможностями.

Заключение

Развёртывание 6-узлового кластера Redshift — оптимальное решение для поддержки 100 000 датчиков с двухлетним хранением данных при сохранении производительности запросов и экономичности.