Что такое MongoDB Atlas Data Lake
MongoDB Atlas Data Lake — это полностью управляемый сервис, который позволяет тебе запрашивать данные из нескольких хранилищ, используя стандартный MongoDB Query Language (MQL) — без необходимости перемещать или трансформировать твои данные.
Поддерживаемые источники данных
Atlas Data Lake позволяет выполнять унифицированные запросы по:
- MongoDB Atlas кластерам (живые операционные данные)
- Облачным хранилищам объектов, таким как
AWS S3, Azure Blob Storage и Google Cloud Storage
- Atlas Online Archive (автоматически распределённые исторические данные)
Как это обеспечивает запросы к нескольким источникам
Ключевая возможность Atlas Data Lake — это федеративный движок запросов, который:
- Представляет все настроенные источники данных как единую виртуальную БД
- Преобразует MQL-запросы в соответствующие операции чтения для каждого из базовых источников
- Возвращает единый результирующий набор клиенту без необходимости миграции данных
Почему это важно
- Никаких ETL-пайплайнов — запрашивай сырые файлы (JSON, CSV, Parquet, Avro) прямо в облачном хранилище
- Снижает сложность инфраструктуры: один знакомый язык запросов для всех источников
- Идеально подходит для аналитических нагрузок, где разделение операционных и исторических данных важно для производительности и стоимости