Шарды — это основная единица пропускной способности и хранения данных в AWS Kinesis. Они составляют основу того, как Kinesis обрабатывает и хранит потоковые данные.
Каждый шард предоставляет определённую мощность для чтения и записи данных:
Шарды работают независимо друг от друга в потоке Kinesis. Записи данных распределяются между шардами с помощью partition key, которая определяет, какой шард получит каждую запись. Это распределение позволяет обрабатывать потоки данных параллельно.
Ты можешь изменять количество шардов в зависимости от своих требований к пропускной способности:
В каждом шарде данные организованы как последовательность записей. Каждая запись включает:
Шарды — это единицы оплаты в Kinesis: ты платишь за каждый подготовленный шард в час. Поэтому правильное планирование шардов важно для оптимизации затрат. Выбирай partition key стратегически, чтобы обеспечить сбалансированное распределение данных между шардами и избежать горячих шардов (шардов, получающих непропорционально высокий трафик).
Для приложения, обрабатывающего 5000 записей в секунду, тебе понадобится минимум 5 шардов, так как каждый шард обрабатывает 1000 записей в секунду.
Каждый shard в Amazon Kinesis может обработать максимум 1000 записей в секунду или 1 МБ в секунду, в зависимости от того, какой лимит будет достигнут первым.
Новый — ещё не проверен сообществом
Вы