Какой максимальный размер файла, который можно хранить в Amazon S3, и какой лимит символов при использовании UTF-8 кодировки?

Ограничения размера файлов в Amazon S3

Amazon S3 не устанавливает максимальный лимит размера файла в традиционном смысле. Но есть важные практические соображения:

Ограничения размера при загрузке

• Одиночный PUT-запрос: максимум 5 ГБ на объект
• Многочастная загрузка: поддерживает объекты размером до 5 ТБ
• Каждая часть при многочастной загрузке может быть до 5 ГБ

Важные моменты

Ссылка на UTF-8 1024 байта в твоём вопросе скорее всего относится к другому ограничению — возможно, к лимитам на метаданные или имена объектов, а не на размер самого содержимого файла:

• Имена объектов (ключи) ограничены 1024 байтами в UTF-8
• Заголовки метаданных ограничены 2 КБ суммарно
• Отдельные значения метаданных не могут превышать определённые лимиты кодирования

Рекомендации

Для оптимальной производительности:

• Используй многочастную загрузку для файлов больше 100 МБ
• S3 автоматически эффективно справляется с хранением больших объектов
• Не нужно сжимать файлы только из-за ограничений размера в S3
• Выбирай storage class S3 исходя из паттернов доступа, а не из ограничений по размеру файла

Итого

S3 может хранить объекты от 0 байт до 5 ТБ, что подходит практически для любых требований по размеру файла. Главное ограничение — это 5 ГБ для одиночного PUT-запроса, которое легко обходится через API многочастной загрузки.