Спроектируй масштабируемую backend систему для поисковой системы, которая обрабатывает миллиарды документов, включая веб-краулинг, индексирование, ранжирование, обработку поисковых запросов и распределённое обслуживание с реал-тайм обновлениями.

Веб-краулинг

• Используй распределённый краулер с очередью URL frontier (например, Apache Kafka) для управления приоритетами краулинга
• Применяй политики вежливости (соблюдение robots.txt) и ограничение частоты запросов на домен
• Храни сырой HTML в распределённом объектном хранилище (например, S3) для переобработки

Конвейер индексирования

• Парси и извлекай текст, затем строй инвертированный индекс, который отображает термины на ID документов с позициями и частотами
• Используй MapReduce или Apache Spark для пакетного построения индексов в большом масштабе
• Раздели индекс по шардингу по терминам или шардингу по документам между сотнями узлов

Ранжирование

• Вычисляй TF-IDF оценки во время индексирования для релевантности термина
• Запускай PageRank офлайн на графе веба, чтобы присвоить оценки авторитета
• Применяй ML-модель ранжирования (например, LambdaMART) во время запроса, чтобы комбинировать сигналы вроде свежести, click-through rate и релевантности

Обработка запросов

• Парси запросы, используя NLP-техники — токенизацию, стемминг и распознавание сущностей
• Применяй исправление орфографии (например, edit distance + языковую модель) и подсказки запросов через trie или n-gram индекс
• Извлекай кандидатные документы из инвертированного индекса, затем переранжируй с помощью ML-модели

Распределённая раздача

• Раздели индекс на шарды, обслуживаемые листовыми узлами; слой агрегатора объединяет и ранжирует результаты
• Используй consistent hashing для балансировки нагрузки и горизонтального масштабирования
• Кэшируй частые запросы в Redis или CDN-слое, чтобы снизить латентность

Обновления в реальном времени

• Поддерживай небольшой дельта-индекс для недавно обкраулленных или обновлённых страниц
• Периодически объединяй дельта-индекс с основным индексом в периоды низкой нагрузки
• Используй change-data feed (например, Kafka), чтобы распространять обновления на узлы раздачи с минимальной задержкой