FAQ по Kafka ClickPipes
Часто задаваемые вопросы о Kafka ClickPipes
Общие сведения
Как работает ClickPipes для Kafka?
ClickPipes использует специализированную архитектуру, запускающую Kafka Consumer API для чтения данных из указанного топика и последующей вставки данных в таблицу ClickHouse в конкретном сервисе ClickHouse Cloud.
В чём разница между ClickPipes и ClickHouse Kafka Table Engine?
Движок таблиц Kafka Table Engine — это базовая возможность ClickHouse, реализующая «pull‑модель», при которой сам сервер ClickHouse подключается к Kafka, извлекает события и затем записывает их локально.
ClickPipes — это отдельный облачный сервис, который работает независимо от сервиса ClickHouse. Он подключается к Kafka (или другим источникам данных) и отправляет события в связанный сервис ClickHouse Cloud. Такая слабо связанная архитектура обеспечивает высокую операционную гибкость, чёткое разделение обязанностей, масштабируемую ингестию, надёжное управление отказами, расширяемость и многое другое.
Каковы требования для использования ClickPipes для Kafka?
Для использования ClickPipes для Kafka вам понадобится запущенный брокер Kafka и сервис ClickHouse Cloud с включённой поддержкой ClickPipes. Также необходимо обеспечить доступ сервиса ClickHouse Cloud к вашему брокеру Kafka. Это можно сделать, разрешив удалённые подключения на стороне Kafka и добавив в список разрешённых исходящие IP-адреса ClickHouse Cloud в конфигурации Kafka. В качестве альтернативы вы можете использовать AWS PrivateLink для подключения ClickPipes для Kafka к вашим брокерам Kafka.
Поддерживает ли ClickPipes для Kafka AWS PrivateLink?
AWS PrivateLink поддерживается. См. документацию для получения дополнительной информации о настройке.
Могу ли я использовать ClickPipes для Kafka для записи данных в топик Kafka?
Нет, ClickPipes для Kafka предназначен для чтения данных из топиков Kafka, а не для записи данных в них. Для записи данных в топик Kafka вам понадобится отдельный продюсер Kafka.
Поддерживает ли ClickPipes несколько брокеров?
Да, если брокеры являются частью одного кворума, их можно настроить вместе, перечислив через ,.
Можно ли масштабировать реплики ClickPipes?
Да, ClickPipes для стриминга можно масштабировать как горизонтально, так и вертикально. Горизонтальное масштабирование добавляет больше реплик для увеличения пропускной способности, а вертикальное масштабирование увеличивает ресурсы (CPU и RAM), выделенные каждой реплике, для обработки более интенсивных нагрузок. Это можно настроить при создании ClickPipe или в любой момент позже в разделе Settings -> Advanced Settings -> Scaling.
Azure Event Hubs
Работает ли ClickPipe для Azure Event Hubs без интерфейса Kafka?
Нет. ClickPipes требует, чтобы для пространства имен Event Hubs был включен интерфейс Kafka. Это доступно только в тарифах выше basic. См. документацию Azure Event Hubs для получения дополнительной информации.
Работает ли Azure Schema Registry с ClickPipes?
Нет. ClickPipes поддерживает только реестры схем, которые совместимы по API с Confluent Schema Registry, что не относится к Azure Schema Registry. Если вам требуется поддержка этого реестра схем, свяжитесь с нашей командой.
Какие разрешения нужны моей политике, чтобы потреблять данные из Azure Event Hubs?
Чтобы перечислять топики и потреблять события, для ClickPipes в политике общего доступа требуется как минимум право «Listen».
Почему мой Event Hubs не возвращает никаких данных?
Если ваш экземпляр ClickHouse находится в другом регионе или на другом континенте по сравнению с вашим развертыванием Event Hubs, вы можете столкнуться с тайм-аутами при первичной настройке ClickPipes и с повышенной задержкой при чтении данных из Event Hub. Мы рекомендуем развертывать ClickHouse Cloud и Azure Event Hubs в одном регионе облака или в регионах, расположенных близко друг к другу, чтобы избежать издержек по производительности.
Нужно ли указывать номер порта для Azure Event Hubs?
Да. ClickPipes ожидает, что вы укажете номер порта для интерфейса Kafka, который должен быть :9093.
Остаются ли IP-адреса ClickPipes актуальными для Azure Event Hubs?
Да. Чтобы ограничить трафик к вашему экземпляру Event Hubs, добавьте [задокументированные статические NAT IP-адреса](../ /index.md#list-of-static-ips) в список разрешённых IP-адресов.
Строка подключения предназначена для конкретного Event Hub или для пространства имен Event Hub?
Подойдут оба варианта. Мы настоятельно рекомендуем использовать политику общего доступа на уровне пространства имен, чтобы получать данные из нескольких Event Hubs.
