Журнал изменений Cloud за 2024 год

20 декабря 2024 года

Привязка организации к подписке через маркетплейс

Теперь Вы можете привязать новую подписку через маркетплейс к существующей организации ClickHouse Cloud. После того как Вы оформите подписку через маркетплейс и будете перенаправлены в ClickHouse Cloud, Вы сможете связать ранее созданную организацию с новой подпиской через маркетплейс. С этого момента ресурсы организации будут оплачиваться через маркетплейс.

Принудительное ограничение срока действия OpenAPI-ключа

Теперь можно ограничить допустимые сроки действия API-ключей, чтобы не создавать OpenAPI-ключи без срока действия. Чтобы включить эти ограничения для вашей организации, обратитесь в службу поддержки ClickHouse Cloud.

Пользовательские адреса электронной почты для уведомлений

Теперь администраторы организации могут добавлять к конкретному уведомлению дополнительные адреса электронной почты в качестве получателей. Это полезно, если вы хотите отправлять уведомления на alias или другим пользователям в вашей организации, которые могут не быть пользователями ClickHouse Cloud. Чтобы настроить это, перейдите в раздел Notification Settings в Cloud Console и измените адреса электронной почты, на которые должны приходить уведомления.

6 декабря 2024 г.

BYOC (бета)

Режим Bring Your Own Cloud для AWS теперь доступен в статусе бета. Эта модель развертывания позволяет развертывать и запускать ClickHouse Cloud в собственной учетной записи AWS. Мы поддерживаем развертывания более чем в 11 регионах AWS, и вскоре их станет еще больше. Чтобы получить доступ, обратитесь в службу поддержки. Обратите внимание, что этот вариант развертывания предназначен для крупномасштабных внедрений.

Коннектор CDC (фиксация изменений данных) для Postgres в ClickPipes

Эта готовая интеграция позволяет клиентам реплицировать свои базы данных Postgres в ClickHouse Cloud всего в несколько кликов и использовать ClickHouse для быстрой аналитики. Вы можете использовать этот коннектор как для непрерывной репликации, так и для разовых миграций из Postgres.

Дашборды (бета)

На этой неделе мы рады объявить о запуске бета-версии дашбордов в ClickHouse Cloud. С помощью дашбордов вы можете преобразовывать сохранённые запросы в визуализации, объединять визуализации на дашбордах и работать с дашбордами, используя параметры запроса. Чтобы начать работу, ознакомьтесь с документацией по дашбордам.

Конечные точки Query API (GA)

Мы рады сообщить о выходе функции конечных точек Query API в статусе GA в ClickHouse Cloud. Конечные точки Query API позволяют всего за пару кликов создать REST API-конечные точки для сохранённых запросов и начать использовать данные в вашем приложении, не тратя время на настройку языковых клиентов и сложной аутентификации. С момента первоначального запуска мы выпустили ряд улучшений, включая:

• Снижение задержки конечных точек, особенно при холодном старте
• Расширенные возможности управления RBAC для конечных точек
• Настраиваемые домены, разрешённые для CORS
• Потоковую передачу результатов
• Поддержку всех совместимых с ClickHouse выходных форматов

Помимо этих улучшений, мы также рады представить универсальные конечные точки Query API, которые, используя существующую инфраструктуру, позволяют выполнять произвольные SQL-запросы к вашим сервисам ClickHouse Cloud. Универсальные конечные точки можно включить и настроить на странице настроек сервиса.

Чтобы начать работу, ознакомьтесь с документацией по конечным точкам Query API.

Нативная поддержка JSON (бета)

Мы запускаем нативную поддержку JSON в ClickHouse Cloud в статусе бета. Чтобы начать работу, обратитесь в службу поддержки, чтобы включить ваш облачный сервис.

Векторный поиск с использованием индексов векторного сходства (ранний доступ)

Мы объявляем о запуске индексов векторного сходства для приближенного векторного поиска в рамках раннего доступа.

ClickHouse уже обеспечивает широкие возможности для сценариев использования на основе векторов, включая широкий набор [функций расстояния]https://clickhouse.com/blog/reinvent-2024-product-announcements#vector-search-using-vector-similarity-indexes-early-access) и возможность выполнять линейное сканирование. Кроме того, недавно мы добавили экспериментальный приближенный векторный поиск на базе библиотеки usearch и алгоритма приближенного поиска ближайших соседей Hierarchical Navigable Small Worlds (HNSW).

Чтобы начать, запишитесь в лист ожидания раннего доступа.

Пользователи ClickHouse-connect (Python) и ClickHouse Kafka Connect

Пользователям, у которых возникали проблемы, из-за которых клиентские приложения могли сталкиваться с исключением MEMORY_LIMIT_EXCEEDED, были разосланы уведомления по электронной почте.

Пожалуйста, обновитесь до:

• Kafka-Connect: > 1.2.5
• ClickHouse-Connect (Java): > 0.8.6

ClickPipes теперь поддерживает доступ к ресурсам между VPC в AWS

Теперь Вы можете предоставлять однонаправленный доступ к конкретному источнику данных, например AWS MSK. С Cross-VPC resource access через AWS PrivateLink и VPC Lattice Вы можете открывать доступ к отдельным ресурсам между разными VPC и аккаунтами, а также из локальных сетей — без ущерба для конфиденциальности и безопасности даже при передаче через публичную сеть. Чтобы начать работу и настроить общий доступ к ресурсу, Вы можете прочитать пост с анонсом.

ClickPipes теперь поддерживает IAM для AWS MSK

Теперь вы можете использовать аутентификацию IAM для подключения к брокеру MSK в AWS MSK ClickPipes. Чтобы начать работу, ознакомьтесь с нашей документацией.

Максимальный размер реплики для новых сервисов на AWS

Теперь для всех новых сервисов, создаваемых на AWS, максимальный доступный размер реплики составляет 236 GiB.

22 ноября 2024 г.

Встроенный расширенный дашборд обсервабилити для ClickHouse Cloud

Ранее расширенный дашборд обсервабилити, который позволяет отслеживать метрики сервера ClickHouse и использование аппаратных ресурсов, был доступен только в версии ClickHouse с открытым исходным кодом. Мы рады сообщить, что теперь эта возможность доступна в консоли ClickHouse Cloud.

Этот дашборд позволяет просматривать запросы на основе таблицы system.dashboards в едином интерфейсе. Перейдите на страницу Monitoring > Service Health, чтобы уже сегодня начать использовать расширенный дашборд обсервабилити.

Автодополнение SQL с помощью ИИ

Мы значительно улучшили автодополнение: теперь новый AI Copilot предлагает встроенные SQL-подсказки прямо во время набора запросов. Чтобы включить эту функцию, активируйте настройку "Включить встроенное автодополнение кода" для любого сервиса ClickHouse Cloud.

Новая роль "Billing"

Теперь вы можете назначать пользователям в вашей организации новую роль Billing, которая позволяет просматривать платежную информацию и управлять ею без возможности настраивать сервисы или управлять ими. Для этого просто пригласите нового пользователя или измените роль существующего пользователя, назначив ему роль Billing.

8 ноября 2024 г.

Уведомления для клиентов в ClickHouse Cloud

Теперь в ClickHouse Cloud доступны уведомления в консоли и по электронной почте о нескольких событиях, связанных с биллингом и масштабированием. Клиенты могут настраивать эти уведомления в центре уведомлений Cloud Console: показывать их только в интерфейсе, получать по электронной почте или использовать оба варианта. Вы можете настраивать категории и уровень важности уведомлений на уровне сервиса.

В будущем мы добавим уведомления и для других событий, а также новые способы их получения.

Подробнее о том, как включить уведомления для вашего сервиса, см. в документации ClickHouse.

4 октября 2024 г.

ClickHouse Cloud теперь предлагает HIPAA-ready сервисы в бета-версии для GCP

Клиенты, которым требуется повышенный уровень защиты защищенной медицинской информации (PHI), теперь могут подключиться к ClickHouse Cloud в Google Cloud Platform (GCP). ClickHouse внедрил административные, физические и технические меры защиты, предусмотренные правилом безопасности HIPAA, и теперь предлагает настраиваемые параметры безопасности, которые можно применять в зависимости от вашего конкретного сценария использования и рабочей нагрузки. Для дополнительной информации о доступных параметрах безопасности ознакомьтесь с нашей страницей функций безопасности.

Сервисы доступны в GCP us-central-1 для клиентов с типом сервиса Dedicated и требуют заключения соглашения Business Associate Agreement (BAA). Обратитесь в отдел продаж или службу поддержки, чтобы запросить доступ к этой функции или присоединиться к списку ожидания для дополнительных регионов GCP, AWS и Azure.

Compute-compute separation теперь доступно в закрытой предварительной версии для GCP и Azure

Недавно мы объявили о закрытой предварительной версии Compute-Compute Separation для AWS. Рады сообщить, что теперь она доступна и для GCP, и для Azure.

Compute-compute separation позволяет назначать отдельные сервисы для чтения и записи или только для чтения, чтобы вы могли выбрать оптимальную вычислительную конфигурацию для своего приложения и оптимизировать затраты и производительность. Подробности см. в документации.

Коды восстановления MFA для самостоятельного восстановления доступа

Клиенты, использующие многофакторную аутентификацию, теперь могут получить коды восстановления, которые пригодятся в случае потери телефона или случайного удаления токена. Клиентам, которые впервые подключают MFA, код будет предоставлен при настройке. Клиенты с уже настроенной MFA могут получить код восстановления, удалив существующий токен MFA и добавив новый.

Обновление ClickPipes: пользовательские сертификаты, метрики задержки и многое другое.

Мы рады представить последние обновления ClickPipes — самого простого способа настроить приём данных в ваш сервис ClickHouse. Эти новые возможности дают больше контроля над ингестией данных и улучшают видимость метрик производительности.

Пользовательские сертификаты аутентификации для Kafka

ClickPipes для Kafka теперь поддерживает пользовательские сертификаты аутентификации для брокеров Kafka с использованием SASL и общедоступного SSL/TLS. Во время настройки ClickPipe вы можете легко загрузить собственный сертификат в разделе SSL Certificate, чтобы обеспечить более безопасное соединение с Kafka.

Представляем метрики задержки для Kafka и Kinesis

Видимость производительности крайне важна. В ClickPipes теперь доступен график задержки, который показывает время между созданием сообщения (будь то Kafka Topic или Kinesis Stream) и его ингестией в ClickHouse Cloud. Эта новая метрика позволяет внимательнее отслеживать производительность ваших конвейеров данных и при необходимости оптимизировать её.

Управление масштабированием для Kafka и Kinesis (частная бета)

Высокая пропускная способность может потребовать дополнительных ресурсов, чтобы удовлетворить ваши требования к объёму данных и задержке. Мы внедряем горизонтальное масштабирование для ClickPipes, доступное напрямую через нашу облачную консоль. Сейчас эта функция находится в частной бете, что позволяет эффективнее масштабировать ресурсы в соответствии с вашими требованиями. Чтобы присоединиться к бете, свяжитесь с support.

Ингестия необработанных сообщений для Kafka и Kinesis

Теперь можно выполнять приём сообщения Kafka или Kinesis целиком, без разбора. В ClickPipes появилась поддержка виртуального столбца _raw_message virtual column, который позволяет сопоставить полное сообщение с одним столбцом String. Это даёт гибкость при работе с необработанными данными.

29 августа 2024 г.

Новая версия Terraform-провайдера — v1.0.0

Terraform позволяет программно управлять сервисами ClickHouse Cloud и хранить конфигурацию как код. Наш Terraform-провайдер уже скачали почти 200 000 раз, и теперь он официально достиг версии v1.0.0. В эту новую версию вошли улучшения, включая более эффективную логику повторных попыток и новый ресурс для подключения частных конечных точек к сервису ClickHouse Cloud. Скачать Terraform-провайдер можно здесь, а посмотреть полный список изменений — здесь.

Отчет SOC 2 Type II за 2024 год и обновленный сертификат ISO 27001

Мы рады сообщить, что теперь доступны наш отчет SOC 2 Type II за 2024 год и обновленный сертификат ISO 27001. Оба документа охватывают наши недавно запущенные сервисы в Azure, а также по-прежнему распространяются на сервисы в AWS и GCP.

Наш SOC 2 Type II подтверждает нашу неизменную приверженность обеспечению безопасности, доступности, целостности обработки и конфиденциальности сервисов, которые мы предоставляем пользователям ClickHouse. Дополнительная информация: SOC 2 - SOC for Service Organizations: Trust Services Criteria, опубликованный Американским институтом сертифицированных общественных бухгалтеров (AICPA), и What is ISO/IEC 27001 от Международной организации по стандартизации (ISO).

Также посетите наш Trust Center, где доступны документы и отчеты по безопасности и соответствию требованиям.

15 августа 2024 г.

Compute-compute separation теперь доступна в закрытой предварительной версии для AWS

В существующих сервисах ClickHouse Cloud реплики обрабатывают и чтение, и запись, и настроить конкретную реплику так, чтобы она выполняла только один тип операций, нельзя. Мы готовим новую функцию под названием Compute-compute separation, которая позволяет назначать отдельные сервисы для чтения и записи либо только для чтения, чтобы вы могли подобрать оптимальную конфигурацию вычислительных ресурсов для своего приложения с точки зрения стоимости и производительности.

Новая функция Compute-compute separation позволяет создавать несколько групп вычислительных узлов, каждая со своей конечной точкой, при этом все они используют одну и ту же папку в Объектном хранилище и, следовательно, одни и те же таблицы, представления и т. д. Подробнее о Compute-compute separation читайте здесь. Если вы хотите получить доступ к этой функции в рамках закрытой предварительной версии, обратитесь в службу поддержки.

ClickPipes для S3 и GCS теперь в GA, поддерживается непрерывный режим

ClickPipes — самый простой способ настроить приём данных в ClickHouse Cloud. Мы рады сообщить, что ClickPipes для S3 и GCS теперь стали общедоступны. ClickPipes поддерживает как разовый пакетный приём, так и «непрерывный режим». Задача приёма загрузит в целевую таблицу ClickHouse все файлы из указанного удалённого бакета, соответствующие шаблону. В «непрерывном режиме» задание ClickPipes будет работать постоянно, принимая подходящие файлы по мере их добавления в удалённый бакет Объектного хранилища. Это позволит превратить любой бакет Объектного хранилища в полноценную промежуточную область для приёма данных в ClickHouse Cloud. Подробнее о ClickPipes читайте в нашей документации.

18 июля 2024 года

Конечная точка Prometheus для метрик теперь общедоступна

В последнем журнале изменений ClickHouse Cloud мы объявили о закрытой предварительной версии экспорта метрик Prometheus из ClickHouse Cloud. Эта функция позволяет использовать ClickHouse Cloud API, чтобы передавать метрики в такие инструменты, как Grafana и Datadog, для визуализации. Мы рады сообщить, что эта функция теперь общедоступна. Подробнее см. в нашей документации.

Инспектор таблиц в консоли ClickHouse Cloud

В ClickHouse есть команды, такие как DESCRIBE, которые позволяют изучить таблицу и посмотреть ее schema. Эти команды выводят результат в консоль, но пользоваться ими часто неудобно, поскольку для получения всей нужной информации о таблицах и столбцах приходится комбинировать несколько запросов.

Недавно мы запустили Table Inspector в консоли ClickHouse Cloud, который позволяет получать важную информацию о таблицах и столбцах прямо в интерфейсе, без необходимости писать SQL. Вы можете опробовать Table Inspector для своих сервисов в консоли ClickHouse Cloud. Он предоставляет сведения о schema, хранилище, сжатии и многом другом в одном интерфейсе.

Новый API Java-клиента

Наш Java-клиент — один из самых популярных клиентов для подключения к ClickHouse. Мы стремились сделать его использование еще проще и интуитивнее, в том числе за счет переработанного API и различных оптимизаций производительности. Эти изменения значительно упростят подключение к ClickHouse из ваших Java-приложений. Подробнее о том, как использовать обновленный Java-клиент, читайте в этой записи блога.

Новый анализатор включён по умолчанию

Последние несколько лет мы работали над новым анализатором для анализа и оптимизации запросов. Этот анализатор повышает производительность запросов и позволит нам внедрять дальнейшие оптимизации, включая более быстрые и эффективные JOIN. Ранее новым пользователям нужно было включать эту функцию с помощью настройки allow_experimental_analyzer. Теперь этот улучшенный анализатор по умолчанию доступен в новых сервисах ClickHouse Cloud.

Следите за обновлениями: у нас запланировано ещё много улучшений и оптимизаций анализатора.

28 июня 2024 г.

ClickHouse Cloud for Microsoft Azure теперь общедоступен

Впервые мы объявили о поддержке Microsoft Azure в статусе бета в мае этого года. В этом обновлении облачного сервиса мы рады сообщить, что поддержка Azure переходит из статуса бета в статус общедоступного сервиса. ClickHouse Cloud теперь доступен на всех трёх крупнейших облачных платформах: AWS, Google Cloud Platform и Microsoft Azure.

Это обновление также включает поддержку подписок через Microsoft Azure Marketplace. Изначально сервис будет поддерживаться в следующих регионах:

• США: West US 3 (Arizona)
• США: East US 2 (Virginia)
• Европа: Germany West Central (Frankfurt)

Если вам нужна поддержка в каком-либо конкретном регионе, свяжитесь с нами.

Аналитика журнала запросов

Наш новый интерфейс Query Insights в консоли ClickHouse Cloud значительно упрощает работу со встроенным журналом запросов ClickHouse. Таблица ClickHouse system.query_log — ключевой источник информации для оптимизации запросов, отладки, а также мониторинга общего состояния и производительности кластера. Однако есть один нюанс: из-за более чем 70 полей и нескольких записей на каждый запрос журнал запросов довольно сложен в интерпретации и освоении. Эта первая версия Query Insights служит основой для дальнейшей работы по упрощению отладки запросов и их оптимизации. Мы будем рады вашим отзывам по мере развития этой функции, поэтому свяжитесь с нами — ваша обратная связь очень важна.

Конечная точка Prometheus для метрик (закрытая предварительная версия)

Пожалуй, это одна из самых востребованных возможностей: теперь вы можете экспортировать метрики Prometheus из ClickHouse Cloud в Grafana и Datadog для визуализации. Prometheus — это решение с открытым исходным кодом для мониторинга ClickHouse и настройки пользовательских оповещений. Доступ к метрикам Prometheus для вашего сервиса ClickHouse Cloud доступен через ClickHouse Cloud API. Сейчас эта функция доступна в рамках закрытой предварительной версии. Чтобы включить ее для вашей организации, обратитесь в службу поддержки.

Другие возможности

• Настраиваемые резервные копии с возможностью задавать собственные политики резервного копирования, включая частоту, срок хранения и расписание, теперь общедоступны.

13 июня 2024 года

Настраиваемые смещения для Kafka ClickPipes Connector (бета)

До недавнего времени при настройке нового Kafka Connector for ClickPipes данные всегда считывались с начала топика Kafka. В таких случаях этого могло быть недостаточно для отдельных сценариев использования, когда требуется повторно обработать исторические данные, отслеживать новые входящие данные или возобновить обработку с точно заданной точки.

В ClickPipes for Kafka появилась новая функция, которая расширяет возможности управления чтением данных из топиков Kafka. Теперь вы можете настроить смещение, с которого начинается чтение данных.

Доступны следующие настройки:

• From the beginning: Начать считывание данных с самого начала топика Kafka. Эта настройка идеально подходит, если вам нужно повторно обработать все исторические данные.
• From latest: Начать считывание данных с самого последнего смещения. Это полезно, если вас интересуют только новые сообщения.
• From a timestamp: Начать считывание данных с сообщений, созданных в указанный таймстамп или позже. Эта функция обеспечивает более точный контроль и позволяет возобновить обработку с конкретного момента времени.

Подключение сервисов к каналу Fast release

Канал Fast release позволяет вашим сервисам получать обновления раньше стандартного графика выпусков. Ранее для включения этой возможности требовалась помощь службы поддержки. Теперь вы можете включить её для своих сервисов напрямую в консоли ClickHouse Cloud. Просто перейдите на вкладку Settings и нажмите Enroll in fast releases. После этого ваш сервис будет получать обновления сразу, как только они станут доступны.

Поддержка горизонтального масштабирования в Terraform

ClickHouse Cloud поддерживает горизонтальное масштабирование — возможность добавлять в сервисы дополнительные реплики того же размера. Горизонтальное масштабирование повышает производительность и степень распараллеливания, позволяя обрабатывать параллельные запросы. Ранее для добавления реплик требовалось использовать либо консоль ClickHouse Cloud, либо API. Теперь вы можете использовать Terraform, чтобы добавлять или удалять реплики в сервисе, и программно масштабировать сервисы ClickHouse по мере необходимости.

См. Terraform-провайдер ClickHouse: дополнительная информация.

30 мая 2024 г.

Делитесь запросами с коллегами

Когда вы пишете SQL-запрос, велика вероятность, что он будет полезен и другим участникам вашей команды. Раньше для этого приходилось отправлять запрос через Slack или по электронной почте, и коллеги не могли автоматически получать обновления, если вы вносили в него изменения.

Мы рады сообщить, что теперь вы можете легко делиться запросами через консоль ClickHouse Cloud. В редакторе запросов вы можете поделиться запросом напрямую со всей командой или с конкретным участником. Вы также можете указать, будут ли у них права на чтение или запись. Чтобы опробовать новую функцию общих запросов, нажмите кнопку Share в редакторе запросов.

ClickHouse Cloud для Microsoft Azure теперь в статусе бета

Мы наконец запустили возможность создавать сервисы ClickHouse Cloud в Microsoft Azure. Уже многие наши клиенты используют ClickHouse Cloud в Azure в продакшене в рамках программы закрытой предварительной версии. Теперь любой может создать собственный сервис в Azure. Все возможности ClickHouse, поддерживаемые в AWS и GCP, также будут работать и в Azure.

Мы ожидаем, что ClickHouse Cloud для Azure выйдет в General Availability в ближайшие несколько недель. Прочитайте эту запись в блоге, чтобы узнать больше, или создайте новый сервис в Azure через консоль ClickHouse Cloud.

注意: сервисы Development для Azure в настоящее время не поддерживаются.

Настройте Private Link через консоль ClickHouse Cloud

Функция Private Link позволяет подключать ваши сервисы ClickHouse Cloud к внутренним сервисам в аккаунте вашего облачного провайдера, не направляя трафик через публичный интернет, что снижает затраты и повышает безопасность. Ранее эту функцию было сложно настроить, и для этого требовалось использовать API ClickHouse Cloud.

Теперь вы можете настроить частные конечные точки всего за несколько кликов прямо в консоли ClickHouse Cloud. Для этого перейдите в Settings вашего сервиса, откройте раздел Security и нажмите Set up private endpoint.

17 мая 2024 г.

Приём данных из Amazon Kinesis с помощью ClickPipes (бета)

ClickPipes — это эксклюзивный сервис ClickHouse Cloud для приёма данных без написания кода. Amazon Kinesis — это полностью управляемый AWS сервис потоковой передачи данных для приёма и хранения потоковых данных с целью дальнейшей обработки. Мы рады представить бета-версию ClickPipes для Amazon Kinesis — одной из самых востребованных интеграций. Мы планируем добавлять в ClickPipes новые интеграции, поэтому сообщите нам, какой источник данных вы хотели бы видеть среди поддерживаемых. Подробнее об этой возможности читайте здесь.

Вы можете попробовать новую интеграцию Amazon Kinesis для ClickPipes в консоли ClickHouse Cloud:

Настраиваемые резервные копии (закрытая предварительная версия)

Резервные копии важны для любой базы данных, какой бы надежной она ни была, и в ClickHouse Cloud мы уделяем резервному копированию самое серьезное внимание с первого дня. На этой неделе мы представили настраиваемые резервные копии, которые обеспечивают гораздо большую гибкость в настройке резервного копирования для вашего сервиса. Теперь вы можете управлять временем начала, сроком хранения и частотой. Эта функция доступна для сервисов Продакшен и Dedicated и недоступна для сервисов Development. Поскольку эта функция находится в закрытой предварительной версии, чтобы включить ее для вашего сервиса, свяжитесь с support@clickhouse.com. Подробнее о настраиваемых резервных копиях читайте здесь.

Создавайте API из ваших SQL-запросов (бета)

Когда вы пишете SQL-запрос для ClickHouse, вам по-прежнему нужно подключаться к ClickHouse через драйвер, чтобы предоставить приложению доступ к этому запросу. Теперь с нашей новой функцией Query Endpoints вы можете выполнять SQL-запросы напрямую через API без дополнительной настройки. Вы можете указать, чтобы конечные точки запросов возвращали JSON, CSV или TSV. Нажмите кнопку "Share" в Cloud Console, чтобы опробовать эту новую функцию со своими запросами. Подробнее о Query Endpoints читайте здесь.

Официальная сертификация ClickHouse теперь доступна

Курс ClickHouse Develop включает 12 бесплатных учебных модулей. До этой недели не было официального способа подтвердить свой уровень владения ClickHouse. Недавно мы запустили официальный экзамен на получение статуса ClickHouse Certified Developer. Сдав этот экзамен, Вы сможете продемонстрировать нынешним и будущим работодателям свой уровень владения ClickHouse в таких областях, как ингестия данных, моделирование, анализ, оптимизация производительности и не только. Вы можете пройти экзамен здесь или подробнее прочитать о сертификации ClickHouse в этом посте в блоге.

25 апреля 2024 г.

Загрузка данных из S3 и GCS с помощью ClickPipes

Возможно, вы уже заметили, что в нашей недавно выпущенной консоли ClickHouse Cloud появился новый раздел под названием «Источники данных». Страница «Источники данных» работает на базе ClickPipes — встроенной возможности ClickHouse Cloud, которая позволяет легко загружать данные из самых разных источников в ClickHouse Cloud.

В последнем обновлении ClickPipes появилась возможность напрямую загружать данные из Amazon S3 и Google Cloud Storage. Хотя вы по-прежнему можете использовать наши встроенные табличные функции, ClickPipes — это полностью управляемый сервис с интерфейсом в UI, который позволяет организовать приём данных из S3 и GCS всего за несколько щелчков. Эта функция пока находится в закрытой предварительной версии, но вы уже можете опробовать её через консоль ClickHouse Cloud.

Используйте Fivetran для загрузки данных из более чем 500 источников в ClickHouse Cloud

ClickHouse может быстро выполнять запросы к любым вашим большим наборам данных, но, разумеется, сначала эти данные нужно загрузить в ClickHouse. Благодаря широкому набору коннекторов Fivetran теперь можно быстро загружать данные из более чем 500 источников. Если вам нужно загружать данные из Zendesk, Slack или любых других используемых вами приложений, новый пункт назначения ClickHouse для Fivetran позволяет использовать ClickHouse в качестве целевой базы данных для данных ваших приложений.

Это интеграция с открытым исходным кодом, созданная нашей командой по интеграциям в результате многомесячной напряженной работы. Вы можете ознакомиться с нашей статьей в блоге о выпуске и репозиторием GitHub.

Другие изменения

Изменения в консоли

• Поддержка форматов вывода в SQL-консоли

Изменения в интеграциях

• Коннектор Kafka в ClickPipes поддерживает конфигурацию с несколькими брокерами
• Коннектор PowerBI позволяет задавать параметры конфигурации ODBC-драйвера.

18 апреля 2024 г.

Регион AWS Токио теперь доступен в ClickHouse Cloud

В этом выпуске стал доступен новый регион AWS Токио (ap-northeast-1) в ClickHouse Cloud. Поскольку мы стремимся сделать ClickHouse самой быстрой базой данных, мы постоянно добавляем новые регионы во всех облаках, чтобы максимально снизить задержку. Вы можете создать новый сервис в Токио в обновлённой консоли ClickHouse Cloud.

Другие изменения:

Изменения в консоли

• Поддержка формата Avro для ClickPipes for Kafka теперь общедоступна
• Реализована полная поддержка импорта ресурсов (сервисов и частных конечных точек) в Terraform-провайдере

Изменения в интеграциях

• Крупный стабильный релиз клиента NodeJS: расширенная поддержка TypeScript для query и ResultSet, настройка URL
• Kafka Connector: исправлена ошибка, из-за которой исключения при записи в DLQ игнорировались, добавлена поддержка типа Avro Enum, опубликованы руководства по использованию коннектора с MSK и Confluent Cloud
• Grafana: исправлена поддержка типа Nullable в UI, исправлена поддержка динамического имени таблицы трассировки OTel
• DBT: исправлены настройки модели для пользовательской материализации.
• Java-клиент: исправлена ошибка некорректного разбора кода ошибки
• клиент Python: исправлена привязка параметров для числовых типов, исправлены ошибки со списками чисел при привязке параметров запроса, добавлена поддержка SQLAlchemy Point.

4 апреля 2024 г.

Представляем новую консоль ClickHouse Cloud

В этом выпуске мы представляем закрытую предварительную версию новой консоли ClickHouse Cloud.

В ClickHouse мы постоянно думаем о том, как улучшить опыт разработчиков. Мы понимаем, что недостаточно просто предоставить самое быстрое хранилище данных реального времени — оно также должно быть удобным в использовании и управлении.

Каждый месяц тысячи пользователей ClickHouse Cloud выполняют миллиарды запросов в нашей SQL-консоли, поэтому мы решили активнее инвестировать в первоклассную консоль, чтобы сделать работу с сервисами ClickHouse Cloud проще, чем когда-либо. Новый интерфейс консоли ClickHouse Cloud объединяет наш автономный SQL-редактор и консоль управления в одном интуитивно понятном UI.

Отдельные клиенты получат доступ к предварительной версии нового интерфейса консоли ClickHouse Cloud — единого и удобного пространства для работы с данными в ClickHouse и управления ими. Если вы хотите получить приоритетный доступ, свяжитесь с нами по адресу support@clickhouse.com.

28 марта 2024 г.

В этом релизе появилась поддержка Microsoft Azure, горизонтальное масштабирование через API, а также функция Release Channels в закрытой предварительной версии.

Общие обновления

• Добавлена поддержка Microsoft Azure в рамках закрытой предварительной версии. Чтобы получить доступ, обратитесь к менеджеру аккаунта или в службу поддержки либо запишитесь в список ожидания.
• Добавлены Release Channels — возможность задавать сроки обновлений в зависимости от типа среды. В этом выпуске мы добавили канал релизов "fast", который позволяет обновлять непродакшен-среды раньше продакшена (чтобы включить его, обратитесь в службу поддержки).

Изменения в администрировании

• Добавлена поддержка настройки горизонтального масштабирования через API (закрытая предварительная версия; чтобы включить, обратитесь в службу поддержки)
• Улучшено автомасштабирование: теперь ресурсы сервисов, сталкивающихся при запуске с ошибками нехватки памяти, увеличиваются автоматически
• Добавлена поддержка CMEK для AWS через Terraform-провайдер

Изменения консоли

• Добавлена поддержка входа через аккаунт Microsoft
• В SQL-консоли добавлена возможность делиться параметризованными запросами
• Значительно повышена производительность редактора запросов (в некоторых регионах ЕС задержка снизилась с 5 с до 1,5 с)

Изменения интеграций

• Экспортер ClickHouse OpenTelemetry: добавлена поддержка движка таблицы ClickHouse с репликацией и добавлены интеграционные тесты
• Адаптер ClickHouse DBT: добавлена поддержка макроса materialization для словарей, добавлены тесты поддержки выражений TTL
• ClickHouse Kafka Connect Sink: добавлена совместимость с обнаружением плагинов Kafka (вклад сообщества)
• ClickHouse Java Client: добавлен новый пакет для нового API клиента и расширено тестовое покрытие для Cloud
• ClickHouse NodeJS Client: расширены тесты и документация для нового поведения HTTP keep-alive. Доступно начиная с релиза v0.3.0
• ClickHouse клиент Go: исправлена ошибка, связанная с использованием Enum в качестве ключа в Map; исправлена ошибка, возникавшая, когда соединение с ошибкой оставалось в пуле соединений (вклад сообщества)
• ClickHouse клиент Python: добавлена поддержка потоковой передачи запросов через PyArrow (вклад сообщества)

Обновления безопасности

• В ClickHouse Cloud устранена проблема, из-за которой "ролевое управление доступом можно было обойти при включённом кэшировании запросов" (CVE-2024-22412)

14 марта 2024 г.

В этом выпуске открыт ранний доступ к новому интерфейсу консоли Cloud, ClickPipes для пакетной загрузки из S3 и GCS, а также к поддержке формата Avro в ClickPipes для Kafka. Кроме того, версия базы данных ClickHouse обновлена до 24.1, что добавляет поддержку новых функций, а также оптимизации производительности и использования ресурсов.

Изменения в консоли

• Новый интерфейс Cloud Console доступен в режиме раннего доступа (если хотите принять участие, обратитесь в службу поддержки).
• ClickPipes для массовой загрузки из S3 и GCS доступны в режиме раннего доступа (если хотите принять участие, обратитесь в службу поддержки).
• Поддержка формата Avro в ClickPipes для Kafka доступна в режиме раннего доступа (если хотите принять участие, обратитесь в службу поддержки).

Обновление версии ClickHouse

• Оптимизации для FINAL, улучшенная векторизация и более быстрые агрегации — подробности см. в блоге о релизе 23.12.
• Новые функции для обработки Punycode, оценки сходства строк и обнаружения выбросов, а также оптимизации памяти для слияний и Keeper — подробности см. в блоге о релизе 24.1 и презентации.
• Эта версия ClickHouse Cloud основана на 24.1; в ней доступны десятки новых функций, улучшений производительности и исправлений ошибок. Подробности см. в журнале изменений основной базы данных.

Изменения в интеграциях

• Grafana: Исправлены миграция дашбордов для v4 и логика ad-hoc-фильтрации
• Tableau Connector: Исправлены функция DATENAME и округление для аргументов типа "real"
• Kafka Connector: Исправлен NPE при инициализации подключения, добавлена возможность указывать настройки JDBC-драйвера
• клиент Go: Уменьшено потребление памяти при обработке ответов, исправлены предельные значения Date32, исправлено формирование сообщений об ошибках при включенном сжатии
• клиент Python: Улучшена поддержка часовых поясов в параметрах datetime, повышена производительность при работе с Pandas DataFrame

29 февраля 2024 г.

В этом выпуске ускорена загрузка приложения SQL-консоли, добавлена поддержка аутентификации SCRAM-SHA-256 в ClickPipes и расширена поддержка вложенных структур в Kafka Connect.

Изменения в консоли

• Оптимизировано время начальной загрузки приложения SQL-консоли
• Исправлено состояние гонки в SQL-консоли, приводившее к ошибке «сбой аутентификации»
• Исправлено поведение на странице мониторинга, из-за которого последнее значение выделения памяти иногда было некорректным
• Исправлено поведение, из-за которого SQL-консоль иногда отправляла дублирующиеся команды KILL QUERY
• В ClickPipes добавлена поддержка метода аутентификации SCRAM-SHA-256 для источников данных на базе Kafka

Изменения в интеграциях

• Kafka Connector: расширена поддержка сложных вложенных структур (Array, Map); добавлена поддержка типа FixedString; добавлена поддержка ингестии в несколько баз данных
• Metabase: исправлена несовместимость с ClickHouse версии ниже 23.8
• DBT: добавлена возможность передавать настройки при создании моделей
• Клиент Node.js: добавлена поддержка длительно выполняющихся запросов (>1hr) и корректной обработки пустых значений

15 февраля 2024 г.

В этом выпуске обновлена базовая версия СУБД, добавлена возможность настраивать частные подключения через Terraform, а также поддержка семантики exactly-once для асинхронных INSERT через Kafka Connect.

Обновление версии ClickHouse

• Движок таблицы S3Queue для непрерывной плановой загрузки данных из S3 готов к использованию в продакшене — подробности см. в блоге о релизе 23.11.
• Значительные улучшения производительности FINAL и векторизации для инструкций SIMD, благодаря которым запросы выполняются быстрее, — подробности см. в блоге о релизе 23.12.
• Эта версия ClickHouse Cloud основана на 23.12; в ней доступны десятки новых функций, улучшений производительности и исправлений ошибок. Подробности см. в списке изменений ядра базы данных.

Изменения в консоли

• Добавлена возможность настроить AWS Private Link и GCP Private Service Connect через Terraform-провайдер
• Повышена отказоустойчивость при удаленном импорте файлов
• Для всех импортов данных добавлена выдвижная панель со сведениями о статусе импорта
• Добавлена поддержка учетных данных key/secret key для импорта данных из S3

Изменения в интеграциях

• Kafka Connect
  • Добавлена поддержка async_insert для режима exactly once (по умолчанию отключено)
• клиент Go
  • Исправлена привязка DateTime
  • Повышена производительность пакетной вставки
• Java-клиент
  • Исправлена проблема со сжатием запросов

Изменения в настройках

• use_mysql_types_in_show_columns больше не требуется. Этот параметр будет автоматически включаться при подключении через MySQL-интерфейс.
• Значение async_insert_max_data_size по умолчанию теперь составляет 10 MiB

2 февраля 2024 г.

В этом выпуске стали доступны ClickPipes для Azure Event Hub, существенно улучшен процесс навигации по логам и трейсам с помощью коннектора ClickHouse Grafana v4, а также добавлена поддержка инструментов Flyway и Atlas для управления schema базы данных.

Изменения консоли

• В ClickPipes добавлена поддержка Azure Event Hub
• Новые сервисы запускаются с тайм-аутом бездействия по умолчанию 15 минут

Изменения интеграций

• Релиз v4 источника данных ClickHouse для Grafana
  • Полностью переработан конструктор запросов: добавлены специализированные редакторы для Table, Logs, Time Series и Traces
  • Полностью переработан генератор SQL для поддержки более сложных и динамических запросов
  • Добавлена полноценная поддержка OpenTelemetry в представлениях Logs и Traces
  • Расширена конфигурация: теперь можно указывать таблицы и столбцы по умолчанию для Logs и Traces
  • Добавлена возможность указывать пользовательские HTTP-заголовки
  • И множество других улучшений — смотрите полный changelog
• Инструменты для управления schema базы данных
  • Flyway добавил поддержку ClickHouse
  • Ariga Atlas добавил поддержку ClickHouse
• Kafka Connector Sink
  • Оптимизирована ингестия в таблицу со значениями по умолчанию
  • Добавлена поддержка строковых дат для DateTime64
• Metabase
  • Добавлена поддержка подключения к нескольким базам данных

18 января 2024 г.

В этом релизе добавлен новый регион AWS (Лондон / eu-west-2), появилась поддержка ClickPipes для Redpanda, Upstash и Warpstream, а также повышена надежность ключевой возможности базы данных is_deleted.

Общие изменения

• Новый регион AWS: Лондон (eu-west-2)

Изменения консоли

• Добавлена поддержка ClickPipes для Redpanda, Upstash и Warpstream
• Механизм аутентификации ClickPipes теперь можно настраивать в интерфейсе

Изменения интеграций

• Java-клиент:
  • Несовместимые изменения: удалена возможность указывать в вызове произвольные URL-обработчики. Эта возможность удалена из ClickHouse
  • Устаревшие компоненты: Java CLI client и пакеты GRPC
  • Добавлена поддержка формата RowBinaryWithDefaults для уменьшения размера батча и рабочей нагрузки на экземпляр ClickHouse (по запросу Exabeam)
  • Границы диапазонов Date32 и DateTime64 приведены в соответствие с ClickHouse, добавлена совместимость со строковым типом Spark Array и механизмом выбора узла
• Kafka Connector: добавлена JMX-панель мониторинга Grafana
• PowerBI: настройки ODBC-драйвера теперь можно настраивать в UI
• клиент JavaScript: добавлена итоговая информация о запросе, возможность передавать подмножество конкретных столбцов для вставки, а также настраивать keep_alive для веб-клиента
• клиент Python: добавлена поддержка типа Nothing для SQLAlchemy

Изменения, связанные с надежностью

• Изменение, нарушающее обратную совместимость для пользователей: ранее две возможности (is_deleted и OPTIMIZE CLEANUP) при определенных условиях могли приводить к повреждению данных в ClickHouse. Чтобы защитить целостность данных пользователей и при этом сохранить основную функциональность, мы скорректировали работу этой возможности. В частности, настройка таблицы MergeTree clean_deleted_rows теперь объявлена устаревшей и больше не имеет эффекта. Ключевое слово CLEANUP по умолчанию не разрешено (чтобы использовать его, потребуется включить allow_experimental_replacing_merge_with_cleanup). Если вы решите использовать CLEANUP, необходимо убедиться, что оно всегда используется вместе с FINAL, а также гарантировать, что после выполнения OPTIMIZE FINAL CLEANUP не будут вставляться строки с более старыми версиями.