Перейти к основному содержимому

Примечания к выпускам dbt Cloud

Примечания к выпускам dbt Cloud для последних и исторических изменений. Примечания к выпускам делятся на следующие категории:

  • Новое: Новые продукты и функции
  • Улучшение: Улучшение производительности и функций
  • Исправление: Исправления ошибок и безопасности
  • Изменение поведения: Изменение существующего поведения, которое не подходит под другие категории, например, устаревание функций или изменения настроек по умолчанию

Примечания к выпускам сгруппированы по месяцам как для многопользовательских, так и для виртуальных частных облачных (VPC)* сред.

* Официальная дата выпуска этого нового формата примечаний к выпускам — 15 мая 2024 года. Исторические примечания к выпускам за предыдущие даты могут не отражать все доступные функции, выпущенные ранее в этом году, или их доступность в аренде.

Декабрь 2024​

  • Новое: dbt Semantic Layer поддерживает Sigma как интеграцию партнера, доступную в предварительном просмотре. Обратитесь к Sigma для получения дополнительной информации.
  • Новое: dbt Semantic Layer теперь поддерживает развертывания Azure Single-tenant. Обратитесь к Set up the dbt Semantic Layer для получения информации о том, как начать.
  • Исправление: Решены периодические проблемы в средах Single-tenant, влияющие на Semantic Layer и историю запросов.
  • Исправление: dbt Semantic Layer теперь учитывает атрибут BigQuery execution_project, включая экспорт.
  • Новое: Уведомления о моделях теперь доступны в dbt Cloud. Эти уведомления предупреждают владельцев моделей по электронной почте о любых проблемах, с которыми сталкиваются модели и тесты, как только они возникают при выполнении задания.
  • Новое: Теперь вы можете использовать свой ключ Azure OpenAI (доступен в бета-версии) для использования функций dbt Cloud, таких как dbt Copilot и Ask dbt. Кроме того, вы можете использовать свой собственный ключ OpenAI API или использовать ключ управляемый dbt Labs OpenAI. Обратитесь к AI integrations для получения дополнительной информации.
  • Новое: Конфигурация hard_deletes дает вам больше контроля над тем, как обрабатывать удаленные строки из источника. Поддерживаемые опции: ignore (по умолчанию), invalidate (заменяет устаревший invalidate_hard_deletes=true) и new_record. Обратите внимание, что new_record создаст новый столбец метаданных в таблице снимков.

Ноябрь 2024​

  • Улучшение: Значки доверительных сигналов в dbt Explorer теперь доступны для Exposures, предоставляя быстрый обзор состояния данных при просмотре ресурсов. Чтобы просмотреть значки доверительных сигналов, перейдите в dbt Explorer и нажмите Exposures на вкладке Resource. Обратитесь к Trust signal for resources для получения дополнительной информации.
  • Ошибка: Обнаружена и исправлена ошибка с запросами Semantic Layer, которые занимают более 10 минут для завершения.
  • Исправление: Переопределения переменных среды задания в учетных данных теперь учитываются для экспорта. Ранее они игнорировались.
  • Изменение поведения: Если вы используете пользовательский макрос микропакета, установите флаг поведения require_batched_execution_for_custom_microbatch_strategy в вашем dbt_project.yml, чтобы включить пакетное выполнение. Если у вас нет пользовательского макроса микропакета, вам не нужно устанавливать этот флаг, так как dbt будет автоматически обрабатывать микропакетирование для любой модели, использующей стратегию микропакета.
  • Улучшение: Для пользователей, у которых включена функция Advanced CI сравнения изменений, вы можете оптимизировать производительность при выполнении сравнений, используя пользовательский синтаксис dbt для настройки использования отложенного выполнения, исключения определенных больших моделей (или групп моделей с тегами) и многое другое. Обратитесь к Compare changes custom commands для примеров настройки команды сравнения.
  • Новое: SQL linting в CI заданиях теперь доступен в dbt Cloud. Вы можете включить SQL linting в своих CI заданиях, используя SQLFluff, чтобы автоматически проверять все SQL файлы в вашем проекте как шаг выполнения перед сборкой CI задания. SQLFluff linting доступен на dbt Cloud release tracks и для dbt Cloud Team или Enterprise аккаунтов. Обратитесь к SQL linting для получения дополнительной информации.
  • Новое: Используйте конфигурацию dbt_valid_to_current для установки пользовательского индикатора значения dbt_valid_to в текущих записях снимков (например, будущая дата). По умолчанию это значение NULL. Когда настроено, dbt будет использовать указанное значение вместо NULL для dbt_valid_to для текущих записей в таблице снимков. Эта функция доступна в the dbt Cloud "Latest" release track (ранее назывался Versionless) и dbt Core v1.9 и позже.
  • Новое: Используйте конфигурацию event_time для указания "в какое время произошла строка". Эта конфигурация требуется для Incremental microbatch и может быть добавлена, чтобы гарантировать, что вы сравниваете перекрывающиеся времена в Advanced CI's compare changes. Доступно в the dbt Cloud "Latest" release track (ранее назывался Versionless) и dbt Core v1.9 и выше.
  • Исправление: Это обновление улучшает интеграцию dbt Semantic Layer с Tableau, делая разбор запросов более надежным. Некоторые ключевые исправления включают:
    • Сообщения об ошибках для неподдерживаемых соединений между сохраненными запросами и ВСЕМИ таблицами.
    • Улучшенная обработка запросов при выборе нескольких таблиц в источнике данных.
    • Исправлена ошибка, когда фильтр IN содержал много значений.
    • Улучшенные сообщения об ошибках для запросов, которые не могут быть правильно разобраны.
  • Улучшение: dbt Semantic Layer поддерживает создание новых учетных данных для пользователей, у которых нет разрешений на создание токенов службы. В боковой панели Credentials & service tokens опция +Add Service Token недоступна для тех пользователей, у которых нет разрешения. Вместо этого боковая панель отображает сообщение, указывающее, что у пользователя нет разрешения на создание токена службы и он должен связаться с администрацией. Обратитесь к Set up dbt Semantic Layer для получения более подробной информации.

Октябрь 2024​

 Объявления Coalesce 2024
  • Изменение поведения: Многофакторная аутентификация теперь обязательна для всех пользователей, которые входят в систему с учетными данными имени пользователя и пароля.
  • Улучшение: JDBC dbt Semantic Layer теперь позволяет пользователям разбивать на страницы semantic_layer.metrics() и semantic_layer.dimensions() для метрик и измерений, используя параметры page_size и page_number. Обратитесь к Paginate metadata calls для получения дополнительной информации.
  • Улучшение: JDBC dbt Semantic Layer теперь позволяет фильтровать метрики, чтобы включать только те, которые содержат определенную подстроку, используя параметр search. Если подстрока не указана, запрос возвращает все метрики. Обратитесь к Fetch metrics by substring search для получения дополнительной информации.
  • Исправление: Интеграция dbt Semantic Layer с Excel теперь правильно отображает ошибки, когда запрос не удается выполнить. Ранее было неясно, почему запрос не удалось выполнить.
  • Исправление: Ранее POST-запросы к API Jobs с недопустимыми строками cron возвращали код состояния HTTP 500, но обновляли основную сущность. Теперь POST-запросы к API Jobs с недопустимыми строками cron будут приводить к коду состояния 400, без обновления основной сущности.
  • Исправление: Исправлена проблема, когда страница просмотра Source в dbt Explorer не отображала правильно статус свежести источника, если он старше 30 дней.
  • Исправление: Интерфейс теперь указывает, когда описание модели наследуется из комментария каталога.
  • Изменение поведения: Токены API пользователей устарели. Обновите на персональные токены доступа, если у вас есть еще используемые.
  • Новое: IDE dbt Cloud поддерживает подписанные коммиты для Git, доступные для корпоративных планов. Вы можете подписывать свои коммиты Git при их отправке в репозиторий, чтобы предотвратить подделку и повысить безопасность. Поддерживаемые поставщики Git — GitHub и GitLab. Обратитесь к Git commit signing для получения дополнительной информации.
  • Новое: С dbt Mesh теперь можно включить двусторонние зависимости между вашими проектами. Ранее dbt разрешал зависимости только в одном направлении. dbt проверяет наличие циклов между проектами и выдает ошибки, если они обнаружены. Для получения подробной информации обратитесь к Cycle detection. Также есть руководство Intro to dbt Mesh, чтобы помочь вам узнать больше о лучших практиках.
  • Новое: Python SDK для dbt Semantic Layer теперь доступен в общем доступе. Он предоставляет пользователям легкий доступ к dbt Semantic Layer с помощью Python и позволяет разработчикам взаимодействовать с API dbt Semantic Layer для выполнения запросов к метрикам/измерениям в сторонних инструментах.
  • Улучшение: Теперь вы можете добавить описание к одиночному тесту данных. Используйте свойство description для документирования одиночных тестов данных. Вы также можете использовать docs block для захвата описания вашего теста. Улучшение доступно сейчас в the "Latest" release track in dbt Cloud, и оно будет включено в dbt Core v1.9.
  • Новое: Представляем стратегию микропакетной инкрементальной модели (бета), доступную сейчас в dbt Cloud Latest и скоро будет поддерживаться в dbt Core v1.9. Стратегия микропакетов позволяет эффективно обрабатывать большие наборы данных временных рядов на основе пакетов для улучшения производительности и устойчивости, особенно когда вы работаете с данными, которые изменяются со временем (например, новые записи добавляются ежедневно). Чтобы включить эту функцию в dbt Cloud, установите переменную среды DBT_EXPERIMENTAL_MICROBATCH в значение true в вашем проекте.
  • Новое: dbt Semantic Layer поддерживает пользовательские конфигурации календаря в MetricFlow, доступные в предварительном просмотре. Пользовательские конфигурации календаря позволяют выполнять запросы к данным, используя нестандартные временные периоды, такие как fiscal_year или retail_month. Обратитесь к custom calendar, чтобы узнать, как определить эти пользовательские детализации в вашей конфигурации MetricFlow timespine YAML.
  • Новое: В "Latest" release track in dbt Cloud, Snapshots были обновлены для использования YAML конфигурационных файлов вместо SQL блоков снимков. Эта новая функция упрощает управление снимками и улучшает производительность, и скоро будет выпущена в dbt Core 1.9.
    • Кого это касается? Пользователи "Latest" release track in dbt Cloud могут определять снимки, используя новую спецификацию YAML. Пользователи, обновляющиеся до "Latest", у которых есть существующие определения снимков, могут сохранить свои существующие конфигурации или могут выбрать миграцию своих определений снимков в YAML.
    • Пользователи на старых версиях: Действий не требуется; существующие снимки будут продолжать работать как раньше. Однако мы рекомендуем обновиться до "Latest" release track, чтобы воспользоваться новыми функциями снимков.
  • Изменение поведения: Установите state_modified_compare_more_unrendered_values в true, чтобы уменьшить количество ложных срабатываний для state:modified, когда конфигурации различаются между средами dev и prod.
  • Изменение поведения: Установите флаг skip_nodes_if_on_run_start_fails в True, чтобы пропустить выполнение всех выбранных ресурсов, если произошла ошибка на крючке on-run-start.
  • Улучшение: В "Latest" release track in dbt Cloud, снимки, определенные в SQL файлах, теперь могут использовать config, определенный в YAML файлах schema.yml. Это обновление решает предыдущие ограничения, требующие, чтобы свойства снимков определялись исключительно в dbt_project.yml и/или блоке config() в SQL файле. Это также будет выпущено в dbt Core 1.9.
  • Новое: В "Latest" release track in dbt Cloud, конфигурация snapshot_meta_column_names позволяет настраивать столбцы метаданных снимков. Эта функция позволяет организации согласовать эти автоматически генерируемые имена столбцов с их конвенциями и будет включена в предстоящий выпуск dbt Core 1.9.
  • Улучшение: "Latest" release track in dbt Cloud выводит primary_key модели на основе настроенных тестов данных и/или ограничений в manifest.json. Выведенный primary_key виден в dbt Explorer и используется функцией dbt Cloud compare changes. Это также будет выпущено в dbt Core 1.9. Прочтите о порядке, в котором dbt выводит столбцы, которые могут быть использованы в качестве первичного ключа модели.
  • Новое: dbt Explorer теперь включает значки доверительных сигналов, которые в настоящее время доступны в предварительном просмотре. Доверительные сигналы предлагают быстрый обзор состояния данных при просмотре ваших моделей dbt в Explorer. Эти значки указывают, является ли модель Здоровой, Осторожной, Ухудшенной или Неизвестной. Для получения точных данных о состоянии убедитесь, что ресурс актуален и у него было недавнее выполнение задания. Обратитесь к Trust signals для получения дополнительной информации.
  • Новое: Авто-экспозиции теперь доступны в предварительном просмотре в dbt Cloud. Авто-экспозиции помогают пользователям понять, как их модели используются в аналитических инструментах, чтобы информировать о вложениях и снижать количество инцидентов. Они импортируют и автоматически генерируют экспозиции на основе панелей Tableau с пользовательской курацией. Чтобы узнать больше, обратитесь к Auto exposures.

Сентябрь 2024​

  • Исправление: MetricFlow обновил get_and_expire, чтобы заменить неподдерживаемую команду GETEX на GET и условное истечение срока действия, обеспечивая совместимость с Azure Redis 6.0.
  • Улучшение: Python SDK для dbt Semantic Layer теперь поддерживает TimeGranularity пользовательское зерно для метрик. Эта функция позволяет вам определять пользовательские временные гранулярности для метрик, такие как fiscal_year или retail_month, чтобы выполнять запросы к данным, используя нестандартные временные периоды.
  • Новое: Используйте AI-движок dbt Copilot для генерации семантической модели для ваших моделей, теперь доступно в бета-версии. dbt Copilot автоматически генерирует документацию, тесты и теперь семантические модели на основе данных в вашей модели. Чтобы узнать больше, обратитесь к dbt Copilot.
  • Новое: Используйте новый рекомендуемый синтаксис для определения ограничений foreign_key с использованием refs, доступный в "Latest" release track in dbt Cloud. Это скоро будет выпущено в dbt Core v1.9. Этот новый синтаксис будет фиксировать зависимости и работать в разных средах.
  • Улучшение: Теперь вы можете выполнять команды Semantic Layer в dbt Cloud IDE. Поддерживаемые команды: dbt sl list, dbt sl list metrics, dbt sl list dimension-values, dbt sl list saved-queries, dbt sl query, dbt sl list dimensions, dbt sl list entities и dbt sl validate.
  • Новое: Microsoft Excel, интеграция dbt Semantic Layer, теперь доступна в общем доступе. Интеграция позволяет вам подключаться к Microsoft Excel для выполнения запросов к метрикам и сотрудничества с вашей командой. Доступно для Excel Desktop или Excel Online. Для получения дополнительной информации обратитесь к Microsoft Excel.
  • Новое: Плитка здоровья данных теперь доступна в общем доступе в dbt Explorer. Плитки здоровья данных предоставляют быстрый обзор качества ваших данных, подчеркивая потенциальные проблемы в ваших данных. Вы можете встроить эти плитки в свои панели, чтобы быстро выявлять и устранять проблемы с качеством данных в вашем проекте dbt.
  • Новое: Функция истории запросов модели в dbt Explorer теперь в предварительном просмотре для клиентов dbt Cloud Enterprise. История запросов модели позволяет вам просматривать количество запросов на потребление для модели на основе журналов запросов хранилища данных. Эта функция предоставляет командам данных информацию, чтобы они могли сосредоточить свое время и затраты на инфраструктуру на стоящих используемых продуктах данных. Чтобы узнать больше, обратитесь к Model query history.
  • Улучшение: Теперь вы можете использовать расширенные атрибуты и переменные среды при подключении к Semantic Layer. Если вы установите значение непосредственно в учетных данных Semantic Layer, оно будет иметь более высокий приоритет, чем расширенные атрибуты. При использовании переменных среды будет использоваться значение по умолчанию для среды. Если вы используете экспорт, переопределения переменных среды задания пока не поддерживаются, но скоро будут.
  • Новое: Появились две новые переменные среды по умолчанию — DBT_CLOUD_ENVIRONMENT_NAME и DBT_CLOUD_ENVIRONMENT_TYPE.
  • Новое: Подключение к хранилищу Amazon Athena доступно в публичном предварительном просмотре для учетных записей dbt Cloud, которые обновились до the "Latest" release track.

Август 2024​

  • Исправление: Исправлена проблема в dbt Explorer, когда переход к проекту потребителя из публичного узла приводил к отображению случайной публичной модели вместо исходного выбора.
  • Новое: Теперь вы можете настраивать метрики на более мелких временных зернах, таких как час, минута или даже секунда. Это особенно полезно для более детального анализа и для наборов данных, где требуется высокое разрешение временных данных, таких как отслеживание событий по минутам. Обратитесь к dimensions для получения дополнительной информации о временной гранулярности.
  • Улучшение: Microsoft Excel теперь поддерживает сохраненные выборки и сохраненные запросы. Используйте сохраненные выборки, чтобы сохранить свои выборки запросов в приложении Excel. Приложение также по умолчанию очищает устаревшие данные в последующих строках. Чтобы вернуть результаты и сохранить любые ранее выбранные данные, снимите флажок Clear trailing rows.
  • Изменение поведения: GitHub больше не поддерживается для входа в dbt Cloud через OAuth. Используйте поддерживаемого поставщика SSO или OAuth для безопасного управления доступом к вашей учетной записи dbt Cloud.

Июль 2024​

  • Изменение поведения: target_schema больше не является обязательной конфигурацией для снимков. Теперь вы можете нацеливаться на разные схемы для снимков в средах разработки и развертывания, используя schema config.

  • Новое: Подключения теперь доступны в разделе Настройки учетной записи как глобальная настройка. Ранее они находились в разделе Настройки проекта. Это будет внедряться поэтапно в течение следующих недель.

  • Новое: Администраторы теперь могут назначать разрешения на уровне среды для групп для определенных ролей.

  • Новое: Объединение заданий для реализации рабочих процессов непрерывного развертывания (CD) теперь доступно в dbt Cloud. Ранее вам приходилось либо настраивать пользовательское действие GitHub, либо вручную собирать изменения каждый раз, когда слияние запроса на вытягивание.

  • Новое: Теперь доступна возможность проверять ваши SQL файлы из dbt Cloud CLI. Чтобы узнать больше, обратитесь к Lint SQL files.

  • Изменение поведения: IDE dbt Cloud автоматически добавляет --limit 100 к запросам предварительного просмотра, чтобы избежать медленных и дорогих запросов во время разработки. Недавно dbt Core изменил способ применения limit, чтобы гарантировать, что order by выражения всегда учитываются. Из-за этого запросы, которые уже содержат выражение limit, теперь могут вызывать ошибки в предварительных просмотрах IDE. Чтобы решить эту проблему, dbt Labs планирует вскоре предоставить возможность отключить применение limit. До тех пор dbt Labs рекомендует удалять (дублирующее) выражение limit из ваших запросов во время предварительных просмотров, чтобы избежать этих ошибок IDE.

  • Улучшение: Представляем обновленную страницу обзора для dbt Explorer, доступную в бета-версии. Она включает новый дизайн и макет для главной страницы Explorer. Новый макет предоставляет более интуитивный опыт для пользователей, чтобы они могли навигировать по своим проектам dbt, а также новый раздел Последние обновления для просмотра последних изменений или проблем, связанных с ресурсами проекта. Чтобы узнать больше, обратитесь к Overview page.

dbt Semantic Layer​

  • Новое: Представляем Python SDK dbt-sl-sdk, который предоставляет вам легкий доступ к dbt Semantic Layer с помощью Python. Он позволяет разработчикам взаимодействовать с API dbt Semantic Layer и выполнять запросы к метрикам и измерениям в сторонних инструментах. Обратитесь к dbt Semantic Layer Python SDK для получения дополнительной информации.
  • Новое: Представляем семантические проверки в CI конвейерах. Автоматически тестируйте свои семантические узлы (метрики, семантические модели и сохраненные запросы) во время код-ревью, добавляя проверки валидации хранилища данных в ваше CI задание, используя команду dbt sl validate. Вы также можете проверять измененные семантические узлы, чтобы гарантировать, что изменения кода, внесенные в модели dbt, не нарушают эти метрики. Обратитесь к Semantic validations in CI, чтобы узнать о дополнительных командах и вариантах использования.
  • Новое: Теперь мы раскрываем поле meta в свойстве конфигурации для метрик dbt Semantic Layer в JDBC и GraphQL API под полем meta.
  • Новое: Добавлена новая команда в dbt Cloud CLI под названием export-all, которая позволяет экспортировать несколько или все ваши сохраненные запросы. Ранее вам нужно было явно указывать список сохраненных запросов.
  • Улучшение: dbt Semantic Layer теперь предлагает более детальный контроль, поддерживая несколько учетных данных платформы данных, которые могут представлять разные роли или учетные записи службы. Доступно для корпоративных планов dbt Cloud, вы можете сопоставлять учетные данные с токенами службы для безопасной аутентификации. Обратитесь к Set up dbt Semantic Layer для получения более подробной информации.
  • Исправление: Исправлена ошибка, из-за которой фильтры запросов с юникодом (например, китайские символы) не работали правильно в интеграции dbt Semantic Layer с Tableau.
  • Исправление: Решена ошибка с разбором некоторых закрытых ключей для BigQuery при выполнении экспорта.
  • Исправление: Исправлена ошибка, из-за которой возвращалась ошибка "закрытое соединение" при выполнении запроса или экспорта.
  • Исправление: Решена проблема в dbt Core, когда во время частичного разбора все сгенерированные метрики в файле были неправильно удалены вместо только тех, которые связаны с измененной семантической моделью. Теперь затрагиваются только метрики, связанные с измененной моделью.

Июнь 2024​

  • Новое: Представлена новая поддержка гранулярности для кумулятивных метрик в MetricFlow. Опции гранулярности для кумулятивных метрик немного отличаются от гранулярности для других типов метрик. Для других метрик мы используем функцию date_trunc для реализации гранулярности. Однако, поскольку кумулятивные метрики не являются аддитивными (значения не могут быть сложены), мы не можем использовать функцию date_trunc для изменения их временной гранулярности.

    Вместо этого мы используем функции агрегации first(), last() и avg() для агрегации кумулятивных метрик за запрашиваемый период. По умолчанию мы берем первое значение периода. Вы можете изменить это поведение, используя параметр period_agg. Для получения дополнительной информации обратитесь к Granularity options for cumulative metrics.

dbt Semantic Layer​

  • Новое: Добавлена поддержка SQL оптимизации в MetricFlow. Теперь мы будем передавать фильтры категориальных измерений в таблицу источника метрик. Ранее фильтры применялись после выбора из таблицы источника метрик. Это изменение помогает уменьшить полные сканирования таблиц на некоторых движках запросов.
  • Новое: Включены фильтры where на измерениях (включены в сохраненные запросы) для использования кэша во время выполнения запроса. Это означает, что теперь вы можете динамически фильтровать свои панели, не теряя преимуществ производительности кэширования. Обратитесь к caching для получения дополнительной информации.
  • Улучшение: В Google Sheets мы добавили значки информации и описания к опциям метрик и измерений в меню Query Builder. Нажмите на кнопку значка Info, чтобы просмотреть описание метрики или измерения. Доступно в следующих разделах меню Query Builder: метрика, группировка по, где, сохраненные выборки и сохраненные запросы.
  • Улучшение: В Google Sheets теперь вы можете применять гранулярность ко всем временным измерениям, а не только к метрикам времени. Это обновление использует наши API для поддержки выбора гранулярности на любом выбранном временном измерении.
  • Улучшение: Предупреждения о временной оси MetricFlow теперь побуждают пользователей настраивать отсутствующие или мелкозернистые временные оси. Сообщение об ошибке отображается для нескольких временных осей на гранулярность.
  • Улучшение: Ошибки теперь отображаются, если временная ось не настроена на запрашиваемую или меньшую гранулярность.
  • Улучшение: Улучшено сообщение об ошибке запроса, когда учетные данные семантического слоя не были установлены.
  • Улучшение: Запросы на зерна для кумулятивных метрик теперь возвращают несколько опций гранулярности (день, неделя, месяц, квартал, год), как и все другие типы метрик. Ранее вы могли запрашивать только одну опцию зерна для кумулятивных метрик.
  • Исправление: Удалены ошибки, которые препятствовали запросу кумулятивных метрик с другими гранулярностями.
  • Исправление: Исправлены различные ошибки Tableau при запросе определенных метрик или при использовании вычисляемых полей.
  • Исправление: В Tableau мы ослабили ожидания именования полей, чтобы лучше идентифицировать вычисляемые поля.
  • Исправление: Исправлена ошибка при обновлении метаданных базы данных для столбцов, которые мы не можем преобразовать в Arrow. Эти столбцы теперь будут пропущены. Это в основном затрагивало пользователей Redshift с пользовательскими типами.
  • Исправление: Исправлены подключения Private Link для Databricks.

Также доступно в этом месяце:​

  • Улучшение: Обновления интерфейса при создании объединенных заданий теперь доступны. Обновления включают улучшения вспомогательного текста, новые настройки отложенного выполнения и улучшения производительности.
  • Новое: dbt Semantic Layer теперь предлагает бесшовную интеграцию с Microsoft Excel, доступную в предварительном просмотре. Создавайте запросы семантического слоя и возвращайте данные по метрикам непосредственно в Excel через пользовательское меню. Чтобы узнать больше и установить дополнение, ознакомьтесь с Microsoft Excel.
  • Новое: Предупреждения о заданиях теперь доступны в общем доступе. Ранее вы могли получать уведомления по электронной почте или Slack о ваших заданиях, когда они завершались успешно, завершались с ошибкой или были отменены. Теперь с новой опцией Warns вы также можете получать уведомления, когда задания сталкиваются с предупреждениями от тестов или проверок свежести источников во время их выполнения. Это дает вам больше гибкости в том, когда быть уведомленным.
  • Новое: Предварительный просмотр приложения dbt Snowflake Native App теперь доступен. С этим приложением вы можете получить доступ к dbt Explorer, чат-боту Ask dbt и функциям наблюдаемости оркестрации, расширяя ваш опыт работы с dbt Cloud в интерфейсе Snowflake. Чтобы узнать больше, ознакомьтесь с About the dbt Snowflake Native App и Set up the dbt Snowflake Native App.

Май 2024​

  • Улучшение: Теперь мы представили новую кнопку Prune branches Git button в IDE dbt Cloud. Эта кнопка позволяет вам удалять локальные ветки, которые были удалены из удаленного репозитория, поддерживая порядок в управлении ветками. Доступно во всех регионах сейчас и будет выпущено для учетных записей с одним арендатором в следующем цикле выпуска.

Мероприятие dbt Cloud Launch Showcase​

Следующие функции новые или улучшенные в рамках нашего мероприятия dbt Cloud Launch Showcase 14 мая 2024 года:

  • Новое: dbt Copilot — это мощный AI-движок, помогающий вам генерировать документацию, тесты и семантические модели, экономя ваше время при доставке высококачественных данных. Доступно в частной бета-версии для подмножества пользователей dbt Cloud Enterprise и в IDE dbt Cloud. Зарегистрируйте свой интерес, чтобы присоединиться к частной бета-версии.

  • Новое: Новый редактор с низким кодом, теперь в частной бета-версии, позволяет аналитикам с меньшими навыками SQL создавать или редактировать модели dbt через визуальный интерфейс перетаскивания внутри dbt Cloud. Эти модели компилируются непосредственно в SQL и неотличимы от других моделей dbt в ваших проектах: они контролируются версиями, могут быть доступны в разных проектах в dbt Mesh и интегрируются с dbt Explorer и Cloud IDE. Зарегистрируйте свой интерес, чтобы присоединиться к частной бета-версии.

  • Новое: dbt Cloud CLI теперь доступен в общем доступе (GA) для всех пользователей. dbt Cloud CLI — это интерфейс командной строки, который позволяет вам взаимодействовать с dbt Cloud, использовать автоматическое отложенное выполнение, использовать dbt Mesh и многое другое!

  • Новое: Расширение VS Code Power user for dbt Core and dbt Cloud теперь доступно в бета-версии для пользователей dbt Cloud CLI. Расширение ускоряет разработку dbt и SQL и включает функции, такие как генерация моделей из ваших определений источников или SQL, и другое!

  • Новое: Юнит-тесты теперь доступны в общем доступе в dbt Cloud. Юнит-тесты позволяют вам тестировать логику вашей SQL модели на наборе статических входных данных.

  •  Новое: Нативная поддержка Azure Synapse Analyticspreview

  • Новое: MetricFlow позволяет вам теперь добавлять метрики в качестве измерений к вашим фильтрам метрик для создания более сложных метрик и получения большего количества информации. Доступно для всех пользователей dbt Cloud Semantic Layer.

  • Новое: Среда постановки теперь доступна в общем доступе. Используйте среды постановки, чтобы предоставить разработчикам доступ к рабочим процессам и инструментам развертывания, контролируя доступ к производственным данным. Доступно для всех пользователей dbt Cloud.

  • Новое: Поддержка входа через Oauth с помощью Databricks теперь доступна в общем доступе для корпоративных клиентов.

  •  Новое: GA функций dbt Explorer

  • Новое: Нативная поддержка Microsoft Fabric в dbt Cloud теперь доступна в общем доступе. Эта функция поддерживается адаптером dbt-fabric. Чтобы узнать больше, обратитесь к Connect Microsoft Fabric и Microsoft Fabric DWH configurations. Также есть руководство по быстрому старту, чтобы помочь вам начать.

  • Новое: dbt Mesh теперь доступен в общем доступе для пользователей dbt Cloud Enterprise. dbt Mesh — это фреймворк, который помогает организациям эффективно масштабировать свои команды и активы данных. Он продвигает лучшие практики управления и разбивает большие проекты на управляемые секции. Начните с dbt Mesh, прочитав руководство по быстрому старту dbt Mesh.

  • Новое: Интеграция dbt Semantic Layer с Tableau Desktop, Tableau Server и Google Sheets теперь доступна в общем доступе для учетных записей dbt Cloud Team или Enterprise. Эти первоклассные интеграции позволяют вам выполнять запросы и извлекать ценные инсайты из вашей экосистемы данных.

  • Улучшение: В рамках нашего постоянного стремления к улучшению IDE dbt Cloud, файловая система теперь имеет улучшения для ускорения разработки dbt, такие как введение ограничения на репозиторий Git в 10 ГБ.

Также доступно в этом месяце:​

  • Обновление: dbt Cloud CLI теперь доступен для Azure single tenant и доступен во всех регионах развертывания как для многопользовательских, так и для учетных записей с одним арендатором.

  • Новое: dbt Semantic Layer представляет декларативное кэширование, позволяющее кэшировать общие запросы для ускорения производительности и снижения затрат на вычисление запросов. Доступно для учетных записей dbt Cloud Team или Enterprise.

  •  Новое: Последний трек релизов

  • Изменение поведения: Введен флаг require_resource_names_without_spaces, который по умолчанию отключен. Если установлен в True, dbt будет выдавать исключение, если обнаружит имя ресурса, содержащее пробел в вашем проекте или установленном пакете. Это станет значением по умолчанию в будущей версии dbt. Прочтите No spaces in resource names для получения дополнительной информации.

Апрель 2024​

  •  Новое: Объединение заданийbeta

  • Изменение поведения: Введен флаг require_explicit_package_overrides_for_builtin_materializations, который по умолчанию отключен. Если установлен в True, dbt будет использовать только встроенные материализации, определенные в корневом проекте или внутри dbt, а не реализации в пакетах. Это станет значением по умолчанию в мае 2024 года (dbt Core v1.8 и треки релизов dbt Cloud). Прочтите Package override for built-in materialization для получения дополнительной информации.

dbt Semantic Layer

  • Новое: Используйте сохраненные выборки для сохранения ваших выборок запросов в приложении Google Sheets. Они могут быть сделаны частными или публичными и обновляются при загрузке.
  • Новое: Метрики теперь отображаются по их меткам как metric_name.
  • Улучшение: Метрики теперь поддерживают опцию meta в свойстве config. Ранее мы поддерживали только устаревший тег meta.
  • Улучшение: В приложении Google Sheets мы добавили поддержку для перехода от или исследования сохраненных запросов, определенных в MetricFlow, напрямую.
  • Улучшение: В приложении Google Sheets мы добавили поддержку для запроса измерений без метрик. Ранее вам нужно было иметь измерение.
  • Улучшение: В приложении Google Sheets мы добавили поддержку предустановок времени и сложных фильтров временного диапазона, таких как "между", "после" и "до".
  • Улучшение: В приложении Google Sheets мы добавили поддержку автоматического заполнения значений измерений при выборе фильтра "где", устраняя необходимость в их ручном вводе. Ранее вам нужно было вручную вводить значения измерений.
  • Улучшение: В приложении Google Sheets мы добавили поддержку для прямого запроса сущностей, расширяя гибкость запросов данных.
  • Улучшение: В приложении Google Sheets мы добавили опцию исключения заголовков столбцов, что полезно для заполнения шаблонов только необходимыми данными.
  • Устаревание: Для интеграции с Tableau источник данных METRICS_AND_DIMENSIONS устарел для всех учетных записей, которые его активно не используют. Мы рекомендуем пользователям переходить на источник данных "ALL" для будущих интеграций.

Март 2024​

  • Новое: Сервисы Semantic Layer теперь поддерживают использование Privatelink для клиентов, у которых он включен.
  • Новое: Теперь вы можете разрабатывать и тестировать свой Semantic Layer в Cloud CLI, если ваши учетные данные разработчика используют SSO.
  • Улучшение: Вы можете выбирать сущности для группировки, фильтрации и сортировки.
  • Исправление: dbt parse больше не показывает ошибку, когда вы используете список фильтров (вместо просто строкового фильтра) на метрике.
  • Исправление: join_to_timespine теперь правильно применяется к входным мерам метрики преобразования.
  • Исправление: Исправлена проблема, когда экспорты в Redshift не всегда фиксировались в DWH, что также имело побочный эффект в виде оставления открытых блокировок таблиц.
  • Изменение поведения: Введен флаг source_freshness_run_project_hooks, который по умолчанию отключен. Если установлен в True, dbt будет включать проектные хуки on-run-* в команду source freshness. Это станет значением по умолчанию в будущей версии dbt. Прочтите Project hooks with source freshness для получения дополнительной информации.

Февраль 2024​

  • Новое: Экспорты позволяют вам материализовать сохраненный запрос как таблицу или представление в вашей платформе данных. Используя экспорты, вы можете унифицировать определения метрик в вашей платформе данных и выполнять запросы к ним, как к любой другой таблице или представлению.

  • Новое: Вы можете получить доступ к списку ваших экспортов с помощью новой команды list saved-queries, добавив --show-exports.

  • Новое: dbt Semantic Layer и Tableau Connector теперь поддерживают фильтры относительных дат в Tableau.

  •  Новое: Используйте экспорты для записи сохраненных запросов
  •  Новое: Запуск по завершении задания teamenterprise
  •  Новое: Последний трек релизовbeta
  •  Новое: Переопределение версии dbt с новыми настройками разработки пользователя
  •  Улучшение: Редактирование в основной ветке git в IDE

  • Улучшение: Интеграция Google Sheets с dbt Semantic Layer теперь добавляет заметку на ячейку, где были запрошены данные, указывая на более четкие запросы данных. Интеграция также теперь добавляет новую опцию Time Range, которая позволяет вам быстро выбирать диапазоны дат.

  • Улучшение: GraphQL API включает параметр requiresMetricTime для лучшей обработки метрик, которые должны быть сгруппированы по времени. (Некоторые метрики, определенные в MetricFlow, нельзя рассматривать без временного измерения).

  • Улучшение: Включена возможность выполнения запросов к метрикам с использованием смещения и кумулятивных метрик с именем временного измерения, вместо metric_time. Issue #1000

    • Включена возможность выполнения запросов к metric_time без метрик. Issue #928

  • Улучшение: Добавлена поддержка для согласованной генерации SQL-запросов, что позволяет обеспечить согласованность генерации ID между идентичными запросами MF. Ранее SQL, сгенерированный MetricFlowEngine, не был полностью согласован между идентичными запросами. Issue 1020

  • Исправление: Коннектор Tableau возвращает фильтр даты при фильтрации по датам. Ранее он ошибочно возвращал фильтр временной метки.

  • Исправление: MetricFlow теперь проверяет, есть ли metrics, group by или saved_query элементы в каждом запросе. Ранее проверки не было. Issue 1002

  • Исправление: Меры, использующие join_to_timespine в MetricFlow, теперь имеют фильтры, применяемые правильно после соединения временной оси.

  • Исправление: Запрос нескольких гранулярностей с метриками смещения:

    • Если вы запрашиваете метрику смещения времени с несколькими экземплярами metric_time/agg_time_dimension, только один из экземпляров будет смещен. Все они должны быть.
    • Если вы запрашиваете метрику смещения времени с одним экземпляром metric_time/agg_time_dimension, но фильтруете по другому, запрос завершится с ошибкой.

  • Исправление: MetricFlow отдает предпочтение кандидату на тип соединения перед типом по умолчанию при оценке узлов для соединения. Например, тип соединения по умолчанию для запросов на уникальные значения — FULL OUTER JOIN, однако соединения временной оси требуют CROSS JOIN, что более уместно.

  • Исправление: Исправлена ошибка, которая ранее вызывала ошибки, когда сущности упоминались в фильтрах where.

Январь 2024​

  •  Обновления документации за январь

  • Новое: Новый тип метрики, который позволяет измерять события преобразования. Например, пользователи, которые просмотрели веб-страницу, а затем заполнили форму. Для получения более подробной информации обратитесь к Conversion metrics.

  • Новое: Вместо указания полностью квалифицированного имени измерения (например, order__user__country) в выражении группировки или фильтрации, теперь вам нужно указать только основную сущность и имя измерения, например, user__county.

  • Новое: Теперь вы можете выполнять запросы к сохраненным запросам, которые вы определили в dbt Semantic Layer, используя Tableau, GraphQL API, JDBC API и dbt Cloud CLI.

  •  Новое: Нативная поддержка частичного разбора

  • Улучшение: Параметр спецификации YAML label теперь доступен для метрик Semantic Layer в JDBC и GraphQL API. Это означает, что вы можете удобно использовать label в качестве отображаемого имени для ваших метрик при их раскрытии.

  • Улучшение: Добавлена поддержка create_metric: true для меры, что является сокращением для быстрого создания метрик. Это полезно в случаях, когда метрики используются только для построения других метрик.

  • Улучшение: Добавлена поддержка фильтров параметров Tableau. Вы можете использовать коннектор Tableau для создания и использования параметров с вашими данными dbt Semantic Layer.

  • Улучшение: Добавлена поддержка для раскрытия expr и agg для Measures в GraphQL API.

  • Улучшение: У вас улучшены сообщения об ошибках в интерфейсе командной строки при запросе измерения, которое недоступно для данной метрики.

  • Улучшение: Теперь вы можете выполнять запросы к сущностям, используя нашу интеграцию с Tableau (аналогично запросу измерений).

  • Улучшение: В нашей интеграции с Tableau доступен новый источник данных под названием "ALL", который содержит все определенные семантические объекты. Это имеет ту же информацию, что и "METRICS_AND_DIMENSIONS". В будущем мы устарим "METRICS_AND_DIMENSIONS" в пользу "ALL" для ясности.

  • Исправление: Поддержка числовых типов с точностью более 38 (например, BIGDECIMAL) в BigQuery теперь доступна. Ранее она не поддерживалась, поэтому возвращала ошибку.

  • Исправление: В некоторых случаях большие числов

0
Отредактировать эту страницу