О dbt Cloud IDE

Интегрированная среда разработки (IDE) dbt Cloud — это единый веб-интерфейс для создания, тестирования, запуска и управления версиями проектов dbt. Она компилирует код dbt в SQL и выполняет его непосредственно в вашей базе данных.

dbt Cloud IDE предлагает несколько горячих клавиш и функций редактирования для более быстрого и эффективного развития и управления:

• Подсветка синтаксиса для SQL — Упрощает различение различных частей вашего кода, снижая количество синтаксических ошибок и улучшая читаемость.
• AI помощник — Используйте dbt Copilot, мощный AI-движок, который может генерировать код с использованием естественного языка, а также генерировать документацию, тесты и семантические модели для вас одним нажатием кнопки.
• Автозавершение — Предлагает имена таблиц, аргументы и имена столбцов по мере ввода, экономя время и снижая количество опечаток.
• Форматирование и линтинг кода — Помогает стандартизировать и исправлять ваш SQL-код без усилий.
• Инструменты навигации — Легко перемещайтесь по коду, переходите к конкретным строкам, находите и заменяйте текст, и перемещайтесь между файлами проекта.
• Управление версиями — Управляйте версиями кода несколькими щелчками.
• Документация проекта — Генерируйте и просматривайте документацию проекта для вашего проекта dbt в реальном времени.
• Кнопка сборки, тестирования и запуска — Собирайте, тестируйте и запускайте ваш проект одним нажатием кнопки или с помощью командной панели Cloud IDE.

Эти функции создают мощную среду редактирования для эффективного кодирования на SQL, подходящую как для опытных, так и для начинающих разработчиков.

dbt Cloud IDE включает управление версиями, файлы/папки, редактор, командную строку/консоль и многое другое.

Включите темный режим для комфортного просмотра в условиях низкой освещенности.

Отключите блокировщики рекламы

Чтобы улучшить ваш опыт использования dbt Cloud, мы рекомендуем отключить блокировщики рекламы. Это связано с тем, что некоторые имена файлов проекта, такие как google_adwords.sql, могут напоминать рекламный трафик и вызывать блокировку рекламы.

Предварительные требования

• Аккаунт dbt Cloud и лицензия на место разработчика
• Настроенный git-репозиторий, и у git-провайдера должен быть включен доступ на запись. См. Подключение вашего аккаунта GitHub или Импорт проекта по URL git для подробных инструкций по настройке
• Проект dbt, подключенный к платформе данных
• Настроенная среда разработки и учетные данные для разработки
• Среда должна быть на версии dbt 1.0 или выше

Функции dbt Cloud IDE

dbt Cloud IDE оснащена функциями, которые упрощают разработку, сборку, компиляцию, запуск и тестирование моделей данных.

Чтобы понять, как навигировать по IDE и ее элементам пользовательского интерфейса, обратитесь к странице Пользовательский интерфейс IDE.

Функция	Описание
Горячие клавиши	Вы можете получить доступ к различным командам и действиям в IDE, выбрав соответствующую горячую клавишу. Используйте горячие клавиши для выполнения общих задач, таких как сборка измененных моделей или возобновление сборок с последнего сбоя.
Управление версиями в IDE	Раздел управления версиями в IDE и кнопка git позволяют применять концепцию управления версиями к вашему проекту непосредственно в IDE. - Создавайте или изменяйте ветки, выполняйте команды git с помощью кнопки git. - Фиксируйте или отменяйте изменения отдельных файлов, щелкнув правой кнопкой мыши по отредактированному файлу - Разрешайте конфликты слияния - Ссылка на репозиторий напрямую, щелкнув по имени ветки - Редактируйте, форматируйте или линтуйте файлы и выполняйте команды dbt в вашей основной защищенной ветке, и фиксируйте изменения в новой ветке. - Используйте представление Git diff, чтобы увидеть, что было изменено в файле, прежде чем вы сделаете pull request. - Используйте кнопку Prune branches button (dbt v1.6 и выше) для удаления локальных веток, которые были удалены из удаленного репозитория, поддерживая порядок в управлении ветками. - Подписывайте ваши git-коммиты, чтобы пометить их как 'Проверенные'. enterprise
Кнопка предварительного просмотра и компиляции	Вы можете компилировать или просматривать код, фрагмент кода dbt или одну из ваших моделей dbt после редактирования и сохранения.
dbt Copilot beta	Мощный AI-движок, который может генерировать документацию, тесты и семантические модели для ваших SQL-моделей dbt. Доступно для планов dbt Cloud Enterprise.
Кнопка сборки, тестирования и запуска	Собирайте, тестируйте и запускайте ваш проект одним нажатием кнопки или с помощью командной панели Cloud IDE.
Командная панель	Вы можете вводить и выполнять команды из командной панели в нижней части IDE. Используйте богатый синтаксис выбора моделей для выполнения команд dbt непосредственно в dbt Cloud. Вы также можете просматривать историю, статус и логи предыдущих запусков, нажав на Историю слева от панели.
Перетаскивание	Перетаскивайте файлы, расположенные в проводнике файлов, и используйте хлебные крошки файлов в верхней части IDE для быстрой линейной навигации. Доступ к соседним файлам в том же файле можно получить, щелкнув правой кнопкой мыши по файлу хлебных крошек.
Организация вкладок и файлов	- Перемещайте ваши вкладки, чтобы реорганизовать вашу работу в IDE - Щелкните правой кнопкой мыши по вкладке, чтобы просмотреть и выбрать список действий, включая дублирование файлов - Закрывайте несколько несохраненных вкладок, чтобы сохранить вашу работу пакетно - Дважды щелкните по файлам, чтобы переименовать файлы
Поиск и замена	- Нажмите Command-F или Control-F, чтобы открыть панель поиска и замены в правом верхнем углу текущего файла в IDE. IDE выделяет результаты поиска в текущем файле и контуре кода - Вы можете использовать стрелки вверх и вниз, чтобы увидеть выделенное совпадение в текущем файле, если есть несколько совпадений - Используйте стрелку влево, чтобы заменить текст на что-то другое
Множественный выбор	Вы можете делать множественный выбор для небольших и одновременных правок. Ниже приведены команды, которые обычно используются для добавления большего количества курсоров и позволяют легко вставлять курсоры ниже или выше. - Option-Command-Down arrow или Ctrl-Alt-Down arrow - Option-Command-Up arrow или Ctrl-Alt-Up arrow - Нажмите Option и щелкните по области или нажмите Ctrl-Alt и щелкните по области
Линт и форматирование	Линт и форматирование ваших файлов одним нажатием кнопки, с поддержкой SQLFluff, sqlfmt, Prettier и Black.
Автозавершение dbt	Функции автозавершения, чтобы помочь вам развиваться быстрее: - Используйте ref для автозавершения имен ваших моделей - Используйте source для автозавершения имени источника + имени таблицы - Используйте macro для автозавершения ваших аргументов - Используйте env var для автозавершения env var - Начните вводить дефис (-), чтобы использовать встроенное автозавершение в YAML-файле - Автоматически создавайте модели из источников dbt одним нажатием кнопки.
в IDE	Вы можете увидеть, как модели используются в качестве строительных блоков слева направо для преобразования ваших данных из сырых источников в очищенные модульные производные части и конечные результаты в крайнем правом углу DAG. Вид по умолчанию — 2+model+2 (по умолчанию отображает 2 узла), однако вы можете изменить его на +model+ (полный ). Обратите внимание, что флаг --exclude не поддерживается.
Строка состояния	Эта область предоставляет вам полезную информацию о вашем IDE и статусе проекта. У вас также есть дополнительные опции, такие как включение светлого или темного режима, перезапуск IDE или повторное клонирование вашего репозитория.
Темный режим	Из строки состояния в Cloud IDE включите темный режим для комфортного просмотра в условиях низкой освещенности.

Генерация кода

dbt Cloud IDE оснащена CodeGenCodeLens, мощной функцией, которая упрощает создание моделей из ваших источников одним нажатием кнопки. Чтобы использовать эту функцию, нажмите на действие Generate model рядом с каждой таблицей в исходном YAML-файле(ах). Она автоматически создает базовую начальную модель для дальнейшего расширения. Эта функция помогает оптимизировать ваш рабочий процесс, автоматизируя первые шаги генерации модели.

Валидация dbt YAML

Используйте dbt-jsonschema для валидации YAML-файлов dbt, что помогает вам использовать возможности автозавершения и помощи dbt Cloud IDE. Это также предоставляет мгновенную обратную связь о структуре и синтаксисе YAML-файлов, помогая вам убедиться, что конфигурации вашего проекта соответствуют необходимым стандартам.

Начало работы с Cloud IDE

Чтобы начать использовать все замечательные функции Cloud IDE, вам сначала нужно настроить среду разработки dbt Cloud. В следующих шагах мы опишем, как настроить учетные данные разработчика и получить доступ к IDE. Если вы создаете новый проект, вы автоматически настроите это во время настройки проекта.

IDE использует учетные данные разработчика для подключения к вашей платформе данных. Эти учетные данные разработчика должны быть специфичны для вашего пользователя и не должны быть учетными данными суперпользователя или теми же учетными данными, которые вы используете для вашего производственного развертывания dbt.

Настройте ваши учетные данные разработчика:

1. Перейдите в раздел Credentials в настройках Your Profile, который вы можете получить по адресу https://YOUR_ACCESS_URL/settings/profile#credentials, заменив YOUR_ACCESS_URL на соответствующий URL доступа для вашего региона и плана.
2. Выберите соответствующий проект в списке.
3. Нажмите Edit в правом нижнем углу страницы.
4. Введите данные в разделе Development Credentials.
5. Нажмите Save.

Настройте учетные данные разработчика в вашем профиле

6. Получите доступ к Cloud IDE, нажав Develop в верхней части страницы.
7. Инициализируйте ваш проект и ознакомьтесь с IDE и ее замечательными функциями.

Отличная работа, вы готовы начать разработку и создание моделей 🎉!

Соображения

• Чтобы улучшить ваш опыт использования dbt Cloud, мы рекомендуем отключить блокировщики рекламы. Это связано с тем, что некоторые имена файлов проекта, такие как google_adwords.sql, могут напоминать рекламный трафик и вызывать блокировку рекламы.

• Чтобы сохранить производительность, существует ограничение на размер файлов для репозиториев более 6 ГБ. Если у вас есть репозиторий более 6 ГБ, пожалуйста, свяжитесь с поддержкой dbt перед запуском dbt Cloud.

• Время ожидания неактивной сессии в IDE составляет один час.

•  О процессе запуска и сохранении работы

  Процесс запуска

  Существует три состояния запуска при использовании или запуске Cloud IDE:

  • Начало создания — Это состояние, когда вы запускаете IDE в первый раз. Вы также можете рассматривать это как холодный старт (см. ниже), и вы можете ожидать, что это состояние займет больше времени, так как git-репозиторий клонируется.
  • Холодный старт — Это процесс запуска новой сессии разработки, которая будет доступна вам в течение одного часа. Среда автоматически выключается через час после последней активности. Это включает компиляцию, предварительный просмотр или любое вызов dbt, однако это не включает редактирование и сохранение файла.
  • Горячий старт — Это состояние возобновления существующей или активной сессии разработки в течение одного часа после последней активности.

  Сохранение работы

  Cloud IDE требует явного действия для сохранения ваших изменений. Существует три способа хранения вашей работы:

  • Несохраненный, локальный код — Браузер хранит ваш код только в своем локальном хранилище. В этом состоянии вам может потребоваться зафиксировать любые несохраненные изменения, чтобы переключить ветки или браузеры. Если вы сохранили и зафиксировали изменения, вы можете получить доступ к опции "Изменить ветку", даже если есть несохраненные изменения. Но если вы попытаетесь переключить ветки без сохранения изменений, появится предупреждающее сообщение, уведомляющее вас о том, что вы потеряете любые несохраненные изменения.

  Если вы попытаетесь переключить ветки без сохранения изменений, появится предупреждающее сообщение, уведомляющее вас о том, что вы потеряете ваши изменения.

  • Сохраненный, но не зафиксированный код — Когда вы сохраняете файл, данные сохраняются в долговременном хранилище, но не синхронизируются обратно с git. Чтобы переключить ветки с помощью опции Изменить ветку, вы должны "Зафиксировать и синхронизировать" или "Отменить" изменения. Переключение веток недоступно для сохраненного, но не зафиксированного кода. Это сделано для того, чтобы ваши незафиксированные изменения не были потеряны.
  • Зафиксированный код — Этот код хранится в ветке с вашим git-провайдером, и вы можете проверить другие (удаленные) ветки.

Сборка и документирование ваших проектов

• Сборка, компиляция и запуск проектов — Вы можете собирать, компилировать, запускать и тестировать проекты dbt, используя командную панель или кнопку Build. Используйте кнопку Build, чтобы быстро собрать, запустить или протестировать модель, над которой вы работаете. Cloud IDE будет обновляться в реальном времени, когда вы запускаете модели, тесты, семена и операции.

  • Если модель или тест не удается, dbt Cloud упрощает просмотр и загрузку журналов выполнения для ваших вызовов dbt, чтобы исправить проблему.
  • Используйте богатый синтаксис выбора моделей dbt для выполнения команд dbt непосредственно в dbt Cloud.
  • Начиная с dbt v1.6, используйте переменные окружения, чтобы динамически использовать имя ветки Git. Например, используя имя ветки в качестве префикса для схемы разработки.
  • Запускайте команды MetricFlow для создания и управления метриками в вашем проекте с помощью семантического слоя dbt.

• Генерация ваших YAML-конфигураций с помощью dbt Copilot beta — dbt Copilot — это мощная функция искусственного интеллекта (AI), которая помогает автоматизировать разработку в dbt Cloud. Она может генерировать документацию, тесты и семантические модели для ваших SQL-моделей dbt непосредственно в dbt Cloud IDE, одним нажатием кнопки, и помогает вам достичь большего за меньшее время. Доступно для планов dbt Cloud Enterprise.

• Сборка и просмотр документации вашего проекта — dbt Cloud IDE позволяет собирать и просматривать документацию для вашего проекта dbt, пока ваш код еще находится в разработке. С помощью этого рабочего процесса вы можете проверять и подтверждать, как будет выглядеть сгенерированная документация вашего проекта, прежде чем ваши изменения будут выпущены в производство.

Связанные документы

• Как мы оформляем наши проекты dbt
• Пользовательский интерфейс
• Основы управления версиями
• Команды dbt

Часто задаваемые вопросы

 Есть ли стоимость использования Cloud IDE?

Совсем нет! Вы можете использовать dbt Cloud, когда зарегистрируетесь на бесплатный план разработчика, который включает одно место для разработчика. Если вы хотите получить доступ к большему количеству функций или иметь больше мест для разработчиков, вы можете обновить свой аккаунт до плана Team или Enterprise.

Обратитесь к планам ценообразования dbt для получения более подробной информации.

 Могу ли я быть участником dbt Cloud?

Как собственный продукт, исходный код dbt Cloud недоступен для участия сообщества. Если вы хотите создать что-то в экосистеме dbt, мы рекомендуем вам ознакомиться с этой статьей о том, как внести вклад в пакет dbt, плагин, dbt-core или этот сайт документации. Участие в open-source — отличный способ повысить свой уровень как разработчика и вернуть сообществу.

 В чем разница между разработкой в dbt Cloud IDE, dbt Cloud CLI и dbt Core?

Вы можете разрабатывать dbt, используя веб-IDE в dbt Cloud или в командной строке, используя dbt Cloud CLI или open-source dbt Core, все из которых позволяют выполнять команды dbt. Ключевое различие между dbt Cloud CLI и dbt Core заключается в том, что dbt Cloud CLI адаптирован для инфраструктуры dbt Cloud и интегрируется со всеми его функциями:

• dbt Cloud IDE: dbt Cloud — это веб-приложение, которое позволяет вам разрабатывать проекты dbt с помощью IDE, включает специально разработанный планировщик и предоставляет более простой способ делиться вашей документацией dbt с вашей командой. IDE — это более быстрый и надежный способ развертывания ваших моделей dbt и предоставляет среду редактирования и выполнения в реальном времени для вашего проекта dbt.

• dbt Cloud CLI: dbt Cloud CLI позволяет вам выполнять команды dbt в вашей среде разработки dbt Cloud с вашего локального командного интерфейса или редактора кода. Он поддерживает кросс-проектные ссылки, более быстрые и менее затратные сборки, автоматическое отклонение артефактов сборки и многое другое.

• dbt Core: dbt Core — это open-source программное обеспечение, которое доступно бесплатно. Вы можете создавать свой проект dbt в редакторе кода и выполнять команды dbt из командной строки.