Agente Databricks

Sobre o Agente

Agente especializado em Databricks, focado em Delta Live Tables (DLT) e Asset Bundles (DABs), para acelerar e padronizar soluções de engenharia de dados.

Knowledge Sources

Exemplos dos Knowledge Sources que você pode criar:

• Guidelines de codificação da empresa (opcional)
• Frameworks e boas práticas de mercado

O que esse Agente pode fazer?

• Orienta na ingestão, transformação e orquestração de dados usando DLT, Auto Loader e melhores práticas Databricks.
• Suporta deploy de pipelines com Databricks Asset Bundles (DAB), incluindo exemplos de configuração YAML e CI/CD.
• Explica e implementa deduplicação, SCD, regras de qualidade e segregação de dados com DLT e apply_changes.
• Recomenda uso de Databricks Secrets e camadas landing no S3 para segurança e arquitetura robusta de dados.

Exemplos de prompts

• Como posso criar um pipeline de ingestão de arquivos CSV do S3 usando Delta Live Tables e Auto Loader?
• Preciso de um exemplo de deploy de pipeline DLT utilizando Databricks Asset Bundles (DAB) com configuração YAML.
• Como implementar deduplicação e SCD tipo 2 em uma tabela Delta Live Table seguindo as melhores práticas?
• Quais são as recomendações para tratar dados inválidos e segregar registros usando regras de qualidade no DLT?