Posts

99,99999% das pessoas que trabalham com banco de dados tem ao menos uma tabela que tem duas colunas: Data de ínicio e data de fim (estatística baseada em mero chute, sem embasamento algum). A questão é: Eu tenho essa data de início e data de fim, como eu faço para retornar, em linhas distintas, o range que compreende essas datas? Seria algo como: O que eu preciso: retornar, em uma coluna, o período (dias, semanas, meses, anos) que compreende as datas iniciais e finais. Para isso, vamos usar o conceito de CTE’s (Common Table Expressions) recursivas. ...

Ao integrar o Databricks com o Azure Key Vault (Vou chamar apenas de AKV, ok?) via secret scopes, estava passando por uma situação curiosa: (se achar que vale um post sobre como configurar o Databricks para acessar as secrets do AKV, só falar… Eu providencio 😉 ) Eu conseguia listar os escopos, mas não conseguia listar as secrets. Durante o debug via CLI, me dava erro informando que a permissão não tinha sido dada adequadamente. ...

E aí pessoal! Vamos de Integration Runtime novamente? 🙂 De uns tempos para cá, o Data Factory e o Synapse começaram a gerar alguns erros ao criar um Integration Runtime Self-Hosted, quando criamos um Linked Service do tipo File System, apontado para um pasta local no sistema de arquivos: IR Self-hosted devidamente configurado… Configuração do Linked Service Erro ao testar a conexão Anteriormente, esse era um processo que funcionava normalmente… Para resolver, temos duas opções. ...

Fala pessoal, belezinha? A ideia aqui é indexar os posts relacionados aos estudos para a certificação de Data Engineer Professional, da Google. Vamos a algumas observações: Não esperem nada muito detalhado aqui. Para isso, **RTFM** (tá aí uma ideia de adesivo para fazer e colocar no laptop). **Não me perguntem sobre atalhos ou dumps**. Quem me conhece, sabe a minha opinião a respeito. Façam suas mutretas para isso e se virem, beleza? Ainda estou pensando no melhor formato. Fazer como fiz no Obsidian, criando um mapa mental, ou manter uma lista e linkar o que for necessário no github. Nesse primeiro momento, vou no mais fácil. A lista. Mas sim, isso pode (e deve) mudar a qualquer momento. Eu pretendo deixar essa página bem concisa. Só com os links. Espero que dê certo. Em cada um dos posts, eu **pretendo** colocar os links de referências. Preparação Fundamentos IAM Storage Database Produtos Cloud SQL Cloud Spanner Firestore BigTable Dataflow BigQuery Dataproc Composer Data Fusion Cloud Data Loss Prevention Data Catalog Machine Learning ….

Como sabemos (sabemos, né?), para você acessar recursos do seu ambiente on-premise, é necessário instalar e configurar o Integration Runtime self-hosted em uma máquina com acesso à rede, para que ele sirva de gateway para a Azure e, assim, seja possível buscar os dados necessários. Após realizar a instalação do aplicativo, é necessário fornecer a chave de acesso do Data Factory, para que seja estabelecida a conexão entre os ambientes: ...

Hoje vamos dar os primeiros passos no mundo da Infraestrutura como um Código, a.k.a. IaC, fazendo a instalação local do Terraform, autenticando no Azure via cli e criando o primeiro objeto no Azure. O Terraform faz uso do HCL (Hashicorp Configuration Language) e a sua sintaxe foi muito baseada na libucl. Para falar sobre o Terraform (como funciona, detalhes, componentes, divisões, etc), eu poderia criar uma série apenas para isso, mas não é a ideia aqui. Vamos colocar a mão na massa direto. ...

Ontem resolvi fazer a primeira prova “de verdade” da Databricks (entre aspas, pois essa é uma prova monitorada, nos mesmos moldes de uma prova da Microsoft por exemplo – a Databricks Accreditation não é monitorada). Para essa prova, segui unicamente a trilha de estudos existentes na plataforma deles. Consegui o acesso há algum tempo, quando eles estavam distribuindo os cursos, mas a prova foi liberada há pouco tempo. E_dit:_ Seguem os cursos e o link para o learning plan: ...

E hoje, primeiro de maio, dia do trabalho (ou do trabalhador?), madrugada de sábado para domingo, eu resolvi finalmente fazer a prova de Fundamentals de Airflow, aplicado pela Astronomer. Já faz algum tempo que eu tenho usado/praticado a ferramenta e vou dizer que foi o Airflow que me fez aumentar o meu interesse por Python cada vez mais. Acho que das ferramentas de orquestração, depois do Data Factory, foi a ferramenta que eu mais me envolvi. ...

Falaí pessoal, tudo belezinha? Faz tempo, né? Bom, estou voltando a escrever aqui, depois de mais de 2 anos de hiato. Nesse meio tempo, eu comecei a escrever pelo menos uns 15 ou 20 posts, que foram arquivados por vários motivos e que, sinceramente, não sei se um dia verão a luz da internet. De qualquer forma, a ideia aqui vai ser voltar a escrever de tudo um pouco relacionado sobre o que tenho feito… Daquelas dicas super simples (para eu consultar quando me esquecer), até aquelas que são só simples mesmo, pois as intermediárias e avançadas a gente não sabe se vai conseguir escrever (esse foi um dos motivos que me fez não publicar mais nada, tbh), hehehe. ...

E aí pessoal, tudo belezinha com vocês? Segue um post rápido, só para registrar um assunto que rolou em um grupo de discussão do Telegram há algum tempo atrás e só agora eu resolvi parar para escrever a respeito… Pense no seguinte cenário: Eu tenho uma tabela onde uma das colunas é um campo texto (varchar(XXX)), separado por ‘;’ (ou qualquer outro caractere de sua preferência). Mas porque eu teria isso? Bom, imagine que você crie uma trigger para a fazer sua auditoria e, ao invés de guardar em colunas, você guarda em um varchar as alterações… ...