Certificação on Brain (Hugo + Obsidian)

GCP Data Engineer Certification: A série

Mon, 01 May 2023 19:32:20 +0000

Fala pessoal, belezinha?

A ideia aqui é indexar os posts relacionados aos estudos para a certificação de Data Engineer Professional, da Google.

Vamos a algumas observações:

Não esperem nada muito detalhado aqui. Para isso, **RTFM** (tá aí uma ideia de adesivo para fazer e colocar no laptop).
**Não me perguntem sobre atalhos ou dumps**. Quem me conhece, sabe a minha opinião a respeito. Façam suas mutretas para isso e se virem, beleza?
Ainda estou pensando no melhor formato. Fazer como fiz no Obsidian, criando um mapa mental, ou manter uma lista e linkar o que for necessário no github. Nesse primeiro momento, vou no mais fácil. A lista. Mas sim, isso pode (e deve) mudar a qualquer momento.
Eu pretendo deixar essa página bem concisa. Só com os links. Espero que dê certo.
Em cada um dos posts, eu **pretendo** colocar os links de referências.

Preparação
Fundamentos
IAM
Storage
Database
Produtos
- Cloud SQL
- Cloud Spanner
- Firestore
- BigTable
- Dataflow
- BigQuery
- Dataproc
- Composer
- Data Fusion
- Cloud Data Loss Prevention
- Data Catalog
Machine Learning
- ….

Github dos meus estudos para a prova Astronomer: Apache Airflow Fundamentals

Sun, 01 May 2022 05:13:37 +0000

E hoje, primeiro de maio, dia do trabalho (ou do trabalhador?), madrugada de sábado para domingo, eu resolvi finalmente fazer a prova de Fundamentals de Airflow, aplicado pela Astronomer.

Já faz algum tempo que eu tenho usado/praticado a ferramenta e vou dizer que foi o Airflow que me fez aumentar o meu interesse por Python cada vez mais. Acho que das ferramentas de orquestração, depois do Data Factory, foi a ferramenta que eu mais me envolvi.

70-778: Minha primeira prova de certificação Beta (e seu resultado, finalmente)

Wed, 17 Jan 2018 02:09:01 +0000

2018 começou com tudo!

Em setembro do ano passado, divulgaram que a Microsoft estava com vouchers para a realização das provas de Power BI (e outros produtos), ainda em versão Beta.
As provas Beta, são provas que ainda estão passando por uma avaliação da Microsoft no que tange a qualidade das questões (descrições, opções, métodos de escolha, etc), mas que é a base para a prova oficial, quando ela for lançada para o público geral.
Quando eles divulgam as provas, apenas 300 vagas são disponibilizadas **no mundo todo **(essa parte é muito importante frisar, heheeh) e quem conseguir reservar primeiro, será beneficiado.
No final da prova, você precisa deixar os teus comentários sobre as questões, para que eles possam fazer a triagem e ver o que precisa ser refeito. Dizem que o processo todo pode levar até 8 semanas, até que se tenha o resultado da prova. Todo o processo é bem explicado nesse post, sugiro a leitura para maiores informações: https://borntolearn.mslearn.net/b/weblog/posts/the-path-from-beta-exam-to-live-exam
Enfim, a minha prova foi no dia 15/09 (70-778: Analyzing and Visualizing Data with Power BI (beta)) e devo confessar que saí de lá com esperança de ter passado, mas não com “aquela” convicção.
A prova em si, foi uma prova como as outras (eu estava esperando uma prova bem diferente, não sei pq)… Mas ela estava bem detalhada em alguns pontos e mais aberta em outros. Eu curti bastante fazer. E pensar que os comentários feitos nas questões podem ajudar no rumo da prova oficial, me deixou bem animado.
O problema todo foram essas 8 semanas, que, pra quem fez a prova comigo, acabou em uma espera de exatos 4 meses!!!
Ah, o resultado? **APROVADO!!!! 😀
** Acho que de todo o processo… A reserva, a prova e toda a espera… O mais legal com esse resultado é pensar que eu sou uma das primeiras 300 pessoas certificadas em Power BI no mundo!
Para esse ano, eu quero fazer pelo menos duas provas de SQL 2016 e uma de Azure, vamos ver como as coisas vão se encaminhar.

Funções de Ranqueamento

Wed, 23 Feb 2011 03:30:41 +0000

Existem 4 funções de ranqueamento que podem ser utilizados com a cláusula OVER:

ROW_NUMBER
RANK
DENSE_RANK
NTILE

Um exemplo de uso:

SELECT orderid, custid, val,
  ROW_NUMBER() OVER(ORDER BY val) AS rownum,
  RANK()       OVER(ORDER BY val) AS rank,
  DENSE_RANK() OVER(ORDER BY val) AS dense_rank,
  NTILE(10)   OVER(ORDER BY val) AS ntile
FROM Sales.OrderValues
ORDER BY val;

O retorno é:

orderid     custid      val       rownum  rank    dense_rank ntile
----------- ----------- --------- ------- ------- ---------- -----
10782       12          12.50     1       1       1          1
10807       27          18.40     2       2       2          1
10586       66          23.80     3       3       3          1
10767       76          28.00     4       4       4          1
10898       54          30.00     5       5       5          1
10900       88          33.75     6       6       6          1
10883       48          36.00     7       7       7          1
11051       41          36.00     8       7       7          1
10815       71          40.00     9       9       8          1
10674       38          45.00     10      10      9          1
...
10691       63          10164.80  821     821     786        10
10540       63          10191.70  822     822     787        10
10479       65          10495.60  823     823     788        10
10897       37          10835.24  824     824     789        10
10817       39          10952.85  825     825     790        10
10417       73          11188.40  826     826     791        10
10889       65          11380.00  827     827     792        10
11030       71          12615.05  828     828     793        10
10981       34          15810.00  829     829     794        10
10865       63          16387.50  830     830     795        10

(830 row(s) affected)

A função ROW_NUMBER() retorna uma ordenação sequencial para o resultado da consulta, baseado no que foi especificado no ORDER BY da cláusula OVER. Note que eu poderia retornar a ordenação pela coluna custid, modificando apenas a coluna rownum e mantendo a mesma ordem no retorno da consulta.

A cláusula OVER

Tue, 22 Feb 2011 16:26:14 +0000

Com a cláusula OVER você faz com que uma janela de registros passe por alguns cálculos.

Entenda por janela de registros como sendo uma quantidade de registros no qual o cálculo será realizado.

Ao contrário do GROUP BY, onde o retorno é de apenas uma linha para cada agrupamento realizado, com a cláusula OVER você consegue trabalhar no contexto do SELECT, ou seja, para cada registro da sua lista. Desta forma, você não precisa trabalhar com o GROUP BY e ainda tem como retorno o cálculo desejado.

Em busca de mais uma certificação…

Tue, 22 Feb 2011 16:20:17 +0000

Estou estudando para mais uma certificação (70-433 – TS: Microsoft SQL Server 2008, Database Development) e, com o intuito de fixar o conteúdo, vou colocar aqui uma série de posts que eu acho interessante divulgar.

Para a prova, estou me baseando nos seguintes livros:

Microsoft® SQL Server® 2008 T-SQL Fundamentals
Inside Microsoft SQL Server 2008: T-SQL Querying
Inside Microsoft SQL Server 2008: T-SQL Programming (Pro-Developer)
MCTS Self-Paced Training Kit (Exam 70-433): Microsoft® SQL Server® 2008 – Database Development

A minha idéia é conseguir fazer a prova em abril e então, no meio do ano, fazer a 70-451 (PRO: Designing Database Solutions and Data Access Using Microsoft SQL Server 2008), concluindo a trilha de Desenvolvedor. Depois é partir pra parte de BI.

MCTS SQL Server 2005!!! :-D

Tue, 17 Mar 2009 16:41:39 +0000

![](/images/2009/03/mcts.gif)

Só pra dizer que acabei de passar na prova 70-431 da Microsoft: “SQL Server 2005 – Implementing and Maintenance”
Que baita alívio, estava achando que não passaria nessa prova mas para a minha surpresa, passei com 880 no simulado e 947 na teórica (valendo 1000).
Essa é a segunda prova da MS que eu faço (e passo). Há 9 anos atrás eu fiz a de Windows NT Server 4.0.
Agora é manter o ritmo, focar no TCC da faculdade e fazer as provas 70-441 e 70-442 (Database Developer), 70-443 e 70-444 (Database Administrator)!!
O negócio é não deixar a peteca cair!!! 😀