Robot egzersizi: pipeline'ı kağıtta yaz
Robot exercise draw the pipeline
Bu derste neler öğreneceksin
- Pseudo-DAG çizer
- Robot rolündeki arkadaşa uygulatır
- Hata varsa birlikte düzeltir
Ekransız Ders: Sadece Kağıt ve Arkadaş
Bu derste bilgisayarı kapat. Bir A4 kağıt, bir kalem, bir arkadaş. Arkadaşın robot olacak — senin yazdıklarını aynen uygulayacak.
Adım 1 — DAG Çiz
Önce kendi limonatacının pipeline’ını kağıda çiz. Her adım bir kutu, kutular arası oklar:
[Instagram Siparişi] → [CSV Dosyası] → [BigQuery Tablosu] → [Dashboard]Bu bir DAG (Directed Acyclic Graph) — yönlü, döngüsüz grafik. “Döngüsüz” = geriye ok yok. Çünkü veri tek yönde akar.
Adım 2 — Pseudo-Kod Yaz
Kutuların altına, her adımın pseudo-kodunu (günlük dille komut) yaz:
1. ADIM: "Robot, lemonade-orders/ klasörüne git, dünkü CSV'yi bul."
2. ADIM: "CSV'yi oku, her satırı dictionary yap."
3. ADIM: "BigQuery'ye bağlan, lemonade.daily_orders tablosuna yaz."
4. ADIM: "Eğer hata olduysa: Slack'e 'patladık' yaz."Adım 3 — Robotu Dene
Arkadaşına ver kağıdı. Sen patron, o robot. “Çalıştır” de. Arkadaşın kelimesi kelimesine uygulayacak. Eğer yazdığın belirsizse, arkadaşın yanlış yapacak — ve sen hatanı bulacaksın.
Sık Yapılan Hatalar
| Hata | Çözüm |
|---|---|
| ”Veriyi al” — nereden? nasıl? | Robot belirsizliği sevmez. Dosya yolu + tarih format yaz. |
| Adım sırası yanlış | Çıktıdan geriye doğru düşün: önce dashboard mu yoksa tablo mu olmalı? |
| Hata durumunda ne olacağı yazılmamış | Her adıma “hata olursa…” satırı ekle. Robot bir şey yapmazsa sen fark etmezsin. |
Adım 4 — Debug
Arkadaşın yanlış bir yerde takılırsa: “Hangi satırdaydın?” de. Pseudo-kodunu oku. Genelde iki eksik var:
- Veri kaynağı yolu eksik
- Hata durumu tanımsız
Düzelt, tekrar dene. Bu, gerçek bir data engineer’ın her gün yaptığı şeyin insan versiyonu.
Neden Bu Ders Önemli?
Kestra YAML’ı, Airflow Python’u, dbt SQL’i — hepsi aynı şeyin farklı dili. Mantığı öğrenirsen, araç değişse de yazabilirsin. Bu derste mantığı öğrendik.
Bugün Yaptık
- Kağıt üstünde kendi pipeline’ımızı çizdik (DAG)
- Pseudo-kodla adım adım yazdık
- Arkadaşımızı robota çevirip hata ayıkladık
Ellerini Kirlet
- Bir A4 kağıt al, limonatacının pipeline’ını çiz.
- Yanına pseudo-kod yaz.
- Bir aile büyüğünü “robot” yap, uygulat.
- Hatayı bul, düzelt, tekrar dene.