วิศวกรรมข้อมูล: ทำไม “พื้นฐาน” ยังสำคัญกว่ากระแส Framework

ในยุคที่เต็มไปด้วยคำ buzzword และสไลด์ขายของ หลายคนเข้าใจผิดว่า

Data Fabric จะเชื่อมทุกระบบให้อัตโนมัติ,

Zero ETL จะทำให้เราไม่ต้องเขียน pipeline อีกต่อไป,

Modern Data Stack™ คือสูตรสำเร็จที่ใช้ได้กับทุกองค์กร

แต่ความจริงคือ วิศวกรรมข้อมูลยังต้องอาศัยการลงมือทำ — เราต้อง clean และ transform ข้อมูล, รับมือ schema drift กับ late-arriving events, จัดการ DAGs, เฝ้าดู job ให้เสถียร, ปรับจูน performance และตอบคำถามธุรกิจที่เปลี่ยนทุกสัปดาห์

ความจริงเบื้องหลังแต่ละกระแส
Data Fabric = metadata + virtualization + sync
ฟังดูหรู แต่คุณยังต้องตั้ง connector, ดูแลความปลอดภัย และจัดการข้อมูลสกปรกด้วยตัวเอง

Zero ETL = “แค่ query ข้อมูลจากที่เดิม”
ทว่าในทางปฏิบัติ ข้อมูลยังต้อง normalize, aggregate, deduplicate ก่อนใช้งานอยู่ดี

Medallion Architecture (Bronze → Silver → Gold)
คือแนวคิด data warehousing เดิมในชื่อใหม่ — และ dependency ระหว่างเลเยอร์ก็ยังสร้างปัญหาเหมือนเดิม

Modern Data Stack™ (Snowflake + dbt + Looker)
ทรงพลังจริง แต่สำหรับทีมเล็กที่มีข้อมูลเพียง 10 GB การตั้ง stack ขนาดนี้อาจเกินความจำเป็นและสิ้นเปลือง

สิ่งที่ Data Engineer ควรโฟกัสจริง ๆ
ออกแบบ pipeline ให้ดูแลรักษาง่ายและสังเกตเหตุขัดข้องได้

เข้าใจ use case ของธุรกิจและคำถามที่ต้องตอบ

บริหารต้นทุน–ประสิทธิภาพให้เหมาะสม

เลือกเครื่องมือเพราะ “แก้ปัญหา” ไม่ใช่เพราะ “กำลังฮิต”

สื่อสารให้ชัดเจน ท่ามกลางสภาพแวดล้อมที่ซับซ้อนขึ้นเรื่อย ๆ

เราไม่ได้ต่อต้านเครื่องมือ—แค่ย้ำว่า เครื่องมือไม่ใช่เวทมนตร์. Framework เปลี่ยนได้ แต่ “พื้นฐานวิศวกรรมที่ดี” ไม่มีวันล้าสมัย

อ้างอิงบทความ Kirill Bobrov: “Data Engineering: Now with 30% More Bullshit”