Bonus: Data Quality in Apache Airflow 

แนะนําตัวผู้สอน Punsiri Boonyakiat (Beat) Senior Data Engineer at CJ Express 

ตารางเรียน ● What and Why Data Quality Assurance (DQA) ● Techniques for DQA ● DQA Landscape in Apache Airflow ● Demo ● Short Sli.do Q&A 

ระหว่างฟังถ้ามีคําถาม พิมพ์ได้ที่นี่เลย ยิ่งถาม ยิ่งไดเรียนรู เขาไปที่เว็บ sli.do พิมพชื่อหอง #r2de3-dqa (สำหรับคนที่ไมชอบออกสื่อ เว็บนี้ถามแบบ Anonymous ไดเลย ไมตอง พิมพชื่อ) 

Building Data Platform 

Data Platform Features ● Data Domain ● Data Quality ● Data Discovery ● Data Governance ● Data Observability ● DataOps ● FinOps 

Data Pipeline without Quality Assurance 

Why Data Quality ? ● Avoids Business Risks: Poor data can lead to incorrect decisions, financial losses, and damaged business operations. Ensures Data Usability: Data must be accurate, consistent, and reliable to serve its intended purpose effectively. Builds Trust: High-quality data fosters trust among data consumers, leading to better collaboration and usage. Supports Compliance: Maintaining data quality helps meet regulatory requirements and standards. Enhances Efficiency: Clean, well-structured data improves operational efficiency and reduces time spent on data correction. 

● Size Compliance: Data must meet predefined size and volume standards for efficient processing and analysis. ● Accuracy Assurance: Data accuracy must fall within acceptable error margins to maintain reliability for decision-making. ● Timely Delivery: Data must be delivered and processed within specific timeframes to align with business objectives. ● Scheduled Execution: Pipelines must operate according to established schedules to ensure seamless operations. ● Data Privacy: Data must be free of sensitive or confidential information to comply with regulations and mitigate risks. Example of Requirements 

Data Quality Challenge 

Dimensions of Data Quality 

Completeness Record is Missing: บาง record ข้อมูลชุดนั้นไม่ถูกบันทึกเลย Value is Missing : ข้อมูลบางส่วนในฟิลด์นั้นๆ ไม่ถูกกรอก Data Truncation: ข้อมูลถูกเก็บไม่ครบตามที่ควรจะเป็น (เช่น ตัวอักษรเกินขนาดที่กําหนด) 

Uniqueness 

Accuracy ตัวอย่างเช่น ข้อมูลจุดรับส่ง ระยะทาง 

Validity ● Data Validity based on Business rules ● Data Validity based Sequence of events 

Consistency ● Record level data consistency across source and target ● Data consistency between domain ● Data consistency across time ● Data consistency in data representation/ system 

Timeliness - Late for Business Process 

ทบทวท Airflow นิดนึง 

Apache Airflow Basic Recap 

Apache Airflow Basic Recap 

Techniques for DQA 

Techniques for DQA - Data Validation 

Techniques for DQA - Data Reconciliation 

Techniques for DQA - Data Pipeline Unit Test 

Data Monitoring + Observability 

DQA Landscape in Apache Airflow 

Data Quality Tools ● SQL check operators: A group of operators in the Common SQL provider package that you can use to define data quality checks using Python dictionaries and SQL from within your DAGs. ● Great Expectations: An open source data validation framework where checks are defined in JSON. Airflow offers a provider package including the GreatExpectationsOperator for easy integration. ● Soda: An open source data validation framework that uses YAML to define checks which can be run in Airflow using the BashOperator. Soda also offers the ability to write any custom checks using SQL. ● dbt test: A testing framework for dbt models. The easiest way to run dbt models including dbt test within Airflow is with the Cosmos package. 

How to do data validation in Airflow? Type 1: Standalone Data-Quality DAG 1. มีการสร้าง DAG แยกเพื่อการตรวจสอบคุณภาพข้อมูล ทํางานทุกวันหลังจาก pipeline หลัก 2. หากตรวจสอบล้มเหลว จะทําการแจ้งเตือนผ่าน และสามารถรันการตรวจสอบใหม่เฉพาะส่วนที่มีปัญหาได้ 3. DAG นี้สามารถเปิด-ปิดได้ง่าย โดยไม่กระทบ DAG เดิม หลัก Type 2: Integrated Checks During Table Creation 1. เพิ่มการตรวจสอบคุณภาพข้อมูลเข้าในขั้นตอนการสร้าง Data Pipeline 2. หากพบข้อผิดพลาดจะหยุดขั้นตอนการทํางานของ pipeline ทันที extract_data_from_source check_data load_data ❌ 

Data Quality Check Type Table-Level: จะเป็นการทดสอบระดับโครงสร้างของ table เช่น Schema, Data Type และ Records count ของทั้ง table Column-Level : การตรวจสอบระดับคอลัมน์ เช่น ถ้าเป็น primary หรือ secondary key column ต้องไม่มีค่า NULL และมีความ unique, สําหรับ column ที่เป็น numerical หรือตัวเลข ต้องอยู่ใน range ที่กําหนด, สําหรับค่าที่เป็น string หรือข้อมความสามารถกําหนด pattern เพื่อทดสอบได้ Row-Level: การตรวจสอบทั่วไป เช่น การเปรียบเทียบค่าหลายคอลัมน์ในแต่ละแถว และการตรวจ สอบว่าไม่มีค่าที่ขัดแย้งกันปรากฏในแถวเดียวกัน Over several tables: ตรวจสอบความสอดคล้องของข้อมูลระหว่างหลายตาราง 

SQL Common Provider 

SQL Check Operator 

Great Expectation (GX) 

https://greatexpectations.io/ Great Expectation (GX) 

Expectation Gallery https://greatexpectations.io/expectations/ 

DEMO: Let’s go to the code Repo: https://github.com/punsiriboo/data-quality- with-apache-airflow 1. SLA for Data Freshness Monitoring 2. Data Validation with SQL Check Operator 3. Data Validation with Great Expectation 4. Notification to Slack 5. Simple Data Reconciliation 6. Apache Airflow Unit Test 

Demo Architecture Explanation SQLite load transform validate BigQuery 

DEMO: Data Freshness with SLA - Service Level Agreement 

SLA - Service Level Agreement ● Measure task time from DAG start, not task start. ● Trigger alert if task exceeds SLA. ● SLAs apply only to scheduled DAG runs. ● 2 SLA levels: DAG and Task. 

SLA - Service Level Agreement (Task Level) 

SSLA - Service Level Agreement SLA for Data Freshness monitoring 

DEMO: Data Validation with SQL Check Operator 

Common SQL Provider 

Common SQL Provider 1. SQLCheckOperator: ตรวจสอบคุณภาพข้อมูลด้วย Sql 2. SQLTableCheckOperator: ตรวจสอบคุณภาพข้อมูลระดับ table 3. SQLColumnCheckOperator: ตรวจสอบคุณภาข้อมูลระกับ column 4. SQLValueCheckOperator: ตรวจสอบความถูกต้องของข้อมูลด้วยการ check value ตามที่คาดหวัง 5. SQLThresholdCheckOperator: ตรวจสอบความถูกต้องของข้อมูลด้วยการ check value ตามที่คาด หวังแบบกําหนดช่วงขอบเขต min max 6. SQLIntervalCheckOperator: ตรวจสอบข้อมูลเทียบกับช่วงเวลาย้อนหลัง 

SQLCheckOperator 

SQLTableCheckOperator 

SQLColumnCheckOperator 

DEMO: Data Validation with Great Expectation 

Great Expectation Provider 

Great Expectation Components 

Great Expectation Configuration 

Great Expectation Operator https://registry.astronomer.io/providers/airflow-provider-great-expectations/versions/l atest/modules/GreatExpectationsOperator 

Expectations Suite 

Great Expectation Data Doc 

DEMO: Notification to Slack 

Slack Notification 

DEMO: Simple Data Reconciliation 

Data Reconciliation 

DEMO: Apache Airflow Unit Testing 

Data Life Cycle 

Techniques for DQA - Data Pipeline Unit Test 

Python UnitTest with Pytest 

Example: Simple Test 

Example: Test DAG integrity 

Summary 

สรุปความแตกต่าง! 

References ● https://www.astronomer.io/docs/learn/data-quality ● https://www.astronomer.io/blog/orchestration-or-how-to-become-a-data-driven-company ● https://www.astronomer.io/blog/how-to-keep-data-quality-in-check-with-airflow/ ● https://www.astronomer.io/docs/learn/airflow-sql-data-quality#example-sqlcolumncheckoperator ● https://www.astronomer.io/docs/learn/testing-airflow?tab=traditional#debug-interactively-with-dagtest 

ฝากบทความ ไปตามอ่านกันได้นะ 🤩 https://medium.com/@punsiriboonyakiat