BLOGS

BigQuery Continuous Queries : ขุมพลัง SQL สู่การวิเคราะห์ข้อมูลแบบเรียลไทม์

Thakorn.T • 14/05/2024
Google Cloud Solutions Specialist

ในยุคที่ข้อมูลไหลบ่าอย่างมหาศาล การวิเคราะห์ข้อมูลแบบเรียลไทม์กลายเป็นสิ่งจำเป็นสำหรับธุรกิจ BigQuery Continuous Queries คือ Feature ใหม่จาก Google Cloud ที่ช่วยให้คุณปลดล็อกศักยภาพของ SQL ในการประมวลผลข้อมูลอย่างต่อเนื่อง ไม่ว่าจะเป็นการวิเคราะห์ข้อมูล การสร้าง AI Pipeline หรือการส่งข้อมูลแบบ Reverse ETL ซึ่ง BigQuery Continuous Queries จะช่วยให้คุณทำทั้งหมดนี้ได้อย่างง่ายดาย

ข้อมูลที่ใช้ในแอปต่าง ๆ ต้องมีความหน่วงน้อยที่สุด

ในโลกธุรกิจปัจจุบันข้อมูลถือเป็นหัวใจสำคัญในการตัดสินใจที่รวดเร็วและแม่นยำ โดยเฉพาะข้อมูลปฏิบัติการ (Operational Data) ที่ต้องการความหน่วงแฝงน้อยที่สุด (Minimal Latency) เพื่อให้สามารถตอบสนองต่อสถานการณ์ต่าง ๆ ได้อย่างทันท่วงที ดังที่ทาง Forrester เขียน Blog เรื่อง Demystifying Real-Time Data For Analytics And Operational Workloads เกี่ยวกับ Workload ด้านข้อมูลเชิงปฏิบัติการเทียบกับเชิงวิเคราะห์ดังนี้

Use-caseWorkloadTypical latency
Fraud detectionOperational<1 second
Patient monitoringOperational<1 second
Internet-of-things insightsOperational<5 seconds
Customer service/experienceOperational<10 seconds
Customer analyticsAnalytics<5 minutes
Social media analyticsAnalytics<5 minutes
Analytics dashboardAnalytics<10 minutes
Business intelligenceAnalytics<15 minutes

จะเห็นได้ว่าข้อมูลเชิงปฏิบัติการ (Operational) นั้นต้องการความหน่วง (Latency) ที่ค่อนข้างน้อยมาก ๆ เทียบกับข้อมูลเชิงที่เรามาวิเคราะห์ในภายหลัง (Analytics) ดังนั้นจึงเป็นที่มาของ BigQuery Continuous Quries ที่ให้ความสำคัญกับข้อมูลในลักษณะที่ค่อนข้างเรียลไทม์

BigQuery Continuous Queries คืออะไร ?

BigQuery Continuous Queries คือคุณสมบัติใหม่ของ BigQuery ที่จะทำการประมวลผลข้อมูลแบบเรียลไทม์ทันทีที่มีข้อมูลใหม่เข้ามา โดยคุณสามารถเขียน SQL Query เพื่อกำหนดวิธีการประมวลผล และสามารถ Replicate หรือ Transform Data ลงปลายทางของข้อมูลต่าง ๆ ได้ ไม่ว่าจะเป็น BigQuery, Bigtable หรือ Pub/Sub

BigQuery Continuous Queries ทำงานอย่างไร ?

ปัจจุบัน Continuous Query ยังอยู่ในช่วง Preview อยู่ หากทาง Google ปล่อยเป็น GA แล้วก็จะสามารถเห็นได้บน BigQuery Studio ในการเขียน Query เลย แต่ผู้ใช้ต้องใช้ BigQuery Reservations ซึ่งต้องปรับวิธีคิดค่าใช้จ่ายเป็นแบบ BigQuery Editions นั่นเอง

และเราสามารถวิเคราะห์ข้อมูล เช่น การ Join ข้อมูลที่เป็น Real-time Table คู่กับ Non Real-time Table ได้ ซึ่งทำให้ได้ข้อมูลที่อัปเดตสดใหม่แตกต่างจาก Data Warehouse อื่น ๆ ที่ต้องรอจังหวะ Real-time Data ถูก Dump ลง Table ก่อน ถึงจะ Query ต่อโดยข้อมูลไม่ขาดหาย ซึ่ง Continuous Query จะมาแก้ปัญหาตรงนี้ และทำให้เรา Query ข้อมูลแบบ Real-time ได้อย่างราบรื่น

ประโยชน์ของ BigQuery Continuous Queries

  • วิเคราะห์ข้อมูลแบบเรียลไทม์ : เข้าถึงข้อมูลเชิงลึกได้รวดเร็วทันใจ ช่วยให้ตัดสินใจได้อย่างมีประสิทธิภาพ
  • สร้าง AI Pipeline ได้ง่ายดาย : ประมวลผลข้อมูลสำหรับ Machine Learning Model ได้แบบเรียลไทม์
  • Reverse ETL : ส่งข้อมูลกลับไปยังระบบปฏิบัติการได้อย่างรวดเร็วและต่อเนื่อง
  • ลดความซับซ้อน : ใช้งานง่าย ไม่ต้องเขียนโค้ดที่ซับซ้อน

ตัวอย่างการใช้งาน BigQuery Continuous Queries

  • ระบบตรวจจับความผิดปกติ : วิเคราะห์ข้อมูลแบบเรียลไทม์เพื่อตรวจจับพฤติกรรมที่ผิดปกติ เช่น การทำธุรกรรมฉ้อโกง
  • ระบบแนะนำสินค้า : วิเคราะห์ข้อมูลการซื้อของลูกค้า เพื่อแนะนำสินค้าที่ตรงกับความต้องการ
  • ระบบแจ้งเตือน : ส่งข้อความแจ้งเตือนไปยังผู้ใช้งาน เมื่อมีเหตุการณ์ที่สำคัญเกิดขึ้น

BigQuery Continuous Queries คือก้าวสำคัญของการวิเคราะห์ข้อมูลแบบเรียลไทม์ ช่วยให้ธุรกิจสามารถเข้าถึงข้อมูลเชิงลึกได้รวดเร็วและตัดสินใจได้อย่างชาญฉลาด

ติดตามข่าวสารและข้อมูลเพิ่มเติมเกี่ยวกับ BigQuery Continuous Queries
ได้ที่ Blog Tangerine หรือปรึกษาผู้เชี่ยวชาญของเราได้ทันที

Get a Free Consultation
Contact Form_EN Sources (#25)