BLOGS

เหลือจะเชื่อ! เขียน Python บน BigQuery ได้ ด้วย BigQuery Studio

Thakorn.T • 26/09/2023
Google Cloud Solutions Specialist
Google BigQuery Studio

BigQuery เป็น Data Warehouse มีชื่อเสียงเป็นอันดับต้น ๆ ของโลกที่ Data Analyst ต้องยกนิ้วโป้งให้ ด้วยความสามารถครบครันไม่ว่าจะ ELT ในตัวด้วย Dataform ทำ Machine Learning ได้ด้วยภาษา SQL อย่าง BQML แชร์ข้อมูลให้คู่ค้า หรือ Monetize Data ได้ด้วย Analytics Hub ซึ่งวันนี้ก็เป็นอีกครั้งที่ BigQuery ก้าวข้ามผ่าน Modern Data Warehouse ธรรมดา คือสามารถเขียน Python ได้ในตัวแบบทันที ไม่ต้อง Set-up Infrastructure ขึ้นมาด้วย BigQuery Studio

Interface เดียวที่ทีม Data ทั้งทีมต้องการ !

เมื่อลองจินตนาการถึงการทำงานด้านข้อมูลในแบบก่อน ๆ ถ้าต้องการ Query ข้อมูลก็จะทำบน Data Warehouse และถ้าต้องการเขียน Python ในการจัดการข้อมูลก็จะไปทำบน Jupyter Notebook ซึ่งการย้าย Platform ทำให้มีรอยต่อเกิดขึ้น เช่น ต้องมีการทำ Data Ingestion เพิ่ม ต้องมี Connector หรือแม้กระทั่งการเปลี่ยนภาษาที่ใช้เขียนโปแกรมกัน นี่จึงกลายเป็น Impact ที่สำคัญในการลงทุนงานด้าน Data และ AI

ซึ่ง BigQuery Studio เป็นตัวช่วยที่เข้ามาอุดรอยต่อทำให้สามารถเขียน Python บน BigQuery ได้เลยแบบ End-to-end ซึ่งในการเขียน Python บน Notebook จะมี Colab Enterprise เป็น Engine อยู่เบื้องหลัง ดังนั้นผู้ใช้จึงมีโอกาสเลือกภาษาที่ถนัดในการค้นหา Insight จากข้อมูลไม่ว่าจะเป็น Python หรือ SQL

Apache Iceberg เป็นการยกระดับ Lake House โดยที่ BigQuery Studio ก็สามารถทำให้ตัวเองเป็น Single Pane of Glass ที่ทำงานกับข้อมูลได้ทุกประเภท ตั้งแต่ Structured, Semi-structured และ Unstructured Data แม้ว่าข้อมูลจะอยู่บน Cloud ที่นอกจาก Google Cloud เช่น AWS, Azure ก็สามารถเชื่อมต่อข้อมูลทั้งหมดเป็นผืนเดียวกันได้ด้วย BigLake

ทำให้ Productivity ของทีมสูงขึ้น

BigQuery Studio เพิ่มความสามารถในการพัฒนาซอร์ฟแวร์ เช่น CI/CD การทำ Version History การควบคุม Data Asset หรือการทำงานร่วมกันในทีมที่ดีกว่าเดิม

ขุมพลังของ Duet AI บน BigQuery

BigQuery Studio สามารถทำงานร่วมกับ AI ได้ด้วย Duet AI in BigQuery ในการ Suggest Function สร้าง Code Block สำหรับ SQL และ Python ผ่านรูปแบบแชทและสร้างโค้ดที่ตรงกับงานมากขึ้น และลด Error ต่าง ๆ ที่อาจจะทำให้การทำงานล่าช้าได้

Data Governance ความปลอดภัยที่ครบวงจร

BigQuery Studio ช่วยให้องค์กรได้ Insight ที่เชื่อถือได้ เพราะอยู่ภายใต้การควบคุมต่าง ๆ ไม่ว่าจะเป็น Data Lineage, Data Quality และ Data Profiling ซึ่ง BigQuery Studio สามารถให้ Admin บังคับใช้ Security Policies ต่าง ๆ เพื่อควบคุมการ Copy, Move หรือ Share Data ออกนอก BigQuery ได้

และด้วยการจัดการ Security ระหว่าง BigQuery กับ Vertex AI นั้นสามารถควบคุม Policies ได้แบบละเอียด (Find-grained Security) องค์กรจึงไม่จำเป็นต้องกังวลในเรื่องความปลอดภัยเมื่อใช้ BigQuery ตัวอย่างเช่น ทีม Data Analyst สามารถใช้ SQL ในการเรียกใช้ AI ด้านรูปภาพ วีดีโอ หรือ Natural Langauge ในการทำ Sensitment Analysis หรือ Entity Detection ได้บน BigQuery โดยไม่ต้องส่งข้อมูลออกไปข้างนอก หรือแชร์ให้กับ 3rd Party

Conclusion

BigQuery Studio ทำให้ความฝันของทีม Data เป็นจริง ในการใช้เครื่องมือพื้นฐานอย่างการเขียน Python และ SQL ในหน้าเดียวกัน ไม่ต้องเปลี่ยนหน้าจอบ่อย ๆ  และมีความ Productive หรือแม้แต่การ Apply Data Security ต่าง ๆ มาในตัว ซึ่งช่วยเสริมเรื่องความปลอดภัยและความสบายใจให้กับองค์กรเองในการขุดหา Insight ของข้อมูลด้วย

สำหรับผู้ที่สนใจในงานด้านการจัดการข้อมูล เหมืองข้อมูล หรือปัญญาประดิษฐ์สามารถติดต่อทีม Tangerine ได้ทันที เรามีผู้เชี่ยวชาญที่พร้อมจะดูแลทุกท่านและทำให้นวัตกรรมขององค์กรเป็นจริงได้

Get a Free Consultation
Contact Form_EN Sources (#25)