Data Analytics & Artificial Intelligence
เมื่อพูดถึงการรับรองทักษะวิชาชีพด้าน IT แล้วก็หนีไปพ้นเรื่องของการมี Certificate ใช่ไหม!! ไม่ว่าจะเป็นด้าน Infrastructure, Architect, Networking รวมถึงงานด้าน Data Engineering และ Data Scientist ในหลากหลาย Industry ด้วย ซึ่งแต่ละผู้ให้บริการก็ออก Certificate ให้กับผู้เชี่ยวชาญที่มีทักษะความรู้ใน Software หรือบริการของตัวเอง โดยในบทความนี้จะมาชวนคุยเกี่ยวกับ Certificate ตัวนึงที่รับรองทักษะสำคัญในการเป็น Machine Learning Engineer กับ Google Cloud
Data Analytics & Artificial Intelligence
จากบทความที่แล้วที่ได้เห็นความสามารถในการเขียน Python บน BigQuery Studio กันบ้างแล้ว และตามที่ติดกันไว้ในเรื่อง BigQuery DataFrames เอาใจคนรัก Pandas กับ BigQuery เพื่อไม่ให้เป็นการเสียนาฬิกา... เอ้ย!!! เวลา ไปเริ่มกันเลย
Data Analytics & Artificial Intelligence
BigQuery ถือว่าเป็น Data Warehouse ที่ล้ำสมัยมาก เสน่ห์ของมันคือสามารถตอบโจทย์งาน Data Analytics และ Machine Learning ได้อย่างครบครัน ซึ่งเราก็สามารถทำ DataOps ในการทำ ELT หรือทำ ML ในตัวด้วย SQL แต่ใครที่มีสกิลด้าน Python เพื่อทำ Use Case เหล่านี้ก็ไม่ต้อง Move หรือ Connect Data จากที่อื่นแล้ว เพราะ BigQuery สามารถเขียน Python ได้ในตัวด้วย BigQuery Studio
Data Analytics & Artificial Intelligence
สวัสดีเหล่า Data Analysts และ Business Users ทุกท่าน ที่หลงใหลในการวิเคราะห์ข้อมูล ผู้เขียนเชื่อว่าทุกคนชอบหา Insight จากการปั้น Dashboard ด้วย Looker Studio อยู่แล้ว มีจำนวนไม่น้อยที่ดีใจเมื่อทราบข่าวว่า Looker Studio ออกเวอร์ชัน Pro ขึ้นมา แต่การอัพเกรดเวอร์ชันโปรนั้น อาจจะมีขั้นตอนในการจัดซื้อซอร์ฟแวร์เพิ่มเติมในองค์กร ข่าวดีคือ ..วันนี้พวกเราสามารถอัพเกรดเป็น Looker Studio Pro ด้วยตัวเองได้แล้ว!!!
Data Analytics & Artificial Intelligence
BigQuery เป็น Data Warehouse มีชื่อเสียงเป็นอันดับต้น ๆ ของโลกที่ Data Analyst ต้องยกนิ้วโป้งให้ ด้วยความสามารถครบครันไม่ว่าจะ ELT ในตัวด้วย Dataform ทำ Machine Learning ได้ด้วยภาษา SQL อย่าง BQML แชร์ข้อมูลให้คู่ค้า หรือ Monetize Data ได้ด้วย Analytics Hub ซึ่งวันนี้ก็เป็นอีกครั้งที่ BigQuery ก้าวข้ามผ่าน Modern Data Warehouse ธรรมดา คือสามารถเขียน Python ได้ในตัวแบบทันที ไม่ต้อง Set-up Infrastructure ขึ้นมาด้วย BigQuery Studio
Data Analytics & Artificial Intelligence
เมื่อ AI เข้ามามีบทบาทในทุกมิติของการทำงานตั้งแต่การฝังกับเครื่องมือด้าน Work Collaboration อย่าง Workspace หรือการทำ Cloud Engineering ไปกับ Google Cloud และในมุมของนักวิเคราะห์ข้อมูลเองก็มีเช่นกัน ไม่ว่าจะเป็น AI ที่ช่วยเขียน SQL หรือ AI ที่ช่วยสรุปประเด็นต่าง ๆ บน Dashboard ซึ่งเนื้อหาในวันนี้จะเน้นไปที่ AI กับ Business Intelligence ตัวท็อปของ Google นั่นก็คือ Looker
Data Analytics & Artificial Intelligence
ในการทำ Data Warehouse สิ่งสำคัญที่จะลำเลียงข้อมูลมาลงเหมืองข้อมูลได้ ก็คือ Data Pipeline ซึ่งส่วนใหญ่จะเป็นข้อมูลที่เป็นลักษณะ Incremental กล่าวคือมี Record เกิดขึ้นใหม่ อาทิ Sale Transactions หรือ Logs ต่าง ๆ ก็จัดการได้ไม่ยากนัก แต่ Challenge ที่มักพบกับข้อมูลที่ไม่ได้เป็น Incremental กล่าวคือข้อมูลที่ไปแก้ใน Record เดิม ๆ อาทิ ราคาหุ้นที่เปลี่ยน, แต้มสมาชิกคงเหลือในบัญชี ที่จำเป็นต้อง sync ระหว่าง Database ต้นทาง และ Data Warehouse ใน Record เดิมเช่นกัน มิเช่นนั้นจะทำให้ Data มีความแตกต่างจนอาจทำให้เกิดความผิดพลาดได้ ซึ่งเราจะแก้ปัญหาเหล่านี้ด้วยกระบวนการ CDC ครับ
Data Analytics & Artificial Intelligence
บทความใน EP2 ที่ผ่านมาจะเป็นการติดตั้ง Oracle เพื่อเตรียมพร้อมให้ Datastream เชื่อมต่อมาครับ โดยในบทความนี้ผู้เขียนจะสาธิตถึงวิธีการสร้าง profile ที่เชื่อมต่อจาก Datastream และสร้าง Streaming Pipeline มาลงยัง BigQuery
Data Analytics & Artificial Intelligence
จากบทความที่แล้วผู้อ่านทุกท่านก็พอมีความเข้าใจมากขึ้นในกระบวนการ CDC รวมถึงขั้นตอนในการทำ data pipeline จาก Oracle มายัง BigQuery กันบ้างแล้ว สำหรับบทความนี้เราจะเริ่มจำลองตัว Oracle ขึ้นมาโดยการเตรียมลง Oracle บน Google Cloud กันครับ
