HeadlinesBriefing favicon HeadlinesBriefing.com

dbt Charts: चैट के लिए ओपन-सोर्स डैशबोर्ड

Hacker News •
×

हम dbt Charts को ओपन सोर्स कर रहे हैं, जो डैशबोर्ड के लिए एक डिक्लेरेटिव भाषा है, ताकि एजेंट के साथ चैट करके बनाए गए डैशबोर्ड भी गवर्न किए जा सकें। डेटा के लिए AI यहाँ है, और लंबे समय से वादा किया गया सेल्फ-सर्व एनालिटिक्स आखिरकार हो रहा है। डेटा कनेक्शन रखने वाला कोई भी व्यक्ति एक दोपहर में चैट करके एक रिपोर्ट बना सकता है, और पहले नतीजे प्रभावशाली हैं। हालाँकि, रुकावटें जल्दी दिखने लगती हैं। डिफ़ॉल्ट रूप से एक एजेंट एक साधारण रिपोर्ट को ढेर सारी फ़ाइलों में बदल देता है: HTML, CSS और Java Script, कुछ चार्ट लाइब्रेरीज़, और लाइव होना पड़े तो एक React या Streamlit ऐप। किसी परिणाम को उसके स्रोत तक ट्रेस करने का मतलब है उसे कई भाषाओं और फ़ाइलों से होकर फॉलो करना, जो लोगों के लिए ऑडिट करना धीमा है और हर बदलाव पर एजेंट का समय और टोकन खर्च करता है। BI टूल्स ने दूसरा रास्ता लिया और अपने UI-फर्स्ट ऐप्स पर copilot लगा दिए। यह AI को गवर्न किए गए रेल्स पर रखता है, लेकिन संकीर्ण रेल्स पर: एजेंट केवल वही कर सकता है जो UI उजागर करता है। तो आज आपको कोड की गंदी आज़ादी और BI टूल के संकीर्ण नियंत्रण के बीच चुनना है। हमने तीसरा विकल्प बनाया: आगे कूदें, या पढ़ते रहें कि BI यहाँ तक कैसे पहुँचा। BI को अनबंडल करना जैसा कि dbt Labs के संस्थापक Tristan Handy ने हाल ही में BI's Second Unbundling में लिखा: जब मैंने डेटा में शुरुआत की, BI टूल्स फुल-स्टैक थे। सब कुछ एक ही उत्पाद के अंदर होता था: डेटा इनजेशन, ट्रांसफॉर्मेशन, कंप्यूट, कैशिंग, सिमेंटिक्स, विज़ुअलाइज़ेशन, आइडेंटिटी। BI टूल ही डेटा स्टैक था। Micro Strategy, Cognos, आदि: वे केवल विज़ुअलाइज़ेशन टूल नहीं हैं, वे इंटीग्रेटेड डेटा प्लेटफ़ॉर्म हैं। फिर मॉडर्न डेटा स्टैक आया। लगभग 2015 से 2022 तक, उस BI बंडल की इन्फ्रास्ट्रक्चर परतें निकालकर उद्देश्य-निर्मित इन्फ्रास्ट्रक्चर में बदल दी गईं। कंप्यूट Big 5 के पास गया। इनजेशन Fivetran के पास गया। ट्रांसफॉर्मेशन dbt के पास गया। BI टूल के पास बचा: विज़ुअलाइज़ेशन, इंटरैक्टिव एनालिटिकल इंटरफ़ेस, सिमेंटिक परिभाषाएँ (कभी-कभी!), आइडेंटिटी और एक्सेस मैनेजमेंट, और वेब होस्टिंग। वेयरहाउसिंग Big 5 ELT एक्सट्रैक्ट लोड ट्रांसफॉर्म BI बाकी सब कुछ उस अनबंडलिंग ने जो पीछे छोड़ा वह आज का जाना-पहचाना BI टूल है, और चार्ट उसका सबसे बड़ा हिस्सा हैं। वे अच्छे कारण से UI में रहे: ज़्यादातर लोगों के लिए, क्लिक करना YAML लिखने से तेज़ है। लेकिन अधिक से अधिक चार्ट लोगों द्वारा नहीं बनाए जाएँगे। जैसे-जैसे हर चीज़ का फ्रंट एंड और उपयोगकर्ता तेज़ी से एक चैट एजेंट बनता जा रहा है, यह पसंद उलट जाती है। एजेंट कोड, SQL और Git में धाराप्रवाह हैं, और किसी और के UI में अनाड़ी हैं। इसलिए चार्ट को वहाँ जाना चाहिए जहाँ एजेंट काम करते हैं: कोड में। आज हम BI को अनबंडल करने में अगला कदम उठा रहे हैं: हम dbt Charts को ओपन सोर्स कर रहे हैं, जो चार्ट को BI टूल से बाहर निकालकर कोड में डालता है, विशेष रूप से एक नई संरचित YAML भाषा जो एक पूरे इंटरैक्टिव डैशबोर्ड को एक ऑडिट-योग्य YAML फ़ाइल में घोषित कर सकती है। एजेंट के साथ स्वतंत्र रूप से चैट करें, और जो बनता है उसमें कोड की आज़ादी होती है और साथ ही पढ़ने में आसान रहता है। वेयरहाउसिंग Big 5 ELT एक्सट्रैक्ट लोड ट्रांसफॉर्म नया C चार्ट BI कुछ हिस्से dbt Charts में, SQL वह भाषा बनी हुई है जो घोषित करती है कि आप कौन-सा डेटा देखना चाहते हैं, और हम उसे YAML में लपेटते हैं ताकि घोषित कर सकें कि आप उसे कैसे देखना चाहते हैं। हमने भाषा को कुछ मुख्य, विस्तार-योग्य तत्वों में आसवित करने में बहुत समय लगाया है: जो वे व्यक्त कर सकते हैं उसमें गहरे, व्यवस्थित और पढ़ने में आसान। YAML सिर्फ SQL को नहीं लपेटता। Markdown गद्य ले जाता है, और Jinja, जैसे dbt में, वेरिएबल और मैक्रो ले जाता है। यहाँ एक छोटा उदाहरण है: एक वेरिएबल (एक UI फ़िल्टर), एक क्वेरी और एक चार्ट। variables: status: column: main.documents.status queries: doc_growth: | SELECT DATE_TRUNC('month', created_at) AS month, SUM(COUNT(*)) OVER (ORDER BY month) AS num_docs FROM main.documents WHERE {{ filter('status', status) }} GROUP BY 1 charts: growth: title: Documents created, all time type: area query: doc_growth x: month y: num_docs rows: - growth वह फ़ाइल पूरा बोर्ड है। CLI किसी भी बोर्ड फ़ाइल को स्टैटिक SVG में, या HTML, PNG, PDF, और यहाँ तक कि टर्मिनल में रेंडर करता है, आपके लैपटॉप पर या CI में, और उनके एक फ़ोल्डर को एक साइट के रूप में सर्व करता है: dct render charts/documents.yml --format svg # या html, png, pdf, terminal dct serve वे कुछ तत्व गहरे जाते हैं: आज 1,100 से अधिक कॉन्फ़िग विकल्प...