Cloudflare K2: serverless event streams

With traditional Remote Procedure Call (RPC) architectures, there exists a core challenge: producers and consumers must align in scale and in time. If your producers send too much data for your consumers to handle or if your consumers or downstream services become unavailable, events are dropped. This problem is compounded with multiple consumers that need to independently process the data. For example, an ecommerce backend may emit events when transactions are completed, which need to be read by an analytics system and a fraud detection service. We can solve this by decoupling our producers and consumers — inserting a service in the middle that absorbs writes while allowing independent readers to consume at their own pace.

Today we are launching Cloudflare K2 in public beta to solve this problem. K2 is a durable event streaming primitive on the Developer Platform. You send events to a K2 stream, which stores them as an ordered log. Consumers can read them in a variety of ways, for example by splitting up reads across a set of consumers, or delivering all messages to all consumers. It's fully serverless, scales to vast quantities of data, and supports long-term retention, so even long periods of consumer downtime do not lose data.

Under the hood, K2 implements a partitioned, durable log on top of R2 object storage, which allows it to scale to huge volumes of storage. If you’re ready to get started, you can create your first stream in seconds by following the guide here. We first built K2 because we needed a durable buffer on the edge, initially to serve as the ingestion layer for Basin Pipelines. Our unique architecture means we often cannot run traditional distributed systems software like Apache Kafka, and need to rethink how these systems are built and operated.

In designing the durable buffering system that became K2, we decided to rely on the powerful state primitive we already have: R2. Object storage systems like R2 combine extremely durable storage (11 9s!) with strongly consistent APIs. A secondary benefit is that it separates compute and storage, meaning each can be scaled independently. This allows us to store vast quantities of historical data at low cost.

مع بنيات استدعاء الإجراءات عن بُعد (RPC) التقليدية، يوجد تحدٍ أساسي: يجب أن يتوافق المنتجون والمستهلكون في النطاق والوقت. إذا أرسل منتجوك بيانات أكثر مما يستطيع مستهلكوك التعامل معه أو إذا أصبح مستهلكوك أو الخدمات النهائية غير متاحة، يتم إسقاط الأحداث. تتفاقم هذه المشكلة مع وجود مستهلكين متعددين يحتاجون إلى معالجة البيانات بشكل مستقل. على سبيل المثال، قد يصدر الواجهة الخلفية للتجارة الإلكترونية أحداثًا عند اكتمال المعاملات، والتي يجب قراءتها بواسطة نظام تحليلات وخدمة كشف احتيال. يمكننا حل هذه المشكلة عن طريق فصل المنتجين والمستهلكين - إدخال خدمة في المنتصف تمتص عمليات الكتابة مع السماح للقراء المستقلين بالاستهلاك بسرعتهم الخاصة.

نحن اليوم نطلق Cloudflare K2 في الإصدار التجريبي العام لحل هذه المشكلة. K2 هو بدائي تدفق أحداث دائم على منصة المطورين. ترسل الأحداث إلى تدفق K2، الذي يخزنها كسجل مرتب. يمكن للمستهلكين قراءتها بطرق متنوعة، على سبيل المثال عن طريق تقسيم القراءات عبر مجموعة من المستهلكين، أو تسليم جميع الرسائل إلى جميع المستهلكين. إنه بدون خادم بالكامل، ويتسع لكميات هائلة من البيانات، ويدعم الاحتفاظ طويل الأجل، لذلك حتى فترات التوقف الطويلة للمستهلك لا تفقد البيانات.

تحت الغطاء، ينفذ K2 سجلًا دائمًا مقسمًا فوق تخزين الكائنات R2، مما يسمح له بالتوسع إلى أحجام تخزين هائلة. إذا كنت مستعدًا للبدء، يمكنك إنشاء أول تدفق لك في ثوانٍ باتباع الدليل هنا. بنينا K2 أولاً لأننا كنا بحاجة إلى مخزن مؤقت دائم على الحافة، في البداية ليكون بمثابة طبقة الإدخال لـ Basin Pipelines. هندستنا الفريدة تعني أننا غالبًا لا نستطيع تشغيل برامج الأنظمة الموزعة التقليدية مثل Apache Kafka، ونحتاج إلى إعادة التفكير في كيفية بناء وتشغيل هذه الأنظمة.

عند تصميم نظام التخزين المؤقت الدائم الذي أصبح K2، قررنا الاعتماد على بدائي الحالة القوي الذي لدينا بالفعل: R2. تجمع أنظمة تخزين الكائنات مثل R2 بين تخزين دائم للغاية (11 9s!) وواجهات برمجة تطبيقات متسقة بقوة. فائدة ثانوية هي أنها تفصل الحوسبة عن التخزين، مما يعني أنه يمكن توسيع نطاق كل منهما بشكل مستقل. هذا يسمح لنا بتخزين كميات هائلة من البيانات التاريخية بتكلفة منخفضة.

প্রথাগত রিমোট প্রসিডিউর কল (RPC) আর্কিটেকচারের সাথে, একটি মূল চ্যালেঞ্জ বিদ্যমান: উৎপাদক এবং ভোক্তাদের স্কেল এবং সময়ে সারিবদ্ধ হতে হবে। যদি আপনার উৎপাদকরা আপনার ভোক্তাদের পরিচালনা করার জন্য খুব বেশি ডেটা পাঠায় বা যদি আপনার ভোক্তা বা ডাউনস্ট্রিম পরিষেবাগুলি অনুপলব্ধ হয়ে যায়, তাহলে ইভেন্টগুলি ড্রপ হয়ে যায়। এই সমস্যাটি একাধিক ভোক্তাদের সাথে আরও জটিল হয় যাদের স্বাধীনভাবে ডেটা প্রক্রিয়া করতে হয়। উদাহরণস্বরূপ, একটি ই-কমার্স ব্যাকএন্ড লেনদেন সম্পূর্ণ হলে ইভেন্ট নির্গত করতে পারে, যা একটি বিশ্লেষণ সিস্টেম এবং একটি জালিয়াতি সনাক্তকরণ পরিষেবা দ্বারা পড়তে হবে। আমরা আমাদের উৎপাদক এবং ভোক্তাদের ডিকপল করে এই সমস্যার সমাধান করতে পারি — মাঝখানে একটি পরিষেবা সন্নিবেশ করিয়ে যা লেখাগুলি শোষণ করে যখন স্বাধীন পাঠকদের তাদের নিজস্ব গতিতে ভোগ করতে দেয়।

আজ আমরা এই সমস্যা সমাধানের জন্য পাবলিক বিটাতে Cloudflare K2 চালু করছি। K2 ডেভেলপার প্ল্যাটফর্মে একটি টেকসই ইভেন্ট স্ট্রিমিং প্রিমিটিভ। আপনি K2 স্ট্রিমে ইভেন্ট পাঠান, যা সেগুলিকে একটি অর্ডারকৃত লগ হিসাবে সংরক্ষণ করে। ভোক্তারা বিভিন্ন উপায়ে সেগুলি পড়তে পারেন, উদাহরণস্বরূপ ভোক্তাদের একটি সেট জুড়ে পড়া বিভক্ত করে, বা সমস্ত বার্তা সমস্ত ভোক্তাদের কাছে সরবরাহ করে। এটি সম্পূর্ণ সার্ভারলেস, বিপুল পরিমাণ ডেটাতে স্কেল করে এবং দীর্ঘমেয়াদী ধারণকে সমর্থন করে, তাই ভোক্তার দীর্ঘ সময়ের ডাউনটাইমও ডেটা হারায় না।

হুডের নীচে, K2 R2 অবজেক্ট স্টোরেজের উপরে একটি পার্টিশনযুক্ত, টেকসই লগ প্রয়োগ করে, যা এটিকে স্টোরেজের বিশাল ভলিউমে স্কেল করতে দেয়। আপনি যদি শুরু করতে প্রস্তুত হন, তাহলে আপনি এখানে গাইড অনুসরণ করে সেকেন্ডের মধ্যে আপনার প্রথম স্ট্রিম তৈরি করতে পারেন। আমরা প্রথমে K2 তৈরি করেছি কারণ আমাদের প্রান্তে একটি টেকসই বাফার প্রয়োজন ছিল, প্রাথমিকভাবে বেসিন পাইপলাইনের জন্য ইনজেশন লেয়ার হিসাবে কাজ করার জন্য। আমাদের অনন্য আর্কিটেকচারের অর্থ হল আমরা প্রায়শই Apache Kafka এর মতো ঐতিহ্যবাহী ডিস্ট্রিবিউটেড সিস্টেম সফ্টওয়্যার চালাতে পারি না এবং এই সিস্টেমগুলি কীভাবে তৈরি এবং পরিচালিত হয় তা পুনর্বিবেচনা করতে হবে।

K2 হয়ে ওঠা টেকসই বাফারিং সিস্টেম ডিজাইন করার সময়, আমরা ইতিমধ্যে থাকা শক্তিশালী স্টেট প্রিমিটিভের উপর নির্ভর করার সিদ্ধান্ত নিয়েছি: R2। R2-এর মতো অবজেক্ট স্টোরেজ সিস্টেমগুলি অত্যন্ত টেকসই স্টোরেজ (11 9s!)কে শক্তিশালী সামঞ্জস্যপূর্ণ API-এর সাথে একত্রিত করে। একটি গৌণ সুবিধা হল এটি কম্পিউট এবং স্টোরেজকে পৃথক করে, যার অর্থ প্রতিটি স্বাধীনভাবে স্কেল করা যেতে পারে। এটি আমাদের কম খরচে বিপুল পরিমাণ ঐতিহাসিক ডেটা সংরক্ষণ করতে দেয়।

Bei traditionellen Remote Procedure Call (RPC)-Architekturen besteht eine Kernherausforderung: Produzenten und Konsumenten müssen in Bezug auf Umfang und Zeit übereinstimmen. Wenn Ihre Produzenten zu viele Daten senden, die Ihre Konsumenten nicht verarbeiten können, oder wenn Ihre Konsumenten oder nachgelagerte Dienste nicht verfügbar sind, werden Ereignisse verworfen. Dieses Problem wird durch mehrere Konsumenten, die die Daten unabhängig verarbeiten müssen, noch verstärkt. Beispielsweise kann ein E-Commerce-Backend Ereignisse ausgeben, wenn Transaktionen abgeschlossen sind, die von einem Analysesystem und einem Betrugserkennungsdienst gelesen werden müssen. Wir können dieses Problem lösen, indem wir unsere Produzenten und Konsumenten entkoppeln – einen Dienst dazwischen schalten, der Schreibvorgänge absorbiert und gleichzeitig unabhängigen Lesern ermöglicht, in ihrem eigenen Tempo zu konsumieren.

Heute starten wir Cloudflare K2 in der öffentlichen Beta, um dieses Problem zu lösen. K2 ist eine dauerhafte Ereignis-Streaming-Primitive auf der Developer Platform. Sie senden Ereignisse an einen K2-Stream, der sie als geordnetes Protokoll speichert. Konsumenten können sie auf verschiedene Weise lesen, z. B. indem sie Lesevorgänge auf eine Gruppe von Konsumenten aufteilen oder alle Nachrichten an alle Konsumenten zustellen. Es ist vollständig serverlos, skaliert auf riesige Datenmengen und unterstützt die Langzeitspeicherung, sodass selbst lange Ausfallzeiten von Konsumenten keine Daten verlieren.

Unter der Haube implementiert K2 ein partitioniertes, dauerhaftes Protokoll auf dem R2-Objektspeicher, wodurch es auf riesige Speichervolumen skaliert werden kann. Wenn Sie bereit sind, loszulegen, können Sie in Sekundenschnelle Ihren ersten Stream erstellen, indem Sie der Anleitung hier folgen. Wir haben K2 zuerst gebaut, weil wir einen dauerhaften Puffer am Edge benötigten, zunächst als Erfassungsschicht für Basin Pipelines. Unsere einzigartige Architektur bedeutet, dass wir oft keine traditionelle verteilte Systemsoftware wie Apache Kafka ausführen können und überdenken müssen, wie diese Systeme aufgebaut und betrieben werden.

Bei der Entwicklung des dauerhaften Puffersystems, das zu K2 wurde, haben wir uns entschieden, uns auf die leistungsstarke Zustandsprimitive zu verlassen, die wir bereits haben: R2. Objektspeichersysteme wie R2 kombinieren extrem dauerhaften Speicher (11 Neunen!) mit stark konsistenten APIs. Ein sekundärer Vorteil ist, dass es Rechnen und Speicher trennt, was bedeutet, dass beide unabhängig skaliert werden können. Dies ermöglicht es uns, große Mengen historischer Daten zu geringen Kosten zu speichern.

Con las arquitecturas tradicionales de Llamada a Procedimiento Remoto (RPC), existe un desafío central: los productores y consumidores deben alinearse en escala y en tiempo. Si sus productores envían demasiados datos para que sus consumidores los manejen o si sus consumidores o servicios posteriores no están disponibles, los eventos se pierden. Este problema se agrava con múltiples consumidores que necesitan procesar los datos de forma independiente. Por ejemplo, un backend de comercio electrónico puede emitir eventos cuando se completan las transacciones, que deben ser leídos por un sistema de análisis y un servicio de detección de fraude. Podemos resolver esto desacoplando nuestros productores y consumidores: insertando un servicio en el medio que absorba las escrituras mientras permite que los lectores independientes consuman a su propio ritmo.

Hoy estamos lanzando Cloudflare K2 en beta pública para resolver este problema. K2 es un primitivo de transmisión de eventos duradero en la Plataforma para Desarrolladores. Envía eventos a una transmisión K2, que los almacena como un registro ordenado. Los consumidores pueden leerlos de varias maneras, por ejemplo, dividiendo las lecturas entre un conjunto de consumidores o entregando todos los mensajes a todos los consumidores. Es completamente sin servidor, se escala a grandes cantidades de datos y admite retención a largo plazo, por lo que incluso períodos prolongados de inactividad del consumidor no pierden datos.

Debajo del capó, K2 implementa un registro duradero y particionado sobre el almacenamiento de objetos R2, lo que le permite escalar a enormes volúmenes de almacenamiento. Si está listo para comenzar, puede crear su primer flujo en segundos siguiendo la guía aquí. Construimos K2 porque necesitábamos un búfer duradero en el borde, inicialmente para servir como capa de ingesta para Basin Pipelines. Nuestra arquitectura única significa que a menudo no podemos ejecutar software de sistemas distribuidos tradicionales como Apache Kafka, y necesitamos repensar cómo se construyen y operan estos sistemas.

Al diseñar el sistema de almacenamiento en búfer duradero que se convirtió en K2, decidimos confiar en el poderoso primitivo de estado que ya tenemos: R2. Los sistemas de almacenamiento de objetos como R2 combinan almacenamiento extremadamente duradero (¡11 nueves!) con API fuertemente consistentes. Un beneficio secundario es que separa el cómputo y el almacenamiento, lo que significa que cada uno puede escalarse de forma independiente. Esto nos permite almacenar grandes cantidades de datos históricos a bajo costo.

Avec les architectures traditionnelles d'appel de procédure distante (RPC), il existe un défi central : les producteurs et les consommateurs doivent s'aligner en échelle et en temps. Si vos producteurs envoient trop de données pour que vos consommateurs puissent les gérer ou si vos consommateurs ou services en aval deviennent indisponibles, les événements sont perdus. Ce problème est aggravé par plusieurs consommateurs qui doivent traiter les données indépendamment. Par exemple, un backend e-commerce peut émettre des événements lorsque les transactions sont terminées, qui doivent être lus par un système d'analyse et un service de détection de fraude. Nous pouvons résoudre ce problème en découplant nos producteurs et consommateurs — en insérant un service au milieu qui absorbe les écritures tout en permettant aux lecteurs indépendants de consommer à leur propre rythme.

Aujourd'hui, nous lançons Cloudflare K2 en bêta publique pour résoudre ce problème. K2 est une primitive de flux d'événements durable sur la plateforme développeur. Vous envoyez des événements à un flux K2, qui les stocke sous forme de journal ordonné. Les consommateurs peuvent les lire de différentes manières, par exemple en répartissant les lectures sur un ensemble de consommateurs, ou en délivrant tous les messages à tous les consommateurs. Il est entièrement sans serveur, s'adapte à de vastes quantités de données et prend en charge la rétention à long terme, de sorte que même de longues périodes d'indisponibilité du consommateur ne perdent pas de données.

Sous le capot, K2 implémente un journal durable partitionné sur le stockage d'objets R2, ce qui lui permet de s'adapter à d'énormes volumes de stockage. Si vous êtes prêt à commencer, vous pouvez créer votre premier flux en quelques secondes en suivant le guide ici. Nous avons d'abord construit K2 parce que nous avions besoin d'un tampon durable en périphérie, initialement pour servir de couche d'ingestion pour Basin Pipelines. Notre architecture unique signifie que nous ne pouvons souvent pas exécuter des logiciels de systèmes distribués traditionnels comme Apache Kafka, et que nous devons repenser la façon dont ces systèmes sont construits et exploités.

En concevant le système de mise en tampon durable qui est devenu K2, nous avons décidé de nous appuyer sur la primitive d'état puissante que nous avons déjà : R2. Les systèmes de stockage d'objets comme R2 combinent un stockage extrêmement durable (11 9s !) avec des API fortement cohérentes. Un avantage secondaire est qu'il sépare le calcul et le stockage, ce qui signifie que chacun peut être mis à l'échelle indépendamment. Cela nous permet de stocker de vastes quantités de données historiques à faible coût.

पारंपरिक रिमोट प्रोसीजर कॉल (RPC) आर्किटेक्चर के साथ, एक मुख्य चुनौती मौजूद है: उत्पादकों और उपभोक्ताओं को पैमाने और समय में संरेखित होना चाहिए। यदि आपके उत्पादक आपके उपभोक्ताओं को संभालने के लिए बहुत अधिक डेटा भेजते हैं या यदि आपके उपभोक्ता या डाउनस्ट्रीम सेवाएं अनुपलब्ध हो जाती हैं, तो इवेंट ड्रॉप हो जाते हैं। यह समस्या कई उपभोक्ताओं के साथ और बढ़ जाती है जिन्हें डेटा को स्वतंत्र रूप से संसाधित करने की आवश्यकता होती है। उदाहरण के लिए, एक ईकॉमर्स बैकएंड लेन-देन पूरा होने पर इवेंट उत्सर्जित कर सकता है, जिसे एक एनालिटिक्स सिस्टम और एक धोखाधड़ी का पता लगाने वाली सेवा द्वारा पढ़ने की आवश्यकता होती है। हम अपने उत्पादकों और उपभोक्ताओं को अलग करके इस समस्या को हल कर सकते हैं - बीच में एक सेवा डालकर जो लेखन को अवशोषित करती है जबकि स्वतंत्र पाठकों को अपनी गति से उपभोग करने की अनुमति देती है।

आज हम इस समस्या को हल करने के लिए सार्वजनिक बीटा में Cloudflare K2 लॉन्च कर रहे हैं। K2 डेवलपर प्लेटफॉर्म पर एक टिकाऊ इवेंट स्ट्रीमिंग प्रिमिटिव है। आप K2 स्ट्रीम पर इवेंट भेजते हैं, जो उन्हें एक ऑर्डर किए गए लॉग के रूप में संग्रहीत करता है। उपभोक्ता उन्हें विभिन्न तरीकों से पढ़ सकते हैं, उदाहरण के लिए उपभोक्ताओं के एक सेट में रीड को विभाजित करके, या सभी संदेशों को सभी उपभोक्ताओं को वितरित करके। यह पूरी तरह से सर्वरलेस है, डेटा की विशाल मात्रा में स्केल करता है, और दीर्घकालिक प्रतिधारण का समर्थन करता है, ताकि उपभोक्ता के लंबे समय तक डाउनटाइम भी डेटा न खोएं।

हुड के नीचे, K2 R2 ऑब्जेक्ट स्टोरेज के शीर्ष पर एक विभाजित, टिकाऊ लॉग लागू करता है, जो इसे स्टोरेज की विशाल मात्रा में स्केल करने की अनुमति देता है। यदि आप शुरू करने के लिए तैयार हैं, तो आप यहां गाइड का पालन करके सेकंड में अपना पहला स्ट्रीम बना सकते हैं। हमने पहली बार K2 बनाया क्योंकि हमें किनारे पर एक टिकाऊ बफर की आवश्यकता थी, शुरू में बेसिन पाइपलाइनों के लिए इंजेशन लेयर के रूप में सेवा करने के लिए। हमारी अनूठी वास्तुकला का मतलब है कि हम अक्सर Apache Kafka जैसे पारंपरिक वितरित सिस्टम सॉफ़्टवेयर नहीं चला सकते हैं, और इन प्रणालियों के निर्माण और संचालन के तरीके पर पुनर्विचार करने की आवश्यकता है।

K2 बनने वाली टिकाऊ बफरिंग प्रणाली को डिजाइन करने में, हमने उस शक्तिशाली राज्य प्रिमिटिव पर भरोसा करने का फैसला किया जो हमारे पास पहले से है: R2। R2 जैसी ऑब्जेक्ट स्टोरेज सिस्टम अत्यधिक टिकाऊ स्टोरेज (11 9s!) को मजबूत सुसंगत API के साथ जोड़ती है। एक द्वितीयक लाभ यह है कि यह कंप्यूट और स्टोरेज को अलग करता है, जिसका अर्थ है कि प्रत्येक को स्वतंत्र रूप से स्केल किया जा सकता है। यह हमें कम लागत पर ऐतिहासिक डेटा की विशाल मात्रा को संग्रहीत करने की अनुमति देता है।

Dengan arsitektur Remote Procedure Call (RPC) tradisional, ada tantangan inti: produsen dan konsumen harus selaras dalam skala dan waktu. Jika produsen Anda mengirim terlalu banyak data untuk ditangani oleh konsumen Anda atau jika konsumen atau layanan hilir Anda menjadi tidak tersedia, acara akan dijatuhkan. Masalah ini diperparah dengan banyak konsumen yang perlu memproses data secara independen. Misalnya, backend e-commerce dapat mengeluarkan acara ketika transaksi selesai, yang perlu dibaca oleh sistem analitik dan layanan deteksi penipuan. Kita dapat mengatasi ini dengan memisahkan produsen dan konsumen kita — menyisipkan layanan di tengah yang menyerap penulisan sambil memungkinkan pembaca independen untuk mengonsumsi dengan kecepatan mereka sendiri.

Hari ini kami meluncurkan Cloudflare K2 dalam beta publik untuk mengatasi masalah ini. K2 adalah primitif streaming acara tahan lama di Platform Pengembang. Anda mengirim acara ke aliran K2, yang menyimpannya sebagai log yang diurutkan. Konsumen dapat membacanya dengan berbagai cara, misalnya dengan membagi pembacaan di sekelompok konsumen, atau mengirimkan semua pesan ke semua konsumen. Ini sepenuhnya tanpa server, diskalakan ke sejumlah besar data, dan mendukung retensi jangka panjang, sehingga bahkan periode downtime konsumen yang lama tidak kehilangan data.

Di bawah tenda, K2 mengimplementasikan log tahan lama yang dipartisi di atas penyimpanan objek R2, yang memungkinkannya untuk diskalakan ke volume penyimpanan yang sangat besar. Jika Anda siap untuk memulai, Anda dapat membuat aliran pertama Anda dalam hitungan detik dengan mengikuti panduan di sini. Kami pertama kali membangun K2 karena kami membutuhkan buffer tahan lama di tepi, awalnya untuk berfungsi sebagai lapisan injeksi untuk Basin Pipelines. Arsitektur unik kami berarti kami sering tidak dapat menjalankan perangkat lunak sistem terdistribusi tradisional seperti Apache Kafka, dan perlu memikirkan kembali bagaimana sistem ini dibangun dan dioperasikan.

Dalam merancang sistem buffering tahan lama yang menjadi K2, kami memutuskan untuk mengandalkan primitif status kuat yang sudah kami miliki: R2. Sistem penyimpanan objek seperti R2 menggabungkan penyimpanan yang sangat tahan lama (11 9s!) dengan API yang sangat konsisten. Manfaat sekunder adalah memisahkan komputasi dan penyimpanan, yang berarti masing-masing dapat diskalakan secara independen. Ini memungkinkan kami untuk menyimpan sejumlah besar data historis dengan biaya rendah.

従来のリモートプロシージャコール（RPC）アーキテクチャには、中核的な課題が存在します。プロデューサーとコンシューマーは、規模と時間の両方で整合していなければなりません。プロデューサーがコンシューマーが処理できる以上のデータを送信したり、コンシューマーまたはダウンストリームサービスが利用できなくなったりすると、イベントはドロップされます。この問題は、データを独立して処理する必要がある複数のコンシューマーがいる場合にさらに複雑になります。例えば、eコマースのバックエンドは、トランザクションが完了したときにイベントを発行し、それを分析システムと不正検出サービスが読み取る必要があります。この問題は、プロデューサーとコンシューマーを分離することで解決できます。つまり、書き込みを吸収し、独立したリーダーが自分のペースで消費できるようにするサービスを中間に挿入します。

本日、この問題を解決するために、Cloudflare K2 をパブリックベータ版として発表します。K2 は、Developer Platform 上の耐久性のあるイベントストリーミングプリミティブです。イベントを K2 ストリームに送信すると、ストリームはそれらを順序付けられたログとして保存します。コンシューマーは、例えば、複数のコンシューマーに読み取りを分割したり、すべてのメッセージをすべてのコンシューマーに配信したりするなど、さまざまな方法でそれらを読み取ることができます。完全にサーバーレスで、膨大な量のデータにスケーリングでき、長期保存をサポートしているため、コンシューマーが長時間ダウンしてもデータは失われません。

内部では、K2 は R2 オブジェクトストレージ上にパーティション化された耐久性のあるログを実装しており、これによりストレージの巨大なボリュームにスケーリングできます。開始する準備ができたら、こちらのガイドに従って数秒で最初のストリームを作成できます。K2 を最初に構築したのは、エッジに耐久性のあるバッファが必要だったからであり、当初は Basin Pipelines の取り込みレイヤーとして機能するためでした。当社の独自のアーキテクチャにより、Apache Kafka のような従来の分散システムソフトウェアを実行できないことが多く、これらのシステムの構築と運用の方法を再考する必要があります。

K2 となった耐久性のあるバッファリングシステムを設計するにあたり、当社はすでに持っている強力な状態プリミティブである R2 に依存することを決定しました。R2 のようなオブジェクトストレージシステムは、非常に耐久性の高いストレージ（11 ナイン！）と強力な一貫性のある API を組み合わせています。二次的な利点は、コンピュートとストレージを分離することであり、それぞれを独立してスケーリングできることを意味します。これにより、低コストで膨大な量の履歴データを保存できます。

Com as arquiteturas tradicionais de Chamada de Procedimento Remoto (RPC), existe um desafio central: produtores e consumidores devem se alinhar em escala e em tempo. Se seus produtores enviarem muitos dados para seus consumidores lidarem ou se seus consumidores ou serviços downstream ficarem indisponíveis, os eventos são descartados. Esse problema é agravado com vários consumidores que precisam processar os dados de forma independente. Por exemplo, um backend de comércio eletrônico pode emitir eventos quando as transações são concluídas, que precisam ser lidos por um sistema de análise e um serviço de detecção de fraude. Podemos resolver isso desacoplando nossos produtores e consumidores — inserindo um serviço no meio que absorve as gravações enquanto permite que leitores independentes consumam em seu próprio ritmo.

Hoje estamos lançando Cloudflare K2 em beta público para resolver esse problema. K2 é uma primitiva de fluxo de eventos durável na Plataforma de Desenvolvedores. Você envia eventos para um fluxo K2, que os armazena como um log ordenado. Os consumidores podem lê-los de várias maneiras, por exemplo, dividindo as leituras entre um conjunto de consumidores ou entregando todas as mensagens a todos os consumidores. É totalmente sem servidor, escala para grandes quantidades de dados e suporta retenção de longo prazo, para que mesmo longos períodos de inatividade do consumidor não percam dados.

Sob o capô, o K2 implementa um log durável particionado sobre o armazenamento de objetos R2, o que permite escalar para enormes volumes de armazenamento. Se você estiver pronto para começar, pode criar seu primeiro fluxo em segundos seguindo o guia aqui. Construímos o K2 primeiro porque precisávamos de um buffer durável na borda, inicialmente para servir como camada de ingestão para o Basin Pipelines. Nossa arquitetura única significa que muitas vezes não podemos executar software de sistemas distribuídos tradicionais como Apache Kafka, e precisamos repensar como esses sistemas são construídos e operados.

Ao projetar o sistema de buffer durável que se tornou K2, decidimos confiar na poderosa primitiva de estado que já temos: R2. Sistemas de armazenamento de objetos como R2 combinam armazenamento extremamente durável (11 noves!) com APIs fortemente consistentes. Um benefício secundário é que ele separa computação e armazenamento, o que significa que cada um pode ser dimensionado independentemente. Isso nos permite armazenar grandes quantidades de dados históricos a baixo custo.

В традиционных архитектурах удаленного вызова процедур (RPC) существует основная проблема: производители и потребители должны быть согласованы по масштабу и времени. Если ваши производители отправляют слишком много данных для обработки вашими потребителями или если ваши потребители или нижестоящие службы становятся недоступными, события теряются. Эта проблема усугубляется наличием нескольких потребителей, которым необходимо независимо обрабатывать данные. Например, серверная часть электронной коммерции может генерировать события при завершении транзакций, которые должны быть прочитаны аналитической системой и службой обнаружения мошенничества. Мы можем решить эту проблему, развязав наших производителей и потребителей — вставив службу посередине, которая поглощает записи, позволяя независимым читателям потреблять в своем собственном темпе.

Сегодня мы запускаем Cloudflare K2 в публичной бета-версии для решения этой проблемы. K2 — это долговечный примитив потоковой передачи событий на платформе разработчика. Вы отправляете события в поток K2, который сохраняет их в виде упорядоченного журнала. Потребители могут читать их различными способами, например, распределяя чтение по набору потребителей или доставляя все сообщения всем потребителям. Он полностью бессерверный, масштабируется до огромных объемов данных и поддерживает долгосрочное хранение, так что даже длительные периоды простоя потребителя не приводят к потере данных.

Под капотом K2 реализует секционированный долговечный журнал поверх объектного хранилища R2, что позволяет ему масштабироваться до огромных объемов хранилища. Если вы готовы начать, вы можете создать свой первый поток за считанные секунды, следуя руководству здесь. Мы сначала создали K2, потому что нам нужен был долговечный буфер на границе, изначально для serving в качестве уровня приема для Basin Pipelines. Наша уникальная архитектура означает, что мы часто не можем запускать традиционное программное обеспечение распределенных систем, такое как Apache Kafka, и нам нужно переосмыслить, как эти системы создаются и эксплуатируются.

При проектировании долговечной системы буферизации, которая стала K2, мы решили положиться на мощный примитив состояния, который у нас уже есть: R2. Системы объектного хранения, такие как R2, сочетают чрезвычайно долговечное хранение (11 девяток!) с строго согласованными API. Вторичным преимуществом является то, что он разделяет вычисления и хранение, что означает, что каждый из них может масштабироваться независимо. Это позволяет нам хранить огромные объемы исторических данных с низкой стоимостью.

在传统的远程过程调用（RPC）架构中，存在一个核心挑战：生产者和消费者必须在规模和时间上保持一致。如果生产者发送的数据量超出消费者的处理能力，或者消费者或下游服务不可用，事件就会被丢弃。当多个消费者需要独立处理数据时，这个问题会更加复杂。例如，电子商务后端在交易完成时可能会发出事件，这些事件需要由分析系统和欺诈检测服务读取。我们可以通过解耦生产者和消费者来解决这个问题——在中间插入一个服务，该服务吸收写入，同时允许独立的读取者按照自己的节奏消费。

今天，我们推出 Cloudflare K2 公开测试版来解决这个问题。K2 是开发者平台上的一个持久化事件流原语。您将事件发送到 K2 流，该流将它们存储为有序日志。消费者可以通过多种方式读取它们，例如将读取分散到一组消费者中，或将所有消息传递给所有消费者。它完全无服务器，可扩展到海量数据，并支持长期保留，因此即使消费者长时间停机也不会丢失数据。

在底层，K2 在 R2 对象存储之上实现了一个分区的持久化日志，这使其能够扩展到巨大的存储容量。如果您准备好开始，可以按照此处的指南在几秒钟内创建您的第一个流。我们最初构建 K2 是因为我们需要边缘上的持久化缓冲区，最初用作 Basin Pipelines 的摄取层。我们独特的架构意味着我们通常无法运行像 Apache Kafka 这样的传统分布式系统软件，需要重新思考这些系统的构建和运行方式。

在设计成为 K2 的持久化缓冲系统时，我们决定依赖我们已经拥有的强大状态原语：R2。像 R2 这样的对象存储系统将极其持久的存储（11 个 9！）与强一致性 API 结合在一起。另一个好处是它分离了计算和存储，这意味着两者可以独立扩展。这使我们能够以低成本存储大量历史数据。