লগফায়ার 1,000x দ্রুত কোয়েরি অর্ধ-স্ট্রাকচার্ড ডেটার জন্য ডায়নামিক শ্রেডিং নামক একটি কৌশলের মাধ্যমে প্রদান করছে। আগে 30 সেকেন্ডে টাইমআউট হওয়া কোয়েরি এখন এক সেকেন্ডের কম সময়ে শেষ হয়, গ্রাহকদের প্রতিক্রিয়া সময়কে "মৌলিকভাবে তৎক্ষণিক" বলা হয়েছে। কোম্পানিটি ফেব্রুয়ারি ২০২৬-এ সমস্ত গ্রাহককে এই বৈশিষ্ট্য রোলআউট করছে।
এই অপ্টিমাইজেশনটি লগফায়ার কীভাবে ওপেনটেলিমেট্রি ডেটা সংরক্ষণ করে তা সমাধান করে, যা নিশ্চিত-স্কিমা ফিল্ড (টাইমস্ট্যাম্প, স্প্যান নাম) এবং অর্ধ-স্ট্রাকচার্ড অ্যাট্রিবিউট (HTTP স্ট্যাটাস কোড, ব্যবহারকারী আইডি, অঞ্চল) অন্তর্ভুক্ত করে। প্রারম্ভিকভাবে, সমস্ত অ্যাট্রিবিউটকে Jiter ব্যবহার করে দক্ষতার সাথে পার্স করা একটি একক কলামে JSON ব্লব হিসাবে সংরক্ষণ করা হয়েছিল। এই পদ্ধতিটি অর্ধ-স্ট্রাকচার্ড ডেটা খোঁজার সময় মৌলিক কোয়েরি সীমাবদ্ধতা তৈরি করেছিল।
ডায়নামিক শ্রেডিং JSON অ্যাট্রিবিউটকে কোয়েরির জন্য অপ্টিমাইজড কলাম-ভিত্তিক ফরম্যാറ്റে রূপান্তরিত করে, যা ভাল জোন ম্যাপ প্রুনিং এবং Parquet ফাইল স্ক্যানিং সক্ষম করে। এই কৌশল স্বয়ংক্রিয়ভাবে ঘন ঘন কোয়েরি করা অ্যাট্রিবিউটকে আলাদা কলামে শনাক্ত করে এবং বের করে, কম ব্যবহৃতগুলোকে গঠনকৃত JSON-এ রাখে, বিশ্লেষণাত্মক কোয়েরি কর্মক্ষমতাকে নাটকীয়ভাবে উন্নত করে।
এই অগ্রগতি লগফায়ারকে স্কেলে জটিল টেলিমেট্রি ওয়ারকলোড পরিচালনা করতে সক্ষম করে, jolloin বিতরণকৃত সিস্টেম নিরীক্ষণ करने वाले উন্নয়ন দলদের জন্য পর্যবেক্ষণ ডেটা আরও কার্যকর ও প্রতিক্রিয়াশীল হয়।
মূল entidades: কোম্পানিগুলো: লগফায়ার | অবস্থান: us-west-2
সাধারণ প্রশ্ন: ডায়নামিক শ্রেডিং কীভাবে লগফায়ারে 1000x দ্রুত কোয়েরি অর্জন করে?
ডায়নামিক শ্রেডিং অর্ধ-স্ট্রাকচার্ড JSON অ্যাট্রিবিউটকে কলাম-ভিত্তিক Parquet ফরম্যാറ്റে রূপান্তরিত করে, ঘন ঘন কোয়েরি করা ফিল্ডকে স্বয়ংক্রিয়ভাবে আলাদা কলামে বের করে এবং কম ব্যবহৃতগুলোকে গঠনকৃত JSON-এ রাখে। এটি কার্যকর জোন ম্যাপ প্রুনিং সক্ষম করে এবং প্রতিটি কোয়েরি জন্য পুরো JSON ব্লব পার্স করার প্রয়োজন মুছে ফেলে, কর্মক্ষমতায় নাটকীয় উন্নতি আনতে পারে।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing