Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle
🇬🇧 English
We're rapidly transitioning to a computing landscape defined by highly general, increasingly autonomous agents. Driven by large language models (LLMs) that can dynamically generate plans and invoke external tools, these systems offer the potential for AI to seamlessly handle complex, multi-step tasks on our behalf. However, realizing this potential requires solving a key challenge: enabling agent capability while ensuring that agents act appropriately. Today, we share a comprehensive new workshop report, "Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle," the result of a collaborative effort bringing together more than 50 academic and industry leaders from numerous institutions. We met at the Google Contextual Agent Privacy and Security (CAPS) Workshop, held in late 2025 in New York City.
The core challenge of agentic AI is that, for an agent to be useful, it may need to have access to personal data and the ability to take consequential actions across a broad range of contexts. However, this access together with agents’ behavioral flexibility requires meaningfully different approaches from those used in traditional software. Unlike traditional deterministic software, agents differ in three critical dimensions: Unstructured interfaces and input ambiguity, Probabilistic control flows, and Autonomy and delegation.
Given that useful agents may need to share data and complete tasks, we believe that the future of trustworthy agents depends on their ability to reason about, understand, and be constrained by the social norms and appropriateness of their actions— for the specific context in which they operate. Our report is grounded in the theory of Contextual Integrity (CI), which defines privacy not just as secrecy or control, but as "appropriate information flow" according to established and justifiable social norms. For example, you might be willing to share your gift shopping list with a virtual shopping assistant, but not your family and friends.
🇸🇦 العربية
تحديات الخصوصية والأمان للوكلاء
ننتقل بسرعة إلى مشهد حاسوبي تحدده وكلاء عامة للغاية ومستقلة بشكل متزايد. مدفوعة بنماذج لغوية كبيرة (LLMs) يمكنها إنشاء خطط ديناميكيًا واستدعاء أدوات خارجية، تقدم هذه الأنظمة إمكانية للذكاء الاصطناعي للتعامل بسلاسة مع المهام المعقدة متعددة الخطوات نيابة عنا. ومع ذلك، فإن تحقيق هذه الإمكانية يتطلب حل تحدي رئيسي: تمكين قدرة الوكيل مع ضمان أن يتصرف الوكلاء بشكل مناسب. اليوم، نشارك تقرير ورشة عمل شاملة جديدة، "المشكلات المفتوحة والناشئة في خصوصية وأمان الوكلاء: زاوية سياقية"، نتيجة جهد تعاوني يجمع أكثر من 50 من القادة الأكاديميين والصناعيين من مؤسسات عديدة. اجتمعنا في ورشة عمل Google للخصوصية والأمان السياقي للوكلاء (CAPS)، التي عُقدت في أواخر 2025 في مدينة نيويورك.
التحدي الأساسي للذكاء الاصطناعي الوكيل هو أنه، لكي يكون الوكيل مفيدًا، قد يحتاج إلى الوصول إلى البيانات الشخصية والقدرة على اتخاذ إجراءات ذات عواقب عبر مجموعة واسعة من السياقات. ومع ذلك، فإن هذا الوصول مع مرونة السلوك للوكلاء يتطلب أساليب مختلفة بشكل جوهري عن تلك المستخدمة في البرامج التقليدية. على عكس البرامج الحتمية التقليدية، يختلف الوكلاء في ثلاثة أبعاد حاسمة: الواجهات غير المنظمة وغموض الإدخال، وتدفقات التحكم الاحتمالية، والاستقلالية والتفويض.
نظرًا لأن الوكلاء المفيدين قد يحتاجون إلى مشاركة البيانات وإكمال المهام، نعتقد أن مستقبل الوكلاء الجديرين بالثقة يعتمد على قدرتهم على التفكير في وفهم والتقيد بالأعراف الاجتماعية وملاءمة أفعالهم - للسياق المحدد الذي يعملون فيه. يستند تقريرنا إلى نظرية النزاهة السياقية (CI)، التي تعرف الخصوصية ليس فقط على أنها سرية أو سيطرة، بل على أنها "تدفق معلومات مناسب" وفقًا لأعراف اجتماعية راسخة وقابلة للتبرير. على سبيل المثال، قد تكون على استعداد لمشاركة قائمة التسوق الخاصة بك مع مساعد تسوق افتراضي، ولكن ليس مع عائلتك وأصدقائك.
ما هو التحدي الرئيسي الذي تم تناوله في تقرير ورشة عمل CAPS من Google؟
التحدي الرئيسي هو تمكين قدرة الوكيل مع ضمان أن يتصرف الوكلاء المستقلون بشكل مناسب، مما يتطلب دفاعات منسقة على مستويات النظام والنموذج والمستخدم والنظام البيئي.
🇧🇩 বাংলা
এজেন্ট গোপনীয়তা এবং নিরাপত্তা চ্যালেঞ্জ
আমরা দ্রুত অত্যন্ত সাধারণ, ক্রমবর্ধমান স্বায়ত্তশাসিত এজেন্ট দ্বারা সংজ্ঞায়িত একটি কম্পিউটিং ল্যান্ডস্কেপে রূপান্তরিত হচ্ছি। বড় ভাষা মডেল (LLMs) দ্বারা চালিত যা গতিশীলভাবে পরিকল্পনা তৈরি করতে এবং বাহ্যিক সরঞ্জামগুলি আহ্বান করতে পারে, এই সিস্টেমগুলি আমাদের পক্ষে জটিল, বহু-পদক্ষেপের কাজগুলি নির্বিঘ্নে পরিচালনা করার জন্য AI-এর সম্ভাবনা প্রদান করে। তবে, এই সম্ভাবনা বাস্তবায়নের জন্য একটি মূল চ্যালেঞ্জ সমাধান করা প্রয়োজন: এজেন্ট সক্ষমতা সক্ষম করা যখন নিশ্চিত করা যে এজেন্টরা যথাযথভাবে কাজ করে। আজ, আমরা একটি বিস্তৃত নতুন কর্মশালা প্রতিবেদন শেয়ার করছি, "এজেন্টিক গোপনীয়তা এবং নিরাপত্তায় উন্মুক্ত এবং উদীয়মান সমস্যা: একটি প্রাসঙ্গিক কোণ", যা অসংখ্য প্রতিষ্ঠানের 50 টিরও বেশি একাডেমিক এবং শিল্প নেতাদের একত্রিত করার একটি সহযোগিতামূলক প্রচেষ্টার ফলাফল। আমরা 2025 সালের শেষের দিকে নিউ ইয়র্ক সিটিতে অনুষ্ঠিত Google প্রাসঙ্গিক এজেন্ট গোপনীয়তা এবং নিরাপত্তা (CAPS) কর্মশালায় মিলিত হয়েছিলাম।
এজেন্টিক AI-এর মূল চ্যালেঞ্জ হল যে, একটি এজেন্টের উপযোগী হওয়ার জন্য, এটির ব্যক্তিগত ডেটাতে অ্যাক্সেস এবং বিস্তৃত প্রসঙ্গ জুড়ে পরিণামমূলক পদক্ষেপ নেওয়ার ক্ষমতার প্রয়োজন হতে পারে। তবে, এই অ্যাক্সেস এজেন্টদের আচরণগত নমনীয়তার সাথে ঐতিহ্যগত সফ্টওয়্যারে ব্যবহৃত পদ্ধতির থেকে অর্থপূর্ণভাবে ভিন্ন পদ্ধতির প্রয়োজন। ঐতিহ্যগত নির্ধারক সফ্টওয়্যারের বিপরীতে, এজেন্টরা তিনটি গুরুত্বপূর্ণ মাত্রায় ভিন্ন: অগঠিত ইন্টারফেস এবং ইনপুট অস্পষ্টতা, সম্ভাব্য নিয়ন্ত্রণ প্রবাহ, এবং স্বায়ত্তশাসন এবং প্রতিনিধিত্ব।
প্রদত্ত যে উপযোগী এজেন্টদের ডেটা ভাগ করে নেওয়ার এবং কাজগুলি সম্পূর্ণ করার প্রয়োজন হতে পারে, আমরা বিশ্বাস করি যে বিশ্বস্ত এজেন্টদের ভবিষ্যত তাদের যুক্তি করার, বোঝার এবং তাদের কর্মের সামাজিক নিয়ম এবং উপযুক্ততা দ্বারা সীমাবদ্ধ হওয়ার ক্ষমতার উপর নির্ভর করে— তারা যে নির্দিষ্ট প্রসঙ্গে কাজ করে তার জন্য। আমাদের প্রতিবেদন প্রাসঙ্গিক অখণ্ডতা (CI) তত্ত্বের উপর ভিত্তি করে, যা গোপনীয়তাকে কেবল গোপনীয়তা বা নিয়ন্ত্রণ হিসাবে নয়, বরং প্রতিষ্ঠিত এবং ন্যায়সঙ্গত সামাজিক নিয়ম অনুসারে "উপযুক্ত তথ্য প্রবাহ" হিসাবে সংজ্ঞায়িত করে। উদাহরণস্বরূপ, আপনি আপনার উপহার কেনাকাটার তালিকা একটি ভার্চুয়াল শপিং সহায়কের সাথে ভাগ করে নিতে ইচ্ছুক হতে পারেন, কিন্তু আপনার পরিবার এবং বন্ধুদের সাথে নয়।
Google CAPS কর্মশালা প্রতিবেদনে সম্বোধন করা প্রধান চ্যালেঞ্জ কী?
প্রধান চ্যালেঞ্জ হল এজেন্ট সক্ষমতা সক্ষম করা যখন নিশ্চিত করা যে স্বায়ত্তশাসিত এজেন্টরা যথাযথভাবে কাজ করে, সিস্টেম, মডেল, ব্যবহারকারী এবং ইকোসিস্টেম স্তরে সমন্বিত প্রতিরক্ষা প্রয়োজন।
🇩🇪 Deutsch
Herausforderungen bei der Privatsphäre und Sicherheit von Agenten
Wir bewegen uns schnell in eine Computerlandschaft, die von hochgradig allgemeinen, zunehmend autonomen Agenten geprägt ist. Angetrieben von großen Sprachmodellen (LLMs), die dynamisch Pläne erstellen und externe Tools aufrufen können, bieten diese Systeme das Potenzial für KI, komplexe mehrstufige Aufgaben nahtlos in unserem Namen zu erledigen. Die Verwirklichung dieses Potenzials erfordert jedoch die Lösung einer zentralen Herausforderung: die Fähigkeit von Agenten zu ermöglichen und gleichzeitig sicherzustellen, dass Agenten angemessen handeln. Heute teilen wir einen umfassenden neuen Workshop-Bericht, „Offene und neu entstehende Probleme bei der Privatsphäre und Sicherheit von Agenten: Ein kontextueller Blickwinkel“, das Ergebnis einer gemeinsamen Anstrengung, die mehr als 50 akademische und industrielle Führungskräfte aus zahlreichen Institutionen zusammenbringt. Wir trafen uns beim Google Contextual Agent Privacy and Security (CAPS) Workshop, der Ende 2025 in New York City stattfand.
Die zentrale Herausforderung der agentischen KI besteht darin, dass ein Agent, um nützlich zu sein, möglicherweise Zugriff auf persönliche Daten und die Fähigkeit haben muss, in einer Vielzahl von Kontexten folgenreiche Aktionen durchzuführen. Dieser Zugriff zusammen mit der Verhaltensflexibilität der Agenten erfordert jedoch grundlegend andere Ansätze als die in traditioneller Software verwendeten. Im Gegensatz zu traditioneller deterministischer Software unterscheiden sich Agenten in drei kritischen Dimensionen: Unstrukturierte Schnittstellen und Eingabeambiguität, Probabilistische Kontrollflüsse sowie Autonomie und Delegation.
Angesichts der Tatsache, dass nützliche Agenten möglicherweise Daten teilen und Aufgaben erledigen müssen, glauben wir, dass die Zukunft vertrauenswürdiger Agenten von ihrer Fähigkeit abhängt, über die sozialen Normen und die Angemessenheit ihrer Handlungen zu reasoning, sie zu verstehen und durch sie eingeschränkt zu werden – für den spezifischen Kontext, in dem sie operieren. Unser Bericht basiert auf der Theorie der kontextuellen Integrität (CI), die Privatsphäre nicht nur als Geheimhaltung oder Kontrolle definiert, sondern als „angemessenen Informationsfluss“ gemäß etablierter und gerechtfertigter sozialer Normen. Beispielsweise sind Sie möglicherweise bereit, Ihre Geschenkeinkaufsliste mit einem virtuellen Einkaufsassistenten zu teilen, aber nicht mit Ihrer Familie und Freunden.
Was ist die Hauptherausforderung, die im Google CAPS Workshop-Bericht behandelt wird?
Die Hauptherausforderung besteht darin, die Fähigkeit von Agenten zu ermöglichen und gleichzeitig sicherzustellen, dass autonome Agenten angemessen handeln, was koordinierte Abwehrmaßnahmen auf System-, Modell-, Benutzer- und Ökosystemebene erfordert.
🇪🇸 Español
Desafíos de Privacidad y Seguridad de los Agentes
Estamos transitando rápidamente hacia un panorama informático definido por agentes altamente generales y cada vez más autónomos. Impulsados por grandes modelos de lenguaje (LLMs) que pueden generar planes dinámicamente e invocar herramientas externas, estos sistemas ofrecen el potencial de que la IA maneje sin problemas tareas complejas de múltiples pasos en nuestro nombre. Sin embargo, realizar este potencial requiere resolver un desafío clave: habilitar la capacidad del agente mientras se asegura que los agentes actúen apropiadamente. Hoy, compartimos un nuevo informe completo de taller, "Problemas Abiertos y Emergentes en Privacidad y Seguridad de Agentes: Un Ángulo Contextual", resultado de un esfuerzo colaborativo que reúne a más de 50 líderes académicos e industriales de numerosas instituciones. Nos reunimos en el Taller de Privacidad y Seguridad de Agentes Contextuales de Google (CAPS), celebrado a finales de 2025 en la Ciudad de Nueva York.
El desafío central de la IA agéntica es que, para que un agente sea útil, puede necesitar tener acceso a datos personales y la capacidad de tomar acciones consecuentes en una amplia gama de contextos. Sin embargo, este acceso junto con la flexibilidad conductual de los agentes requiere enfoques significativamente diferentes de los utilizados en el software tradicional. A diferencia del software determinista tradicional, los agentes difieren en tres dimensiones críticas: Interfaces no estructuradas y ambigüedad de entrada, Flujos de control probabilísticos, y Autonomía y delegación.
Dado que los agentes útiles pueden necesitar compartir datos y completar tareas, creemos que el futuro de los agentes confiables depende de su capacidad para razonar, comprender y estar limitados por las normas sociales y la idoneidad de sus acciones, para el contexto específico en el que operan. Nuestro informe se basa en la teoría de la Integridad Contextual (CI), que define la privacidad no solo como secreto o control, sino como "flujo de información apropiado" según normas sociales establecidas y justificables. Por ejemplo, podrías estar dispuesto a compartir tu lista de compras de regalos con un asistente de compras virtual, pero no con tu familia y amigos.
¿Cuál es el principal desafío abordado en el informe del taller CAPS de Google?
El principal desafío es habilitar la capacidad del agente mientras se asegura que los agentes autónomos actúen apropiadamente, requiriendo defensas coordinadas a nivel de sistema, modelo, usuario y ecosistema.
🇫🇷 Français
Défis de Confidentialité et de Sécurité des Agents
Nous passons rapidement à un paysage informatique défini par des agents hautement généraux et de plus en plus autonomes. Propulsés par de grands modèles de langage (LLM) capables de générer dynamiquement des plans et d'invoquer des outils externes, ces systèmes offrent le potentiel pour l'IA de gérer de manière transparente des tâches complexes en plusieurs étapes pour notre compte. Cependant, réaliser ce potentiel nécessite de résoudre un défi clé : permettre la capacité des agents tout en garantissant qu'ils agissent de manière appropriée. Aujourd'hui, nous partageons un nouveau rapport complet d'atelier, "Problèmes Ouverts et Émergents dans la Confidentialité et la Sécurité des Agents : Un Angle Contextuel", résultat d'un effort collaboratif réunissant plus de 50 leaders académiques et industriels de nombreuses institutions. Nous nous sommes rencontrés à l'Atelier Google sur la Confidentialité et la Sécurité des Agents Contextuels (CAPS), tenu fin 2025 à New York.
Le défi central de l'IA agentique est que, pour qu'un agent soit utile, il peut avoir besoin d'accéder à des données personnelles et de pouvoir prendre des actions conséquentes dans un large éventail de contextes. Cependant, cet accès ainsi que la flexibilité comportementale des agents nécessitent des approches significativement différentes de celles utilisées dans les logiciels traditionnels. Contrairement aux logiciels déterministes traditionnels, les agents diffèrent selon trois dimensions critiques : Interfaces non structurées et ambiguïté d'entrée, Flux de contrôle probabilistes, et Autonomie et délégation.
Étant donné que les agents utiles peuvent avoir besoin de partager des données et d'effectuer des tâches, nous croyons que l'avenir des agents dignes de confiance dépend de leur capacité à raisonner sur, comprendre et être contraints par les normes sociales et la pertinence de leurs actions — pour le contexte spécifique dans lequel ils opèrent. Notre rapport est fondé sur la théorie de l'Intégrité Contextuelle (CI), qui définit la confidentialité non seulement comme le secret ou le contrôle, mais comme un "flux d'information approprié" selon des normes sociales établies et justifiables. Par exemple, vous pourriez être prêt à partager votre liste de courses de cadeaux avec un assistant d'achat virtuel, mais pas avec votre famille et vos amis.
Quel est le principal défi abordé dans le rapport de l'atelier CAPS de Google ?
Le principal défi est de permettre la capacité des agents tout en garantissant que les agents autonomes agissent de manière appropriée, nécessitant des défenses coordonnées aux niveaux du système, du modèle, de l'utilisateur et de l'écosystème.
🇮🇳 हिन्दी
एजेंट गोपनीयता और सुरक्षा चुनौतियाँ
हम तेजी से अत्यधिक सामान्य, increasingly स्वायत्त एजेंटों द्वारा परिभाषित कंप्यूटिंग परिदृश्य की ओर बढ़ रहे हैं। बड़े भाषा मॉडल (LLMs) द्वारा संचालित जो गतिशील रूप से योजनाएँ उत्पन्न कर सकते हैं और बाहरी उपकरणों को आमंत्रित कर सकते हैं, ये सिस्टम हमारी ओर से जटिल, बहु-चरणीय कार्यों को सहजता से संभालने की AI की क्षमता प्रदान करते हैं। हालाँकि, इस क्षमता को साकार करने के लिए एक महत्वपूर्ण चुनौती को हल करना आवश्यक है: एजेंट क्षमता को सक्षम करना जबकि यह सुनिश्चित करना कि एजेंट उचित रूप से कार्य करें। आज, हम एक व्यापक नई कार्यशाला रिपोर्ट साझा करते हैं, "एजेंटिक गोपनीयता और सुरक्षा में खुली और उभरती समस्याएं: एक प्रासंगिक कोण", जो अनेक संस्थानों के 50 से अधिक शैक्षणिक और उद्योग जगत के नेताओं को एक साथ लाने वाले सहयोगी प्रयास का परिणाम है। हम 2025 के अंत में न्यूयॉर्क शहर में आयोजित Google प्रासंगिक एजेंट गोपनीयता और सुरक्षा (CAPS) कार्यशाला में मिले।
एजेंटिक AI की मुख्य चुनौती यह है कि, एक एजेंट के उपयोगी होने के लिए, उसे व्यक्तिगत डेटा तक पहुंच और संदर्भों की एक विस्तृत श्रृंखला में परिणामी कार्रवाई करने की क्षमता की आवश्यकता हो सकती है। हालाँकि, यह पहुंच एजेंटों के व्यवहारिक लचीलेपन के साथ पारंपरिक सॉफ्टवेयर में उपयोग किए जाने वाले दृष्टिकोणों से सार्थक रूप से भिन्न दृष्टिकोण की आवश्यकता है। पारंपरिक नियतात्मक सॉफ्टवेयर के विपरीत, एजेंट तीन महत्वपूर्ण आयामों में भिन्न होते हैं: असंरचित इंटरफेस और इनपुट अस्पष्टता, संभाव्य नियंत्रण प्रवाह, और स्वायत्तता और प्रतिनिधिमंडल।
यह देखते हुए कि उपयोगी एजेंटों को डेटा साझा करने और कार्यों को पूरा करने की आवश्यकता हो सकती है, हम मानते हैं कि भरोसेमंद एजेंटों का भविष्य उनके तर्क करने, समझने और उनके कार्यों की सामाजिक मानदंडों और उपयुक्तता से बाधित होने की क्षमता पर निर्भर करता है - उस विशिष्ट संदर्भ के लिए जिसमें वे काम करते हैं। हमारी रिपोर्ट प्रासंगिक अखंडता (CI) के सिद्धांत पर आधारित है, जो गोपनीयता को केवल गोपनीयता या नियंत्रण के रूप में नहीं, बल्कि स्थापित और न्यायसंगत सामाजिक मानदंडों के अनुसार "उपयुक्त सूचना प्रवाह" के रूप में परिभाषित करता है। उदाहरण के लिए, आप अपनी उपहार खरीदारी सूची एक आभासी खरीदारी सहायक के साथ साझा करने को तैयार हो सकते हैं, लेकिन अपने परिवार और दोस्तों के साथ नहीं।
Google CAPS कार्यशाला रिपोर्ट में संबोधित मुख्य चुनौती क्या है?
मुख्य चुनौती एजेंट क्षमता को सक्षम करना है जबकि यह सुनिश्चित करना है कि स्वायत्त एजेंट उचित रूप से कार्य करें, सिस्टम, मॉडल, उपयोगकर्ता और पारिस्थितिकी तंत्र स्तरों पर समन्वित सुरक्षा की आवश्यकता है।
🇮🇩 Bahasa Indonesia
Tantangan Privasi dan Keamanan Agen
Kami dengan cepat beralih ke lanskap komputasi yang ditentukan oleh agen yang sangat umum dan semakin otonom. Didorong oleh model bahasa besar (LLM) yang dapat secara dinamis menghasilkan rencana dan memanggil alat eksternal, sistem ini menawarkan potensi bagi AI untuk menangani tugas multi-langkah yang kompleks dengan mulus atas nama kita. Namun, mewujudkan potensi ini memerlukan pemecahan tantangan utama: memungkinkan kemampuan agen sambil memastikan bahwa agen bertindak dengan tepat. Hari ini, kami membagikan laporan lokakarya komprehensif baru, "Masalah Terbuka dan Muncul dalam Privasi dan Keamanan Agen: Sudut Kontekstual," hasil dari upaya kolaboratif yang menyatukan lebih dari 50 pemimpin akademis dan industri dari berbagai institusi. Kami bertemu di Lokakarya Privasi dan Keamanan Agen Kontekstual Google (CAPS), yang diadakan pada akhir 2025 di New York City.
Tantangan inti dari AI agen adalah bahwa, agar agen berguna, ia mungkin perlu memiliki akses ke data pribadi dan kemampuan untuk mengambil tindakan konsekuensial di berbagai konteks. Namun, akses ini bersama dengan fleksibilitas perilaku agen memerlukan pendekatan yang berbeda secara signifikan dari yang digunakan dalam perangkat lunak tradisional. Tidak seperti perangkat lunak deterministik tradisional, agen berbeda dalam tiga dimensi kritis: Antarmuka tidak terstruktur dan ambiguitas input, Aliran kontrol probabilistik, dan Otonomi dan delegasi.
Mengingat bahwa agen yang berguna mungkin perlu berbagi data dan menyelesaikan tugas, kami percaya bahwa masa depan agen yang dapat dipercaya bergantung pada kemampuan mereka untuk bernalar tentang, memahami, dan dibatasi oleh norma-norma sosial dan kesesuaian tindakan mereka— untuk konteks spesifik di mana mereka beroperasi. Laporan kami didasarkan pada teori Integritas Kontekstual (CI), yang mendefinisikan privasi tidak hanya sebagai kerahasiaan atau kontrol, tetapi sebagai "aliran informasi yang tepat" sesuai dengan norma-norma sosial yang mapan dan dapat dibenarkan. Misalnya, Anda mungkin bersedia membagikan daftar belanja hadiah Anda dengan asisten belanja virtual, tetapi tidak dengan keluarga dan teman Anda.
Apa tantangan utama yang dibahas dalam laporan lokakarya CAPS Google?
Tantangan utama adalah memungkinkan kemampuan agen sambil memastikan bahwa agen otonom bertindak dengan tepat, memerlukan pertahanan terkoordinasi di tingkat sistem, model, pengguna, dan ekosistem.
🇯🇵 日本語
エージェントのプライバシーとセキュリティの課題
私たちは、高度に汎用的で、ますます自律的なエージェントによって定義されるコンピューティング環境へと急速に移行しています。動的に計画を生成し、外部ツールを呼び出すことができる大規模言語モデル(LLM)によって駆動されるこれらのシステムは、AIが私たちに代わって複雑なマルチステップタスクをシームレスに処理する可能性を提供します。しかし、この可能性を実現するには、エージェントの能力を有効にしつつ、エージェントが適切に行動することを保証するという重要な課題を解決する必要があります。本日、私たちは新しい包括的なワークショップレポート「エージェントのプライバシーとセキュリティにおける未解決および新たな問題:コンテキストの観点」を共有します。これは、多数の機関から50人以上の学術および業界のリーダーが集まった共同作業の成果です。私たちは、2025年後半にニューヨーク市で開催されたGoogle Contextual Agent Privacy and Security(CAPS)ワークショップで会合しました。
エージェントAIの中核的な課題は、エージェントが有用であるためには、個人データへのアクセスと、幅広いコンテキストにわたって結果的なアクションを実行する能力が必要になる可能性があることです。しかし、このアクセスとエージェントの行動の柔軟性には、従来のソフトウェアで使用されているものとは根本的に異なるアプローチが必要です。従来の決定論的ソフトウェアとは異なり、エージェントは3つの重要な側面で異なります:非構造化インターフェースと入力の曖昧さ、確率的な制御フロー、そして自律性と委任です。
有用なエージェントがデータを共有し、タスクを完了する必要がある可能性があることを考えると、信頼できるエージェントの未来は、エージェントが行動する特定のコンテキストに対して、社会的規範と行動の適切性について推論し、理解し、それらによって制約される能力に依存すると考えています。私たちのレポートは、コンテキスト整合性(CI)理論に基づいており、プライバシーを単なる秘密や制御としてではなく、確立され正当化可能な社会的規範に従った「適切な情報フロー」として定義しています。例えば、あなたはバーチャルショッピングアシスタントとギフトの買い物リストを共有しても構わないと思うかもしれませんが、家族や友人とは共有したくないかもしれません。
Google CAPSワークショップレポートで取り上げられている主な課題は何ですか?
主な課題は、自律エージェントが適切に行動することを保証しながらエージェントの能力を有効にすることであり、システム、モデル、ユーザー、エコシステムレベルでの協調的な防御が必要です。
🇧🇷 Português
Desafios de Privacidade e Segurança de Agentes
Estamos transitando rapidamente para um cenário de computação definido por agentes altamente gerais e cada vez mais autônomos. Impulsionados por grandes modelos de linguagem (LLMs) que podem gerar planos dinamicamente e invocar ferramentas externas, esses sistemas oferecem o potencial para a IA lidar perfeitamente com tarefas complexas de várias etapas em nosso nome. No entanto, realizar esse potencial requer resolver um desafio chave: habilitar a capacidade do agente enquanto garante que os agentes ajam de forma apropriada. Hoje, compartilhamos um novo relatório abrangente de workshop, "Problemas Abertos e Emergentes em Privacidade e Segurança de Agentes: Um Ângulo Contextual", resultado de um esforço colaborativo que reúne mais de 50 líderes acadêmicos e da indústria de inúmeras instituições. Nos encontramos no Workshop de Privacidade e Segurança de Agentes Contextuais do Google (CAPS), realizado no final de 2025 na cidade de Nova York.
O desafio central da IA agentiva é que, para um agente ser útil, ele pode precisar ter acesso a dados pessoais e a capacidade de tomar ações consequentes em uma ampla gama de contextos. No entanto, esse acesso juntamente com a flexibilidade comportamental dos agentes requer abordagens significativamente diferentes daquelas usadas em software tradicional. Ao contrário do software determinístico tradicional, os agentes diferem em três dimensões críticas: Interfaces não estruturadas e ambiguidade de entrada, Fluxos de controle probabilísticos, e Autonomia e delegação.
Dado que agentes úteis podem precisar compartilhar dados e concluir tarefas, acreditamos que o futuro de agentes confiáveis depende de sua capacidade de raciocinar sobre, entender e ser limitados pelas normas sociais e adequação de suas ações — para o contexto específico em que operam. Nosso relatório é fundamentado na teoria da Integridade Contextual (CI), que define privacidade não apenas como sigilo ou controle, mas como "fluxo de informação apropriado" de acordo com normas sociais estabelecidas e justificáveis. Por exemplo, você pode estar disposto a compartilhar sua lista de compras de presentes com um assistente de compras virtual, mas não com sua família e amigos.
Qual é o principal desafio abordado no relatório do workshop CAPS do Google?
O principal desafio é habilitar a capacidade do agente enquanto garante que os agentes autônomos ajam de forma apropriada, exigindo defesas coordenadas nos níveis de sistema, modelo, usuário e ecossistema.
🇷🇺 Русский
Проблемы конфиденциальности и безопасности агентов
Мы быстро переходим к вычислительной среде, определяемой высокообщими, все более автономными агентами. Управляемые большими языковыми моделями (LLM), которые могут динамически генерировать планы и вызывать внешние инструменты, эти системы предлагают потенциал для ИИ беспрепятственно выполнять сложные многошаговые задачи от нашего имени. Однако реализация этого потенциала требует решения ключевой задачи: обеспечения возможностей агента при одновременном обеспечении того, чтобы агенты действовали надлежащим образом. Сегодня мы публикуем новый всеобъемлющий отчет семинара «Открытые и возникающие проблемы в области конфиденциальности и безопасности агентов: контекстуальный угол», результат совместных усилий, объединивших более 50 академических и отраслевых лидеров из многочисленных учреждений. Мы встретились на семинаре Google по контекстуальной конфиденциальности и безопасности агентов (CAPS), состоявшемся в конце 2025 года в Нью-Йорке.
Основная проблема агентного ИИ заключается в том, что для того, чтобы агент был полезен, ему может потребоваться доступ к личным данным и возможность совершать значимые действия в широком диапазоне контекстов. Однако этот доступ вместе с поведенческой гибкостью агентов требует принципиально иных подходов, чем те, которые используются в традиционном программном обеспечении. В отличие от традиционного детерминированного программного обеспечения, агенты различаются по трем критическим аспектам: неструктурированные интерфейсы и неоднозначность ввода, вероятностные потоки управления, а также автономия и делегирование.
Учитывая, что полезным агентам может потребоваться обмениваться данными и выполнять задачи, мы считаем, что будущее надежных агентов зависит от их способности рассуждать, понимать и ограничиваться социальными нормами и уместностью своих действий — для конкретного контекста, в котором они работают. Наш отчет основан на теории контекстуальной целостности (CI), которая определяет конфиденциальность не просто как секретность или контроль, а как «надлежащий поток информации» в соответствии с установленными и оправданными социальными нормами. Например, вы можете быть готовы поделиться своим списком покупок подарков с виртуальным помощником по покупкам, но не со своей семьей и друзьями.
Какова основная проблема, затронутая в отчете семинара CAPS от Google?
Основная проблема заключается в обеспечении возможностей агента при одновременном обеспечении того, чтобы автономные агенты действовали надлежащим образом, что требует скоординированной защиты на уровнях системы, модели, пользователя и экосистемы.
🇨🇳 简体中文
代理隐私与安全挑战
我们正快速转向由高度通用、日益自主的代理定义的计算格局。由能够动态生成计划并调用外部工具的大型语言模型(LLMs)驱动,这些系统提供了AI无缝处理复杂多步骤任务的潜力。然而,实现这一潜力需要解决一个关键挑战:在确保代理行为适当的同时启用代理能力。今天,我们分享一份全面的新研讨会报告《代理隐私与安全中的开放与新兴问题:一个情境视角》,这是来自众多机构的超过50位学术和行业领袖合作努力的成果。我们于2025年底在纽约市举行的Google情境代理隐私与安全(CAPS)研讨会上会面。
代理AI的核心挑战在于,要使代理有用,它可能需要访问个人数据并能够在广泛的情境中采取有影响的行动。然而,这种访问加上代理的行为灵活性,需要与传统软件截然不同的方法。与传统确定性软件不同,代理在三个关键维度上有所不同:非结构化接口和输入模糊性、概率性控制流以及自主性与委托。
鉴于有用的代理可能需要共享数据并完成任务,我们相信可信代理的未来取决于它们推理、理解并受其行为的社会规范及适当性约束的能力——针对其运行的具体情境。我们的报告基于情境完整性(CI)理论,该理论将隐私不仅仅定义为保密或控制,而是根据既定且合理的社会规范定义的“适当信息流”。例如,你可能愿意与虚拟购物助手分享你的礼品购物清单,但不愿与家人和朋友分享。
Google CAPS研讨会报告解决的主要挑战是什么?
主要挑战是在确保自主代理行为适当的同时启用代理能力,需要在系统、模型、用户和生态系统层面进行协调防御。