Does better work always mean better workers?

Judgment is what sets senior professionals apart from their junior peers. Building judgment requires thousands of hours learning on the job, usually through tedious but formative engagement with routine work under guided supervision. But AI is already changing how on-the-job learning works. On one hand, empirical studies show that when AI tools are thoughtfully embedded into training workflows, less-experienced workers can improve their independent performance. On the other hand, recent experiments demonstrate that while AI serves as a temporary exoskeleton boosting immediate output, those gains often fail to persist once the tool is removed.

In “Does AI Assistance Enhance or Erode Expertise? Evidence from a Three-Month Field Experiment in Patent Drafting”, published by the National Bureau of Economic Research, we describe a field experiment capturing changes in short-term productivity and longer-term skill building from AI usage in intellectual property law. We randomized access to a then-unreleased Google Labs AI patent writing assistant tool among 133 lawyers at eleven intellectual property law firms. Two-thirds of lawyers (“treatment” group) were given early access to the tool, while the remainder (“control” group) were withheld from using the tool until after the study.

After 10 days of AI assistance, we sent all lawyers a packet of inventor materials for a hypothetical invention and asked them to draft a patent. We did the same after 90 days. AI tool access raised drafting scores by 0.34 standard deviations at 10 days, equivalent to a 10-point climb in percentile ranking among control group scores; by 90 days, this improvement increased to 0.38 SD, implying an 11-percentile point increase. Better performance came from lower frequency of poor scores and higher frequency of good scores, with no change in the frequency of excellent scores. This pattern was particularly clear for junior lawyers, whose improvements were matched by significant time savings.

But patent lawyers also review each other’s work for critical mistakes that can make patents unenforceable in court. We added another task at 90 days requiring subjects to redline an existing hypothetical patent containing many errors. This task mirrors the kind of professional judgment that more senior workers are expected to exercise, testing whether AI assistance enhances or erodes deeper expertise.

الحكم هو ما يميز المحترفين الكبار عن أقرانهم المبتدئين. بناء الحكم يتطلب آلاف الساعات من التعلم أثناء العمل، عادة من خلال الانخراط الممل ولكن التكويني في العمل الروتيني تحت إشراف موجه. لكن الذكاء الاصطناعي يغير بالفعل كيفية عمل التعلم أثناء العمل. من ناحية، تظهر الدراسات التجريبية أنه عندما يتم دمج أدوات الذكاء الاصطناعي بشكل مدروس في سير العمل التدريبي، يمكن للعمال الأقل خبرة تحسين أدائهم المستقل. من ناحية أخرى، تظهر التجارب الحديثة أنه بينما يعمل الذكاء الاصطناعي كهيكل خارجي مؤقت يعزز الإنتاج الفوري، فإن هذه المكاسب غالبًا لا تستمر بمجرد إزالة الأداة.

في "هل تعزز مساعدة الذكاء الاصطناعي الخبرة أم تضعفها؟ أدلة من تجربة ميدانية لمدة ثلاثة أشهر في صياغة براءات الاختراع"، التي نشرها المكتب الوطني للبحوث الاقتصادية، نصف تجربة ميدانية تلتقط التغيرات في الإنتاجية قصيرة المدى وبناء المهارات طويلة المدى الناتجة عن استخدام الذكاء الاصطناعي في قانون الملكية الفكرية. قمنا بتوزيع الوصول إلى أداة مساعدة كتابة براءات الاختراع بالذكاء الاصطناعي من Google Labs، والتي لم تكن قد صدرت بعد، بشكل عشوائي بين 133 محامياً في إحدى عشرة شركة قانونية للملكية الفكرية. تم منح ثلثي المحامين في كل شركة (مجموعة "المعالجة") وصولاً مبكراً إلى الأداة، بينما تم منع الباقي (مجموعة "التحكم") من استخدام الأداة حتى بعد انتهاء الدراسة.

بعد 10 أيام من مساعدة الذكاء الاصطناعي، أرسلنا لجميع المحامين حزمة من مواد المخترع لاختراع افتراضي وطلبنا منهم صياغة براءة اختراع. فعلنا الشيء نفسه بعد 90 يوماً. رفع الوصول إلى أداة الذكاء الاصطناعي درجات الصياغة بمقدار 0.34 انحراف معياري بعد 10 أيام، أي ما يعادل ارتفاعاً بمقدار 10 نقاط في الترتيب المئوي بين درجات مجموعة التحكم؛ وبعد 90 يوماً، زاد هذا التحسن إلى 0.38 انحراف معياري، مما يعني زيادة بمقدار 11 نقطة مئوية. جاء الأداء الأفضل من انخفاض تكرار الدرجات الضعيفة وارتفاع تكرار الدرجات الجيدة، دون تغيير في تكرار الدرجات الممتازة. كان هذا النمط واضحاً بشكل خاص للمحامين المبتدئين، الذين تزامنت تحسيناتهم مع توفير كبير في الوقت.

لكن محامي براءات الاختراع يراجعون أيضاً عمل بعضهم البعض بحثاً عن أخطاء حرجة يمكن أن تجعل براءات الاختراع غير قابلة للتنفيذ في المحكمة. أضفنا مهمة أخرى بعد 90 يوماً تتطلب من الأشخاص وضع خط أحمر على براءة اختراع افتراضية موجودة تحتوي على العديد من الأخطاء. تعكس هذه المهمة نوع الحكم المهني الذي يُتوقع من العمال الأكثر خبرة ممارسته، لاختبار ما إذا كانت مساعدة الذكاء الاصطناعي تعزز أو تضعف الخبرة الأعمق.

বিচারক্ষমতা সিনিয়র পেশাদারদের তাদের জুনিয়র সহকর্মীদের থেকে আলাদা করে। বিচারক্ষমতা গড়তে চাকরিতে শেখার হাজার হাজার ঘন্টা লাগে, সাধারণত নির্দেশিত তত্ত্বাবধানে রুটিন কাজের সাথে ক্লান্তিকর কিন্তু গঠনমূলক সম্পৃক্ততার মাধ্যমে। কিন্তু AI ইতিমধ্যেই পরিবর্তন করছে কিভাবে চাকরিতে শেখা কাজ করে। একদিকে, অভিজ্ঞতামূলক গবেষণা দেখায় যে যখন AI টুলগুলি প্রশিক্ষণ কর্মপ্রবাহে চিন্তাভাবনার সাথে এম্বেড করা হয়, কম অভিজ্ঞ কর্মীরা তাদের স্বাধীন কর্মক্ষমতা উন্নত করতে পারে। অন্যদিকে, সাম্প্রতিক পরীক্ষাগুলি প্রদর্শন করে যে AI যখন অস্থায়ী এক্সোস্কেলেটন হিসেবে কাজ করে যা তাৎক্ষণিক আউটপুট বাড়ায়, সেই লাভগুলি প্রায়শই টুল সরানোর পরে টিকে থাকে না।

"AI সহায়তা কি দক্ষতা বাড়ায় নাকি ক্ষয় করে? পেটেন্ট খসড়ায় তিন মাসের ফিল্ড পরীক্ষা থেকে প্রমাণ" শীর্ষক গবেষণাপত্রে, যা ন্যাশনাল ব্যুরো অফ ইকোনমিক রিসার্চ দ্বারা প্রকাশিত, আমরা একটি ফিল্ড পরীক্ষা বর্ণনা করি যা বৌদ্ধিক সম্পত্তি আইনে AI ব্যবহার থেকে স্বল্পমেয়াদী উৎপাদনশীলতা এবং দীর্ঘমেয়াদী দক্ষতা নির্মাণের পরিবর্তনগুলি ধারণ করে। আমরা এগারোটি বৌদ্ধিক সম্পত্তি আইন ফার্মের 133 আইনজীবীর মধ্যে একটি তৎকালীন অপ্রকাশিত Google Labs AI পেটেন্ট লেখার সহায়ক টুলে অ্যাক্সেস এলোমেলোভাবে বিতরণ করেছি। প্রতিটি ফার্মের দুই-তৃতীয়াংশ আইনজীবী ("চিকিৎসা" গ্রুপ) টুলটিতে প্রাথমিক অ্যাক্সেস পেয়েছিলেন, বাকিরা ("নিয়ন্ত্রণ" গ্রুপ) অধ্যয়নের পরে পর্যন্ত টুলটি ব্যবহার করতে বাধা দেওয়া হয়েছিল।

AI সহায়তার 10 দিন পরে, আমরা সমস্ত আইনজীবীকে একটি অনুমানিক আবিষ্কারের জন্য উদ্ভাবক উপকরণের একটি প্যাকেট পাঠিয়েছিলাম এবং তাদের একটি পেটেন্ট খসড়া করতে বলেছিলাম। আমরা 90 দিন পরেও একই কাজ করেছি। AI টুল অ্যাক্সেস 10 দিনে খসড়া স্কোর 0.34 স্ট্যান্ডার্ড ডেভিয়েশন বাড়িয়েছে, যা নিয়ন্ত্রণ গ্রুপের স্কোরের মধ্যে শতকরা র্যাঙ্কিংয়ে 10-পয়েন্ট বৃদ্ধির সমতুল্য; 90 দিনের মধ্যে, এই উন্নতি বেড়ে 0.38 SD হয়েছে, যা 11-শতকরা পয়েন্ট বৃদ্ধি নির্দেশ করে। ভালো কর্মক্ষমতা খারাপ স্কোরের কম ফ্রিকোয়েন্সি এবং ভালো স্কোরের উচ্চ ফ্রিকোয়েন্সি থেকে এসেছে, এবং চমৎকার স্কোরের ফ্রিকোয়েন্সিতে কোনো পরিবর্তন হয়নি। এই প্যাটার্নটি বিশেষ করে জুনিয়র আইনজীবীদের জন্য স্পষ্ট ছিল, যাদের উন্নতি উল্লেখযোগ্য সময় সাশ্রয়ের সাথে মিলেছে।

কিন্তু পেটেন্ট আইনজীবীরা একে অপরের কাজের সমালোচনামূলক ভুলগুলির জন্যও পর্যালোচনা করেন যা পেটেন্টকে আদালতে অপ্রয়োগযোগ্য করে তুলতে পারে। আমরা 90 দিনে আরেকটি কাজ যোগ করেছি যাতে বিষয়গুলিকে অনেক ত্রুটি সম্বলিত একটি বিদ্যমান অনুমানিক পেটেন্ট রেডলাইন করতে হবে। এই কাজটি সেই ধরণের পেশাদার বিচারকে প্রতিফলিত করে যা আরও সিনিয়র কর্মীদের কাছ থেকে প্রত্যাশিত, পরীক্ষা করে যে AI সহায়তা গভীর দক্ষতা বাড়ায় নাকি ক্ষয় করে।

Urteilsvermögen ist das, was erfahrene Fachleute von ihren jüngeren Kollegen unterscheidet. Die Entwicklung von Urteilsvermögen erfordert Tausende von Stunden Lernen am Arbeitsplatz, in der Regel durch mühsame, aber prägende Beschäftigung mit Routinearbeit unter angeleiteter Aufsicht. Aber KI verändert bereits, wie das Lernen am Arbeitsplatz funktioniert. Einerseits zeigen empirische Studien, dass weniger erfahrene Arbeitnehmer ihre unabhängige Leistung verbessern können, wenn KI-Tools durchdacht in Schulungsabläufe eingebettet werden. Andererseits zeigen neuere Experimente, dass KI zwar als vorübergehendes Exoskelett dient, das die unmittelbare Leistung steigert, diese Gewinne jedoch oft nicht bestehen bleiben, sobald das Tool entfernt wird.

In „Verbessert oder untergräbt KI-Unterstützung Fachwissen? Erkenntnisse aus einem dreimonatigen Feldexperiment zur Patentformulierung“, veröffentlicht vom National Bureau of Economic Research, beschreiben wir ein Feldexperiment, das Veränderungen der kurzfristigen Produktivität und des langfristigen Kompetenzaufbaus durch den Einsatz von KI im Recht des geistigen Eigentums erfasst. Wir randomisierten den Zugang zu einem damals unveröffentlichten KI-Patentschreibassistenten von Google Labs unter 133 Anwälten in elf Kanzleien für geistiges Eigentum. Zwei Drittel der Anwälte jeder Kanzlei („Behandlungsgruppe“) erhielten frühzeitigen Zugang zu dem Tool, während der Rest („Kontrollgruppe“) das Tool erst nach der Studie nutzen durfte.

Nach 10 Tagen KI-Unterstützung schickten wir allen Anwälten ein Paket mit Erfindermaterialien für eine hypothetische Erfindung und baten sie, ein Patent zu entwerfen. Dasselbe taten wir nach 90 Tagen. Der Zugang zum KI-Tool erhöhte die Entwurfsergebnisse nach 10 Tagen um 0,34 Standardabweichungen, was einem Anstieg von 10 Perzentilpunkten im Ranking der Kontrollgruppe entspricht; nach 90 Tagen stieg diese Verbesserung auf 0,38 SD, was einem Anstieg von 11 Perzentilpunkten entspricht. Bessere Leistungen resultierten aus einer geringeren Häufigkeit schlechter Ergebnisse und einer höheren Häufigkeit guter Ergebnisse, ohne Veränderung der Häufigkeit hervorragender Ergebnisse. Dieses Muster war besonders deutlich bei jüngeren Anwälten, deren Verbesserungen mit erheblichen Zeitersparnissen einhergingen.

Aber Patentanwälte überprüfen auch die Arbeit der anderen auf kritische Fehler, die Patente vor Gericht undurchsetzbar machen können. Wir fügten nach 90 Tagen eine weitere Aufgabe hinzu, bei der die Probanden ein bestehendes hypothetisches Patent mit vielen Fehlern rot markieren mussten. Diese Aufgabe spiegelt die Art von professionellem Urteilsvermögen wider, das von erfahreneren Arbeitnehmern erwartet wird, und testet, ob KI-Unterstützung tieferes Fachwissen verbessert oder untergräbt.

El juicio es lo que distingue a los profesionales senior de sus pares junior. Desarrollar el juicio requiere miles de horas de aprendizaje en el trabajo, generalmente a través de una participación tediosa pero formativa en tareas rutinarias bajo supervisión guiada. Pero la IA ya está cambiando cómo funciona el aprendizaje en el trabajo. Por un lado, estudios empíricos muestran que cuando las herramientas de IA se integran cuidadosamente en los flujos de trabajo de capacitación, los trabajadores con menos experiencia pueden mejorar su rendimiento independiente. Por otro lado, experimentos recientes demuestran que, si bien la IA sirve como un exoesqueleto temporal que impulsa la producción inmediata, esas ganancias a menudo no persisten una vez que se elimina la herramienta.

En "¿La asistencia de IA mejora o erosiona la experiencia? Evidencia de un experimento de campo de tres meses en redacción de patentes", publicado por la Oficina Nacional de Investigación Económica, describimos un experimento de campo que captura cambios en la productividad a corto plazo y la construcción de habilidades a largo plazo derivados del uso de la IA en el derecho de propiedad intelectual. Asignamos aleatoriamente el acceso a una herramienta asistente de redacción de patentes de IA de Google Labs, entonces no publicada, entre 133 abogados en once bufetes de propiedad intelectual. Dos tercios de los abogados de cada bufete (grupo "tratamiento") recibieron acceso temprano a la herramienta, mientras que el resto (grupo "control") no pudo usarla hasta después del estudio.

Después de 10 días de asistencia de IA, enviamos a todos los abogados un paquete de materiales del inventor para una invención hipotética y les pedimos que redactaran una patente. Hicimos lo mismo después de 90 días. El acceso a la herramienta de IA elevó las puntuaciones de redacción en 0.34 desviaciones estándar a los 10 días, equivalente a un aumento de 10 puntos en el percentil entre las puntuaciones del grupo de control; a los 90 días, esta mejora aumentó a 0.38 DE, lo que implica un aumento de 11 puntos percentiles. Un mejor rendimiento provino de una menor frecuencia de puntuaciones bajas y una mayor frecuencia de puntuaciones buenas, sin cambios en la frecuencia de puntuaciones excelentes. Este patrón fue particularmente claro para los abogados junior, cuyas mejoras coincidieron con importantes ahorros de tiempo.

Pero los abogados de patentes también revisan el trabajo de los demás en busca de errores críticos que pueden hacer que las patentes sean inejecutables en los tribunales. Agregamos otra tarea a los 90 días que requería que los sujetos marcaran en rojo una patente hipotética existente que contenía muchos errores. Esta tarea refleja el tipo de juicio profesional que se espera que ejerzan los trabajadores más senior, probando si la asistencia de IA mejora o erosiona la experiencia más profunda.

Le jugement est ce qui distingue les professionnels seniors de leurs pairs juniors. Développer le jugement nécessite des milliers d'heures d'apprentissage sur le terrain, généralement par un engagement fastidieux mais formateur dans un travail de routine sous supervision guidée. Mais l'IA change déjà la façon dont l'apprentissage sur le terrain fonctionne. D'une part, des études empiriques montrent que lorsque les outils d'IA sont intégrés de manière réfléchie dans les flux de travail de formation, les travailleurs moins expérimentés peuvent améliorer leurs performances indépendantes. D'autre part, des expériences récentes démontrent que si l'IA sert d'exosquelette temporaire stimulant la production immédiate, ces gains ne persistent souvent pas une fois l'outil retiré.

Dans « L'assistance de l'IA améliore-t-elle ou érode-t-elle l'expertise ? Preuves d'une expérience de terrain de trois mois en rédaction de brevets », publié par le National Bureau of Economic Research, nous décrivons une expérience de terrain capturant les changements de productivité à court terme et de développement des compétences à long terme résultant de l'utilisation de l'IA dans le droit de la propriété intellectuelle. Nous avons randomisé l'accès à un outil assistant de rédaction de brevets par IA de Google Labs, alors non publié, parmi 133 avocats dans onze cabinets de propriété intellectuelle. Les deux tiers des avocats de chaque cabinet (groupe « traitement ») ont reçu un accès anticipé à l'outil, tandis que le reste (groupe « contrôle ») n'a pas pu l'utiliser avant la fin de l'étude.

Après 10 jours d'assistance par IA, nous avons envoyé à tous les avocats un dossier de documents d'inventeur pour une invention hypothétique et leur avons demandé de rédiger un brevet. Nous avons fait de même après 90 jours. L'accès à l'outil d'IA a augmenté les scores de rédaction de 0,34 écart-type après 10 jours, équivalent à une augmentation de 10 points dans le classement centile parmi les scores du groupe de contrôle ; après 90 jours, cette amélioration est passée à 0,38 ET, impliquant une augmentation de 11 points de centile. De meilleures performances provenaient d'une fréquence plus faible de mauvais scores et d'une fréquence plus élevée de bons scores, sans changement dans la fréquence des scores excellents. Ce modèle était particulièrement clair pour les avocats juniors, dont les améliorations étaient assorties d'économies de temps significatives.

Mais les avocats en brevets examinent également le travail des autres pour détecter les erreurs critiques qui peuvent rendre les brevets inexécutables devant les tribunaux. Nous avons ajouté une autre tâche à 90 jours obligeant les sujets à annoter en rouge un brevet hypothétique existant contenant de nombreuses erreurs. Cette tâche reflète le type de jugement professionnel que les travailleurs plus seniors sont censés exercer, testant si l'assistance de l'IA améliore ou érode l'expertise plus profonde.

निर्णय क्षमता ही वरिष्ठ पेशेवरों को उनके कनिष्ठ सहयोगियों से अलग करती है। निर्णय क्षमता बनाने के लिए नौकरी पर सीखने के हजारों घंटे लगते हैं, आमतौर पर मार्गदर्शित पर्यवेक्षण के तहत नियमित काम में थकाऊ लेकिन रचनात्मक जुड़ाव के माध्यम से। लेकिन AI पहले से ही बदल रहा है कि नौकरी पर सीखना कैसे काम करता है। एक ओर, अनुभवजन्य अध्ययन दिखाते हैं कि जब AI उपकरणों को प्रशिक्षण कार्यप्रवाहों में सोच-समझकर शामिल किया जाता है, तो कम अनुभवी कर्मचारी अपने स्वतंत्र प्रदर्शन में सुधार कर सकते हैं। दूसरी ओर, हाल के प्रयोग दर्शाते हैं कि जबकि AI तत्काल आउटपुट को बढ़ावा देने वाले अस्थायी एक्सोस्केलेटन के रूप में कार्य करता है, वे लाभ अक्सर उपकरण हटा दिए जाने के बाद बने नहीं रहते।

"क्या AI सहायता विशेषज्ञता को बढ़ाती है या कम करती है? पेटेंट ड्राफ्टिंग में तीन महीने के क्षेत्र प्रयोग से साक्ष्य" में, जो राष्ट्रीय आर्थिक अनुसंधान ब्यूरो द्वारा प्रकाशित किया गया है, हम एक क्षेत्र प्रयोग का वर्णन करते हैं जो बौद्धिक संपदा कानून में AI उपयोग से अल्पकालिक उत्पादकता और दीर्घकालिक कौशल निर्माण में परिवर्तनों को पकड़ता है। हमने ग्यारह बौद्धिक संपदा कानून फर्मों में 133 वकीलों के बीच एक तत्कालीन अप्रकाशित Google Labs AI पेटेंट लेखन सहायक उपकरण तक पहुंच को यादृच्छिक किया। प्रत्येक फर्म के दो-तिहाई वकीलों ("उपचार" समूह) को उपकरण तक शुरुआती पहुंच दी गई, जबकि शेष ("नियंत्रण" समूह) को अध्ययन के बाद तक उपकरण का उपयोग करने से रोक दिया गया।

AI सहायता के 10 दिनों के बाद, हमने सभी वकीलों को एक काल्पनिक आविष्कार के लिए आविष्कारक सामग्री का एक पैकेट भेजा और उन्हें एक पेटेंट का मसौदा तैयार करने के लिए कहा। हमने 90 दिनों के बाद भी ऐसा ही किया। AI उपकरण पहुंच ने 10 दिनों में ड्राफ्टिंग स्कोर को 0.34 मानक विचलन बढ़ा दिया, जो नियंत्रण समूह के स्कोर के बीच प्रतिशतक रैंकिंग में 10-अंक की वृद्धि के बराबर है; 90 दिनों तक, यह सुधार बढ़कर 0.38 SD हो गया, जो 11-प्रतिशतक बिंदु वृद्धि का संकेत देता है। बेहतर प्रदर्शन खराब स्कोर की कम आवृत्ति और अच्छे स्कोर की उच्च आवृत्ति से आया, और उत्कृष्ट स्कोर की आवृत्ति में कोई बदलाव नहीं हुआ। यह पैटर्न विशेष रूप से कनिष्ठ वकीलों के लिए स्पष्ट था, जिनके सुधार महत्वपूर्ण समय बचत से मेल खाते थे।

लेकिन पेटेंट वकील महत्वपूर्ण गलतियों के लिए एक-दूसरे के काम की समीक्षा भी करते हैं जो पेटेंट को अदालत में अप्रवर्तनीय बना सकती हैं। हमने 90 दिनों में एक और कार्य जोड़ा जिसमें विषयों को कई त्रुटियों वाले एक मौजूदा काल्पनिक पेटेंट को रेडलाइन करने की आवश्यकता थी। यह कार्य उस प्रकार के पेशेवर निर्णय को दर्शाता है जो अधिक वरिष्ठ कर्मचारियों से अपेक्षित है, यह परीक्षण करता है कि AI सहायता गहरी विशेषज्ञता को बढ़ाती है या कम करती है।

Penilaian adalah yang membedakan profesional senior dari rekan junior mereka. Membangun penilaian membutuhkan ribuan jam belajar di tempat kerja, biasanya melalui keterlibatan yang membosankan namun formatif dengan pekerjaan rutin di bawah pengawasan terbimbing. Tetapi AI sudah mengubah cara belajar di tempat kerja bekerja. Di satu sisi, studi empiris menunjukkan bahwa ketika alat AI ditanamkan secara bijaksana ke dalam alur kerja pelatihan, pekerja yang kurang berpengalaman dapat meningkatkan kinerja independen mereka. Di sisi lain, eksperimen terbaru menunjukkan bahwa sementara AI berfungsi sebagai eksoskeleton sementara yang meningkatkan output langsung, keuntungan tersebut sering kali tidak bertahan setelah alat tersebut dihapus.

Dalam "Apakah Bantuan AI Meningkatkan atau Mengikis Keahlian? Bukti dari Eksperimen Lapangan Tiga Bulan dalam Penulisan Paten", yang diterbitkan oleh Biro Riset Ekonomi Nasional, kami menjelaskan eksperimen lapangan yang menangkap perubahan dalam produktivitas jangka pendek dan pembangunan keterampilan jangka panjang dari penggunaan AI dalam hukum kekayaan intelektual. Kami mengacak akses ke alat asisten penulisan paten AI Google Labs yang saat itu belum dirilis di antara 133 pengacara di sebelas firma hukum kekayaan intelektual. Dua pertiga pengacara di setiap firma (kelompok "perlakuan") diberikan akses awal ke alat tersebut, sementara sisanya (kelompok "kontrol") dicegah menggunakan alat tersebut hingga setelah studi.

Setelah 10 hari bantuan AI, kami mengirim semua pengacara paket bahan penemu untuk penemuan hipotetis dan meminta mereka untuk menulis paten. Kami melakukan hal yang sama setelah 90 hari. Akses alat AI meningkatkan skor penulisan sebesar 0,34 standar deviasi pada 10 hari, setara dengan kenaikan 10 poin dalam peringkat persentil di antara skor kelompok kontrol; pada 90 hari, peningkatan ini naik menjadi 0,38 SD, menyiratkan peningkatan 11 poin persentil. Kinerja yang lebih baik berasal dari frekuensi skor buruk yang lebih rendah dan frekuensi skor baik yang lebih tinggi, tanpa perubahan dalam frekuensi skor sangat baik. Pola ini sangat jelas bagi pengacara junior, yang peningkatannya diimbangi dengan penghematan waktu yang signifikan.

Tetapi pengacara paten juga meninjau pekerjaan satu sama lain untuk kesalahan kritis yang dapat membuat paten tidak dapat ditegakkan di pengadilan. Kami menambahkan tugas lain pada 90 hari yang mengharuskan subjek untuk menandai merah paten hipotetis yang ada yang mengandung banyak kesalahan. Tugas ini mencerminkan jenis penilaian profesional yang diharapkan dari pekerja yang lebih senior, menguji apakah bantuan AI meningkatkan atau mengikis keahlian yang lebih dalam.

判断力こそが、シニアプロフェッショナルをジュニアの同僚から際立たせるものです。判断力を構築するには、通常は指導監督の下でのルーチンワークへの退屈だが形成的な関与を通じて、何千時間ものオン・ザ・ジョブ・ラーニングが必要です。しかし、AIはすでにオン・ザ・ジョブ・ラーニングの仕組みを変えつつあります。一方で、実証研究は、AIツールがトレーニングワークフローに思慮深く組み込まれると、経験の浅い労働者が独立したパフォーマンスを向上させることができることを示しています。他方で、最近の実験は、AIが一時的なエクソスケルトンとして即時のアウトプットを高める一方で、その利益はツールが取り除かれると持続しないことが多いことを示しています。

全米経済研究所が発表した「AI支援は専門知識を強化するか、それとも侵食するか？特許起草における3ヶ月のフィールド実験からの証拠」において、我々は知的財産法におけるAI使用による短期的生産性と長期的スキル構築の変化を捉えたフィールド実験を説明します。我々は、11の知的財産法律事務所の133人の弁護士に対して、当時未発表だったGoogle LabsのAI特許作成支援ツールへのアクセスをランダム化しました。各事務所の3分の2の弁護士（「治療」グループ）はツールへの早期アクセスを与えられ、残り（「対照」グループ）は研究終了までツールの使用を差し控えられました。

AI支援の10日後、我々はすべての弁護士に仮想的な発明の発明者資料のパケットを送り、特許の起草を依頼しました。90日後にも同じことを行いました。AIツールへのアクセスは、10日後には起草スコアを0.34標準偏差引き上げ、対照グループのスコア間のパーセンタイルランキングで10ポイントの上昇に相当しました。90日後には、この改善は0.38SDに増加し、11パーセンタイルポイントの増加を示唆しました。より良いパフォーマンスは、低いスコアの頻度の低下と良いスコアの頻度の増加からもたらされ、優秀なスコアの頻度には変化がありませんでした。このパターンは特にジュニア弁護士に顕著で、その改善には大幅な時間節約が伴っていました。

しかし、特許弁護士は、特許を裁判所で執行不能にする可能性のある重大な誤りについて互いの作業をレビューもします。我々は90日後に、多くの誤りを含む既存の仮想特許をレッドラインすることを被験者に要求する別のタスクを追加しました。このタスクは、よりシニアな労働者が行使することが期待される種類の専門的判断を反映し、AI支援がより深い専門知識を強化するか侵食するかをテストします。

O julgamento é o que diferencia profissionais seniores de seus pares juniores. Construir julgamento requer milhares de horas de aprendizado no trabalho, geralmente por meio de envolvimento tedioso, mas formativo, com trabalho rotineiro sob supervisão guiada. Mas a IA já está mudando a forma como o aprendizado no trabalho funciona. Por um lado, estudos empíricos mostram que, quando as ferramentas de IA são integradas de forma criteriosa nos fluxos de trabalho de treinamento, trabalhadores menos experientes podem melhorar seu desempenho independente. Por outro lado, experimentos recentes demonstram que, embora a IA sirva como um exoesqueleto temporário que impulsiona a produção imediata, esses ganhos muitas vezes não persistem quando a ferramenta é removida.

Em “A assistência de IA melhora ou prejudica a expertise? Evidências de um experimento de campo de três meses em redação de patentes”, publicado pelo National Bureau of Economic Research, descrevemos um experimento de campo que captura mudanças na produtividade de curto prazo e na construção de habilidades de longo prazo decorrentes do uso de IA no direito de propriedade intelectual. Randomizamos o acesso a uma ferramenta assistente de redação de patentes de IA do Google Labs, então não lançada, entre 133 advogados em onze escritórios de propriedade intelectual. Dois terços dos advogados de cada escritório (grupo “tratamento”) receberam acesso antecipado à ferramenta, enquanto o restante (grupo “controle”) foi impedido de usá-la até após o estudo.

Após 10 dias de assistência de IA, enviamos a todos os advogados um pacote de materiais do inventor para uma invenção hipotética e pedimos que redigissem uma patente. Fizemos o mesmo após 90 dias. O acesso à ferramenta de IA aumentou as pontuações de redação em 0,34 desvios padrão após 10 dias, equivalente a um aumento de 10 pontos na classificação percentil entre as pontuações do grupo de controle; após 90 dias, essa melhoria aumentou para 0,38 DP, implicando um aumento de 11 pontos percentuais. Um melhor desempenho veio de uma menor frequência de pontuações baixas e maior frequência de pontuações boas, sem alteração na frequência de pontuações excelentes. Esse padrão foi particularmente claro para advogados juniores, cujas melhorias foram acompanhadas por economias de tempo significativas.

Mas os advogados de patentes também revisam o trabalho uns dos outros em busca de erros críticos que podem tornar as patentes inexequíveis em tribunal. Adicionamos outra tarefa aos 90 dias exigindo que os sujeitos marcassem em vermelho uma patente hipotética existente contendo muitos erros. Esta tarefa reflete o tipo de julgamento profissional que se espera que trabalhadores mais seniores exerçam, testando se a assistência de IA melhora ou prejudica a expertise mais profunda.

Суждение — это то, что отличает старших профессионалов от их младших коллег. Формирование суждения требует тысяч часов обучения на рабочем месте, обычно через утомительное, но формирующее участие в рутинной работе под руководством опытных наставников. Но ИИ уже меняет то, как работает обучение на рабочем месте. С одной стороны, эмпирические исследования показывают, что когда инструменты ИИ продуманно встраиваются в учебные процессы, менее опытные работники могут улучшить свою самостоятельную работу. С другой стороны, недавние эксперименты демонстрируют, что, хотя ИИ служит временным экзоскелетом, повышающим немедленную производительность, эти gains часто не сохраняются после удаления инструмента.

В статье «Улучшает или подрывает помощь ИИ экспертизу? Данные трехмесячного полевого эксперимента по составлению патентов», опубликованной Национальным бюро экономических исследований, мы описываем полевой эксперимент, фиксирующий изменения в краткосрочной производительности и долгосрочном развитии навыков в результате использования ИИ в праве интеллектуальной собственности. Мы случайным образом распределили доступ к тогда еще не выпущенному инструменту-помощнику по написанию патентов на основе ИИ от Google Labs среди 133 юристов в одиннадцати фирмах по интеллектуальной собственности. Две трети юристов в каждой фирме (группа «лечения») получили ранний доступ к инструменту, в то время как остальные (группа «контроля») были лишены возможности использовать его до окончания исследования.

Через 10 дней помощи ИИ мы отправили всем юристам пакет материалов изобретателя для гипотетического изобретения и попросили их составить патент. Мы сделали то же самое через 90 дней. Доступ к инструменту ИИ повысил баллы за составление на 0,34 стандартного отклонения через 10 дней, что эквивалентно повышению на 10 пунктов в процентильном рейтинге среди баллов контрольной группы; через 90 дней это улучшение увеличилось до 0,38 СО, что подразумевает повышение на 11 процентильных пунктов. Лучшая производительность была достигнута за счет меньшей частоты низких баллов и большей частоты хороших баллов, без изменения частоты отличных баллов. Эта закономерность была особенно заметна для младших юристов, чьи улучшения сопровождались значительной экономией времени.

Но патентные юристы также проверяют работу друг друга на предмет критических ошибок, которые могут сделать патенты неисполнимыми в суде. Мы добавили еще одно задание через 90 дней, требующее от испытуемых вычитать (вручную отметить и исправить) существующий гипотетический патент, содержащий множество ошибок. Это задание отражает тот тип профессионального суждения, которое ожидается от более старших работников, проверяя, улучшает или подрывает помощь ИИ более глубокую экспертизу.

判断力是资深专业人士区别于初级同行的关键。培养判断力需要数千小时的在职学习，通常是通过在指导下完成繁琐但具有形成性的常规工作。但AI已经在改变在职学习的方式。一方面，实证研究表明，当AI工具被深思熟虑地嵌入培训流程时，经验较少的员工可以提升其独立表现。另一方面，最近的实验表明，虽然AI充当了提升即时产出的临时外骨骼，但这些收益在工具移除后往往无法持续。

在由美国国家经济研究局发表的《AI辅助是增强还是削弱专业知识？来自专利撰写三个月实地实验的证据》中，我们描述了一项实地实验，捕捉了在知识产权法领域使用AI所带来的短期生产率和长期技能建设的变化。我们随机分配了当时尚未发布的Google Labs AI专利撰写助手工具的使用权限，涉及133名律师，来自十一家知识产权律师事务所。每家律所三分之二的律师（“实验组”）获得了该工具的早期访问权，而其余律师（“对照组”）在研究结束前被禁止使用该工具。

在AI辅助10天后，我们向所有律师发送了一份假设发明的发明人材料包，要求他们撰写一份专利。我们在90天后重复了这一过程，使用了不同的模拟发明人材料。AI工具访问在10天后将撰写分数提高了0.34个标准差，相当于在对照组分数中百分位排名上升了10个百分点；到90天时，这一改善增加到0.38个标准差，意味着百分位排名上升了11个百分点。更好的表现来自于低分频率的降低和良好分数频率的提高，而优秀分数频率没有变化。这一模式在初级律师中尤为明显，他们的改善还伴随着显著的时间节省。

但专利律师还会互相审查工作中的关键错误，这些错误可能导致专利在法庭上无法执行。我们在90天时增加了另一项任务，要求受试者对一份包含许多错误的现有假设专利进行红笔标注。这项任务模拟了更资深员工应具备的专业判断力，测试AI辅助是增强还是削弱了更深层次的专业知识。