HeadlinesBriefing favicon HeadlinesBriefing.com

एजेंट निर्माण जोखिम: किसके साथ संरेखित?

Hacker News •
×

सुरक्षा जोखिम पर, उन लोगों के लिए जो एजेंट बना रहे हैं: क्योंकि आप चिंताओं X, Y, और Z में विशेषज्ञ हैं, आपका एजेंट इन चीजों में अभूतपूर्व होने की संभावना है और आप उन डोमेन में जोखिम में नहीं हैं। लेकिन! अनगिनत अन्य चिंताएं हैं जिन्हें आपने या तो खराब या अपूर्ण रूप से निर्दिष्ट किया है, जिनकी शुद्धता का आकलन करने की आपके पास कोई क्षमता नहीं है, और जिनके जोखिम का आप संभवतः मूल्यांकन नहीं कर सकते। आप उस जोखिम को कम करने के लिए अच्छा काम करने के लिए मॉडल के पूर्वाग्रहों पर बहुत अधिक भरोसा कर रहे हैं। यह आपके और मॉडल के उपयोग दोनों के लिए अज्ञात-अज्ञात क्षेत्र में अत्यधिक है।

मेरे लिए, मॉडलों के पूर्वाग्रहों में बहुत बहुत उच्च विश्वास रखना मुश्किल है क्योंकि मैं एक विशेषज्ञ सॉफ्टवेयर इंजीनियर हूं और मैं मॉडल के सॉफ्टवेयर उत्पादन करते समय डिफ़ॉल्ट व्यवहारों से खुश नहीं हूं (और कभी नहीं रहा)। सॉफ्टवेयर लिखने में मेरी विशेषज्ञता मुझे असामान्य रूप से अच्छी दृश्यता देती है और यह मुझे डबल-एंट्री अकाउंटिंग, वित्त, कानून, संचालन, या जो कुछ भी मैं व्यक्तिगत रूप से विशेषज्ञ गहराई पर मूल्यांकन नहीं कर सकता, में इसके पूर्वाग्रहों पर आंख मूंदकर भरोसा करने के लिए बहुत कम इच्छुक बनाती है।

सॉफ्टवेयर इंजीनियर (और हाल ही में, गणितज्ञ!) इस बिंदु पर "स्लॉप" से बहुत परिचित हैं — मॉडल आउटपुट जो, जबकि यह काम करता है, किसी तरह से खराब है। सॉफ्टवेयर इंजीनियरों ने मॉडलों से हर Record या अत्यधिक रक्षात्मक अपवाद हैंडलिंग का टुकड़ा देखा है क्योंकि एक गैर-विशेषज्ञ ने प्रशिक्षण के दौरान इन व्यवहारों के लिए मॉडल को पुरस्कृत किया था। मॉडल के पूर्वाग्रह खराब हैं।

मुख्य संस्थाएं: लोग: Karan Lyons, David Adrian, Bryan Berg