How Many Guesses Does It Take to Crack an AI's "Random" Number?

Ask a chatbot for a random number between 1 and 100 and the answer is rarely uniform. Language models repeatedly favor a few values, and that habit has real implications when a model's pick is meant to protect something.

This analysis takes a security-minded view of the question: if a model chooses the number that guards a secret, how many guesses does an attacker need? Instead of counting answers across many sampled runs, the author reads the probability assigned to every value from 1 to 100 directly from the model's logits. From those 100 probabilities, the analysis computes bits of randomness and the expected number of guesses required to crack the pick. Base models and their instruction-tuned versions are compared side by side to see whether the habit comes from pretraining or from post-training.

The headline finding is stark. With a plain-text prompt, a 1.5-billion-parameter instruction-tuned model tested picks 47 about three times in four. With a reworded prompt, it still selects 47 more than a third of the time.

Earlier studies documented the same pattern. One sampling study across six models and seven languages reported favorites including 37, 47 and 73, and linked the bias to human tendencies. An informal 2022 comparison of OpenAI models found a more uniform base model and a tuned model with a sharp favorite. Research on fine-tuning stages has also found that reinforcement learning from human feedback significantly reduces output diversity.

Because open checkpoints now allow anyone to repeat the readout, the author can trace the pick through each post-training stage. For anyone relying on a model-generated 'random' value, the takeaway is clear: a predictable favorite can be cracked quickly.

اطلب من روبوت محادثة رقمًا عشوائيًا بين 1 و100، وقلّما تكون الإجابة موزعة بالتساوي. فنماذج اللغة تميل مرارًا إلى تفضيل عدد قليل من القيم، وهذه العادة لها تبعات حقيقية عندما يكون اختيار النموذج مخصصًا لحماية شيء ما.

يتناول هذا التحليل المسألة من منظور أمني: إذا اختار النموذج الرقم الذي يحمي سرًا ما، فكم عدد التخمينات التي يحتاجها المهاجم؟ وبدلًا من عدّ الإجابات عبر عدة تشغيلات عينية، يقرأ الكاتب احتمال كل قيمة من 1 إلى 100 مباشرة من قيم اللوجيت (logits) في النموذج. ومن هذه الاحتمالات المئة يحسب التحليل بتات العشوائية وعدد التخمينات المتوقع لكسر الاختيار. وتُقارن النماذج الأساسية ونسخها المضبوطة على التعليمات جنبًا إلى جنب لمعرفة ما إذا كانت هذه العادة نابعة من التدريب المسبق أم من التدريب اللاحق.

النتيجة الرئيسية صارخة. فمع موجّه نصي بسيط، اختار نموذج مضبوط على التعليمات بحجم 1.5 مليار معامل الرقم 47 نحو ثلاث مرات من أصل كل أربع. ومع صياغة مختلفة للموجّه، ظل يختار 47 في أكثر من ثلث المرات.

وقد وثّقت دراسات سابقة النمط نفسه. فقد ذكرت دراسة عينية شملت ستة نماذج وسبع لغات قيمًا مفضلة مثل 37 و47 و73، وربطت هذا الانحياز بميول بشرية. أما مقارنة غير رسمية أُجريت عام 2022 لنماذج OpenAI فوجدت نموذجًا أساسيًا أكثر تجانسًا ونموذجًا مضبوطًا له قيمة مفضلة حادة. كما وجدت أبحاث حول مراحل الضبط الدقيق أن التعلم المعزز من التغذية الراجعة البشرية يقلل تنوع المخرجات بشكل ملحوظ.

ولأن نقاط التحقق المفتوحة تتيح الآن لأي شخص تكرار هذه القراءة، يستطيع الكاتب تتبع الاختيار عبر كل مرحلة من مراحل التدريب اللاحق. وبالنسبة لمن يعتمد على قيمة «عشوائية» يولّدها نموذج، فالخلاصة واضحة: يمكن كسر قيمة مفضلة يمكن التنبؤ بها بسرعة.

কোনো চ্যাটবটকে ১ থেকে ১০০-এর মধ্যে একটি র্যান্ডম সংখ্যা চাইলে উত্তর খুব কমই সমানভাবে বণ্টিত হয়। ভাষা মডেলগুলি বারবার কয়েকটি মানকেই পছন্দ করে, এবং যখন কোনো মডেলের বাছাই কিছু সুরক্ষার জন্য হয়, তখন এই অভ্যাসের বাস্তব প্রভাব থাকে।

এই বিশ্লেষণ প্রশ্নটিকে নিরাপত্তার দৃষ্টিকোণ থেকে দেখে: যদি কোনো মডেল কোনো গোপন তথ্য রক্ষাকারী সংখ্যাটি বেছে নেয়, তবে একজন আক্রমণকারীর কতবার অনুমান করতে হবে? বহু নমুনা-চালনায় উত্তর গণনা না করে লেখক সরাসরি মডেলের লজিট থেকে ১ থেকে ১০০-এর প্রতিটি মানের জন্য নির্ধারিত সম্ভাব্যতা পড়েন। এই ১০০টি সম্ভাব্যতা থেকে বিশ্লেষণটি র্যান্ডমনেসের বিট এবং বাছাইটি ভাঙতে প্রত্যাশিত অনুমানের সংখ্যা হিসাব করে। অভ্যাসটি প্রি-ট্রেনিং থেকে এসেছে, নাকি পোস্ট-ট্রেনিং থেকে, তা জানতে বেস মডেল এবং নির্দেশনা-টিউন করা সংস্করণগুলি পাশাপাশি তুলনা করা হয়।

মূল ফলাফলটি স্পষ্ট। সাধারণ টেক্সট প্রম্পটে, ১.৫ বিলিয়ন প্যারামিটারের একটি নির্দেশনা-টিউন করা মডেল প্রায় চার বারে তিন বার 47 বেছে নিয়েছে। প্রম্পটের শব্দ বদলালেও এটি এক-তৃতীয়াংশের বেশি সময় 47 বেছে নেয়।

আগের গবেষণাতেও একই ধরন লক্ষ্য করা গেছে। ছয়টি মডেল ও সাতটি ভাষা জুড়ে একটি নমুনা-গবেষণায় 37, 47 ও 73-এর মতো প্রিয় মান পাওয়া গেছে এবং এই পক্ষপাতকে মানুষের প্রবণতার সঙ্গে যুক্ত করা হয়েছে। OpenAI মডেলগুলির ২০২২ সালের একটি অনানুষ্ঠানিক তুলনায় একটি অধিকতর সমরূপ বেস মডেল এবং একটি টিউন করা মডেল পাওয়া গেছে যার একটি তীব্র প্রিয় মান ছিল। ফাইন-টিউনিং পর্যায় নিয়ে গবেষণায় দেখা গেছে, মানুষের প্রতিক্রিয়া থেকে রিইনফোর্সমেন্ট লার্নিং আউটপুটের বৈচিত্র্য উল্লেখযোগ্যভাবে কমিয়ে দেয়।

খোলা চেকপয়েন্ট থাকায় এখন যে কেউ এই পাঠ পুনরাবৃত্তি করতে পারেন, তাই লেখক প্রতিটি পোস্ট-ট্রেনিং পর্যায়ে বাছাইটি অনুসরণ করতে পারেন। যারা মডেল-তৈরি "র্যান্ডম" মানের উপর নির্ভর করেন, তাদের জন্য শিক্ষা স্পষ্ট: একটি অনুমানযোগ্য প্রিয় মান দ্রুত ভাঙা যায়।

Bitten Sie einen Chatbot um eine Zufallszahl zwischen 1 und 100, und die Antwort ist selten gleichmäßig verteilt. Sprachmodelle bevorzugen immer wieder einige wenige Werte, und diese Gewohnheit hat reale Folgen, wenn die Wahl eines Modells etwas schützen soll.

Diese Analyse betrachtet die Frage aus Sicht der Sicherheit: Wenn ein Modell die Zahl wählt, die ein Geheimnis schützt, wie viele Versuche braucht ein Angreifer? Anstatt Antworten über viele Stichprobenläufe zu zählen, liest der Autor die jedem Wert von 1 bis 100 zugewiesene Wahrscheinlichkeit direkt aus den Logits des Modells ab. Aus diesen 100 Wahrscheinlichkeiten berechnet die Analyse die Zufallsbits und die erwartete Anzahl der Versuche, die nötig sind, um die Auswahl zu knacken. Basismodelle und ihre auf Anweisungen abgestimmten Versionen werden nebeneinander verglichen, um festzustellen, ob die Gewohnheit aus dem Vortraining oder dem Nachtraining stammt.

Das zentrale Ergebnis ist eindeutig. Bei einem einfachen Textprompt wählte ein auf Anweisungen abgestimmtes Modell mit 1,5 Milliarden Parametern in etwa drei von vier Fällen die 47. Auch bei einem umformulierten Prompt wählte es die 47 in mehr als einem Drittel der Fälle.

Frühere Studien dokumentierten dasselbe Muster. Eine Stichprobenstudie über sechs Modelle und sieben Sprachen nannte Favoriten wie 37, 47 und 73 und führte die Verzerrung auf menschliche Neigungen zurück. Ein informeller Vergleich von OpenAI-Modellen aus dem Jahr 2022 fand ein gleichmäßigeres Basismodell und ein abgestimmtes Modell mit einem deutlichen Favoriten. Forschung zu den Feinabstimmungsphasen hat außerdem ergeben, dass verstärkendes Lernen aus menschlichem Feedback die Vielfalt der Ausgaben deutlich verringert.

Da offene Checkpoints heute jedem erlauben, diese Auslesung zu wiederholen, kann der Autor die Wahl durch jede Phase des Nachtrainings verfolgen. Für alle, die sich auf einen vom Modell erzeugten „Zufallswert“ verlassen, ist die Schlussfolgerung klar: Ein vorhersehbarer Favorit lässt sich schnell knacken.

Pide a un chatbot un número aleatorio entre 1 y 100 y la respuesta rara vez será uniforme. Los modelos de lenguaje favorecen repetidamente unos pocos valores, y ese hábito tiene implicaciones reales cuando la elección de un modelo sirve para proteger algo.

Este análisis aborda la cuestión desde una perspectiva de seguridad: si un modelo elige el número que protege un secreto, ¿cuántos intentos necesita un atacante? En lugar de contar respuestas en muchas ejecuciones muestreadas, el autor lee directamente de los logits del modelo la probabilidad asignada a cada valor del 1 al 100. A partir de esas 100 probabilidades, el análisis calcula los bits de aleatoriedad y el número esperado de intentos necesarios para descifrar la elección. Se comparan modelos base y sus versiones ajustadas por instrucciones para determinar si el hábito proviene del preentrenamiento o del posentrenamiento.

El hallazgo principal es contundente. Con un prompt de texto simple, un modelo de 1.500 millones de parámetros ajustado por instrucciones eligió 47 alrededor de tres veces de cada cuatro. Con un prompt reformulado, seguía seleccionando el 47 más de un tercio de las veces.

Estudios anteriores documentaron el mismo patrón. Un estudio de muestreo sobre seis modelos y siete idiomas informó de favoritos como 37, 47 y 73, y vinculó el sesgo con tendencias humanas. Una comparación informal de 2022 de modelos de OpenAI encontró un modelo base más uniforme y un modelo ajustado con un favorito muy marcado. Las investigaciones sobre las fases de ajuste fino también han constatado que el aprendizaje por refuerzo a partir de retroalimentación humana reduce significativamente la diversidad de las respuestas.

Como los puntos de control abiertos permiten ahora que cualquiera repita la lectura, el autor puede rastrear la elección a lo largo de cada fase de posentrenamiento. Para quien depende de un valor «aleatorio» generado por un modelo, la conclusión es clara: un favorito predecible puede descifrarse rápidamente.

Demandez à un chatbot un nombre aléatoire entre 1 et 100 : la réponse est rarement uniforme. Les modèles de langage privilégient à plusieurs reprises quelques valeurs, et cette habitude a des conséquences réelles lorsque le choix d'un modèle est censé protéger quelque chose.

Cette analyse aborde la question sous un angle de sécurité : si un modèle choisit le nombre qui protège un secret, combien de tentatives un attaquant doit-il faire ? Plutôt que de compter les réponses sur de nombreuses exécutions échantillonnées, l'auteur lit directement dans les logits du modèle la probabilité attribuée à chaque valeur de 1 à 100. À partir de ces 100 probabilités, l'analyse calcule les bits d'aléatoire et le nombre moyen de tentatives nécessaires pour casser le choix. Les modèles de base et leurs versions ajustées aux instructions sont comparés côte à côte afin de déterminer si l'habitude provient du préentraînement ou de l'après-entraînement.

La conclusion principale est frappante. Avec une invite en texte brut, un modèle ajusté aux instructions de 1,5 milliard de paramètres a choisi 47 environ trois fois sur quatre. Avec une invite reformulée, il sélectionne encore 47 plus d'un tiers du temps.

Des études antérieures ont documenté le même schéma. Une étude par échantillonnage portant sur six modèles et sept langues a relevé des favoris tels que 37, 47 et 73, et a relié ce biais aux tendances humaines. Une comparaison informelle de 2022 des modèles d'OpenAI a trouvé un modèle de base plus uniforme et un modèle ajusté avec un favori marqué. Des travaux sur les étapes de réglage fin ont également montré que l'apprentissage par renforcement à partir de retours humains réduit sensiblement la diversité des sorties.

Dès lors que des points de contrôle ouverts permettent à chacun de reproduire cette lecture, l'auteur peut suivre le choix à travers chaque étape de l'après-entraînement. Pour quiconque s'appuie sur une valeur « aléatoire » générée par un modèle, la conclusion est claire : un favori prévisible peut être percé rapidement.

किसी चैटबॉट से 1 से 100 के बीच एक रैंडम नंबर माँगें, तो उसका उत्तर शायद ही कभी समान रूप से वितरित होता है। भाषा मॉडल बार-बार कुछ ही मानों को प्राथमिकता देते हैं, और जब किसी मॉडल की चुनी हुई संख्या किसी चीज़ की सुरक्षा के लिए हो, तो इस आदत के वास्तविक परिणाम होते हैं।

यह विश्लेषण इस प्रश्न को सुरक्षा के नज़रिए से देखता है: यदि कोई मॉडल वह संख्या चुनता है जो किसी गुप्त जानकारी की रक्षा करती है, तो हमलावर को कितने अनुमानों की आवश्यकता होगी? कई नमूना-रनों में उत्तरों की गिनती करने के बजाय, लेखक मॉडल के लॉजिट्स से सीधे 1 से 100 तक हर मान को दी गई संभावना पढ़ते हैं। इन 100 संभावनाओं से विश्लेषण यादृच्छिकता के बिट्स और चुनाव को तोड़ने के लिए अपेक्षित अनुमानों की संख्या की गणना करता है। यह देखने के लिए कि यह आदत प्रीट्रेनिंग से आती है या पोस्ट-ट्रेनिंग से, बेस मॉडल और उनके निर्देश-ट्यून किए गए संस्करणों की साथ-साथ तुलना की जाती है।

मुख्य निष्कर्ष स्पष्ट है। सादे-पाठ प्रॉम्प्ट के साथ, 1.5 अरब पैरामीटर वाले एक निर्देश-ट्यून्ड मॉडल ने लगभग चार में से तीन बार 47 चुना। प्रॉम्प्ट के शब्द बदलने पर भी वह एक-तिहाई से अधिक बार 47 चुनता रहा।

पहले के अध्ययनों में भी यही पैटर्न दर्ज हुआ है। छह मॉडलों और सात भाषाओं पर किए गए एक नमूना-अध्ययन ने 37, 47 और 73 जैसे पसंदीदा मान बताए और इस पूर्वाग्रह को मानवीय प्रवृत्तियों से जोड़ा। OpenAI मॉडलों की 2022 की एक अनौपचारिक तुलना में एक अधिक समान बेस मॉडल और एक ट्यून्ड मॉडल मिला जिसका एक तीखा पसंदीदा मान था। फाइन-ट्यूनिंग चरणों पर हुए शोध में भी पाया गया है कि मानव फ़ीडबैक से रीइनफोर्समेंट लर्निंग आउटपुट की विविधता को काफी कम कर देती है।

चूँकि अब खुले चेकपॉइंट्स के कारण कोई भी यह रीडआउट दोहरा सकता है, लेखक हर पोस्ट-ट्रेनिंग चरण के माध्यम से चुनाव का अनुसरण कर सकते हैं। जो लोग मॉडल द्वारा बनाए गए "रैंडम" मान पर निर्भर हैं, उनके लिए निष्कर्ष स्पष्ट है: एक अनुमानित पसंदीदा मान को जल्दी तोड़ा जा सकता है।

Minta chatbot memberikan angka acak antara 1 dan 100, dan jawabannya jarang tersebar merata. Model bahasa berulang kali lebih menyukai beberapa nilai tertentu, dan kebiasaan ini berdampak nyata ketika pilihan model dimaksudkan untuk melindungi sesuatu.

Analisis ini memandang persoalan tersebut dari sudut keamanan: jika sebuah model memilih angka yang menjaga sebuah rahasia, berapa banyak tebakan yang dibutuhkan penyerang? Alih-alih menghitung jawaban dari banyak kali pengambilan sampel, penulis membaca langsung probabilitas yang diberikan model untuk setiap nilai dari 1 sampai 100 dari logit-nya. Dari 100 probabilitas tersebut, analisis menghitung bit keacakan dan jumlah tebakan yang diharapkan untuk membobol pilihan itu. Model dasar dan versi yang telah disetel untuk mengikuti instruksi dibandingkan secara berdampingan untuk melihat apakah kebiasaan ini berasal dari pralatih atau pascalatih.

Temuan utamanya cukup mencolok. Dengan prompt teks biasa, model berparameter 1,5 miliar yang telah disetel untuk instruksi memilih 47 sekitar tiga dari empat kali. Dengan prompt yang disusun ulang, model itu tetap memilih 47 lebih dari sepertiga waktu.

Studi sebelumnya juga mencatat pola yang sama. Satu studi pengambilan sampel terhadap enam model dan tujuh bahasa melaporkan favorit seperti 37, 47, dan 73, serta mengaitkan bias ini dengan kecenderungan manusia. Perbandingan informal tahun 2022 terhadap model OpenAI menemukan model dasar yang lebih seragam dan model yang disetel dengan favorit yang sangat menonjol. Penelitian tentang tahap penyetelan halus juga menemukan bahwa pembelajaran penguatan dari umpan balik manusia secara signifikan mengurangi keragaman keluaran.

Karena titik pemeriksaan terbuka kini memungkinkan siapa pun mengulangi pembacaan ini, penulis dapat menelusuri pilihan tersebut melalui setiap tahap pascalatih. Bagi siapa pun yang mengandalkan nilai "acak" hasil model, kesimpulannya jelas: favorit yang dapat diprediksi bisa dibobol dengan cepat.

チャットボットに1から100の間で乱数を尋ねても、答えが均等に分布することはほとんどありません。言語モデルは繰り返し少数の値を好み、その傾向はモデルの選択が何かを守るためのものである場合、現実的な影響をもたらします。

この分析はセキュリティの観点からこの問題を検討します。モデルが秘密を守る数字を選ぶとしたら、攻撃者には何回の推測が必要でしょうか。多数のサンプリング実行で回答を数える代わりに、著者はモデルのロジットから1から100までの各値に割り当てられた確率を直接読み取ります。これらの100個の確率から、分析はランダム性のビット数と、選択を破るために必要な推測回数の期待値を算出します。この傾向が事前学習によるものか、事後学習によるものかを確かめるため、ベースモデルと指示調整済みのバージョンを並べて比較しています。

主要な発見は鮮明です。平文のプロンプトでは、15億パラメータの指示調整済みモデルが47を約4回に3回選びました。言い回しを変えたプロンプトでも、3分の1以上の割合で47を選び続けました。

以前の研究でも同様のパターンが報告されています。6つのモデルと7つの言語にわたるサンプリング研究では、37、47、73などの好まれる値が報告され、この偏りが人間の傾向と関連づけられました。2022年のOpenAIモデルの非公式な比較では、より均一なベースモデルと、特定の値に強く偏ったチューニング済みモデルが見つかりました。ファインチューニングの段階に関する研究でも、人間のフィードバックによる強化学習が出力の多様性を大きく低下させることがわかっています。

現在はオープンなチェックポイントによって誰でもこの読み取りを再現できるため、著者は事後学習の各段階を通じて選択を追跡できます。モデルが生成した「ランダム」な値に頼る人にとっての結論は明確です。予測可能なお気に入りの値は、すぐに破られてしまう可能性があります。

Peça a um chatbot um número aleatório entre 1 e 100 e a resposta raramente será uniforme. Os modelos de linguagem favorecem repetidamente alguns poucos valores, e esse hábito tem implicações reais quando a escolha de um modelo deve proteger alguma coisa.

Esta análise aborda a questão sob uma ótica de segurança: se um modelo escolhe o número que guarda um segredo, quantos palpites um atacante precisa? Em vez de contar respostas em muitas execuções amostradas, o autor lê diretamente dos logits do modelo a probabilidade atribuída a cada valor de 1 a 100. A partir dessas 100 probabilidades, a análise calcula os bits de aleatoriedade e o número esperado de palpites necessários para quebrar a escolha. Modelos base e suas versões ajustadas por instruções são comparados lado a lado para verificar se o hábito vem do pré-treinamento ou do pós-treinamento.

A principal descoberta é contundente. Com um prompt em texto simples, um modelo de 1,5 bilhão de parâmetros ajustado por instruções escolheu 47 cerca de três em cada quatro vezes. Com um prompt reformulado, ele ainda seleciona o 47 em mais de um terço das vezes.

Estudos anteriores documentaram o mesmo padrão. Um estudo por amostragem com seis modelos e sete idiomas relatou favoritos como 37, 47 e 73, e vinculou o viés a tendências humanas. Uma comparação informal de 2022 entre modelos da OpenAI encontrou um modelo base mais uniforme e um modelo ajustado com um favorito acentuado. Pesquisas sobre as etapas de ajuste fino também constataram que o aprendizado por reforço a partir de feedback humano reduz significativamente a diversidade das saídas.

Como os checkpoints abertos permitem agora que qualquer pessoa repita a leitura, o autor pode acompanhar a escolha por cada etapa de pós-treinamento. Para quem depende de um valor "aleatório" gerado por um modelo, a conclusão é clara: um favorito previsível pode ser quebrado rapidamente.

Попросите чат-бота назвать случайное число от 1 до 100, и ответ редко окажется равномерно распределённым. Языковые модели снова и снова отдают предпочтение нескольким значениям, и эта привычка имеет реальные последствия, когда выбор модели призван что-то защищать.

В этом анализе вопрос рассматривается с точки зрения безопасности: если модель выбирает число, защищающее секрет, сколько попыток понадобится злоумышленнику? Вместо подсчёта ответов в многочисленных выборочных запусках автор считывает вероятность, которую модель присваивает каждому значению от 1 до 100, непосредственно из логитов. По этим 100 вероятностям анализ вычисляет биты случайности и ожидаемое количество попыток, необходимых для взлома выбора. Базовые модели и их версии, настроенные на инструкции, сравниваются бок о бок, чтобы понять, возникает ли эта привычка на этапе предобучения или после него.

Главный вывод поразителен. При простом текстовом запросе модель с 1,5 миллиарда параметров, настроенная на инструкции, выбирала 47 примерно в три случаях из четырёх. При перефразированном запросе она всё равно выбирает 47 более чем в трети случаев.

Ранее аналогичная закономерность уже документировалась. Одно исследование выборок по шести моделям и семи языкам сообщило о фаворитах, таких как 37, 47 и 73, и связало это смещение с человеческими склонностями. Неформальное сравнение моделей OpenAI 2022 года показало более равномерную базовую модель и настроенную модель с резко выраженным фаворитом. Исследования этапов тонкой настройки также выявили, что обучение с подкреплением на основе человеческой обратной связи заметно снижает разнообразие ответов.

Поскольку открытые контрольные точки теперь позволяют любому повторить это считывание, автор может отследить выбор на каждом этапе постобучения. Для тех, кто полагается на «случайное» значение, сгенерированное моделью, вывод очевиден: предсказуемого фаворита можно быстро взломать.

向聊天机器人索要1到100之间的随机数时，答案很少是均匀分布的。语言模型会反复偏爱少数几个数值，而当模型的选择用于保护某些秘密时，这种习惯会带来实际影响。

本分析从安全角度看待这一问题：如果模型选择的是守护秘密的数字，攻击者需要多少次猜测？作者并不是统计多次采样运行中的答案，而是直接从模型的logits中读取模型为1到100每个数值分配的概率。根据这100个概率，分析计算出随机性的比特数以及破解该选择所需的预期猜测次数。研究还将基础模型与其指令微调版本进行并排比较，以判断这种习惯来自预训练还是后训练。

核心发现十分醒目。在使用纯文本提示时，一个15亿参数的指令微调模型大约四次中有三次选择了47。即使改写提示词，它仍有超过三分之一的概率选择47。

早期研究也记录了同样的模式。一项涵盖六个模型、七种语言的采样研究报告了包括37、47和73在内的热门选择，并将这种偏差与人类的倾向联系起来。一项2022年对OpenAI模型的非正式比较发现，基础模型较为均匀，而经过调优的模型则有一个明显的偏爱数值。关于微调阶段的研究也发现，基于人类反馈的强化学习会显著降低输出的多样性。

由于开放的模型检查点现在允许任何人重复这一读取过程，作者能够追踪每个后训练阶段中的选择变化。对于依赖模型生成“随机”数值的人来说，结论很明确：一个可预测的偏爱选项可以被迅速破解。