Когда я обучал предыдущий ИИ-классификатор комментариев, я использовал частично личные/приватные данные и построил его на несколько шатком фундаменте, поэтому я не мог поделиться кодом или данными. Я перестроил его на публичных данных и с лучшей основой!

Во-первых, возможно, вы захотите его попробовать. Ничто из того, что вы вставите на этой веб-странице, не покидает ваш браузер, так что вы можете безопасно тестировать его с чем угодно. Я пригласил несколько тестировщиков попробовать предыдущую версию, и они дали в основном положительные отзывы. Мы не будем разбирать «роботизмы» так, как мы разбирали «клодизмы» в предыдущей статье, потому что в интерфейсе нового классификатора вы можете просто нажать на любую часть текста, чтобы увидеть, какие признаки активируются на этом фрагменте и как они влияют на общий вердикт.

Что касается производительности, ключевая цифра — 77% сбалансированной точности. Это частота, с которой классификатор правильно определяет, написан ли комментарий человеком или роботом, при условии, что оба класса одинаково вероятны. Классификатор также выводит прогнозируемый процент, который калиброван, то есть его можно читать как вероятность того, что конкретный вердикт верен. Мы проверяем это с помощью калибровочной кривой, которая показывает, какую вероятность классификатор присваивает событию с известной вероятностью. Поскольку все точки лежат очень близко к эталонной диагонали, мы знаем, что они приблизительно верны.

Когда классификатор очень уверен — например, когда уверенность составляет 80% или более — риск ложного срабатывания снижается до 5%. Я также вручную протестировал меньший, несинтетический набор реальных комментариев от людей и роботов, чтобы увидеть, насколько хорошо классификатор обобщается за пределами выборки. Это дает точность 88%. Конечно, всё это тестировалось только на комментариях к коду. Классификатор не предназначен для обнаружения других типов текстов, созданных роботами.