NullPrime

Набор чисел и скрипты для проверки того, умеют ли языковые модели признавать, что они не могут знать ответ, на примере простоты чисел.

Бесплатный тариф Есть бесплатный тариф Русского языка нет Open-source

Перейти на сайт Проверено 1 ноября 2026

Что это

Проект представляет собой набор целых чисел, каждое из которых помечено как простое или составное. Числа подобраны так, что делимость на малые простые числа не даёт подсказки, поэтому по внешнему виду ответ угадать нельзя. Метка при этом точна и проверяется короткой программой, так что набор служит контрольным примером для задач оценки неопределённости и отказа от ответа.

Проект будет полезен исследователям и разработчикам, которые изучают калибровку языковых моделей, воздержание от ответа и выборочные предсказания. В репозитории описан протокол тестирования LLM и приведены результаты: часть моделей уверенно выдавала неверные вердикты, а при разрешении ответа «невозможно определить» многие из них охотно им пользовались.

Материалы опубликованы в открытом репозитории на GitHub, скрипты можно запускать локально. Есть отдельный однофайловый скрипт без внешних зависимостей для генерации новых чисел. Цены и платные тарифы на страницах проекта не указаны.

Доступность из России

Открывается из РФ	да
Русский интерфейс	нет
Оплата российскими картами	не проверено
На чём основано	Сайт открывается с сервера в РФ (HTTP 200)

Сколько стоит

Бесплатно: 2,000 CI/CD minutes/month; 500MB of Packages storage

Тариф	Цена	Период
Free	0 USD	в месяц
Team	4 USD	в месяц
Enterprise	21 USD	в месяц
GitHub Codespaces (compute hour)	0.18 USD	за использование
GitHub Codespaces (storage GB)	0.07 USD	за использование
Git Large File Storage	5 USD	в месяц