С Recansio и без него.
Два теста на реальных юридических вопросах. У каждого свой метод и свои ограничения.
Токены, время и ссылки на абзац.
24 вопроса, 16 ноября 2026 года.
Вопросы написал практикующий юрист, он же дал свои ответы. Одна модель (Claude Opus 5.5) ответила на них дважды: один раз только с веб-поиском, другой раз только с Recansio. Три ИИ-оценщика сверили оба ответа с ответом юриста, в случайном порядке и не зная, какая сторона что написала. Они видели текст каждого абзаца, на который ссылался ответ.
меньше токенов, чем при вставке актов под каждый вопрос
- С Recansio
- 9 500 на вопрос
- Загрузка актов
- 131 000
- Веб-поиск, по его счётчику
- 7 500
быстрее, чем поиск в интернете
- С Recansio
- 18 с на вопрос
- Веб-поиск
- 62 с
- Все 24
- 7.3 мин / 25.0 мин
ответов опираются на нужный абзац
- С Recansio
- 20 верных, 24 с нужным абзацем
- Веб-поиск
- 21 верных, 1 с нужным абзацем
| Вопрос, по области | С Recansio | Веб-поиск |
|---|---|---|
| 1. ПОД/ФТ · вопрос на узбекском | верно | верно |
| 2. ПОД/ФТ · вопрос на английском | верно | верно |
| 3. Банковское дело · вопрос на русском | частично | верно |
| 4. Банковское дело · вопрос на русском | частично | верно |
| 5. Банковское дело · вопрос на узбекском | верно | верно |
| 6. Гражданское право · вопрос на русском | верно | верно |
| 7. Гражданское право · вопрос на русском | верно | верно |
| 8. Гражданское право · вопрос на русском | верно | верно |
| 9. Уголовная и административная ответственность · вопрос на английском | верно | частично |
| 10. Уголовная и административная ответственность · вопрос на русском | верно | частично |
| 11. Уголовная и административная ответственность · вопрос на узбекском | верно | верно |
| 12. Уголовная и административная ответственность · вопрос на узбекском | верно | верно |
| 13. Уголовная и административная ответственность · вопрос на узбекском | верно | верно |
| 14. Страхование и рынок капитала · вопрос на узбекском | верно | неверно |
| 15. Страхование и рынок капитала · вопрос на русском | неверно | верно |
| 16. Кредитование · вопрос на узбекском | верно | верно |
| 17. Кредитование · вопрос на узбекском | частично | верно |
| 18. Труд и налоги · вопрос на узбекском | верно | верно |
| 19. Труд и налоги · вопрос на узбекском | верно | верно |
| 20. Труд и налоги · вопрос на узбекском | верно | верно |
| 21. Платежи и валюта · вопрос на русском | верно | верно |
| 22. Платежи и валюта · вопрос на русском | верно | верно |
| 23. Платежи и валюта · вопрос на узбекском | верно | верно |
| 24. Публичное право · вопрос на узбекском | верно | верно |
- Как считались токены
- Весь прогон ассистента на каждую группу из шести вопросов, минус стоимость пустого прогона (35 875 токенов), делённый на шесть. Для загрузки: русский текст актов, на которые опирается каждый ответ, взятый из базы, из расчёта 0.454 токена на знак; эту величину мы измерили, дав той же модели прочитать 119 824 знака Трудового кодекса. Показано медианное значение по 24 вопросам; 11 из них опираются на два акта и более. Однократная загрузка всех 29 актов заняла бы 2.9 million токенов.
- Чего не учитывает счётчик веб-поиска
- Страницы, которые открывает ассистент, читает отдельный инструмент, и эти токены в его счётчик не попадают. Поэтому его собственный счётчик (7 500 на вопрос) близок к показателю Recansio, хотя работа заняла в 3.4 раза больше времени.
- Что значит «нужный абзац»
- Хотя бы один абзац, на который ссылается ответ, сам содержит решающую норму. «Рядом» означает ссылку на нужный акт или на соседнюю часть. Оценщики видели текст каждого абзаца по ссылке, взятый из базы.
- Ограничения
- 24 вопроса: разница в один-два ответа — это шум. Оценщики — модели, а не юристы; все трое сошлись в 24 из 24 оценок для Recansio и в 22 для веб-поиска. Если все ваши вопросы относятся к одному акту, вы загружаете его один раз на разговор, а не на каждый вопрос. Тексты вопросов не публикуются, чтобы набор можно было снова использовать вслепую.
Более ранний тест: пять ассистентов, 30 и 42 вопроса.
Сильный ассистент с веб-поиском уже умеет отвечать верно: ChatGPT сам дал 30 верных ответов из 30, а с Recansio 28. Чего ни один ассистент не сделал сам, так это не показал, где именно это сказано в законе. Из 180 ответов без Recansio (у Claude 12, у четырёх остальных по 42) ни один не содержал ссылки на нужный абзац. С Recansio такая ссылка была в 118 из 126. Для этого Recansio и нужен: ответ, который можно проверить.
Ссылка на нужный абзац
Ответы со ссылкой на абзац закона, а не на акт целиком и не на новостной сайт. Claude без Recansio измерен на 12 ответах, остальные на 42.
Верные ответы
30 вопросов клиентов на трёх языках.
Время
От отправки вопросов до итогового ответа. Чем меньше, тем лучше.
Бесплатная модель на ноутбуке
Qwen 27B, без интернета, 64 ГБ памяти.
| Без Recansio | С Recansio | |
|---|---|---|
| Верно, 30 вопросов клиентов | 5 | 24 |
| Верно, 12 сложных вопросов | 1 | 4 |
| Неверно, 30 вопросов клиентов | 15 | 2 |
| Ссылка на нужный абзац, 42 ответа | 0 | 40 |
На практике
Оценка рисков продукта в банке. Наблюдение в работе, а не контролируемый тест.
Метод и ограничения
- Вопросы
- 30 вопросов, которые задавали клиенты, и 12 сложных: прошлые даты, приложения, лицензии, санкции.
- Оценка
- Три оценщика, ни один не знал, какая система написала ответ. Решение по большинству.
- Ограничения
- Небольшие наборы, по одному прогону. Один неверный ответ сдвигает результат на 3–8 пунктов.
Попробуйте на своих вопросах.
Пробный доступ открывается сразу после регистрации: 100 запросов на 7 дней, без платёжных данных.