Алексей Николаев

Блокчейн говорит одно, внутренний ledger — другое. Кто прав, нужно понять до конца смены.

Сверка — детерминированный код: матчинг on-chain событий с двойной записью и снапшотами, 7 классов расхождений, уравнение баланса сходится по каждому активу. LLM только объясняет, и каждая цифра, хеш и адрес в её ответе проверены против данных до показа.

• 621 тест
• precision/recall 1.0 на 7 seed'ах
• ответ ≈ $0.001
• суммы — целые в минорных единицах, без float

Комплаенс-вопрос по регламенту ЕС: ответ нужен с точной ссылкой на статью, а не «по-моему».

Агент ходит по структуре актов (статья → параграф → пункт, перекрёстные ссылки), а не по «похожим чанкам». Каждая ссылка проверяется кодом против базы; не сошлось — честный отказ вместо выдумки. Под ответом — его цена.

• 2 регламента, 2 554 адресуемых единицы
• 455 тестов
• валидатор цитат — код, не промпт

«У нас RAG» ничего не значит, пока не измерено, какой retrieval работает на ваших данных.

Пять стратегий на одном корпусе (лексика, dense с двумя схемами чанкинга, гибрид, гибрид + кросс-энкодер), 47 размеченных вопросов, отчёт Recall/MRR/nDCG, faithfulness по судье, стоимость и латентность — воспроизводимо, с версией промпта. Результаты как есть, включая неудобные.

• Recall@10: 0.61 наивное окно → 0.91 гибрид+реранкер
• 363 теста
• первый гибрид проигрывал — причина найдена и описана

«Что истекает за 14 дней в DMZ и где ещё живёт этот CA?» — ops-вопросы, на которые нельзя отвечать приблизительно.

Go, один статический бинарь. Агент пишет SQL под гардом, строит план ротации детерминированным ранжировщиком, сканирует реальные хосты по whitelist. Каждое число, имя хоста и CA в ответе сверяется с результатом запроса; неизвестная форма числа — блокирует ответ. ADR и C4 в репо.

• 135 тестов, аудит второй моделью: 7 находок закрыты в тот же день
• ответ ≈ $0.0007
• от постановки до публичного стенда — 5 часов

Юридический ответ без проверяемой ссылки на норму — это риск, а не помощь.

Структурный retrieval по статьям/частям/пунктам трёх законов; каждая ссылка в ответе валидируется кодом и кликабельна — открывает настоящий текст нормы. Под ответом — себестоимость в токенах и рублях.

• 588 тестов
• цитаты — только из узлов, реально открытых агентом
• витрина стоимости за день

Шахматка застройщика (картинка) и выгрузка реестра (PDF) описывают одни и те же квартиры по-разному. Нужен один достоверный список.

Четыре видимые стадии: OCR → LLM-экстракция структуры → grounding-проверка каждой записи против исходника → детерминированное сопоставление. Ошибка модели видна на своей стадии, а не в итоговой таблице.

• 321 тест
• локальный OCR (Qwen-VL на своём GPU) — документы не уходят в облако
• каждая запись помечена: подтверждена / нет

Аналитик занят, а бизнесу нужен ответ «какая категория просела на промо» сейчас — и без уверенной ерунды.

Агент читает semantic layer, пишет SQL под AST-гардом, задаёт уточняющий вопрос при неоднозначности, отказывает вне домена. Каждое число в ответе обязано быть в результате запроса. Трассировка: шаги, SQL, токены, цена.

• 120 тестов
• eval-набор с ловушками: неоднозначное → уточнение, чужое → отказ
• реальный каталог + синтетические продажи, честно помечено

Покупатель спрашивает «какой номинал подписки подойдёт» — а ответ должен быть только из реального каталога, с реальной ценой.

Function calling поверх структурированного индекса (~300 позиций, все номиналы) вместо свободной генерации: агент не может назвать товар или цену, которых нет. Квоты и токен-бюджет встроены.

• от идеи до публичного прода — один день
• 211 тестов
• 0 выдуманных товаров по дизайну

Счета, акты, накладные приходят картинками. Их надо превратить в проверенные реквизиты, а не в «примерно так».

OCR → структура → проверки реквизитов кодом (ИНН, суммы, даты, контрольные соотношения) → вердикт; каждая стадия показывает свой результат.

• 282 теста
• локальная vision-модель, без облака
• видно, где именно ошиблась модель

Инженеру нужен пункт норматива, а не пересказ.

Тот же принцип, что в правовых стендах: агентный retrieval по структуре документов, детерминированная проверка каждой ссылки, клик открывает исходный пункт.

• 313 тестов
• ссылка без подтверждения в базе — ответ не показывается

15 тысяч товаров, покупатель формулирует задачу словами («чем покрасить OSB на улице»), а не артикулом.

Агент с инструментами поиска по локальному индексу каталога и FAQ, handoff менеджеру для лидов; вежливый харвест публичных данных с учётом robots.txt.

• 15 562 товара, 738 категорий
• 153 теста
• первый стенд линейки

Проверка на другом материале: конвейер персонажей (паспорт, волосы, физика, MToon-экспорт) и сцена — можно ли вести такое агентами.

Three.js, ассеты и анимации собраны конвейером агентов под ревью; для лаборатории — площадка для экспериментов с генерацией.

• играбельно в браузере
• в письмах игровым компаниям — мостик к домену