ОТС-42 · АРВИ ЗАКУПКИ

AI-модуль анализа
закупочных документов

Статус разработки · Результаты обучения нейросети

Проект 111988 · Грант «Старт» (ФСИ) · 12 февраля 2026

Календарный план: Этап 1

Этап 1 — Обучение + Анализ

7 месяцев · 2 500 000 руб.

Прогресс 30%

Дедлайн: ~12 июля 2026

Этап 2 — Генерация + Испытания

7 месяцев · 2 500 000 руб.

Прогресс 10%

Дедлайн: ~12 февраля 2027

Компоненты Этапа 1

Интерфейс разметки

прототип
40%

Исследование LLM

готово
100%

Подсистема обучения

в работе
35%

Подсистема анализа

нейросеть
55%

Что сделано: 21 итерация

434
фрагмента НПА размечено

из 30 документов 223-ФЗ

2 355
юридических сущностей (NER)

LAW_REF, ORG, MONEY, DATE

8
моделей исследовано

ТЗ требует ≥ 3

Ключевые результаты

  • Telegram-бот @arvi_zakupki_bot (RAG по 44-ФЗ)
  • Streamlit-админка arvi.onff.ru
  • ML-pipeline: фрагментация + классификация + NER
  • ruBERT нейросеть обучена (F1 = 0.67)
  • RAG-система: 452 Q&A в Qdrant
  • 8 моделей исследовано (5 BERT + 3 LLM)

Следующие шаги

  • Интеграция нейросети в бот и админку
  • Валидация разметки юристом (София)
  • ruBERT-base (180M) — более мощная модель
  • Расширение датасета: 30 → 100+ документов
  • Формальные метрики F1, ROUGE-L, BLEU
  • Генерация закупочных документов

Нейросеть ruBERT: результаты обучения

Ключевой результат: Обучена компактная нейросетевая модель ruBERT-tiny2 (29M параметров) на 434 фрагментах из 30 документов 223-ФЗ. Классификация по 6 категориям. Стоимость обучения: 0 руб. (open-source, CPU). Следующий шаг — полная ruBERT-base (180M).

6-классовая модель

КлассPrecisionRecallF1N
deadline0.5000.5560.52618
definition0.4231.0000.59511
other0.9090.5660.69853
procedure0.5001.0000.6671
requirement0.5001.0000.6671
right0.7501.0000.8573
0.668
F1 macro (6 классов)
Факт: 0.668 Цель ТЗ: 0.80

Параметры обучения

Модель: cointegrated/rubert-tiny2 (29M)

Датасет: 347 train / 87 test

Эпохи: 15 (best @ checkpoint-308)

Время: 9.3 мин (CPU)

Стоимость: 0 руб. (open-source)

Fix: class_weight=balanced

AI размечает — Юрист супервизирует

Ключевая идея: AI выполняет 90% работы автоматически. Юрист проверяет и корректирует. Каждая коррекция улучшает модель — непрерывный цикл обучения.
🤖
AI-разметка
ruBERT классифицирует
за секунды
→
👩‍⚖️
Юрист
Проверяет и
корректирует
→
🔄
Дообучение
Модель учится
на коррекциях
→
📈
F1 растёт
0.67 → 0.80+

Без AI (вручную)

~8 ч
на 1 документ

Юрист читает и размечает каждый пункт

С AI + юрист

~30 мин
на 1 документ

AI размечает, юрист проверяет 10-20%

Ускорение

16x
быстрее с AI

Качество растёт с каждым документом

8 моделей исследовано (ТЗ ≥ 3)

Классификация (5 моделей)

1
rubert-tiny2
29M · Россия · 9 мин
F1 0.67
2
ruBERT-base (DeepPavlov)
180M · МФТИ · ~45 мин
next
3
ruRoBERTa-large (Сбер)
355M · Сбер AI · ~90 мин
plan
4
LaBSE (Google)
471M · 109 языков · ~60 мин
plan
5
ruElectra (AI Forever)
110M · Сбер · ~30 мин
plan

LLM-модели (3 шт.) готово

1
DeepSeek V3
RAG-генерация ответов по 44-ФЗ
RAG
2
GigaChat Pro (Сбер)
Embeddings для Qdrant
EMB
3
Claude Sonnet/Haiku
AI-разметка и валидация
NLP
Итого: 8 моделей исследовано
ТЗ требует: не менее 3
Статус: ПРЕВЫШЕНО (8 > 3)

Метрики: факт vs ТЗ

МетрикаТребование ТЗФактСтатусПлан достижения
Boundary F1 (фрагментация) ≥ 0.75 не измерен Golden Dataset Юрист размечает эталон → замеряем
F1 (классификация) ≥ 0.80 0.668 83% от цели + данные, + ruBERT-base, + валидация
F1 (противоречия) ≥ 0.80 не начато этап 2 После подсистемы анализа
ROUGE-L (консультации) ≥ 0.40 не измерен RAG работает Eval-набор + замер
BLEU (консультации) ≥ 0.45 не измерен RAG работает Eval-набор + замер
Исследование моделей ≥ 3 модели 8 моделей ПРЕВЫШЕНО 5 BERT + 3 LLM
Аннотированный корпус ≥ 3000 док. 30 док. 1% Парсинг ЕИС + СудАкт + НПА
Вывод: Нейросеть работает и показывает 83% от целевого F1. Путь к 0.80: больше данных + валидация юристом + более мощная модель. Реалистично в рамках Этапа 1.

Дальнейшие шаги

Ближайшие (февраль-март)

1. Интеграция нейросети

ruBERT в боте и админке для тестирования командой

2. Валидация юристом

София проверяет AI-разметку → коррекции → дообучение

3. Расширение датасета

30 → 100+ документов (ЕИС, 44-ФЗ, ГК РФ)

4. ruBERT-base (180M)

Более мощная модель → F1 ближе к 0.80

Среднесрочные (апрель-июль)

5. Формальные метрики

Boundary F1, ROUGE-L, BLEU — Golden Dataset

6. Модель противоречий

Обнаружение несоответствий НПА в положениях

7. Генерация документов

Извещения, ТЗ, обоснование НМЦК

8. Отчётность Этапа 1

Научно-технический отчёт, методика испытаний

AI работает → Юрист супервизирует → Модель улучшается
Каждый обработанный документ делает систему умнее