enumslab
Аналитика

Аномалии

Автоматическая проверка качества данных 1С: дубликаты, нетипичные суммы, непроведённые документы и пропуски нумерации

Что это и зачем

Раздел Аномалии — это автоматический контроль качества данных в учётной базе. Система массово выгружает документы за выбранный период и прогоняет по ним набор детерминированных проверок: ищет похожие документы-дубликаты, статистически выпадающие суммы, давно висящие непроведённые документы и разрывы в нумерации. Результат — таблица потенциальных проблем с уровнем критичности, описанием и привязкой к конкретным документам.

Это не отчёт и не искусственный интеллект «на каждый клик»: все проверки выполняются обычным кодом по понятным правилам и порогам. Пользователь сам решает, что делать с найденным: проверить документ в базе, исправить, провести или удалить. Раздел только указывает на подозрительные места — он работает в режиме чтения и ничего не меняет в учётной базе.

Где находится и как открыть

Пункт Аномалии расположен в группе меню «Аналитика». Доступен только при наличии возможности (capability) и права anomalies (см. блок «Права доступа»). В шапке страницы слева — кнопка Назад (возврат на главный экран), справа — название активного подключения с зелёным индикатором.

Раздел работает только для подключений 1С. Возможность anomalies входит в набор возможностей системы 1С и отсутствует у iiko, поэтому на iiko-подключениях пункт «Аномалии» в меню не отображается. Подробности — в блоках «Возможности для 1С» и «Возможности для iiko» ниже.

Как пользоваться (по шагам)

  1. Откройте раздел Аномалии при выбранном подключении 1С.
  2. Задайте период в полях С и По. По умолчанию подставляются последние 90 дней (дата «90 дней назад» — сегодня).
  3. При необходимости укажите конкретный Тип документа (вводится имя одного вида документа); пустое поле означает «Все типы» — система сама переберёт все подходящие виды документов.
  4. В поле Документы выберите, какие документы анализировать: Все, Только проведённые или Только непроведённые.
  5. В выпадающем списке Проверки отметьте нужные виды проверок (можно несколько). Подпись кнопки показывает выбор: «Все проверки», «N из 4» или «Не выбрано». По умолчанию выбраны все четыре проверки.
  6. Нажмите кнопку Сканировать. Пока идёт анализ, вместо таблицы показывается «Анализ данных...», а в строке сводки — «Сканирование...». Кнопка недоступна, если не выбрано ни одной проверки или анализ уже идёт.
  7. Изучите результат в таблице. Поле Критичность в фильтрах (Высокие / Средние / Низкие) сужает список по уровню — это фильтр уже по полученным данным, повторное сканирование не требуется.
  8. При необходимости выгрузите результат кнопкой со значком загрузки — это экспорт в CSV (файл вида anomalies_ГГГГ-ММ-ДД.csv).

Какие проверки доступны и что считается аномалией

В интерфейсе доступны четыре проверки. Каждая аномалия получает уровень критичности: Высокий, Средний или Низкий.

  • Дубликаты — два документа одного контрагента с близкими суммами (по умолчанию расхождение суммы не более 1%) в пределах нескольких дней (по умолчанию 5 дней). Точное совпадение суммы и дата «день в день» дают высокую критичность; точное совпадение суммы при разных датах — тоже высокую; в остальных случаях — среднюю. Документы, похожие на регулярные платежи (расхождение дат примерно 5–7 дней или 25–35 дней), понижаются до низкой критичности, чтобы не путать еженедельные/ежемесячные платежи с дубликатами (понижение не применяется к парам, уже отмеченным как высокие). Если у документов отличается назначение платежа/комментарий или отличается внешний/банковский номер, пара дубликатом не считается.
  • Нетипичные суммы — статистические выбросы по суммам в разрезе контрагента. Для каждого контрагента считается среднее и стандартное отклонение, и документ помечается, если его сумма сильно отклоняется (по z-оценке). Аномально большие суммы дают среднюю (z ≥ 3) или высокую (z ≥ 5) критичность, аномально малые (z ≤ −4) — только среднюю. Чтобы статистика была надёжной, нужно достаточно документов по контрагенту (по умолчанию не менее 15), а слишком мелкие суммы (по умолчанию ниже 500 руб) в расчёт и в проверку не берутся.
  • Непроведённые — документы, которые созданы, но не проведены, и при этом «висят» дольше порога (по умолчанию старше 7 дней). Чем старше документ, тем выше критичность: от 30 дней — средняя, от 90 дней — высокая, между 7 и 30 днями — низкая.
  • Пропуски нумерации — разрывы в последовательности номеров документов. Номера разбираются на префикс и числовую часть, группируются по префиксу, и внутри каждой группы ищутся пропущенные номера. Чем больше пропуск, тем выше критичность (1–2 — низкая, 3–5 — средняя, 6 и более — высокая). Очень крупные разрывы (по умолчанию больше 10) пропускаются — это обычно смена года или префикса, а не реальная потеря документа.
Перед анализом из выборки исключаются документы, помеченные на удаление. Дополнительно, если тип документа не задан вручную, система сначала отсеивает виды документов, у которых нет ни одной записи за период, — чтобы не делать лишних запросов.

Как формируется список

Сканирование выполняется в несколько шагов полностью на стороне сервера:

  • Обнаружение видов документов. Если конкретный тип не задан, система перечисляет все документы базы и по их структуре (метаданным) определяет, какие проверки к ним применимы: дубликаты и нетипичные суммы требуют полей СуммаДокумента и Контрагент; непроведённые — поля Проведен; пропуски нумерации — полей Номер и Дата. Дополнительно подбираются поля назначения/комментария и внешнего/банковского номера — они используются для отсеивания ложных дубликатов.
  • Предфильтр по количеству. Для каждого подходящего вида документа проверяется наличие записей в периоде; пустые виды и отсутствующие таблицы отбрасываются.
  • Выгрузка и анализ. По каждому виду документа выгружаются нужные поля и применяется выбранная проверка. Запрос ограничен по умолчанию 5000 документами на вид; если лимит достигнут, в сводке появляется предупреждение, что результат может быть неполным.
  • Сводка. Над таблицей показываются Итого, разбивка по типам аномалий, бейджи количества по критичности (например, «N высоких»), границы периода сканирования и значок предупреждения с числом проверок, которые не удалось выполнить (при наведении видно причину по каждому виду документа).
Проверки независимы: сбой одной не останавливает остальные. Если проверка по какому-то виду документа упала, она помечается как не выполненная, а прочие результаты всё равно показываются.

Таблица результатов

Найденные аномалии выводятся таблицей со столбцами: Критичность, Тип, Тип документа, Описание, Номер, Сумма, Дата. Возможности таблицы:

  • Сортировка — клик по заголовкам Критичность, Тип, Тип документа, Сумма и Дата сортирует список (повторный клик меняет направление). Столбцы Описание и Номер не сортируются.
  • Поиск — поле Поиск... фильтрует строки по описанию, типу, типу документа, контрагенту и номеру. Счётчик над таблицей показывает «найдено / всего аномалий».
  • Раскрытие дубликатов — строки-дубликаты, объединяющие несколько документов, кликабельны и разворачиваются, показывая каждый входящий документ (контрагент, номер, сумма, дата).
  • Экспорт — кнопка загрузки сохраняет текущий список в CSV (с учётом фильтра по критичности). В файл дополнительно выгружается колонка контрагента.
  • Если аномалий нет, выводится зелёное сообщение Аномалий не найдено. До первого запуска показывается подсказка Нажмите Сканировать для анализа данных.

Кэширование и обновление

Результат последнего сканирования сохраняется локально в браузере по каждому подключению на срок до 24 часов. При повторном открытии раздела показываются сохранённые данные с подписью обновлено … назад. Автоматического сканирования нет: список обновляется только по нажатию кнопки Сканировать. Смена активного подключения сбрасывает текущие данные и подгружает кэш нового подключения, если он есть.

Краткая сводка аномалий доступна также в виджете на главном дашборде: он показывает общее число аномалий и разбивку по критичности, кнопкой обновления запускает новое сканирование, а по клику открывает полный раздел «Аномалии».

Возможности для 1С

Раздел «Аномалии» — функциональность исключительно для подключений 1С. Все проверки опираются на стандартную модель документов 1С и её реквизиты: суммы (СуммаДокумента), контрагента (Контрагент), признак проведения (Проведен), пометку удаления (ПометкаУдаления), номер и дату (Номер, Дата). Виды документов и их структура определяются по метаданным базы, а данные выгружаются через стандартный доступ к 1С — без доработок в самой конфигурации.

Соответственно, для 1С доступны все четыре проверки: дубликаты, нетипичные суммы, непроведённые и пропуски нумерации, а также фильтры по периоду, типу документа, признаку проведения и критичности. Часть этой логики (поиск дубликатов и аудит непроведённых) доступна и в чат-ассистенте через отдельные инструменты.

Возможности для iiko

Для iiko-подключений раздел «Аномалии» недоступен и не отображается в меню. Возможность anomalies входит только в набор возможностей системы 1С и явно исключена из набора возможностей iiko, поэтому пункт меню скрывается на iiko-подключениях. Это сделано осознанно: проверки спроектированы под документы 1С и их реквизиты и не переносятся напрямую на данные iiko.

Для контроля показателей и событий по iiko используйте другие разделы «Аналитики» — Мониторинг (только для iiko) и События (доступны и для 1С, и для iiko).

Ограничения

  • Раздел не вносит изменений в учётную базу: он только показывает подозрительные документы. Исправления выполняются пользователем в 1С (или через другие разделы платформы).
  • На каждый вид документа выгружается ограниченное число записей (по умолчанию 5000). При достижении лимита результат по этому виду может быть неполным — об этом сообщает предупреждение в сводке.
  • Проверка «Нетипичные суммы» требует достаточного объёма данных по контрагенту (по умолчанию не менее 15 документов с суммой от 500 руб); при малом числе документов выбросы не определяются.
  • Дубликаты ищутся в разрезе одного контрагента; документы с пустым контрагентом в этой проверке пропускаются. Если у одного контрагента слишком много документов (более 500), попарное сравнение для него пропускается и фиксируется в предупреждениях.
  • Это эвристические проверки: возможны как ложные срабатывания (например, законные повторные платежи), так и пропуски. Каждую найденную аномалию стоит проверять вручную в базе.

Права доступа

Для работы с разделом нужны возможность и право anomalies. Без них пункт меню не показывается, а прямой переход на страницу заблокирован. На стороне сервера запрос на сканирование также требует разрешения anomalies. Назначаются права администратором компании в разделе Пользователи. Поскольку возможность anomalies существует только для системы 1С, выдать её и увидеть раздел можно лишь для 1С-подключений.

Частые вопросы

  • Почему не вижу раздел «Аномалии»? Либо у пользователя нет права anomalies, либо активно iiko-подключение — для iiko раздел недоступен.
  • Почему таблица пустая после открытия? Автосканирования нет. Нажмите Сканировать. Если ранее уже сканировали, могут показаться сохранённые данные с пометкой «обновлено … назад».
  • Что значит «N провер. не выполнены»? Часть проверок по отдельным видам документов завершилась ошибкой (например, недоступна таблица). Наведите курсор на предупреждение — будет видна причина по каждому виду документа.
  • Можно ли отфильтровать только важное? Да, поле Критичность в фильтрах оставляет только высокие/средние/низкие; это фильтр по уже полученным данным, без повторного запроса.
  • Меняет ли раздел что-то в 1С? Нет. Сканирование выполняется в режиме чтения.

На этой странице