На главную

DF-ПРО-009 · Как проходит работа

Реестр документов из общего Excel в базу данных: что проверить при переносе

Редакция Deskforge · 13 ноября 2026 · 6 мин чтения
Реестр документов из общего Excel в базу данных: что проверить при переносе
Из статьи вы узнаете
  • Как описать поля, ключи и связи реестра до переноса
  • Как увидеть дубли записей ещё в таблице
  • Что проверить в типах данных и пустых значениях при чтении файла
  • Как сверить записи до и после переноса по чек-листу

Общий Excel с реестром документов работает, пока таблицу ведёт один человек. Потом к ней подключается второй, появляются копии листов, а вопрос «сколько у нас на самом деле документов» перестаёт иметь однозначный ответ. Перенос в базу данных кажется решением — и именно на нём всплывают дубли, пустые поля и даты в двух форматах.

Ниже — порядок проверки до и после переноса: структура полей, дубли, типы данных, ограничения базы и сверка записей. Это редакционный чек-лист Deskforge, а не отчёт об испытании продукта и не клиентский кейс: шаги нужно адаптировать к вашему реестру и выбранной СУБД. Общий порядок работ студии описан на странице как проходит работа.

Смежная тема — критерии приёмки программы: перенос тоже принимают по заранее описанным критериям, а не по ощущению «вроде всё на месте».

Что именно переносим: поля, ключи и связи реестра

Начните с перечня полей: номер документа, дата, контрагент, сумма, статус, ссылка на файл. Для каждого поля ответьте на два вопроса: может ли оно быть пустым и может ли повторяться у разных записей. Номер документа обычно уникален, контрагент — нет.

Дальше выберите ключ. В PostgreSQL ограничение первичного ключа требует, чтобы значения были одновременно уникальными и не NULL (F3). Это удобное свойство: строка без номера документа просто не попадёт в таблицу, и вы узнаете об этом сразу, а не через месяц.

Отдельно выпишите связи. Если реестр ссылается на справочник контрагентов или на список договоров, эти связи нужно перенести вместе с записями, иначе база получится с «висящими» ссылками на несуществующие строки.

И последнее: не полагайтесь на объявленный тип колонки как на защиту. В SQLite объявленный тип не ограничивает тип вставляемых данных, а используется только для определения affinity колонки (F10). То есть строка «1 200,00» спокойно ляжет в колонку, объявленную числовой, — проверять придётся отдельно.

Дубли записей: как их увидеть до переноса

Дубли — главная причина, по которой перенос приходится делать заново. Ограничение UNIQUE в PostgreSQL нарушается, если в таблице больше одной строки с равными значениями всех колонок, входящих в это ограничение (F1). Значит, до импорта нужно решить, по каким колонкам сравнивать записи: только по номеру или по номеру вместе с датой.

Здесь есть ловушка с пустыми значениями. По умолчанию в PostgreSQL два значения NULL не считаются равными при проверке UNIQUE, поэтому дубли строк с NULL в колонке ограничения возможны (F2). Если номер документа иногда пустой, ограничение такие строки пропустит. Поведение можно изменить через NULLS NOT DISTINCT, но это осознанное решение, а не настройка по умолчанию.

В SQLite правило другое: для целей UNIQUE-ограничения значения NULL считаются отличными от всех других значений, включая другие NULL (F11). Одинаково пустые номера там тоже не столкнутся.

Разберём синтетический пример — это учебные данные, не клиентский кейс.

В таблице четыре строки: две полностью совпадающие записи D-101, запись D-102 с пустым контрагентом и запись D-103 с датой в формате 11.01.2026 вместо 2026-01-11. Если сравнивать только по номеру и дате, D-101 схлопывается в одну строку, а D-102 и D-103 остаются как есть — они не дубли, хотя и выглядят подозрительно.

Ожидаемый результат такой операции на этих данных — три строки вместо четырёх. Это проверяет учебную логику, но не подтверждает работу внешней CRM, Power Query или права доступа реального сервиса.

Типы данных и пустые значения при чтении таблицы

Если таблицу читают скриптом, а не руками, настройки чтения решают половину проблем. В pandas при чтении CSV параметр dtype позволяет задать тип данных для всего DataFrame или для отдельных колонок (F6). Сумму объявляйте числом сразу, иначе «1 200,00» и «800.50» останутся строками и сложить их не получится.

Параметр usecols позволяет вернуть только подмножество колонок файла (F7). Это защита от лишнего: служебные колонки, заметки менеджера и случайные столбцы в базу не попадут.

Пустые ячейки тоже нужно назвать явно. Параметр na_values задаёт дополнительные строки, которые распознаются как NA/NaN (F8): «нет», «—», «н/д» — всё это разные способы написать «пусто», и без настройки они станут обычным текстом.

Даты разбирает параметр parse_dates — он позволяет указать колонки, которые нужно разобрать как даты (F9).

Но нестандартные форматы вроде 11.01.2026 он сам не спасёт: такие строки лучше привести к одному виду до чтения или разобрать отдельным правилом.

И не пытайтесь запретить пустоту через CHECK. В PostgreSQL ограничение CHECK считается выполненным, если выражение даёт true или NULL, поэтому само по себе оно не запрещает NULL в проверяемой колонке (F4). Для запрета пустоты нужен not-null constraint.

Ограничения на уровне базы: что они проверяют и когда

Ограничения — это не бюрократия, а способ поймать ошибку в момент записи. Но у каждого есть границы, и их полезно знать до того, как вы понадеетесь на базу.

PostgreSQL не поддерживает CHECK-ограничения, которые ссылаются на данные таблицы помимо проверяемой новой или обновляемой строки (F5). Проверить «сумма не больше остатка по договору» таким способом не выйдет — межстрочные правила выражают через UNIQUE, EXCLUDE или FOREIGN KEY.

В SQLite есть своя ловушка при создании таблицы. Таблица, созданная через CREATE TABLE ... AS SELECT, не имеет первичного ключа и ограничений (F12). Быстрый способ «скопировать данные в новую таблицу» даёт таблицу без защиты — и дубли в ней не поймать.

Ещё важнее момент проверки. В SQLite ограничения проверяются при INSERT и UPDATE, а запросы и DELETE обычно ограничения не проверяют (F13). То есть после ручной правки файла или восстановления из копии целостность стоит проверить отдельно, а не считать доказанной.

Сверка записей до и после переноса: чек-лист вопросов

Сверка — это не «открыл и посмотрел». Это набор вопросов, на каждый из которых есть ответ в виде числа или списка.

Сколько строк было в таблице и сколько стало в базе? Если числа разошлись, разница должна объясняться: столько-то дублей схлопнуто, столько-то строк отклонено из-за пустого ключа. Любая необъяснённая разница — повод остановиться.

Совпадают ли суммы? Сложите колонку до и после. Если суммы разошлись при одинаковом числе строк, скорее всего часть значений осталась текстом — ровно та проблема, от которой защищает dtype.

Нет ли дублей по выбранному ключу?

Проверьте это запросом, а не глазами: ограничение UNIQUE нарушается при равных значениях всех колонок ограничения (F1), а первичный ключ дополнительно требует отсутствия NULL (F3). Если ключ составной, проверять нужно именно его.

Все ли даты в одном формате? Строка 11.01.2026 и 2026-01-11 — это один день, но для базы разные значения. После импорта прогоните колонку дат на соответствие ожидаемому формату.

И последний вопрос: что произойдёт при следующей записи? Ограничения проверяются при вставке и обновлении (F13), поэтому попробуйте добавить тестовую строку с заведомым дублем и убедитесь, что база её отклонила. Если пропустила — защита не работает, и это лучше узнать на тестовой строке, чем на боевом реестре.

Источники

Назад