csv

При работе с большим количеством однотипных данных в формате .csv (список товаров в магазине, базы данных пользователей, лиды, сделки, продажи) часто возникает необходимость объединить данные из нескольких файлов в один общий. Если файлов 2-3, то можно сделать это и вручную. Но если таких файлов несколько десятков, а то и сотен, то хотелось бы, конечно, как-то автоматизировать этот процесс.

В данной статье покажу, как объединить любое количество csv-файлов с использованием обычной командной строки без каких-либо сторонних программ или онлайн-сервисов. Для примера достаточно будет двух файлов, но их может быть сколько угодно.
Допустим, у нас есть файл в csv-формате с какой-то базой данных пользователей, в которой 1500 строк и дополнительный файл с обновлением на 100 строк, назовём их 1.csv и 2.csv. Для того, чтобы объединить их в один общий файл необходимо сделать следующие шаги:

  • Копируем наши файлы CSV в одну папку. Чтобы было удобнее, скинем их в корневую папку на диске C:/ и назовём её "total".
  • Запускаем командную строку - для этого нужно нажать клавиши Win+R, ввести команду cmd и нажать ОК.
  • Далее переходим в только что созданную папку, для этого в командной строке вводим: cd c:\total
  • И жмем Enter

csv1

  • Далее вводим: copy *.csv goter.csv,
    (где goter.csv – имя финального файла)
  • Ещё раз жмем Enter и видим что операция прошла успешно:

csv2

В итоговом файле - 1600 строк, 1500 из общей базы + 100 из обновления.

При таком объединении надо иметь ввиду, что будут добавляться все записи из всех файлов, то есть, если у вас в каждом файле есть какая-то общая шапка с наименованиями столбцов, то они тоже будет добавляться в итоговый файл (при объединении 100 файлов заголовки столбцов продублируются 100 раз). Соответственно, нужно либо сразу создавать файлы без заголовков, либо удалять потом дублирующиеся значения.

Комментарии  

0 #1 Артем 30.04.2023 15:19
Спасибо, полезно. Пытался через pyton склеить, но что-то не пошло. А можно было через powershell :o
Цитировать | Сообщить модератору

Главная страница

main

Это интересно

 

Уголок разработчика

 

Библиотечка