Джон Мерч любит работать с большими файлами

Джон Мерч любит работать с большими файлами.

Ему подвернулся файл JSON размером 53 гб, поэтому Джон решил написать про несколько простых инструментов CLI (интерфейс командной строки) для лучшего понимания данных...

Как просмотреть первые несколько строк файла?

head filename.json

Или если вы предпочитаете просмотреть несколько последних строк:

tail filename.json

Теперь к разбору!

Как извлечь данные или просмотреть JSON в удобном формате в терминале?

Это можно сделать в JQ - stedolan.github.io/jq/

Джон смог использовать JQ для извлечения нужных для него данных и преобразования их в CSV.

Теперь, скажем, у вас есть большой CSV, как его просмотреть, особенно если он 12gb? Используйте less!

less filename.csv

Это позволит просматривать страницу за страницей просто нажимая пробел.

less +100g filename.csv

g - переход к 100-й строке

less +50p filename.csv

p - переводит вас на % в файле.

Лучший способ получить лучшее представление о данных - отсортировать их!

sort filename.csv

Теперь мы можем захотеть сохранить результат в отсортированном файле:

sort filename.csv > sort-filename.csv

Если эти данные представляют собой один столбец (например, список ключевых слов), вы можете легко дедуплицировать их

sort -u sort-filename.csv

-

Знаете еще подобных команд? Го поделиться в комментариях.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/375...