stepanzh

А что ж такое поток?

Поток это последовательность байт. (Да, абстрактней остались только байт и бит.) Поток можно читать, и можно в него писать. Вопрос в том, как его интерпретировать. При работе в консоли, всё, что вываливается на экран, интерпретируется как текст. Но ничто не мешает вывалить на экран терминала картинку (cat wallpaper.png).

Поток это абстракция, которая унифицирует интерфейс чтения и записи куда-либо, вообще. Используя её, мы можем одинаково работать с выводом в терминал, файл или сетевой сокет. Под капотом операционная система выделяет буферную память под поток, и мы работаем с этой памятью. Содержимое буфера существует само по себе до момента "смытия" (flush). В этот момент, то, что было в буфере, отправляется далее, например, в терминал, файл или сокет.

Используйте потоки в своих программах, особенно при создании библиотек. Лучше, когда ваши функции пишут в потоки, а не в файлы или на экран. Такой код гибче и его легче тестировать. Например, вместо того, чтобы создавать и писать в файл, можно писать в текстовый поток, а потом сравнить его содержимое с эталонной строкой.

Перенаправление потоков

Вернёмся к потокам std. Киллер-фича консольного мира — перенаправление потоков. С помощью 1> вы можете перенаправить стандартный поток вывода в файл.

ls -alt Downloads 1> file-list.txt

Аналогично с потоком ошибок, но используется «кран» 2>. Вы можете направлять потоки вывода и ошибок в разные файлы, а можете в один, «краном» >.

А чтобы сменить поток ввода, используется <. Например, в команде

ls < my-list.txt

программа ls будет читать список директорий из файла my-list.txt. Помните задания по информатике, где нужно было читать ввод с клавиатуры? Так вот, у проверяющего скрипта никакой клавиатуры нет, вместо неё он подаёт на stdin вашей программы файл с входными данными, обёрнутый в поток.

Консольные программы часто создаются так, что вывод одной программы можно соединить с вводом второй. Для этого используется конвейер (pipe) |. Например,

ls -1 Downloads | wc -l

выведет на экран количество файлов в директории Downloads. В целом, консольный unix-мир состоит из маленьких утилит, хорошо делающих свои маленькие задачи, а конвейер позволяет собирать из утилит более сложные программы. С принципом конвейера вы можете встретиться при обработке массива данных: достать, отфильтровать, отсортировать, применить функцию и отдать.

Пример про OpenBLAS и numpy

Пример посложнее. Попробуйте запустить какую-нибудь долгую (хотя бы минута) программу с numpy двумя командами:

python main.py

OPENBLAS_NUM_THREADS=X python main.py

где X это число ядер вашего процессора. Скорее всего, второй пример будет работать существенно быстрее. Почему?

По умолчанию, numpy использует библиотеку OpenBLAS для линейной алгебры. А OpenBLAS использует столько потоков (threads), сколько указано в переменной окружения OPENBLAS_NUM_THREADS. Беда в том, что по умолчанию эта переменная не проставлена, и OpenBLAS использует все потоки, включая логические. В нагруженном вычислениями коде это обычно нежелательно, и стоит использовать столько потоков, сколько ядер в процессоре.

Переменная PATH

Одна из важнейших переменных окружения называется PATH. Она содержит список директорий, где оболочка ищет программы, например, ls. Когда вы устанавливаете новую консольную программу, вы можете добавить путь до неё в PATH, чтобы вызывать программу по названию, а не полному пути. Но ещё лучше создать ссылку в директории, которая уже есть в PATH. В unix-ах есть стандартное место для таких случаев — /usr/local/bin.

Код выхода

Всякая программа имеет код выхода (exit code, код ошибки). Он хранится в специальной переменной "?".

echo $?

Код 0 (ноль) по соглашению показывает отсутствие ошибки.

При написании однострочников часто используется оператор &&.

ls Downloads && echo hello

Этот оператор проверяет код выхода, и, если код ошибочный, цепочка команд после оператора не выполняется.

Интерполяция переменных

При создании массива аргументов для программы, оболочка интерполирует значения переменных и даже результаты других команд. Например, при вызове

ls $dirout

оболочка подставит значение переменной dirout.

Интерполирование опасно, когда переменные хранят значения с пробелами: так один аргумент может превратиться в несколько. Для экранирования пробелов в переменных используются двойные кавычки, а одинарные отключают интерполирование. Поэтому в консольном мире распространены имена файлов без пробелов.

Интерполяция alias

Многие unix-оболочки предоставляют механизм alias, который по сути является сокращением команд. Например, объявив

alias gst='git status'

Вы сможете по alias gst вызывать команду git status. Я нахожу это очень удобным в ежедневной работе, хотя многие предпочитают использовать полноценные функции вместо alias-ов. Да, современная оболочка имеет полноценный язык программирования. Чтобы функции и alias-ы были доступны всегда, их сохраняют в стартап-файле оболочки.

Чаще всего я использую такие alias-ы

alias gc='git commit'
alias gd='git diff'
alias gl='git pull'
alias gp='git push'
alias gst='git status'

alias ..='cd ..'

alias ll='ls -lh'

Alias-ы интерполируются, при наборе команды вы можете считать, что alias просто подставляется.

gc -m 'feat: new article on command line basics'

Ещё я люблю пользоваться gnuplot для построения графиков. Когда мне часто требуется построить результаты расчёта, я сохранию gnuplot-скрипт, который ожидает на вход файл с данными, а выдаёт pdf-ку. Так, я использую alias plt.

alias plt='gnuplot -c'

plt residual-norm.gnuplot benchmark-summary.tsv > /tmp/residual-norm.pdf
open /tmp/residual-norm.pdf

С таким подходом я за дешёво контролирую что построить и куда положить картинку. Например, в связке Python + matplotlib получилось бы куда больше бойлерплейта (и, вероятно, медленнее бы работало).