Автоматизация скачивания музыки и переименования файлов mp3 с сайта студии Лебедева.
Музыкальный набор манит на сайте Лебедева — https://www.artlebedev.ru/dj/. Очень не хотелось возиться с плейером на сайте, так он ужасен, почему-то, чуть меньше, чем полностью. Особенно, когда я слушал самые старые треки. Что бы до них добраться нужно было полностью спуститься вниз страницы. С учетом того, что она сделана с использованием технологии ajax, нужно тупо ждать, зажав клавишу «Page Down». Даже когда я до них добирался, не все треки воспроизводились. Да еще это уведомление про куки, которое загораживает прогресс бар плейера. Я обескуражен, почему так все плохо сделано, на ведущем сайте в Рунете, посвещенном разработке сайтов. Если кто то меня услышит, то плейер нужно переработать, потому что он никуда не годится. Хотя, может быть, я ничего в этом и не понимаю. В общем, хотелось скачать всю музыку разом, и не париться. Пришлось привлечь наших фронтендеров и провести расследование.
Результатом расследования явился — скрипт для скачивания mp3
Далее, возникла проблема с именами файлов. Скрипт запускался несколько раз, а wget имеет привычку дописывать у одинаковых файлов в конце (2), (3) и т.д. Убираем лишнее в консоли.
|
1 |
for f in *\(2\).mp3; do; i="${f%\(2\).mp3}"; i=$(echo $i | sed 's/ *$//g');mv "$f" "${i}.mp3";done |
Подсказка 1: Если повторять мое расследование, то с оригинальными данными выдернутыми с сайта, при скачивании файлов, произойдет ошибка на файле с id 404. Это очень символично)) Я воспринял это как пасхалку. В моем скрипте данные уже поправлены.
Подсказка 2: На всякий случай напишу, что полное собрание сочинений, на момент поста, 112 Гб.
OpenVPN на сервере со множеством сетевых интерфейсов.
При настройке OpenVPN сервера в контейнере существует два сетевых интерфейса:
|
2 3 4 |
eth0 == Внешний адрес : X.X.X.X eth1 == Внутренний адрес: 192.168.0.100 255.255.240.0 tun0 == 10.8.0.1 255.255.255.255 |
Для корректной работы, нужно в конфиг прописать параметр «multihome», иначе будет иметь значение порядок сетевых интерфейсов. Без этого параметра, OpenVPN сервер выбирает какой либо сетевой интерфейс интерфейсом по умолчанию. При получения пакета из другого сетевого интерфейса, отправляет ответ в интерфейс по умолчанию. С параметром «multihome» с какого интерфейса пришел пакет туда и уйдет ответ. Вроде бы, так должно быть, с точки зрения здравого смысла, но оказывается, для этого нужен отдельный параметр.
|
2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
port 1194 proto udp dev tun multihome tls-server ca keys/ca.crt cert keys/lup64.crt key keys/lup64.key dh keys/dh1024.pem mode server ifconfig 10.8.0.1 10.8.0.2 ifconfig-pool 10.8.0.4 10.8.0.255 route 10.8.0.0 255.255.255.0 keepalive 10 60 inactive 600 comp-lzo user openvpn group openvpn persist-tun persist-key verb 3 log-append /var/log/openvpn.log push "redirect-gateway def1 bypass-dhcp" push "dhcp-option DNS 10.8.0.1" |
Экранирование симоволов в groovy (jenkins pipeline)
В задании Jenkins есть такое определение:
|
1 |
def pR = sh(script: "cd $it; PLAN=\$(terragrunt plan --terragrunt-source-update | landscape); echo "$PLAN"; CHANGES=$(echo "$PLAN" | tail -2); echo $CHANGES") |
Возникает ошибка когда идет попытка выполнить echo «$PLAN»:
|
1 2 3 |
solution: either escape a literal dollar sign "\$5" or bracket the value expression "${5}" @ line 34, column 148. ce-update | landscape); echo "$PLAN"; CH |
Происходит это из-за особенностей интерпретации кода в Jenkins. Для строк с двойными кавычками, groovy процессор будет преобразовывать строку первым. И только после преобразования переменных groovy, преобразованием переменных займется bash.
it, PLAN, CHANGES переменные среды исполнения (runtime variable) shell нежели переменные среды исполнения groovy. Groovy не может найти соответствующие переменные из стэка переменных для замены it, PLAN, CHANGES во время преобразования переменных.
Поэтому нужно экранировать все «$» если используется двойные кавычки в данном случае.
|
1 2 |
def pR = sh(script: "cd \$it; PLAN=\$(terragrunt plan --terragrunt-source-update | landscape); echo \$PLAN; CHANGES=\$(echo \$PLAN | tail -2); echo \$CHANGES") |
Или использовать одиночные кавычки, которые не используют преобразования:
|
1 2 |
def pR = sh(script: 'cd $it; PLAN=$(terragrunt plan --terragrunt-source-update | landscape); echo $PLAN; CHANGES=$(echo $PLAN | tail -2); echo $CHANGES') |
https://stackoverflow.com/questions/51659231/groovy-escape-double-quoted/51662852
https://stackoverflow.com/questions/59171237/jenkins-script-console-can-i-use-jenkins-pipeline-dsl-in-script-console
Разборки с Wi-Fi драйвером Chipal 0bda:a811
Имею wi-fi адаптер купленный на Алиэкспрес под именем CHIPAL 802.11AC 600 Мбит/с.
Еще на этапе покупки были риски, что под Linux адаптер не работает. Но в комментариях было сказано что под Linux кто то работал с ним. По приезду его ко мне, проблема с работой устройства на Arch Linux все же возникла. Это при том, что на Arch используются последние версии ядер. Значит нужно было попробовать найти решение для работы драйвера.
Определяем ID устройства командой: lsusb
Ищем ID в google, находим эту ссылку:
Visible 0bda:a811 Realtek WiFi adapter and device driver not connected
Ответ, который там дан долгое время работал без ошибок. Но со временем, на свежих ядрах это перестало работать. Я эксперементировал с разными драйверами. Последний рабочий драйвер был от gordboy. Но мне приходилось настраивать его руками, а хотелось задействовать автоматизированное решение на базе dkms. Последней капалей стало то, что в один прекрасный момент, после обновления ядра и очередной ручной установки драйвера, сеть Wi-Fi 5Ггц стала работать нестабильно, с периодической потерей пакетов. Я выяснил это, только когда переключился на Wi-Fi 2.4 Ггц. Для этого мне пришлось настраивать точку доступа в этом диапазоне. Я уже давно отказался от использования этой частоты, оставив только 5 Ггц.
Решением служит использование драйвера 82xx. В aur он называется rtl88xxau-aircrack-dkms-git.
После установки появляется работоспособный интерфейс. При обновлении ядра, проблем пока не было. Потери пакетов отсутствуют.
Проблема фильтрации в multipath-tools
Много времени потрачено на выяснение, почему multipath-tools НЕ фильтрует iscsi подключение. Расследование длилось два дня. В итоге выяснилось, что при подключении по iscsi, блочное устройство создается в контексте /dev/sd{a,b,c} и т.д. Как правило, это загрузочные устройства. Это ключевой момент. По умолчанию multipath-tools фильтрует устройства с такими именами.
Для решения нужно добавить в конфиг строчку:
|
1 |
find_multipaths "no" |
Полный конфиг multipath.conf:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
defaults { verbosity 2 user_friendly_names "no" find_multipaths "no" } blacklist { protocol ".*" } blacklist_exceptions { protocol "scsi:iscsi" protocol "scsi:fc" } |
commit id — 4b062334631084b3622a6f38061329c9cf675e8d
Сборка программного обеспечения в deb пакеты на примере Openvswitch в Debian
Возникла задача собрать deb пакеты Openvswitch на базе Debian 9.8. Сейчас я часто делаю подобные сборки ПО под определенную кодовую базу, поэтому данный пост я делаю в качестве заметки на будущее.
Вариант #1 (Original)
Качаем исходники:
|
1 |
git clone https://github.com/openvswitch/ovs.git |
Переходим в каталог:
|
1 |
cd ovs |
Выбираем ветку:
|
1 |
git checkout branch-2.10 |
Проверяем зависимости:
|
1 |
dpkg-checkbuilddeps |
Если выдает что чего то не хватает, то устанавливаем их командой:
|
1 |
apt install ... |
Сама сборка:
|
1 |
fakeroot debian/rules binary |
Чистка сборочного окружения ( опционально ):
|
1 |
fakeroot debian/rules clean |
Если почему то не идет сборка пакетов в результате ваших экспериментов сборкой, а чистка не помогает, то попробуйте сброс ветки:
|
1 |
git reset --hard |
Если все пройдет хорошо, собранные пакеты будут в папке на уровень выше.
Вариант #2 (Debian Mainters)
Качаем исходники:
|
1 |
https://salsa.debian.org/openstack-team/third-party/openvswitch |
Переходим в каталог:
|
1 |
cd openvswitch |
Просматриваем тэги:
|
1 |
git tag |
Создаем ветку из тэга и переходим в неё:
|
1 |
git checkout -b v2.10.0 |
Проверяем зависимости:
|
1 |
dpkg-checkbuilddeps |
Если выдает что чего то не хватает, то устанавливаем их командой:
|
1 |
apt install ... |
Сама сборка:
|
1 |
dpkg-buildpackage -B |
Чистка сборочного окружения ( опционально ):
|
1 |
fakeroot debian/rules clean |
Если почему то не идет сборка пакетов в результате ваших экспериментов сборкой, а чистка не помогает, то попробуйте сброс ветки:
|
1 |
git reset --hard |
Если все пройдет хорошо, собранные пакеты будут в папке на уровень выше.
Использованная литература:
https://wiki.debian.org/ru/DebianBuildPackages
https://www.debian.org/doc/manuals/maint-guide/build.ru.html