Работа с частными репозиториями из Goland (Golang)
Golang и линейка продуктов JetBrains, куда входят Goland и Pycharm, ориентированны на работу с внешними сервисами, такими как github. GitHub работает по https протоколу, для менеджера пакетов golang необходима система контроля версий, поддерживающая https протокол, иначе он не захочет качать пакеты.
Во множестве организаций использутся внутренние репозитории кода. У нас код хостится на внутреннем сервере Gitlab. При этом https не используется, используется http. При импорте модулей в пакет при разработке на golang возникает проблема:
При попытке импорта, Goland пишет:
|
1 2 3 |
go: finding module for package gitlab.bazalt.team/dev/veil-api-client-go/veil terraform-provider-veil imports gitlab.bazalt.team/dev/veil-api-client-go/veil: cannot find module providing package gitlab.bazalt.team/dev/veil-api-client-go/veil: unrecognized import path "gitlab.bazalt.team/dev/veil-api-client-go/veil": https fetch: Get "https://gitlab.bazalt.team/dev/veil-api-client-go/veil?go-get=1": dial tcp 192.168.14.215:443: connect: connection refused |
Что делал что бы побороть ошибку:
- запилил самоподписанные сертфикаты для Gitlab, не помогло:
|
1 2 3 |
go: finding module for package gitlab.bazalt.team/dev/veil-api-client-go/veil terraform-provider-veil/veil imports gitlab.bazalt.team/dev/veil-api-client-go/veil: cannot find module providing package gitlab.bazalt.team/dev/veil-api-client-go/veil: unrecognized import path "gitlab.bazalt.team/dev/veil-api-client-go/veil": https fetch: Get "https://gitlab.bazalt.team/dev/veil-api-client-go/veil?go-get=1": x509: certificate signed by unknown authority |
- экспериментировал с git на локальном хосте как здесь, не помогло:
- поспал, начал читать разное про модули, в итоге набрел на «Go Modules Reference», помогло:
В настройках проекта Goland устанавливаем переменные с исключениями из внутренних серверов и удаляем старые версии модулей в консоли:
|
1 2 |
sudo rm -rf $GOPATH/pkg/mod/gitlab.bazalt.team/ sudo rm -rf $GOPATH/pkg/mod/github.com/slashburygin |
Может потребоваться перезапуск Goland. Модули нормально импортировались:
Автоматизация скачивания музыки и переименования файлов mp3 с сайта студии Лебедева.
Музыкальный набор манит на сайте Лебедева — https://www.artlebedev.ru/dj/. Очень не хотелось возиться с плейером на сайте, так он ужасен, почему-то, чуть меньше, чем полностью. Особенно, когда я слушал самые старые треки. Что бы до них добраться нужно было полностью спуститься вниз страницы. С учетом того, что она сделана с использованием технологии ajax, нужно тупо ждать, зажав клавишу «Page Down». Даже когда я до них добирался, не все треки воспроизводились. Да еще это уведомление про куки, которое загораживает прогресс бар плейера. Я обескуражен, почему так все плохо сделано, на ведущем сайте в Рунете, посвещенном разработке сайтов. Если кто то меня услышит, то плейер нужно переработать, потому что он никуда не годится. Хотя, может быть, я ничего в этом и не понимаю. В общем, хотелось скачать всю музыку разом, и не париться. Пришлось привлечь наших фронтендеров и провести расследование.
Результатом расследования явился — скрипт для скачивания mp3
Далее, возникла проблема с именами файлов. Скрипт запускался несколько раз, а wget имеет привычку дописывать у одинаковых файлов в конце (2), (3) и т.д. Убираем лишнее в консоли.
|
1 |
for f in *\(2\).mp3; do; i="${f%\(2\).mp3}"; i=$(echo $i | sed 's/ *$//g');mv "$f" "${i}.mp3";done |
Подсказка 1: Если повторять мое расследование, то с оригинальными данными выдернутыми с сайта, при скачивании файлов, произойдет ошибка на файле с id 404. Это очень символично)) Я воспринял это как пасхалку. В моем скрипте данные уже поправлены.
Подсказка 2: На всякий случай напишу, что полное собрание сочинений, на момент поста, 112 Гб.
OpenVPN на сервере со множеством сетевых интерфейсов.
При настройке OpenVPN сервера в контейнере существует два сетевых интерфейса:
|
2 3 4 |
eth0 == Внешний адрес : X.X.X.X eth1 == Внутренний адрес: 192.168.0.100 255.255.240.0 tun0 == 10.8.0.1 255.255.255.255 |
Для корректной работы, нужно в конфиг прописать параметр «multihome», иначе будет иметь значение порядок сетевых интерфейсов. Без этого параметра, OpenVPN сервер выбирает какой либо сетевой интерфейс интерфейсом по умолчанию. При получения пакета из другого сетевого интерфейса, отправляет ответ в интерфейс по умолчанию. С параметром «multihome» с какого интерфейса пришел пакет туда и уйдет ответ. Вроде бы, так должно быть, с точки зрения здравого смысла, но оказывается, для этого нужен отдельный параметр.
|
2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
port 1194 proto udp dev tun multihome tls-server ca keys/ca.crt cert keys/lup64.crt key keys/lup64.key dh keys/dh1024.pem mode server ifconfig 10.8.0.1 10.8.0.2 ifconfig-pool 10.8.0.4 10.8.0.255 route 10.8.0.0 255.255.255.0 keepalive 10 60 inactive 600 comp-lzo user openvpn group openvpn persist-tun persist-key verb 3 log-append /var/log/openvpn.log push "redirect-gateway def1 bypass-dhcp" push "dhcp-option DNS 10.8.0.1" |
Экранирование симоволов в groovy (jenkins pipeline)
В задании Jenkins есть такое определение:
|
1 |
def pR = sh(script: "cd $it; PLAN=\$(terragrunt plan --terragrunt-source-update | landscape); echo "$PLAN"; CHANGES=$(echo "$PLAN" | tail -2); echo $CHANGES") |
Возникает ошибка когда идет попытка выполнить echo «$PLAN»:
|
1 2 3 |
solution: either escape a literal dollar sign "\$5" or bracket the value expression "${5}" @ line 34, column 148. ce-update | landscape); echo "$PLAN"; CH |
Происходит это из-за особенностей интерпретации кода в Jenkins. Для строк с двойными кавычками, groovy процессор будет преобразовывать строку первым. И только после преобразования переменных groovy, преобразованием переменных займется bash.
it, PLAN, CHANGES переменные среды исполнения (runtime variable) shell нежели переменные среды исполнения groovy. Groovy не может найти соответствующие переменные из стэка переменных для замены it, PLAN, CHANGES во время преобразования переменных.
Поэтому нужно экранировать все «$» если используется двойные кавычки в данном случае.
|
1 2 |
def pR = sh(script: "cd \$it; PLAN=\$(terragrunt plan --terragrunt-source-update | landscape); echo \$PLAN; CHANGES=\$(echo \$PLAN | tail -2); echo \$CHANGES") |
Или использовать одиночные кавычки, которые не используют преобразования:
|
1 2 |
def pR = sh(script: 'cd $it; PLAN=$(terragrunt plan --terragrunt-source-update | landscape); echo $PLAN; CHANGES=$(echo $PLAN | tail -2); echo $CHANGES') |
https://stackoverflow.com/questions/51659231/groovy-escape-double-quoted/51662852
https://stackoverflow.com/questions/59171237/jenkins-script-console-can-i-use-jenkins-pipeline-dsl-in-script-console
Разборки с Wi-Fi драйвером Chipal 0bda:a811
Имею wi-fi адаптер купленный на Алиэкспрес под именем CHIPAL 802.11AC 600 Мбит/с.
Еще на этапе покупки были риски, что под Linux адаптер не работает. Но в комментариях было сказано что под Linux кто то работал с ним. По приезду его ко мне, проблема с работой устройства на Arch Linux все же возникла. Это при том, что на Arch используются последние версии ядер. Значит нужно было попробовать найти решение для работы драйвера.
Определяем ID устройства командой: lsusb
Ищем ID в google, находим эту ссылку:
Visible 0bda:a811 Realtek WiFi adapter and device driver not connected
Ответ, который там дан долгое время работал без ошибок. Но со временем, на свежих ядрах это перестало работать. Я эксперементировал с разными драйверами. Последний рабочий драйвер был от gordboy. Но мне приходилось настраивать его руками, а хотелось задействовать автоматизированное решение на базе dkms. Последней капалей стало то, что в один прекрасный момент, после обновления ядра и очередной ручной установки драйвера, сеть Wi-Fi 5Ггц стала работать нестабильно, с периодической потерей пакетов. Я выяснил это, только когда переключился на Wi-Fi 2.4 Ггц. Для этого мне пришлось настраивать точку доступа в этом диапазоне. Я уже давно отказался от использования этой частоты, оставив только 5 Ггц.
Решением служит использование драйвера 82xx. В aur он называется rtl88xxau-aircrack-dkms-git.
После установки появляется работоспособный интерфейс. При обновлении ядра, проблем пока не было. Потери пакетов отсутствуют.