Day by Day, Site by Site | Linux And Windows Troubleshooting, Good Links, And Some Code

13.01.2022

Работа с частными репозиториями из Goland (Golang)

Golang и линейка продуктов JetBrains, куда входят Goland и Pycharm, ориентированны на работу с внешними сервисами, такими как github. GitHub работает по https протоколу, для менеджера пакетов golang необходима система контроля версий, поддерживающая https протокол, иначе он не захочет качать пакеты.

Во множестве организаций использутся внутренние репозитории кода. У нас код хостится на внутреннем сервере Gitlab. При этом https не используется, используется http. При импорте модулей в пакет при разработке на golang возникает проблема:

При попытке импорта, Goland пишет:

go: finding module for package gitlab.bazalt.team/dev/veil-api-client-go/veil
terraform-provider-veil imports
	gitlab.bazalt.team/dev/veil-api-client-go/veil: cannot find module providing package gitlab.bazalt.team/dev/veil-api-client-go/veil: unrecognized import path "gitlab.bazalt.team/dev/veil-api-client-go/veil": https fetch: Get "https://gitlab.bazalt.team/dev/veil-api-client-go/veil?go-get=1": dial tcp 192.168.14.215:443: connect: connection refused

go: finding module for package gitlab.bazalt.team/dev/veil-api-client-go/veil

terraform-provider-veil imports

gitlab.bazalt.team/dev/veil-api-client-go/veil: cannot find module providing package gitlab.bazalt.team/dev/veil-api-client-go/veil: unrecognized import path "gitlab.bazalt.team/dev/veil-api-client-go/veil": https fetch: Get "https://gitlab.bazalt.team/dev/veil-api-client-go/veil?go-get=1": dial tcp 192.168.14.215:443: connect: connection refused

Что делал что бы побороть ошибку:

запилил самоподписанные сертфикаты для Gitlab, не помогло:

go: finding module for package gitlab.bazalt.team/dev/veil-api-client-go/veil
terraform-provider-veil/veil imports
	gitlab.bazalt.team/dev/veil-api-client-go/veil: cannot find module providing package gitlab.bazalt.team/dev/veil-api-client-go/veil: unrecognized import path "gitlab.bazalt.team/dev/veil-api-client-go/veil": https fetch: Get "https://gitlab.bazalt.team/dev/veil-api-client-go/veil?go-get=1": x509: certificate signed by unknown authority

go: finding module for package gitlab.bazalt.team/dev/veil-api-client-go/veil

terraform-provider-veil/veil imports

экспериментировал с git на локальном хосте как здесь, не помогло:
поспал, начал читать разное про модули, в итоге набрел на «Go Modules Reference», помогло:

В настройках проекта Goland устанавливаем переменные с исключениями из внутренних серверов и удаляем старые версии модулей в консоли:

sudo rm -rf $GOPATH/pkg/mod/gitlab.bazalt.team/
sudo rm -rf $GOPATH/pkg/mod/github.com/slashburygin

1 2	sudo rm -rf $GOPATH/pkg/mod/gitlab.bazalt.team/ sudo rm -rf $GOPATH/pkg/mod/github.com/slashburygin

Может потребоваться перезапуск Goland. Модули нормально импортировались:

Постоянная ссылка

18.09.2021

Hooverphonic — Mad About You (Live at Koningin Elisabethzaal 2012)

Постоянная ссылка

26.05.2021

Автоматизация скачивания музыки и переименования файлов mp3 с сайта студии Лебедева.

Музыкальный набор манит на сайте Лебедева — https://www.artlebedev.ru/dj/. Очень не хотелось возиться с плейером на сайте, так он ужасен, почему-то, чуть меньше, чем полностью. Особенно, когда я слушал самые старые треки. Что бы до них добраться нужно было полностью спуститься вниз страницы. С учетом того, что она сделана с использованием технологии ajax, нужно тупо ждать, зажав клавишу «Page Down». Даже когда я до них добирался, не все треки воспроизводились. Да еще это уведомление про куки, которое загораживает прогресс бар плейера. Я обескуражен, почему так все плохо сделано, на ведущем сайте в Рунете, посвещенном разработке сайтов. Если кто то меня услышит, то плейер нужно переработать, потому что он никуда не годится. Хотя, может быть, я ничего в этом и не понимаю. В общем, хотелось скачать всю музыку разом, и не париться. Пришлось привлечь наших фронтендеров и провести расследование.

Результатом расследования явился — скрипт для скачивания mp3

Далее, возникла проблема с именами файлов. Скрипт запускался несколько раз, а wget имеет привычку дописывать у одинаковых файлов в конце (2), (3) и т.д. Убираем лишнее в консоли.

for f in *\(2\).mp3; do; i="${f%\(2\).mp3}"; i=$(echo $i | sed 's/ *$//g');mv "$f" "${i}.mp3";done

1	for f in $2$.mp3; do; i="${f%$2$.mp3}"; i=$(echo $i \| sed 's/ $//g');mv "$f" "${i}.mp3";done

Подсказка 1: Если повторять мое расследование, то с оригинальными данными выдернутыми с сайта, при скачивании файлов, произойдет ошибка на файле с id 404. Это очень символично)) Я воспринял это как пасхалку. В моем скрипте данные уже поправлены.

Подсказка 2: На всякий случай напишу, что полное собрание сочинений, на момент поста, 112 Гб.

Постоянная ссылка

31.01.2021

OpenVPN на сервере со множеством сетевых интерфейсов.

При настройке OpenVPN сервера в контейнере существует два сетевых интерфейса:

eth0 == Внешний адрес : X.X.X.X
eth1 == Внутренний адрес: 192.168.0.100 255.255.240.0
tun0 == 10.8.0.1 255.255.255.255

eth0 == Внешний адрес : X.X.X.X

eth1 == Внутренний адрес: 192.168.0.100 255.255.240.0

tun0 == 10.8.0.1 255.255.255.255

Для корректной работы, нужно в конфиг прописать параметр «multihome», иначе будет иметь значение порядок сетевых интерфейсов. Без этого параметра, OpenVPN сервер выбирает какой либо сетевой интерфейс интерфейсом по умолчанию. При получения пакета из другого сетевого интерфейса, отправляет ответ в интерфейс по умолчанию. С параметром «multihome» с какого интерфейса пришел пакет туда и уйдет ответ. Вроде бы, так должно быть, с точки зрения здравого смысла, но оказывается, для этого нужен отдельный параметр.

port 1194
proto udp
dev tun
multihome
tls-server
ca keys/ca.crt
cert keys/lup64.crt
key keys/lup64.key
dh keys/dh1024.pem
mode server
ifconfig 10.8.0.1 10.8.0.2
ifconfig-pool 10.8.0.4 10.8.0.255
route 10.8.0.0 255.255.255.0
keepalive 10 60
inactive 600
comp-lzo
user openvpn
group openvpn
persist-tun
persist-key
verb 3
log-append /var/log/openvpn.log
push "redirect-gateway def1 bypass-dhcp"
push "dhcp-option DNS 10.8.0.1"

port 1194

proto udp

dev tun

multihome

tls-server

ca keys/ca.crt

cert keys/lup64.crt

key keys/lup64.key

dh keys/dh1024.pem

mode server

ifconfig 10.8.0.1 10.8.0.2

ifconfig-pool 10.8.0.4 10.8.0.255

route 10.8.0.0 255.255.255.0

keepalive 10 60

inactive 600

comp-lzo

user openvpn

group openvpn

persist-tun

persist-key

verb 3

log-append /var/log/openvpn.log

push "redirect-gateway def1 bypass-dhcp"

push "dhcp-option DNS 10.8.0.1"

Постоянная ссылка

15.06.2020

Экранирование симоволов в groovy (jenkins pipeline)

В задании Jenkins есть такое определение:

def pR = sh(script: "cd $it; PLAN=\$(terragrunt plan --terragrunt-source-update | landscape); echo "$PLAN"; CHANGES=$(echo "$PLAN" | tail -2); echo $CHANGES")

1	def pR = sh(script: "cd $it; PLAN=\$(terragrunt plan --terragrunt-source-update \| landscape); echo "$PLAN"; CHANGES=$(echo "$PLAN" \| tail -2); echo $CHANGES")

Возникает ошибка когда идет попытка выполнить echo «$PLAN»:

solution: either escape a literal dollar sign "\$5" or bracket the value 
expression "${5}" @ line 34, column 148.
ce-update | landscape); echo "$PLAN"; CH

solution: either escape a literal dollar sign "\$5" or bracket the value

expression "${5}" @ line 34, column 148.

ce-update | landscape); echo "$PLAN"; CH

Происходит это из-за особенностей интерпретации кода в Jenkins. Для строк с двойными кавычками, groovy процессор будет преобразовывать строку первым. И только после преобразования переменных groovy, преобразованием переменных займется bash.

it, PLAN, CHANGES переменные среды исполнения (runtime variable) shell нежели переменные среды исполнения groovy. Groovy не может найти соответствующие переменные из стэка переменных для замены it, PLAN, CHANGES во время преобразования переменных.

Поэтому нужно экранировать все «$» если используется двойные кавычки в данном случае.

def pR = sh(script: "cd \$it; PLAN=\$(terragrunt plan --terragrunt-source-update | landscape); 
         echo \$PLAN; CHANGES=\$(echo \$PLAN | tail -2); echo \$CHANGES")

1 2	def pR = sh(script: "cd \$it; PLAN=\$(terragrunt plan --terragrunt-source-update \| landscape); echo \$PLAN; CHANGES=\$(echo \$PLAN \| tail -2); echo \$CHANGES")

Или использовать одиночные кавычки, которые не используют преобразования:

def pR = sh(script: 'cd $it; PLAN=$(terragrunt plan --terragrunt-source-update | landscape); 
             echo $PLAN; CHANGES=$(echo $PLAN | tail -2); echo $CHANGES')

1 2	def pR = sh(script: 'cd $it; PLAN=$(terragrunt plan --terragrunt-source-update \| landscape); echo $PLAN; CHANGES=$(echo $PLAN \| tail -2); echo $CHANGES')

https://stackoverflow.com/questions/51659231/groovy-escape-double-quoted/51662852

https://stackoverflow.com/questions/59171237/jenkins-script-console-can-i-use-jenkins-pipeline-dsl-in-script-console

Постоянная ссылка

07.05.2020

Разборки с Wi-Fi драйвером Chipal 0bda:a811

Имею wi-fi адаптер купленный на Алиэкспрес под именем CHIPAL 802.11AC 600 Мбит/с.

Еще на этапе покупки были риски, что под Linux адаптер не работает. Но в комментариях было сказано что под Linux кто то работал с ним. По приезду его ко мне, проблема с работой устройства на Arch Linux все же возникла. Это при том, что на Arch используются последние версии ядер. Значит нужно было попробовать найти решение для работы драйвера.

Определяем ID устройства командой: lsusb

Ищем ID в google, находим эту ссылку:

Visible 0bda:a811 Realtek WiFi adapter and device driver not connected

Ответ, который там дан долгое время работал без ошибок. Но со временем, на свежих ядрах это перестало работать. Я эксперементировал с разными драйверами. Последний рабочий драйвер был от gordboy. Но мне приходилось настраивать его руками, а хотелось задействовать автоматизированное решение на базе dkms. Последней капалей стало то, что в один прекрасный момент, после обновления ядра и очередной ручной установки драйвера, сеть Wi-Fi 5Ггц стала работать нестабильно, с периодической потерей пакетов. Я выяснил это, только когда переключился на Wi-Fi 2.4 Ггц. Для этого мне пришлось настраивать точку доступа в этом диапазоне. Я уже давно отказался от использования этой частоты, оставив только 5 Ггц.

Решением служит использование драйвера 82xx. В aur он называется rtl88xxau-aircrack-dkms-git.

После установки появляется работоспособный интерфейс. При обновлении ядра, проблем пока не было. Потери пакетов отсутствуют.

Постоянная ссылка

22.05.2019

Проблема фильтрации в multipath-tools

Много времени потрачено на выяснение, почему multipath-tools НЕ фильтрует iscsi подключение. Расследование длилось два дня. В итоге выяснилось, что при подключении по iscsi, блочное устройство создается в контексте /dev/sd{a,b,c} и т.д. Как правило, это загрузочные устройства. Это ключевой момент. По умолчанию multipath-tools фильтрует устройства с такими именами.

Для решения нужно добавить в конфиг строчку:

find_multipaths "no"

1	find_multipaths "no"

Полный конфиг multipath.conf:

defaults {
verbosity 2
user_friendly_names "no"
find_multipaths "no"
}

blacklist {
protocol ".*"
}

blacklist_exceptions {
protocol "scsi:iscsi"
protocol "scsi:fc"
}

defaults {

verbosity 2

user_friendly_names "no"

find_multipaths "no"

}

blacklist {

protocol ".*"

}

blacklist_exceptions {

protocol "scsi:iscsi"

protocol "scsi:fc"

}

commit id — 4b062334631084b3622a6f38061329c9cf675e8d