Day by Day, Site by Site | Troubleshooting, Good Links, And Some Code

28.04.2023

Работа с частными репозиториями из Goland (Golang) 2

Golang по умолчанию работает с https протколом. Поэтому с настройками по умолчанию возникает ошибка ниже.

go: gitlab.space.team/dev/spacevm-go@v0.0.0-20230427205557-c59c016940d9: invalid version: git ls-remote -q origin in /home/dp/Code/golang/go/pkg/mod/cache/vcs/9d6ac92dae2cb8c34a30234f55abdae32ec5751ebe1104a5d00259017d7295a9: exit status 128:
	fatal: could not read Username for 'http://gitlab.space.team': terminal prompts disabled
Confirm the import path was entered correctly.
If this is a private repository, see https://golang.org/doc/faq#git_https for additional information.

go: gitlab.space.team/dev/spacevm-go@v0.0.0-20230427205557-c59c016940d9: invalid version: git ls-remote -q origin in /home/dp/Code/golang/go/pkg/mod/cache/vcs/9d6ac92dae2cb8c34a30234f55abdae32ec5751ebe1104a5d00259017d7295a9: exit status 128:

fatal: could not read Username for 'http://gitlab.space.team': terminal prompts disabled

Confirm the import path was entered correctly.

If this is a private repository, see https://golang.org/doc/faq#git_https for additional information.

Что бы заставить его использовать http при работе частными репозиториями неободимо прописать авторизацию через файл $HOME/.netrc

machine gitlab.space.team login USERNAME password PASSWORD(APIKEY)

1	machine gitlab.space.team login USERNAME password PASSWORD(APIKEY)

При возникновении следующей ошибки:

go: terraform-provider-spacevm imports
	gitlab.space.team/dev/spacevm-go/api: gitlab.space.team/dev/spacevm-go@v0.0.0-20230302093536-f65e5b53e820: parsing go.mod:
	module declares its path as: spacevm-go
	        but was required as: gitlab.space.team/dev/spacevm-go

go: terraform-provider-spacevm imports

gitlab.space.team/dev/spacevm-go/api: gitlab.space.team/dev/spacevm-go@v0.0.0-20230302093536-f65e5b53e820: parsing go.mod:

module declares its path as: spacevm-go

but was required as: gitlab.space.team/dev/spacevm-go

необходимо в самописном модуле который импортируем и который расположен в приватном репозитории прописать правильное именование. Вместо module spacevm-go необходимо писать полный путь до приватного модуля module gitlab.space.team/dev/spacevm-go.

Постоянная ссылка

27.03.2022

Результаты теста «Основа сетевых технологий»

https://onlinetestpad.com/widget-px4i2in4bv77s

Постоянная ссылка

13.01.2022

Работа с частными репозиториями из Goland (Golang)

Golang и линейка продуктов JetBrains, куда входят Goland и Pycharm, ориентированны на работу с внешними сервисами, такими как github. GitHub работает по https протоколу, для менеджера пакетов golang необходима система контроля версий, поддерживающая https протокол, иначе он не захочет качать пакеты.

Во множестве организаций использутся внутренние репозитории кода. У нас код хостится на внутреннем сервере Gitlab. При этом https не используется, используется http. При импорте модулей в пакет при разработке на golang возникает проблема:

При попытке импорта, Goland пишет:

go: finding module for package gitlab.bazalt.team/dev/veil-api-client-go/veil
terraform-provider-veil imports
gitlab.bazalt.team/dev/veil-api-client-go/veil: cannot find module providing package gitlab.bazalt.team/dev/veil-api-client-go/veil: unrecognized import path "gitlab.bazalt.team/dev/veil-api-client-go/veil": https fetch: Get "https://gitlab.bazalt.team/dev/veil-api-client-go/veil?go-get=1": dial tcp 192.168.14.215:443: connect: connection refused

go: finding module for package gitlab.bazalt.team/dev/veil-api-client-go/veil

terraform-provider-veil imports

gitlab.bazalt.team/dev/veil-api-client-go/veil: cannot find module providing package gitlab.bazalt.team/dev/veil-api-client-go/veil: unrecognized import path "gitlab.bazalt.team/dev/veil-api-client-go/veil": https fetch: Get "https://gitlab.bazalt.team/dev/veil-api-client-go/veil?go-get=1": dial tcp 192.168.14.215:443: connect: connection refused

Что делал что бы побороть ошибку:

* запилил самоподписанные сертфикаты для Gitlab, не помогло:

go: finding module for package gitlab.bazalt.team/dev/veil-api-client-go/veil
terraform-provider-veil/veil imports
gitlab.bazalt.team/dev/veil-api-client-go/veil: cannot find module providing package gitlab.bazalt.team/dev/veil-api-client-go/veil: unrecognized import path "gitlab.bazalt.team/dev/veil-api-client-go/veil": https fetch: Get "https://gitlab.bazalt.team/dev/veil-api-client-go/veil?go-get=1": x509: certificate signed by unknown authority

go: finding module for package gitlab.bazalt.team/dev/veil-api-client-go/veil

terraform-provider-veil/veil imports

* экспериментировал с git на локальном хосте как здесь, не помогло:

* поспал, начал читать разное про модули, в итоге набрел на «Go Modules Reference», помогло:

В настройках проекта Goland устанавливаем переменные с исключениями из внутренних серверов и удаляем старые версии модулей в консоли:

go clean -modcache

1	go clean -modcache

Может потребоваться перезапуск Goland. Модули нормально импортировались:

Постоянная ссылка

18.09.2021

Hooverphonic — Mad About You (Live at Koningin Elisabethzaal 2012)

Постоянная ссылка

26.05.2021

Автоматизация скачивания музыки и переименования файлов mp3 с сайта студии Лебедева.

Музыкальный набор манит на сайте Лебедева — https://www.artlebedev.ru/dj/. Очень не хотелось возиться с плейером на сайте, так он ужасен, почему-то, чуть меньше, чем полностью. Особенно, когда я слушал самые старые треки. Что бы до них добраться нужно было полностью спуститься вниз страницы. С учетом того, что она сделана с использованием технологии ajax, нужно тупо ждать, зажав клавишу «Page Down». Даже когда я до них добирался, не все треки воспроизводились. Да еще это уведомление про куки, которое загораживает прогресс бар плейера. Я обескуражен, почему так все плохо сделано, на ведущем сайте в Рунете, посвещенном разработке сайтов. Если кто то меня услышит, то плейер нужно переработать, потому что он никуда не годится. Хотя, может быть, я ничего в этом и не понимаю. В общем, хотелось скачать всю музыку разом, и не париться. Пришлось привлечь наших фронтендеров и провести расследование.

Результатом расследования явился — скрипт для скачивания mp3

Далее, возникла проблема с именами файлов. Скрипт запускался несколько раз, а wget имеет привычку дописывать у одинаковых файлов в конце (2), (3) и т.д. Убираем лишнее в консоли.

for f in *\(2\).mp3; do; i="${f%\(2\).mp3}"; i=$(echo $i | sed 's/ *$//g');mv "$f" "${i}.mp3";done

1	for f in $2$.mp3; do; i="${f%$2$.mp3}"; i=$(echo $i \| sed 's/ $//g');mv "$f" "${i}.mp3";done

Подсказка 1: Если повторять мое расследование, то с оригинальными данными выдернутыми с сайта, при скачивании файлов, произойдет ошибка на файле с id 404. Это очень символично)) Я воспринял это как пасхалку. В моем скрипте данные уже поправлены.

Подсказка 2: На всякий случай напишу, что полное собрание сочинений, на момент поста, 112 Гб.

Постоянная ссылка

31.01.2021

OpenVPN на сервере со множеством сетевых интерфейсов.

При настройке OpenVPN сервера в контейнере существует два сетевых интерфейса:

eth0 == Внешний адрес : X.X.X.X
eth1 == Внутренний адрес: 192.168.0.100 255.255.240.0
tun0 == 10.8.0.1 255.255.255.255

eth0 == Внешний адрес : X.X.X.X

eth1 == Внутренний адрес: 192.168.0.100 255.255.240.0

tun0 == 10.8.0.1 255.255.255.255

Для корректной работы, нужно в конфиг прописать параметр «multihome», иначе будет иметь значение порядок сетевых интерфейсов. Без этого параметра, OpenVPN сервер выбирает какой либо сетевой интерфейс интерфейсом по умолчанию. При получения пакета из другого сетевого интерфейса, отправляет ответ в интерфейс по умолчанию. С параметром «multihome» с какого интерфейса пришел пакет туда и уйдет ответ. Вроде бы, так должно быть, с точки зрения здравого смысла, но оказывается, для этого нужен отдельный параметр.

port 1194
proto udp
dev tun
multihome
tls-server
ca keys/ca.crt
cert keys/lup64.crt
key keys/lup64.key
dh keys/dh1024.pem
mode server
ifconfig 10.8.0.1 10.8.0.2
ifconfig-pool 10.8.0.4 10.8.0.255
route 10.8.0.0 255.255.255.0
keepalive 10 60
inactive 600
comp-lzo
user openvpn
group openvpn
persist-tun
persist-key
verb 3
log-append /var/log/openvpn.log
push "redirect-gateway def1 bypass-dhcp"
push "dhcp-option DNS 10.8.0.1"

port 1194

proto udp

dev tun

multihome

tls-server

ca keys/ca.crt

cert keys/lup64.crt

key keys/lup64.key

dh keys/dh1024.pem

mode server

ifconfig 10.8.0.1 10.8.0.2

ifconfig-pool 10.8.0.4 10.8.0.255

route 10.8.0.0 255.255.255.0

keepalive 10 60

inactive 600

comp-lzo

user openvpn

group openvpn

persist-tun

persist-key

verb 3

log-append /var/log/openvpn.log

push "redirect-gateway def1 bypass-dhcp"

push "dhcp-option DNS 10.8.0.1"

Постоянная ссылка

15.06.2020

Экранирование симоволов в groovy (jenkins pipeline)

В задании Jenkins есть такое определение:

def pR = sh(script: "cd $it; PLAN=\$(terragrunt plan --terragrunt-source-update | landscape); echo "$PLAN"; CHANGES=$(echo "$PLAN" | tail -2); echo $CHANGES")

1	def pR = sh(script: "cd $it; PLAN=\$(terragrunt plan --terragrunt-source-update \| landscape); echo "$PLAN"; CHANGES=$(echo "$PLAN" \| tail -2); echo $CHANGES")

Возникает ошибка когда идет попытка выполнить echo «$PLAN»:

solution: either escape a literal dollar sign "\$5" or bracket the value 
expression "${5}" @ line 34, column 148.
ce-update | landscape); echo "$PLAN"; CH

solution: either escape a literal dollar sign "\$5" or bracket the value

expression "${5}" @ line 34, column 148.

ce-update | landscape); echo "$PLAN"; CH

Происходит это из-за особенностей интерпретации кода в Jenkins. Для строк с двойными кавычками, groovy процессор будет преобразовывать строку первым. И только после преобразования переменных groovy, преобразованием переменных займется bash.

it, PLAN, CHANGES переменные среды исполнения (runtime variable) shell нежели переменные среды исполнения groovy. Groovy не может найти соответствующие переменные из стэка переменных для замены it, PLAN, CHANGES во время преобразования переменных.

Поэтому нужно экранировать все «$» если используется двойные кавычки в данном случае.

def pR = sh(script: "cd \$it; PLAN=\$(terragrunt plan --terragrunt-source-update | landscape); 
         echo \$PLAN; CHANGES=\$(echo \$PLAN | tail -2); echo \$CHANGES")

1 2	def pR = sh(script: "cd \$it; PLAN=\$(terragrunt plan --terragrunt-source-update \| landscape); echo \$PLAN; CHANGES=\$(echo \$PLAN \| tail -2); echo \$CHANGES")

Или использовать одиночные кавычки, которые не используют преобразования:

def pR = sh(script: 'cd $it; PLAN=$(terragrunt plan --terragrunt-source-update | landscape); 
             echo $PLAN; CHANGES=$(echo $PLAN | tail -2); echo $CHANGES')

1 2	def pR = sh(script: 'cd $it; PLAN=$(terragrunt plan --terragrunt-source-update \| landscape); echo $PLAN; CHANGES=$(echo $PLAN \| tail -2); echo $CHANGES')

https://stackoverflow.com/questions/51659231/groovy-escape-double-quoted/51662852

https://stackoverflow.com/questions/59171237/jenkins-script-console-can-i-use-jenkins-pipeline-dsl-in-script-console