Автоскейлинг нод в Kubernetes

В этой заметке мы устанавливали кластер Kubernetes в AWS с помощью kops.
А в данной заметке я опишу настройки автоскейлинга нод в Kubernetes.

Для того чтобы автоскейлинг работал, необходимо его установить в кластер в неймспейс kube-system.

Перед непосредственной установкой, убедитесь что на всех нодах, которые вы хотите скейлить есть соответствующие лейблы:
kops get ig
kops edit ig nodes
...
spec:
  cloudLabels:
    k8s.io/cluster-autoscaler/enabled: ""
    kubernetes.io/cluster/k8s-dev.domain.org: ""

Эта команда будет создавать ноды с соответствующими лейблами, поэтому важно повесить лейблы также и на существующие ноды.

Подготовим файл конфигурации для автоскейлера:
cat << EOF > values.yml
autoDiscovery:
  clusterName: k8s-dev.domain.org
awsRegion: eu-west-1
cloudProvider: aws
extraArgs:
  balance-similar-node-groups: true
  expander: random
  skip-nodes-with-system-pods=false: false
rbac:
  create: true
  pspEnabled: true
scale-down-delay: 5m
v: 2
EOF

Установка автоскейлера:
helm install stable/cluster-autoscaler --name autoscaler -f values.yml

На этом в принципе все, можно позапускать в кластере каких-нибудь нагрузочных тестов, чтобы убедиться в работоспособности скейлинга.

Установка Kubernetes с помощью kops в AWS

В этой заметке я опишу, как быстро с нуля поднять рабочий кластер k8s в облаке амазона.
Если у вас много денег, можете использовать EKS (который еще недоступен во многих регионах), в качестве альтернативы я использую именно связку AWS+kops.

Ставим необходимые пакеты для работы с кубером (моя локальная ОС Mac OS X)
brew update
brew install awscli kubectl kops kubernetes-helm

Upgrading PostgreSQL on AWS RDS with minimum or zero downtime

С гордостью представляю публикацию в корпоративном блоге компанию статью по использованию мультимастер репликации в AWS RDS для PostgreSQL.
Ссылка: https://medium.com/preply-engineering/postgres-multimaster-34f2446d5e14
Статья на английском, с картинками, есть немного теории, много практики, а также выводы, когда можно использовать такую репликацию, а когда нет. Рекомендую к прочтению.

Mac OS X Mojave beta и чекбоксы в Google Chrome

Google Chrome пока еще не поддерживает Mac OS Mojave и некорректно отображает чекбоксы (и не только, например некоторые кнопки также не отображаются).

Чтобы обойти это, существует плагин для хрома, который устанавливаем размер каждой страницы 1.000001, что является костылем, до тех пор, пока Chrome не начнет поддерживать Mojave.

До плагина:

После:

Если еще кому-то интересно, то я заметил еще несколько багов, которые пока не поправили:

Dropbox, как-то странно отображается окно:

TextEdit, не всегда закрывается с первого раза.

Был также баг в Finder, при котором нельзя было из бокового меню извлечь внешний носитель, но это поправили.

VirtualBox не работает на Mojave.

Как скопировать права роли в PostgreSQL

Все очень просто, у нас есть роль olduser и мы хотим чтобы у нового пользователя newuser были такие же права на таблицы как и у olduser:
CREATE ROLE newuser WITH LOGIN PASSWORD 'password' CREATEDB CREATEROLE;
GRANT olduser TO newuser;

Обновление версии PostgreSQL в Amazon RDS без даунтайма

Цель: обновить инстанс PostgreSQL, который работает на версии 9.4 до 9.5.

RDS не позволяет обновлять PostgreSQL на несколько мажорных версий, поэтому если нужно обновиться например с 9.4 до 10, то итерацию придется повторять несколько раз.

Также важно то, чтобы были доступы для rds_superuser, без этого не получится настроить репликацию.

Пример как это все работает на тестовом стенде я описал ниже.

Настройка Hashicorp Vault для генерации одноразовых паролей (OTP) для SSH

Vault — это инструмент для управления секретами от компании Hashicorp известной также другими интересными тулами, такими как Consul, Nomad, Terraform, Vagrant, Packer и прочими.

Vault удобен тем, что может хранить различные типы секретов, например одноразовые пароли для SSH, доступы к БД, облачным сервисам и прочие key-value варианты. Получается некий аналог keepass/lastpass и google authenticator pam.

Удобство хашикорповских тулов заключается в том, что они распространяются единым бинарником и легко настраиваются, в том числе и Vault. У Vault неплохая документация, по которой в принципе все понятно.

В данной заметке я опишу вариант использования One-Time Passwords для логина в SSH, вместо мучений с менеджментом ssh-ключей.

Разница между su, su -, sudo -i, sudo -s

Промучавшись полдня с настройкой Hashicorp Vault до меня никак не могло дойти, что я делаю не так, ведь по сути ничего супер сложного там нет, однако я сталкивался с множеством ошибок при попытке запуска Vault-сервера.

Для получения прав рута на сервере я обычно использую команду sudo -s, почему именно ее — точно не вспомню, просто исторически сложилось и каких-либо проблем по этому поводу не испытывал.

Как оказалось, моя ошибка при настройке Vault была именно в том, что рута я получал именно такой командой.
Вот что пишут в мане:
-s, --shell Run the shell specified by the SHELL environment variable if it is set or the shell specified by the invoking user's password database entry. If a command is specified, it is passed to the shell for execution via the shell's -c option. If no command is specified, an interactive shell is executed.

Команда запускает shell из-под рута без смены директории, при этом не импортируются переменные окружения, которые прописаны например в .bash_profile или .login.

В случае sudo -i совсем другая история:

-i, --login Run the shell specified by the target user's password database entry as a login shell. This means that login-specific resource files such as .profile or .login will be read by the shell. If a command is specified, it is passed to the shell for execution via the shell's -c option. If no command is specified, an interactive shell is executed. sudo attempts to change to that user's home directory before running the shell. The command is run with an environment similar to the one a user would receive at log in. The Command environment section in the sudoers(5) manual documents how the -i option affects the environment in which a command is run when the sudoers policy is in use.

Тут запускается shell со сменой директории пользователя и импортом переменных окружения.

В случае su и su - тоже есть разница.

su - в этом случае сначала переключается пользователь, а затем вызывается shell, то есть очищая все переменные окружения и запуская чистую сессию рута.

su не очищает переменные окружения, а просто переключает пользователя оставляя переменные окружения старого пользователя.

Создание пользователя с правами администратора в RabbitMQ

# rabbitmqctl add_user rabbitadmin password
# rabbitmqctl set_user_tags rabbitadmin administrator
# rabbitmqctl set_permissions -p / rabbitadmin ".*" ".*" ".*"

Вопросы на собеседовании на позицию DevOps-инженера

Опишу тут некоторые вопросы, которые мне задавали на эту позицию.
Я около месяца проходил собеседования в компании из России, Украины, Европы и некоторые из вопросов я запомнил. Конечно, по большей части вопросы задавали конкретно по моему опыту работы, который я описал в резюме, однако некоторые из них повторялись очень часто и их стоит выделить.