Написал статью о том, как мы используем PGAudit для базы в RDS: https://medium.com/preply-engineering/pgaudit-7e0c3eebd54d
воскресенье, 17 февраля 2019 г.
суббота, 9 февраля 2019 г.
Миграция сообщений в очередях RabbitMQ с помощью Shovel
У RabbitMQ существует возможность миграции сообщений между очередями, как в пределах одной ноды, так и между различными нодами.
Для этого можно использовать плагин Shovel (вообще кроме Shovel полезно будет знать про федерацию и кластеризацию в RabbitMQ, в некоторых кейсах можно использовать и их).
Установка плагина Shovel:
rabbitmq-plugins enable rabbitmq_shovel rabbitmq_shovel_management
Пример использования Shovel для миграции очереди celery с ноды node1 на node2:
rabbitmqctl set_parameter shovel celery-migration \
'{"src-uri": "amqp://node1user:[email protected]/node1vhost", "src-queue": "celery", "dest-uri": "amqp://node2user:[email protected]/node2vhost", "dest-queue": "celery"}'
Для того чтобы node1 могла подключиться к node2, на второй должен быть открыть порт 5672.
Помимо использования CLI можно и использовать веб-интерфейс, пример можно посмотреть тут.
Для этого можно использовать плагин Shovel (вообще кроме Shovel полезно будет знать про федерацию и кластеризацию в RabbitMQ, в некоторых кейсах можно использовать и их).
Установка плагина Shovel:
rabbitmq-plugins enable rabbitmq_shovel rabbitmq_shovel_management
Пример использования Shovel для миграции очереди celery с ноды node1 на node2:
rabbitmqctl set_parameter shovel celery-migration \
'{"src-uri": "amqp://node1user:[email protected]/node1vhost", "src-queue": "celery", "dest-uri": "amqp://node2user:[email protected]/node2vhost", "dest-queue": "celery"}'
Для того чтобы node1 могла подключиться к node2, на второй должен быть открыть порт 5672.
Помимо использования CLI можно и использовать веб-интерфейс, пример можно посмотреть тут.
среда, 23 января 2019 г.
Пробрасываем реальный IP-адрес в Nginx Ingress
По умолчанию установленный Nginx Ingress с помощью HELM в AWS не пробрасывает реальный IP-адрес внутрь балансера, поэтому в логах ингресс-контроллера будут присутствовать логи с внутренних адресов сети.
В каком случае нам нужно иметь реальный адрес? Например если мы хотим на уровне ингресса или приложения анализировать адреса или для их блокировки.
Делается это несложно.
Включаем аннотацию для прокси в сервисе контроллера:
kubectl edit svc nginx-ingress-controller -n kube-system
metadata:
...
annotations:
service.beta.kubernetes.io/aws-load-balancer-proxy-protocol: '*'
Разрешаем в конфигмапе использование прокси:
kubectl edit configmap nginx-ingress-controller -n kube-system
data:
...
use-proxy-protocol: "true"
Собственно говоря после этого все.
Идем в логи контроллера и смотрим адреса с которого приходят запросы:
kubectl logs -f nginx-ingress-controller-56f4bf4dc9-5pqjn
1.1.1.1 - [1.1.1.1] - - [22/Jan/2019:18:58:23 +0000] "GET /ping HTTP/1.1" 503 197 "-" "Wget" 85 0.000 [-]
В каком случае нам нужно иметь реальный адрес? Например если мы хотим на уровне ингресса или приложения анализировать адреса или для их блокировки.
Делается это несложно.
Включаем аннотацию для прокси в сервисе контроллера:
kubectl edit svc nginx-ingress-controller -n kube-system
metadata:
...
annotations:
service.beta.kubernetes.io/aws-load-balancer-proxy-protocol: '*'
Разрешаем в конфигмапе использование прокси:
kubectl edit configmap nginx-ingress-controller -n kube-system
data:
...
use-proxy-protocol: "true"
Собственно говоря после этого все.
Идем в логи контроллера и смотрим адреса с которого приходят запросы:
kubectl logs -f nginx-ingress-controller-56f4bf4dc9-5pqjn
1.1.1.1 - [1.1.1.1] - - [22/Jan/2019:18:58:23 +0000] "GET /ping HTTP/1.1" 503 197 "-" "Wget" 85 0.000 [-]
вторник, 15 января 2019 г.
Аутентификация в Kubernetes с помощью GitHub OAuth и Dex
Описал в статье как мы настраивали аутентификацию для кубера.
На хабре: https://habr.com/ru/post/436238/
На медиуме (англ): https://medium.com/preply-engineering/k8s-auth-a81f59d4dff6
Пока мы все это настраивали, много раз выстрелили себе в ноги. Однако таки удалось добить ее, сейчас успешно используем это на паре-тройке куберовских кластеров.
И да, подписывайтесь на телеграм-канал моего коллеги Юры: https://t.me/catops именно он добил эту аутентификацию, пока я мучался с ней тонну времени.
Он вместе с Максимом практически ежедневно выкладывает ссылки на годное чтиво, о том что связано с DevOps и смежными IT-темами.
На хабре: https://habr.com/ru/post/436238/
На медиуме (англ): https://medium.com/preply-engineering/k8s-auth-a81f59d4dff6
Пока мы все это настраивали, много раз выстрелили себе в ноги. Однако таки удалось добить ее, сейчас успешно используем это на паре-тройке куберовских кластеров.
И да, подписывайтесь на телеграм-канал моего коллеги Юры: https://t.me/catops именно он добил эту аутентификацию, пока я мучался с ней тонну времени.
Он вместе с Максимом практически ежедневно выкладывает ссылки на годное чтиво, о том что связано с DevOps и смежными IT-темами.
суббота, 15 декабря 2018 г.
Создание read-only пользователя в PostgreSQL
Источник: https://gist.github.com/oinopion/4a207726edba8b99fd0be31cb28124d0
Сохраню себе для копипасты.
-- Create a group
CREATE ROLE readaccess;
-- Grant access to existing tables
GRANT USAGE ON SCHEMA public TO readaccess;
GRANT SELECT ON ALL TABLES IN SCHEMA public TO readaccess;
-- Grant access to future tables
ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT SELECT ON TABLES TO readaccess;
-- Create a final user with password
CREATE USER user WITH PASSWORD 'secret';
GRANT readaccess TO user;
Сохраню себе для копипасты.
-- Create a group
CREATE ROLE readaccess;
-- Grant access to existing tables
GRANT USAGE ON SCHEMA public TO readaccess;
GRANT SELECT ON ALL TABLES IN SCHEMA public TO readaccess;
-- Grant access to future tables
ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT SELECT ON TABLES TO readaccess;
-- Create a final user with password
CREATE USER user WITH PASSWORD 'secret';
GRANT readaccess TO user;
суббота, 3 ноября 2018 г.
Видео докладов с конференции DevOps Stage 2018
В середине октября прошла двухдневная конференция в Киеве DevOps Stage.
Доклады были разбиты на три категории:
Само собой все доклады мне посетить не удалось, но могу выделить для себя те, которые понравились больше всего.
Yevhen Volchenko | KUBERNETES ATTACK SURFACES AND WAYS TO SECURE THEM
Практические советы о том как защитить Kubernetes.
Хорошие пояснения что и почему надо защищать с примерами конфигураций.
Volodymyr Tsap | ON THE ROAD TO 6.9K. HOW TO SUCCEED IN TECHNICAL INTERVIEW
Мем про 6.9к известен в киевской девопс-тусовке (ссылку на статью не оставляю, но гуглится по запросу "DevOps с комплексом бога запросил зарплату в $6.9К").
Доклад интересен прежде всего интересной подачей с кучей лулзов.
В докладе интересно рассказывается про описание работы инженера, с какими технологиями он работает, что должен знать, какие вопросы обычно задают на собеседовании и прочее.
Yurii Rochniak | CI DOESN’T START WITH JENKINS
Юра рассказывает про то как мы пытаемся варить девопс в Preply, какие технологии и тулы используем, как эволюционируем и почему.
Одним из вопросов из зала был, как мы раним Kubernetes на спот-инстансах в AWS, после чего Юра написал полноценную статью, которая отвечает на этот вопрос.
Juliya Tkachova | DEVOPS ON SCALE FROM PHILOSOPHY TO TOOLSET
В этом докладе рассказывается про девопс со множеством примеров факапов.
Причем название доклада полностью описывает его содержание, поэтому интересен как со стороны философии, так и со стороны набора инструментов и технологий.
Был еще один хороший доклад от Mark Smalley, но я его не нашел в тех плейлистах.
Доклады были разбиты на три категории:
Само собой все доклады мне посетить не удалось, но могу выделить для себя те, которые понравились больше всего.
Yevhen Volchenko | KUBERNETES ATTACK SURFACES AND WAYS TO SECURE THEM
Практические советы о том как защитить Kubernetes.
Хорошие пояснения что и почему надо защищать с примерами конфигураций.
Volodymyr Tsap | ON THE ROAD TO 6.9K. HOW TO SUCCEED IN TECHNICAL INTERVIEW
Мем про 6.9к известен в киевской девопс-тусовке (ссылку на статью не оставляю, но гуглится по запросу "DevOps с комплексом бога запросил зарплату в $6.9К").
Доклад интересен прежде всего интересной подачей с кучей лулзов.
В докладе интересно рассказывается про описание работы инженера, с какими технологиями он работает, что должен знать, какие вопросы обычно задают на собеседовании и прочее.
Yurii Rochniak | CI DOESN’T START WITH JENKINS
Юра рассказывает про то как мы пытаемся варить девопс в Preply, какие технологии и тулы используем, как эволюционируем и почему.
Одним из вопросов из зала был, как мы раним Kubernetes на спот-инстансах в AWS, после чего Юра написал полноценную статью, которая отвечает на этот вопрос.
Juliya Tkachova | DEVOPS ON SCALE FROM PHILOSOPHY TO TOOLSET
В этом докладе рассказывается про девопс со множеством примеров факапов.
Причем название доклада полностью описывает его содержание, поэтому интересен как со стороны философии, так и со стороны набора инструментов и технологий.
Был еще один хороший доклад от Mark Smalley, но я его не нашел в тех плейлистах.
суббота, 13 октября 2018 г.
Видео докладов с конференции OSDN 2018
В сети появились записи докладов с конференции на youtube. Конференция проводится уже не первый раз в Киеве, в этом году она была в сентябре.
Рекомендую к просмотру доклады:
Рекомендую к просмотру доклады:
— Леннарта Поттеринга — Locking Down Your Systemd Services (Леннарта слушать интересно)
— Максима Богука — Использование статистики в PostgreSQL для оптимизации производительности (узнал для себя много нового про Postgres)
Также мне было интересно послушать доклад Николая Маржана — Amazon RDS Monitoring, так как я использую PostgreSQL в амазоновском RDS.
воскресенье, 7 октября 2018 г.
Долой cat и less, да здравствует bat!
https://github.com/sharkdp/bat
Что умеет:
- подсветка номеров строк и синтаксиса (довольно много различных языков и разметок)
- если содержимое файла влезает в экран, работает как cat, если нет — как less
- поддержка git diff
- поддержка конкатенации файлов, равно как и cat
- при этом все эти штуки можно включать и отключать как удобно
Как привыкаем:
echo alias cat='bat' >> ~/.bash_profile
echo alias less='bat' >> ~/.bash_profile
source ~/.bash_profile
cat README.md
Что умеет:
- подсветка номеров строк и синтаксиса (довольно много различных языков и разметок)
- если содержимое файла влезает в экран, работает как cat, если нет — как less
- поддержка git diff
- поддержка конкатенации файлов, равно как и cat
- при этом все эти штуки можно включать и отключать как удобно
Как привыкаем:
echo alias cat='bat' >> ~/.bash_profile
echo alias less='bat' >> ~/.bash_profile
source ~/.bash_profile
cat README.md
воскресенье, 30 сентября 2018 г.
Как я диплом в LaTeX писал с GitHub, Docker и TravisCI
Дошли руки написать статью на хабре по поводу того, как я свой диплом писал: https://habr.com/post/424805/
Версия на английском: https://medium.com/@Amet13/how-i-wrote-a-diploma-in-latex-with-github-docker-and-travisci-e6cba33067a7
Версия на английском: https://medium.com/@Amet13/how-i-wrote-a-diploma-in-latex-with-github-docker-and-travisci-e6cba33067a7
суббота, 29 сентября 2018 г.
Бекапим все свои репозитории локально с GitHub
Идем в настройки и генерируем токен с правами repo: https://github.com/settings/tokens
Запускаем бекап на локальную машину всех своих репозиториев:
Запускаем бекап на локальную машину всех своих репозиториев:
export GITHUB_AT=yourtokenfromgithub
export USERNAME=Amet13
curl -s https://$GITHUB_AT:@api.github.com/users/$USERNAME/repos?per_page=200 | \
curl -s https://$GITHUB_AT:@api.github.com/users/$USERNAME/repos?per_page=200 | \
jq .[].ssh_url | \
xargs -n 1 git clone
На случай пожара, так сказать.