Нотификации об ошибках в Redis-кластере с помощью Sentinel и Slack

На самом деле можно куда угодно слать уведомление, хоть в систему мониторинга, хоть на почту. Я отправляю в Slack.

Вот как выглядит скрипт отправки сообщения:
# vim /srv/sentinel_notification.bash
#!/bin/bash

SLACK_URL=https://hooks.slack.com/services/12345 # your webhook url

if [ "$#" = "2" ]; then
SLACK_BODY=`cat << EOB
=====================================
Information about your Redis Cluster.
Check Redis server or sentinel.
=====================================
Event type: ${1}
Event description: ${2}

Message sent by Sentinel Notification feature.

EOB`
    curl -X POST --data-urlencode "payload={\"channel\": \"#monitoring\", \"username\": \"Redis Sentinel from dbs\", \"text\": \"\`\`\`$SLACK_BODY\`\`\`\"}" $SLACK_URL
fi

Делаем скрипт исполняемым:
# chmod +x /srv/sentinel_notification.bash

В конфиг sentinel прописываем наш скрипт:
# vim /etc/redis-sentinel.conf
....
sentinel notification-script mymaster /srv/sentinel_notification.bash
...

Рестартим сервис:
# systemctl restart redis-sentinel

Вот пример того, как выглядит сообщение в Slack:

Список всех event type можно посмотреть в документации: https://redis.io/topics/sentinel#pubsub-messages

Особенность при использовании Ansible Python API с Celery

В приложении, которое использует Python API ансибла и запускается с помощью Celery была обнаружена особенность, при которой ансибловский плейбук не отрабатывает и возвращает пустой результат:
# cat ansible.log
2017-08-02 16:02:08,764 --- INFO --- utils run():87 --- Playbook load
2017-08-02 16:02:08,868 --- INFO --- utils run():94 --- Playbook run
2017-08-02 16:02:08,870 --- DEBUG --- utils run():96 --- Options: Options(connection='ssh', module_path='', forks=100, become=True, become_method='sudo', become_user='root', check=False, remote_user='root')
2017-08-02 16:02:09,328 --- DEBUG --- utils run():108 --- 0

Если же этот плейбук запускать руками напрямую, а не через Ansible, то все нормально.

Ошибка заключается в том, что Celery почему-то не может взаимодействовать с ResultCallback функцией Ansible Python API.
Решение такое, перед запуском Celery-воркера нужно задать переменную:
PYTHONOPTIMIZE=1
или запустить Celery c параметром:
-O OPTIMIZATION
После этих манипуляций все работает отлично.

via.

Генерация конфигурации OpenLDAP + SSSD

Необходимо работающий на сервере LDAP соединить с SSSD, который позволяет подключаться к LDAP, как локально, так и удаленно.
Представим что LDAP-server уже настроен и отзывается на команду:
# ldapsearch -D cn=Manager,dc=domain,dc=com -H ldaps://localhost:636 -b ou=it,dc=domain,dc=com -w

Некоторые общие проблемы с cron

Наиболее популярным планировщиком заданий в Linux является демон cron.
Демон сервиса под названием crond читает файлы конфигураций (/etc/crontab, /etc/cron.*, /var/spool/cron) и выполняет запланированные задания.

Существуют особенности работы с cron и некоторые сталкиваются с трудностями при его использовании.

Сборка кроссплатформенного python-инсталлятора с помощью conda constructor

Задача: необходимо собрать минимальное окружение c python 2.7 и gsutil на борту. Окружение должно устанавливаться на Linux, Mac OS X, Windows.
Конечный результат: в каталог файловой системы устанавливаются python и gsutil, который можно использовать без установки системных зависимостей.

Делаю это на основе чистого контейнера с CentOS 7:
# docker run -ti centos bash
# cat /etc/redhat-release 
CentOS Linux release 7.2.1511 (Core)

Импорт дампа базы MariaDB в Docker при сборке образа

Предположим нам нужно собрать образ на основе Fedora с MariaDB на борту (не самый правильный способ, так как есть куча готовых mysql-образов).
Примерно вот так выглядит мой Dockerfile:
# cat Dockerfile 
FROM fedora

RUN dnf install -y mariadb mariadb-server 
ADD dump/devdb.sql /tmp
ADD dump/initdb.sh /tmp

RUN /tmp/initdb.bash
RUN chown mysql:mysql -R /var/lib/mysql/

CMD ["/usr/bin/mysqld_safe --datadir=/var/lib/mysql"]

В этом докерфайле я описал базовый образ Fedora, установил MariaDB, скопировал дамп базы и скрипт инициализации в образ, выставил права на каталог с данными и описал строку запуска MariaDB.

Во время сборки образа, после копирования файлов в контейнер запускается скрипт initdb.bash вот с таким содержимым:
# cat dump/initdb.bash 
#!/bin/bash

set -e
set -x

mysql_install_db
mysqld_safe --datadir='/var/lib/mysql' --user=root &
until mysqladmin ping >/dev/null 2>&1; do
   sleep 0.2
done

mysql_upgrade && \
mysql -e 'drop database test;' && \
mysql -e 'create database devdb;' && \
mysql devdb < /tmp/devdb.sql && \
echo "Successfully imported" && exit 0

Скрипт инициализирует базы MySQL, запускает MariaDB-server и проверяет запустился ли он (mysqladmin ping), после того, как сервер работает запускается то что нам нужно, а именно удаление базы test, создание чистой базы devdb и импорт дампа в эту базу.

Интеграция сервисов в Slack (Redmine, Zabbix, Teamcity)

Slack - это корпоративный мессенджер с возможностью интеграции многих сервисов.
В отличие от skype (не skype for business) или telegram очень удобен для работы команды, как в плане общения, так и в плане интеграции.

После перехода со Skype на Slack я в первую очередь решил настроить его интеграцию с некоторыми сервисами, используемыми в IT-инфраструктуре. Некоторые вещи реализуются несколькими кликами в Slack и самом сервисе, а в некоторых приходится искать сторонние решения или придумывать их самому.
В заметке я опишу как я настраивал интеграцию Slack с системой управления проектами Redmine, мониторингом Zabbix и CI-инструментом Teamcity.

Проблема с pip uninstall в Docker

При использовании Storage Driver OverlayFS в Docker возникает проблема с удалением пакета через pip.

Пример:
# docker info | grep "Storage Driver"
Storage Driver: overlay

# vim Dockerfile
FROM fedora:22
RUN pip uninstall six

# docker build -t testimage .
...
Exception:
Traceback (most recent call last):
  File "/usr/lib/python2.7/dist-packages/pip/basecommand.py", line 126, in main
...
OSError: [Errno 39] Directory not empty: '/tmp/pip-oMuCWu-uninstall/usr/bin'
...

Этот баг пофикшен в ядре 4.5.0.-rc6, поэтому нужно обновлять ядро, либо переключаться на другой storage backend, например devicemapper.

Верстка презентации в LaTeX с помощью Beamer

С LaTeX я познакомился на 3 курсе университета в 2014 году увидев курс на Coursera. До этого я слышал что LaTeX это очень сложная штука и используется в основном в научных кругах для верстки статей для журналов.
Оказалось что LaTeX не настолько сложен и потратив несколько дней на его изучение, можно легко верстать как обычные документы, так и презентации.
Тренировался я на разных отчетах, курсачах, методичках, визитках переползая с LibreOffice на LaTeX.
Впоследствии бакалаврский и магистерский дипломы, а также множество презентаций я верстал именно в LaTeX.

Разворачивание окружения для работы LaTeX в Docker

Как известно, пакеты содержащие зависимости LaTeX могут достигать больших размеров и для тех кто не хочет захламлять систему лишними пакетами (например если нужно единожды собрать какой-нибудь проект) можно воспользоваться Docker'ом.

Dockerfile такого вида устанавливает необходимые пакеты для работы XeLaTeX и beamer:
FROM ubuntu
MAINTAINER Amet13 <[email protected]>

ENV DIR /master-thesis
RUN mkdir $DIR

RUN echo "deb http://archive.ubuntu.com/ubuntu/ trusty multiverse" | tee -a /etc/apt/sources.list.d/multiverse.list && \
   echo "ttf-mscorefonts-installer msttcorefonts/accepted-mscorefonts-eula select true" | debconf-set-selections

RUN apt update && \
   apt install -y wget git make apt-transport-https unzip && \
   apt install -y texlive-base texlive-latex-extra texlive-xetex texlive-lang-cyrillic latexmk texlive-fonts-extra texlive-math-extra latex-beamer

RUN apt install -y --reinstall ttf-mscorefonts-installer

RUN wget -O /usr/share/fonts/xits-math.otf https://github.com/khaledhosny/xits-math/raw/master/xits-math.otf && \
   wget http://www.paratype.ru/uni/public/PTSansOFL.zip && \
   wget http://www.paratype.ru/uni/public/PTMono.zip && \
   unzip PTSansOFL.zip -d /usr/share/fonts/ && unzip PTMono.zip -d /usr/share/fonts/ && \
   rm -f PTSansOFL.zip PTMono.zip && \
   fc-cache -f -v

VOLUME $DIR
WORKDIR $DIR

Также тут устанавливаются некоторые шрифты, такие как Times New Roman, XITS Math, PT Sans, PT Mono.
Я например использую такой подход для сборки своего диплома в LaTeX, очень удобно.