Интеграция сервисов в Slack (Redmine, Zabbix, Teamcity)

Slack - это корпоративный мессенджер с возможностью интеграции многих сервисов.
В отличие от skype (не skype for business) или telegram очень удобен для работы команды, как в плане общения, так и в плане интеграции.

После перехода со Skype на Slack я в первую очередь решил настроить его интеграцию с некоторыми сервисами, используемыми в IT-инфраструктуре. Некоторые вещи реализуются несколькими кликами в Slack и самом сервисе, а в некоторых приходится искать сторонние решения или придумывать их самому.
В заметке я опишу как я настраивал интеграцию Slack с системой управления проектами Redmine, мониторингом Zabbix и CI-инструментом Teamcity.

Проблема с pip uninstall в Docker

При использовании Storage Driver OverlayFS в Docker возникает проблема с удалением пакета через pip.

Пример:
# docker info | grep "Storage Driver"
Storage Driver: overlay

# vim Dockerfile
FROM fedora:22
RUN pip uninstall six

# docker build -t testimage .
...
Exception:
Traceback (most recent call last):
  File "/usr/lib/python2.7/dist-packages/pip/basecommand.py", line 126, in main
...
OSError: [Errno 39] Directory not empty: '/tmp/pip-oMuCWu-uninstall/usr/bin'
...

Этот баг пофикшен в ядре 4.5.0.-rc6, поэтому нужно обновлять ядро, либо переключаться на другой storage backend, например devicemapper.

Верстка презентации в LaTeX с помощью Beamer

С LaTeX я познакомился на 3 курсе университета в 2014 году увидев курс на Coursera. До этого я слышал что LaTeX это очень сложная штука и используется в основном в научных кругах для верстки статей для журналов.
Оказалось что LaTeX не настолько сложен и потратив несколько дней на его изучение, можно легко верстать как обычные документы, так и презентации.
Тренировался я на разных отчетах, курсачах, методичках, визитках переползая с LibreOffice на LaTeX.
Впоследствии бакалаврский и магистерский дипломы, а также множество презентаций я верстал именно в LaTeX.

Разворачивание окружения для работы LaTeX в Docker

Как известно, пакеты содержащие зависимости LaTeX могут достигать больших размеров и для тех кто не хочет захламлять систему лишними пакетами (например если нужно единожды собрать какой-нибудь проект) можно воспользоваться Docker'ом.

Dockerfile такого вида устанавливает необходимые пакеты для работы XeLaTeX и beamer:
FROM ubuntu
MAINTAINER Amet13 <[email protected]>

ENV DIR /master-thesis
RUN mkdir $DIR

RUN echo "deb http://archive.ubuntu.com/ubuntu/ trusty multiverse" | tee -a /etc/apt/sources.list.d/multiverse.list && \
   echo "ttf-mscorefonts-installer msttcorefonts/accepted-mscorefonts-eula select true" | debconf-set-selections

RUN apt update && \
   apt install -y wget git make apt-transport-https unzip && \
   apt install -y texlive-base texlive-latex-extra texlive-xetex texlive-lang-cyrillic latexmk texlive-fonts-extra texlive-math-extra latex-beamer

RUN apt install -y --reinstall ttf-mscorefonts-installer

RUN wget -O /usr/share/fonts/xits-math.otf https://github.com/khaledhosny/xits-math/raw/master/xits-math.otf && \
   wget http://www.paratype.ru/uni/public/PTSansOFL.zip && \
   wget http://www.paratype.ru/uni/public/PTMono.zip && \
   unzip PTSansOFL.zip -d /usr/share/fonts/ && unzip PTMono.zip -d /usr/share/fonts/ && \
   rm -f PTSansOFL.zip PTMono.zip && \
   fc-cache -f -v

VOLUME $DIR
WORKDIR $DIR

Также тут устанавливаются некоторые шрифты, такие как Times New Roman, XITS Math, PT Sans, PT Mono.
Я например использую такой подход для сборки своего диплома в LaTeX, очень удобно.

Автоматическая сборка LaTeX-проекта с GitHub и TravisCI

По умолчанию TravisCI не умеет нативно собирать LaTeX-проекты, однако он позволяет запускать Docker-контейнеры.
Моя задача состоит в том, что у меня есть некий проект, в котором после каждого коммита нужно собирать новый PDF-файл с помощью XeTeX и релизить этот PDF-файл на GitHub.
Можно собирать проект на рабочей машине, но если не хочется устанавливать LaTeX-окружение, то можно воспользоваться Docker.

Расскажу как это реализовано в репозитории: https://github.com/Amet13/master-thesis

Уведомление в Telegram после завершения консольной команды

Понадобилось мне тут импортировать большой mysql-дамп и чтобы не сидеть все время в ожидании окончания импорта, я решил отойти по делам, а когда импорт закончится мне придет уведомление в Telegram, так как смартфон всегда при мне.

Делается это очень просто. Для этого нужно только создать бота. На рабочей машине должен быть python3.

Уведомления из Zabbix в Telegram

1. Создаем бота.
Идем к @BotFather
/start
/newbot
Получаем токен вида:
311825528:AAE3r8V7iaIiXzJY_s0-9brG6JMWbT126qB
Добавляем бота в список контактов в телеграме.

2. Узнаем свой TelegramID.
Идем к @MyTelegramID_bot
/start
Получаем ID вида:
281724313

Заметки по Docker

1. По умолчанию в образах докера CentOS отключена установка документации (man) для экономии места.
Это осуществляется записью в конфиге /etc/yum.conf:
tsflags=nodocs
Поэтому если хотим маны в образах CentOS, этот параметр нужно закомментировать или удалить.

2. В репозиториях CentOS/RHEL, Docker собран с поддержкой параметра --add-registry, что позволяет использовать вот такое в /etc/sysconfig/docker:
ADD_REGISTRY='--add-registry docker-registry:5000'
INSECURE_REGISTRY='--insecure-registry docker-registry:5000'
При таком раскладе, Docker может обращаться к приватному регистри без явного указания адреса, например вместо:
$ docker pull docker-registry:5000/someimage
можно прописать просто:
$ docker pull someimage

Если же Docker установлен из официального репозитория, то там параметра --add-registry нет и нужно всегда указывать явный адрес приватного регистри.

3. Интересная штука написанная на go: https://github.com/bcicen/ctop
Top для Docker-контейнеров.

4. Добавить алиас к образу:
# docker images
REPOSITORY             TAG      IMAGE ID  CREATED           SIZE
registry:5000/image latest  7cb574e42e5b  25 minutes ago    5.435 GB

# docker tag 7cb574e42e5b image2
# docker images
REPOSITORY             TAG      IMAGE ID  CREATED           SIZE
registry:5000/image latest  7cb574e42e5b  25 minutes ago    5.435 GB
image2              latest  7cb574e42e5b  25 minutes ago    5.435 GB

5. Перенос образа контейнера с одной ноды на другую:
# docker save -o <save image to path> <image name>
# docker load -i <path to image tar file>

6. Скопировать файл с хост-ноды в контейнер и наоборот:
# docker cp foo.txt mycontainer:/foo.txt
# docker cp mycontainer:/foo.txt foo.txt

7. Если используется DeviceMapper и вылезает ошибка "No space left on device", это значит, что образ размером более 10G. Фиксить можно так:
# systemctl stop docker
# rm -rf /var/lib/docker
# vim /etc/systemd/system/multi-user.target.wants/docker.service
...
--storage-opt dm.basesize=25G

# systemctl daemon-reload
# systemctl start docker

Проблема с разрешением имен в Ubuntu/Mint при использовании VPN

Существует в Ubuntu и дистрибутивах на его основе баг, при котором при использовании OpenVPN с NetworkManager локальный резолвер (dnsmasq) не может разрешить имена.
Проявляется это не во всех случаях.

Решением этой проблемы является выпилить dnsmasq из конфига NetworkManager (или закомментить строчку):
# grep dns /etc/NetworkManager/NetworkManager.conf
#dns=dnsmasq

# /etc/init.d/network-manager restart

Начиная с Ubuntu 17.04 эта проблема не должна проявляться, так как dnsmasq заменили на systemd-resolved.

Мониторинг уязвимостей в используемом ПО из открытых источников

Идея была написать скрипт, который 1-2 раза в сутки ходит в какую-нибудь базу уязвимостей и смотрит появились ли за сегодня уязвимости в списке требуемого ПО.
Один из таких открытых источников является www.cvedetails.com в котором даже есть некое подобие API.

Решил я писать на питоне, просто потому что интересно было что-то на нем написать.
Получилось в принципе нормально, скрипт свою работу делает. Репозиторий тут: https://github.com/Amet13/vulncontrol там же и инструкция как это все запустить.

В случае обнаружения уведомлений скрипт умеет отправлять уведомление в телеграм.
По желанию можно его засунуть в мониторинг, например Nagios/Icinga2 или Zabbix.
Или просто добавить его в крон.

Есть возможность указания своей даты, если нужно например посмотреть какие уязвимости были в определенный день. Также можно фильтровать уязвимости по CVSS.

Статический анализатор кода flake8 немного помог мне оформить правильно код, т.к. на питоне пишу можно сказать впервые.
Также интересно было попробовать как с GitHub работает TravisCI, довольно удобная интересная штука для открытых проектов и не только.