воскресенье, 7 мая 2017 г.

Разворачивание окружения для работы LaTeX в Docker

Как известно, пакеты содержащие зависимости LaTeX могут достигать больших размеров и для тех кто не хочет захламлять систему лишними пакетами (например если нужно единожды собрать какой-нибудь проект) можно воспользоваться Docker'ом.

Dockerfile такого вида устанавливает необходимые пакеты для работы XeLaTeX и beamer:
FROM ubuntu
MAINTAINER Amet13 <[email protected]>

ENV DIR /master-thesis
RUN mkdir $DIR

RUN echo "deb http://archive.ubuntu.com/ubuntu/ trusty multiverse" | tee -a /etc/apt/sources.list.d/multiverse.list && \
   echo "ttf-mscorefonts-installer msttcorefonts/accepted-mscorefonts-eula select true" | debconf-set-selections

RUN apt update && \
   apt install -y wget git make apt-transport-https unzip && \
   apt install -y texlive-base texlive-latex-extra texlive-xetex texlive-lang-cyrillic latexmk texlive-fonts-extra texlive-math-extra latex-beamer

RUN apt install -y --reinstall ttf-mscorefonts-installer

RUN wget -O /usr/share/fonts/xits-math.otf https://github.com/khaledhosny/xits-math/raw/master/xits-math.otf && \
   wget http://www.paratype.ru/uni/public/PTSansOFL.zip && \
   wget http://www.paratype.ru/uni/public/PTMono.zip && \
   unzip PTSansOFL.zip -d /usr/share/fonts/ && unzip PTMono.zip -d /usr/share/fonts/ && \
   rm -f PTSansOFL.zip PTMono.zip && \
   fc-cache -f -v

VOLUME $DIR
WORKDIR $DIR

Также тут устанавливаются некоторые шрифты, такие как Times New Roman, XITS Math, PT Sans, PT Mono.
Я например использую такой подход для сборки своего диплома в LaTeX, очень удобно.

пятница, 7 апреля 2017 г.

Автоматическая сборка LaTeX-проекта с GitHub и TravisCI

По умолчанию TravisCI не умеет нативно собирать LaTeX-проекты, однако он позволяет запускать Docker-контейнеры.
Моя задача состоит в том, что у меня есть некий проект, в котором после каждого коммита нужно собирать новый PDF-файл с помощью XeTeX и релизить этот PDF-файл на GitHub.
Можно собирать проект на рабочей машине, но если не хочется устанавливать LaTeX-окружение, то можно воспользоваться Docker.

Расскажу как это реализовано в репозитории: https://github.com/Amet13/master-thesis

вторник, 4 апреля 2017 г.

Уведомление в Telegram после завершения консольной команды

Понадобилось мне тут импортировать большой mysql-дамп и чтобы не сидеть все время в ожидании окончания импорта, я решил отойти по делам, а когда импорт закончится мне придет уведомление в Telegram, так как смартфон всегда при мне.

Делается это очень просто. Для этого нужно только создать бота. На рабочей машине должен быть python3.

среда, 29 марта 2017 г.

Уведомления из Zabbix в Telegram

1. Создаем бота.
Идем к @BotFather
/start
/newbot
Получаем токен вида:
311825528:AAE3r8V7iaIiXzJY_s0-9brG6JMWbT126qB
Добавляем бота в список контактов в телеграме.

2. Узнаем свой TelegramID.
Идем к @MyTelegramID_bot
/start
Получаем ID вида:
281724313

пятница, 17 марта 2017 г.

Заметки по Docker

1. По умолчанию в образах докера CentOS отключена установка документации (man) для экономии места.
Это осуществляется записью в конфиге /etc/yum.conf:
tsflags=nodocs
Поэтому если хотим маны в образах CentOS, этот параметр нужно закомментировать или удалить.

2. В репозиториях CentOS/RHEL, Docker собран с поддержкой параметра --add-registry, что позволяет использовать вот такое в /etc/sysconfig/docker:
ADD_REGISTRY='--add-registry docker-registry:5000'
INSECURE_REGISTRY='--insecure-registry docker-registry:5000'
При таком раскладе, Docker может обращаться к приватному регистри без явного указания адреса, например вместо:
$ docker pull docker-registry:5000/someimage
можно прописать просто:
$ docker pull someimage

Если же Docker установлен из официального репозитория, то там параметра --add-registry нет и нужно всегда указывать явный адрес приватного регистри.

3. Интересная штука написанная на go: https://github.com/bcicen/ctop
Top для Docker-контейнеров.

4. Добавить алиас к образу:
# docker images
REPOSITORY             TAG      IMAGE ID  CREATED           SIZE
registry:5000/image latest  7cb574e42e5b  25 minutes ago    5.435 GB

# docker tag 7cb574e42e5b image2
# docker images
REPOSITORY             TAG      IMAGE ID  CREATED           SIZE
registry:5000/image latest  7cb574e42e5b  25 minutes ago    5.435 GB
image2              latest  7cb574e42e5b  25 minutes ago    5.435 GB

5. Перенос образа контейнера с одной ноды на другую:
# docker save -o <save image to path> <image name>
# docker load -i <path to image tar file>

6. Скопировать файл с хост-ноды в контейнер и наоборот:
# docker cp foo.txt mycontainer:/foo.txt
# docker cp mycontainer:/foo.txt foo.txt

7. Если используется DeviceMapper и вылезает ошибка "No space left on device", это значит, что образ размером более 10G. Фиксить можно так:
# systemctl stop docker
# rm -rf /var/lib/docker
# vim /etc/systemd/system/multi-user.target.wants/docker.service
...
--storage-opt dm.basesize=25G

# systemctl daemon-reload
# systemctl start docker

вторник, 7 марта 2017 г.

Проблема с разрешением имен в Ubuntu/Mint при использовании VPN

Существует в Ubuntu и дистрибутивах на его основе баг, при котором при использовании OpenVPN с NetworkManager локальный резолвер (dnsmasq) не может разрешить имена.
Проявляется это не во всех случаях.

Решением этой проблемы является выпилить dnsmasq из конфига NetworkManager (или закомментить строчку):
# grep dns /etc/NetworkManager/NetworkManager.conf
#dns=dnsmasq

# /etc/init.d/network-manager restart

Начиная с Ubuntu 17.04 эта проблема не должна проявляться, так как dnsmasq заменили на systemd-resolved.

среда, 1 марта 2017 г.

Мониторинг уязвимостей в используемом ПО из открытых источников

Идея была написать скрипт, который 1-2 раза в сутки ходит в какую-нибудь базу уязвимостей и смотрит появились ли за сегодня уязвимости в списке требуемого ПО.
Один из таких открытых источников является www.cvedetails.com в котором даже есть некое подобие API.

Решил я писать на питоне, просто потому что интересно было что-то на нем написать.
Получилось в принципе нормально, скрипт свою работу делает. Репозиторий тут: https://github.com/Amet13/vulncontrol там же и инструкция как это все запустить.

В случае обнаружения уведомлений скрипт умеет отправлять уведомление в телеграм.
По желанию можно его засунуть в мониторинг, например Nagios/Icinga2 или Zabbix.
Или просто добавить его в крон.

Есть возможность указания своей даты, если нужно например посмотреть какие уязвимости были в определенный день. Также можно фильтровать уязвимости по CVSS.

Статический анализатор кода flake8 немного помог мне оформить правильно код, т.к. на питоне пишу можно сказать впервые.
Также интересно было попробовать как с GitHub работает TravisCI, довольно удобная интересная штука для открытых проектов и не только.

пятница, 3 февраля 2017 г.

Permission denied в Docker-volume

При монтировании тома в Docker-контейнере столкнулся с проблемой, что в контейнере нет доступа к смонтированному каталогу.
# docker run --name=nginx -d -v /sys/fs/cgroup:/sys/fs/cgroup:ro -v /var/lib/docker/volumes/nginx:/var/log/nginx -p 80:80 local/c7-nginx
# docker exec -it nginx bash
# ls /var/log/nginx/access.log 
ls: cannot access /var/log/nginx/access.log: Permission denied

Проблема оказалась в контроле доступов SELinux, который не позволял для контейнеров расшаривать файлы.
Тут можно почитать об этом: https://habrahabr.ru/company/kingservers/blog/209644/

Решение, отключить SELinux:
# echo SELINUX=disabled > /etc/selinux/config
# SELINUXTYPE=targeted >> /etc/selinux/config
# setenforce 0

Либо дать соответствующие права для каталога:
# chcon -Rt svirt_sandbox_file_t /var/lib/docker/volumes/nginx/

Проверка:
# docker stop nginx ; docker start nginx
# docker exec -it nginx bash
# ls /var/log/nginx/access.log
/var/log/nginx/access.log

понедельник, 23 января 2017 г.

Удаление файла с некорректным именем

Если файл имеет название типа S�vety-i-rekom.pdf и при этом через rm его не удалить, то это можно сделать с помощью find и inode файла.
# ls -li | grep rekom
41831918 -rw-r--r--  1 username usergroup    54074 Jan 30  2016 S\356vety-i-rekom.pdf
# find . -inum 41831918 -delete