error: Failed to create domain … Cannot check QEMU binary

При копировании виртуальной машины на новый сервер можно получить ошибку, что эмулятор не найден.

# virsh create /root/copy-vm/server.vm.xml
error: Failed to create domain from /root/copy-vm/server.vm.xml
error: Cannot check QEMU binary /usr/bin/qemu-kvm: No such file or directory

# whereis qemu-kvm
qemu-kvm: /usr/libexec/qemu-kvm /usr/share/qemu-kvm /usr/share/man/man1/qemu-kvm.1.gz

Первое дело куда нужно смотреть это не туда где он находится, а что написано в конфиге виртуальной машины в строке .

...
    <emulator>/usr/bin/qemu-kvm</emulator>
...

После этого вписать туда результат команды

which qemu-kvm

И дальше импорт конфигурационного файла скорее всего закончится успешно.

Dec 12 13:15:35 gw1 sshd[19967]: Received disconnect from 66.234.240.251: 11: Bye Bye

Распухание логов роутера заставило меня обратить более пристальное внимание на записи в журналах безопасности sshd.

Dec 12 13:15:35 gw1 sshd[19967]: Received disconnect from 66.234.240.251: 11: Bye Bye

Эта запись появляется по одной причине: у меня запрещён вход на ssh по паролю. Разрешён только по сертификату. Бот который подбирает пароль к ssh к сожалению “тупой” и непрерывно долбится пока у него не закончится словарь. Когда ботов становится много и они настырны, то это и приводит к распуханию логов.
Continue reading Dec 12 13:15:35 gw1 sshd[19967]: Received disconnect from 66.234.240.251: 11: Bye Bye

Подключение OpenWRT роутера по sshfs

Когда речь идёт о том чтобы поковыряться в роутере с OpenWRT бывает удобно подключить его файловую систему напрямую к станции с которой происходит настройка. Для этого идеально подходит sshfs. Но чтобы это сработало на OpenWRT роутере необходимо установить пакет openssh-sftp-server. На клиенте должен быть в наличии fuse-sshfs.

opkg update && opkg install openssh-sftp-server

После установки, при условии что установлен sshd (dropbear) сервер, ничего не нужно настраивать и sftp готов к работе:

На компьютере где будет монтироваться OpenWRT примонтировать sshfs каталог можно из под обычного пользователя (не root):

$ sshfs root@openwrtrouter:/etc/ /home/user/mount/openwrt

Если пакет sshfs требуется один раз (до перезагрузки), то можно установить его прямо в RAM роутера командой:

opkg update && opkg -d /tmp/usr/libexec install openssh-sftp-server

то использовать его можно при помощи команды

$ sshfs root@openwrtrouter:/etc/ /home/user/mount/openwrt -o sftp_server=/tmp/usr/libexec/sftp-server

Мониториг почтовой очереди

Скрипт получает состояние почтовой очереди и подсчитывает количество заданий их общий размер и выводил даты самого молодого и старого задания в очереди.

mailq | sed -e 's/[\t]\+/ /g' | sed -e '/^ \+/d;/^ *$/d' | awk '{if(NR==1){qtimestr=gensub(/^.+ (-+Q-Time-+) .+$/,"\\1","g",$0);start=index($0,qtimestr);len=length(qtimestr);}else{printf("%d;%"len"s\n", $2, substr($0,start,len));}}' | while IFS=';' read size date ; do echo -e "`date -d\"${date}\" '+%F %T'`;${size}"; done | sort | awk -F';' '{count++;size=size+$2;if(NR==1){printf("oldest:%s\n", $1)}}END{if(count>0){printf("youngest:%s\ncount:%d\nsize:%dMB\n", $1, count, size/1024/1024)}}'
oldest:2015-10-31 04:21:00
youngest:2015-11-04 11:25:00
count:10
size:25MB

Теперь немного доработав скрипт можно его использовать в системах мониторинга, чтобы оповестить администратора о неадекватном росте количества заданий в очереди. Например, если через взломанный эккаунт сервер используется для рассылки спама.

Значительно более быстро контролировать количество заданий в очереди можно контролировать если очередь заданий разместить на отдельной файловой системе.

df -iP /var/spool/mqueue
Filesystem            Inodes   IUsed   IFree IUse% Mounted on
/dev/mapper/VG_MAIN-MQUEUE 10485760     120 10485640    1% /var/spool/mqueue
В данном случае интересует количество использованных inodes.
df -iP /var/spool/mqueue | awk '{if($3 ~ /^[0-9]+$/){print $2, $3, $4}}'
10485760 120 10485640

Здесь нужно мониторить второе поле которое показывает количество занятых inode. Их резкий рост и удержание на высоком уровне будет сигнализировать о вероятной спамерской активности с вашего сервера. А так как в отличии от первого (с mailq) такой скрипт работает очень быстро то мониторить можно ежесекундно.
Повторюсь, этот способ не подойдёт если каталог с почтовыми очередями находится в одной файловой системе с другими каталогами, например на корневой FS. Здесь начнут влиять inode временных файлов и всяких других создаваемых пользователями, программами и демонами. Впрочем вынести почтовые очереди на отдельную FS не такая уж и сложная задача. А для сервера полезная.

Мониторинг состояния диска SSD Intel DC S3500

После установки на сервер диска SSD Intel DC S3500 необходимо было подключить его к системе мониторинга.

Для этого необходимо было обновить базу smartctl разобраться с параметрами и выбрать те которые будем мониторить.

Чтобы разобраться с параметрами нужно взять спецификацию на диск. Она нашлась по адресу http://www.intel.com/content/dam/www/public/us/en/documents/product-specifications/ssd-dc-s3500-spec.pdf

Как видно из спецификации для параметров мониторинга подходит несколько атрибутов:
Continue reading Мониторинг состояния диска SSD Intel DC S3500

Доступ к данным на диске гостевой виртуальной машины

Предположим ситуацию когда имеется сервер под управлением Linux на котором установлен KVM и запущены виртуальные машины с Linux. С точки зрения производительности и удобства диски виртуальных машин нужно размещать в разделах LVM. Один LV = один диск для виртуальной машины. Однако когда потребуется достать данные с такого диска, а там установлен Linux с использованием LVM то окажется что LVM сервера не видит LVM расположенный внутри диска.

Для этого потребуется утилита kpartx которая подключит диск виртуальной машины после чего он станет виден ядру, lvm и fdisk.
Continue reading Доступ к данным на диске гостевой виртуальной машины

Отладка logrotate

logrotate запускается по крону один раз в сутки.

/etc/cron.daily/logrotate

Для отладки logrotate предусмотрен ключ -t который пишет операции которые должен сделать но из-за ключа отладки не делает в реальности:

/usr/sbin/logrotate -d /etc/logrotate.conf

Во время отладки конфигурационных файлов logrotate на боевом сервере такую команду можно запускать без опасений, что другие log-файлы будут прокручены слишком много раз и потеряется важная информация которая может ещё пригодиться для поиска проблем.

logrotate --help
Usage: logrotate [OPTION...] <configfile>
  -d, --debug               Don't do anything, just test (implies -v)
  -s, --state=statefile     Path of state file
  -v, --verbose             Display messages during rotation

Ключом -v можно пользоваться в команднике /etc/cron.daily/logrotate чтобы во время работы отладочная информация записывалась в файл:

logrotate -v /etc/logrotate.conf 2>&1 | sudo tee -a /var/log/logrotate.log

Для чего нужно поправить файл /etc/cron.daily/logrotate
Возможно для создания файла вам потребуется добавить исключение SELinux для нового log-файла /var/log/logrotate.log.
Continue reading Отладка logrotate

smartctl и новые диски

Когда в сервер устанавливаются новые диски, часто можно заметить что описания некоторых параметров S.M.A.R.T. регистров не соответствуют действительности либо вообще отствуют. Например так было после установки SSD Intel DC S3500 на сервер с “CentOS release 6.6 (Final)“:

170 Unknown_Attribute       0x0033   100   100   010    Pre-fail  Always       -       0
171 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       0
172 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       0
174 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       1

Continue reading smartctl и новые диски

Время начала и окончания действия сертификата

Как узнать время начала действия и окончания (истечения) сертификата?

echo | openssl s_client -connect google.com:443 2>/dev/null | openssl x509 -noout -dates | cut -d '=' -f2- | xargs -I{} date --date="{}" '+%F %T'

Для того чтобы после взаимодействия с сервером в пакетном режиме openssl завершился необходимо передать ему перевод строки. Иногда можно встретить, что ему передают файл перенаправлением из /dev/null. Оба варианта работают одинаково.
Второй вызов openssl работает уже с полученным через pipe сертификатом и достаёт из него дату начала его дествия и дату окончания действия. Затем командой cut из сертификата извлекается только дата, и наконец дата передаётся в качестве параметра команде date которая из него может сформировать дату в различных форматах.
Continue reading Время начала и окончания действия сертификата

Разбираемся с томами Bacula/Bareos

Много лет подряд схема именования томов в Bacula/Bareos приводила меня в полное недоумение. Я не мог понять почему свежеустановленная система резервного копирования создаёт тома в строгом соответствии с настройками прописанными в секция pool, а через какое-то время “слетает с катушек” и начинает записывать данные в старые файлы. Оказалось причина в в том, что Bacula изначально была заточена под ленточные накопители. Агалогично она поступает и с дисками: тома на дисках воспринимаются как ленты. Следствие этой особенности в том, что если Bacula создала том (файл на жёстком диске) то она НИКОГДА не удаляет его с диска. У каждого пула и задания есть параметр Volume Retention который задаёт время по истечении которого файлы попавшие в этот том бакула считает удалёнными. Если установлена опция AutoPrune = yes то bacula удалит записи из каталога (SQL). А если установлена опция ActionOnPurge = Truncate то урежет размер файла до нуля.
Continue reading Разбираемся с томами Bacula/Bareos