32366 2016-08-09 03:31:22 +0300 grep видит текстовый лог как двоичный файл 2016-08-11 17:10:55 +0300 1 1 4 Development Sisyphus grep unstable all Linux CLOSED NOTABUG P3 normal --- 1 zxwarior placeholder evg glebfm ldv mike placeholder vt qa-sisyphus oldest_to_newest 158013 0 6791 zxwarior 2016-08-09 03:31:22 +0300 Created attachment 6791 Кириллические строки в логах /var/log/ Доброго времени суток! Из-за логгирования на русском, grep воспринимает текстовый лог как бинарный # grep -rHi . /var/log|grep 'Двоичный файл'|grep 'messages\|warnings' Двоичный файл /var/log/daemons/warnings совпадает Двоичный файл /var/log/syslog/messages совпадает Двоичный файл /var/log/user/warnings совпадает Причина кроется вот в чём: если приложение выбрасывает в лог сообщение на русском, то в словах вместо некоторых кириллических символов отображается не символ, а его код. И если лог содержит такие сообщения, то grep воспринимает лог как бинарный файл. Опция --text для grep, поможет отобразить текстовый лог, но кириллические строки либо плохо читаемы, либо нечитабельны совсем. Эти логи не учитывались и были отброшены сразу как бинарные: # file /var/log/{sa/sa06,wtmp,lastlog} /var/log/sa/sa06: data /var/log/wtmp: data /var/log/lastlog: data /var/log/sa* - через sar /var/log/wtmp - utmpdump или last /var/log/lastlog - lastlog Во вложении grep-нутые кириллические строки из логов, - так как они отображаются при просмотре. 158014 1 zxwarior 2016-08-09 03:53:54 +0300 Предложение: Хорошо бы всё логгировать только на английском. 158015 2 ldv 2016-08-09 04:18:09 +0300 (In reply to comment #0) > Из-за логгирования на русском, grep воспринимает текстовый лог как бинарный Не надо логгировать на русском. (In reply to comment #1) > Предложение: > Хорошо бы всё логгировать только на английском. Это точно предложение к grep'у? 158016 3 evg 2016-08-09 08:02:42 +0300 Насколько помнится, распознавание байтов как символов языка регулируется локалью. Просто установите нужную локаль и grep будет понимать русский. Что конечно не отменяет того, что не нужно протоколировать на национальных языках. 158017 4 mike 2016-08-09 09:59:11 +0300 Или локаль, или grep -a. 158039 5 zxwarior 2016-08-11 14:35:04 +0300 (В ответ на комментарий №2) > (In reply to comment #0) > > Из-за логгирования на русском, grep воспринимает текстовый лог как бинарный > > Не надо логгировать на русском. Согласен. > (In reply to comment #1) > > Предложение: > > Хорошо бы всё логгировать только на английском. > > Это точно предложение к grep'у? Согласен: Надо перевешивать на pulseaudio и gdm2.20 В лог кириллицу gdm-binary выплёвывает: # grep -rHi . --text /var/log|grep --text '202ал' /var/log/daemons/warnings:May 2 14:14:00 comp gdm-binary[2089]: WARNING: gdm_slave_xioerror_handler: Фа�\202ал�\214на�\217 о�\210ибка X - �\237е�\200езап�\203�\201к :0 $ rpm -qf $(which gdm-binary) gdm2.20-2.20.8-alt10 С пульсаудией вместе, - из того же лога во вложении: /var/log/syslog/messages:May 2 13:44:44 comp pulseaudio[2282]: [pulseaudio] authkey.c: Failed to open cookie file '/home/user/.config/pulse/cookie': �\235е�\202 �\202акого �\204айла или ка�\202алога 158041 6 zxwarior 2016-08-11 15:36:05 +0300 (В ответ на комментарий №3) > Насколько помнится, распознавание байтов как символов языка регулируется > локалью. Просто установите нужную локаль и grep будет понимать русский. Не будет :) Оно уже в логе. Текстовый вид: �\202акого hex-код: D1 5C 32 30 32 D0 B0 D0 BA D0 BE D0 B3 D0 BE Кириллические символы двухбайтные. В слове: такого (или Т ?) первый байт первого символа - D1 Вместо второго байта, последовательность байт: 5C 32 30 32 \202 > Что конечно не отменяет того, что не нужно протоколировать на национальных > языках. :) А это да. 158042 7 zxwarior 2016-08-11 15:38:30 +0300 (В ответ на комментарий №4) > Или локаль, или grep -a. Так и удалось рекурсивно грепнуть. 158044 8 zxwarior 2016-08-11 15:49:26 +0300 (В ответ на комментарий №5) > (В ответ на комментарий №2) > > (In reply to comment #0) > > ... > > > (In reply to comment #1) > > > Предложение: > > > Хорошо бы всё логгировать только на английском. > > > > Это точно предложение к grep'у? > > Согласен: > Надо перевешивать на pulseaudio и gdm2.20 > > В лог кириллицу gdm-binary выплёвывает: > > # grep -rHi . --text /var/log|grep --text '202ал' > /var/log/daemons/warnings:May 2 14:14:00 comp gdm-binary[2089]: WARNING: > gdm_slave_xioerror_handler: Фа�\202ал�\214на�\217 о�\210ибка X - > �\237е�\200езап�\203�\201к :0 > > $ rpm -qf $(which gdm-binary) > gdm2.20-2.20.8-alt10 > > С пульсаудией вместе, - из того же лога во вложении: > > /var/log/syslog/messages:May 2 13:44:44 comp pulseaudio[2282]: [pulseaudio] > authkey.c: Failed to open cookie file '/home/user/.config/pulse/cookie': > �\235е�\202 �\202акого �\204айла или ка�\202алога Сейчас в системе alsa, а не pulseaudio, поэтому не соображу, могу только догадываться, что для пульсаудии вешать багу надо на пакет pulseaudio-daemon. 158045 9 zxwarior 2016-08-11 17:10:55 +0300 Посмотрел на то что отрепортил, как бы со стороны: https://forum.altlinux.org/index.php?topic=36322.msg292502#msg292502 6791 2016-08-09 03:31:22 +0300 2016-08-09 03:31:22 +0300 Кириллические строки в логах /var/log/ grep-err-on-cyrillic-log.txt text/plain 3504 zxwarior IyBncmVwIC1ySGkgLiAtLXRleHQgL3Zhci9sb2d8Z3JlcCAtLXRleHQgJzIwMtCw0LsnCi92YXIv bG9nL2RhZW1vbnMvd2FybmluZ3M6TWF5ICAyIDE0OjE0OjAwIGNvbXAgZ2RtLWJpbmFyeVsyMDg5 XTogV0FSTklORzogZ2RtX3NsYXZlX3hpb2Vycm9yX2hhbmRsZXI6INCk0LDvv71cMjAy0LDQu++/ vVwyMTTQvdCw77+9XDIxNyDQvu+/vVwyMTDQuNCx0LrQsCBYIC0g77+9XDIzN9C177+9XDIwMNC1 0LfQsNC/77+9XDIwM++/vVwyMDHQuiA6MCAKL3Zhci9sb2cvZGFlbW9ucy93YXJuaW5nczpNYXkg IDIgMjA6NDI6MTEgY29tcCBnZG0tYmluYXJ5WzIwNzldOiBXQVJOSU5HOiBnZG1fc2xhdmVfeGlv ZXJyb3JfaGFuZGxlcjog0KTQsO+/vVwyMDLQsNC777+9XDIxNNC90LDvv71cMjE3INC+77+9XDIx MNC40LHQutCwIFggLSDvv71cMjM30LXvv71cMjAw0LXQt9Cw0L/vv71cMjAz77+9XDIwMdC6IDow IAovdmFyL2xvZy9kYWVtb25zL3dhcm5pbmdzOk1heSAgNSAwMDoxNTo1NyBjb21wIGdkbS1iaW5h cnlbMjA5OF06IFdBUk5JTkc6IGdkbV9zbGF2ZV94aW9lcnJvcl9oYW5kbGVyOiDQpNCw77+9XDIw MtCw0Lvvv71cMjE00L3QsO+/vVwyMTcg0L7vv71cMjEw0LjQsdC60LAgWCAtIO+/vVwyMzfQte+/ vVwyMDDQtdC30LDQv++/vVwyMDPvv71cMjAx0LogOjAgCi92YXIvbG9nL2RhZW1vbnMvd2Fybmlu Z3M6SnVuIDE4IDAyOjExOjM3IGNvbXAgZ2RtLWJpbmFyeVs3MDUwXTogV0FSTklORzogZ2RtX3Ns YXZlX3hpb2Vycm9yX2hhbmRsZXI6INCk0LDvv71cMjAy0LDQu++/vVwyMTTQvdCw77+9XDIxNyDQ vu+/vVwyMTDQuNCx0LrQsCBYIC0g77+9XDIzN9C177+9XDIwMNC10LfQsNC/77+9XDIwM++/vVwy MDHQuiA6MCAKL3Zhci9sb2cvc3lzbG9nL21lc3NhZ2VzOk1heSAgMiAxMzo0NDo0NCBjb21wIHB1 bHNlYXVkaW9bMjI4Ml06IFtwdWxzZWF1ZGlvXSBhdXRoa2V5LmM6IEZhaWxlZCB0byBvcGVuIGNv b2tpZSBmaWxlICcvaG9tZS91c2VyLy5jb25maWcvcHVsc2UvY29va2llJzog77+9XDIzNdC177+9 XDIwMiDvv71cMjAy0LDQutC+0LPQviDvv71cMjA00LDQudC70LAg0LjQu9C4INC60LDvv71cMjAy 0LDQu9C+0LPQsAovdmFyL2xvZy9zeXNsb2cvbWVzc2FnZXM6TWF5ICAyIDEzOjQ0OjQ0IGNvbXAg cHVsc2VhdWRpb1syMjgyXTogW3B1bHNlYXVkaW9dIGF1dGhrZXkuYzogRmFpbGVkIHRvIGxvYWQg YXV0aGVudGljYXRpb24ga2V5ICcvaG9tZS91c2VyLy5jb25maWcvcHVsc2UvY29va2llJzog77+9 XDIzNdC177+9XDIwMiDvv71cMjAy0LDQutC+0LPQviDvv71cMjA00LDQudC70LAg0LjQu9C4INC6 0LDvv71cMjAy0LDQu9C+0LPQsAovdmFyL2xvZy9zeXNsb2cvbWVzc2FnZXM6TWF5ICAyIDEzOjQ0 OjQ0IGNvbXAgcHVsc2VhdWRpb1syMjgyXTogW3B1bHNlYXVkaW9dIGF1dGhrZXkuYzogRmFpbGVk IHRvIG9wZW4gY29va2llIGZpbGUgJy9ob21lL3VzZXIvLnB1bHNlLWNvb2tpZSc6IO+/vVwyMzXQ te+/vVwyMDIg77+9XDIwMtCw0LrQvtCz0L4g77+9XDIwNNCw0LnQu9CwINC40LvQuCDQutCw77+9 XDIwMtCw0LvQvtCz0LAKL3Zhci9sb2cvc3lzbG9nL21lc3NhZ2VzOk1heSAgMiAxMzo0NDo0NCBj b21wIHB1bHNlYXVkaW9bMjI4Ml06IFtwdWxzZWF1ZGlvXSBhdXRoa2V5LmM6IEZhaWxlZCB0byBs b2FkIGF1dGhlbnRpY2F0aW9uIGtleSAnL2hvbWUvdXNlci8ucHVsc2UtY29va2llJzog77+9XDIz NdC177+9XDIwMiDvv71cMjAy0LDQutC+0LPQviDvv71cMjA00LDQudC70LAg0LjQu9C4INC60LDv v71cMjAy0LDQu9C+0LPQsAovdmFyL2xvZy9zeXNsb2cvbWVzc2FnZXM6TWF5ICAyIDE0OjE0OjAw IGNvbXAgZ2RtLWJpbmFyeVsyMDg5XTogV0FSTklORzogZ2RtX3NsYXZlX3hpb2Vycm9yX2hhbmRs ZXI6INCk0LDvv71cMjAy0LDQu++/vVwyMTTQvdCw77+9XDIxNyDQvu+/vVwyMTDQuNCx0LrQsCBY IC0g77+9XDIzN9C177+9XDIwMNC10LfQsNC/77+9XDIwM++/vVwyMDHQuiA6MCAKL3Zhci9sb2cv c3lzbG9nL21lc3NhZ2VzOk1heSAgMiAyMDo0MjoxMSBjb21wIGdkbS1iaW5hcnlbMjA3OV06IFdB Uk5JTkc6IGdkbV9zbGF2ZV94aW9lcnJvcl9oYW5kbGVyOiDQpNCw77+9XDIwMtCw0Lvvv71cMjE0 0L3QsO+/vVwyMTcg0L7vv71cMjEw0LjQsdC60LAgWCAtIO+/vVwyMzfQte+/vVwyMDDQtdC30LDQ v++/vVwyMDPvv71cMjAx0LogOjAgCi92YXIvbG9nL3N5c2xvZy9tZXNzYWdlczpNYXkgIDUgMDA6 MTU6NTcgY29tcCBnZG0tYmluYXJ5WzIwOThdOiBXQVJOSU5HOiBnZG1fc2xhdmVfeGlvZXJyb3Jf aGFuZGxlcjog0KTQsO+/vVwyMDLQsNC777+9XDIxNNC90LDvv71cMjE3INC+77+9XDIxMNC40LHQ utCwIFggLSDvv71cMjM30LXvv71cMjAw0LXQt9Cw0L/vv71cMjAz77+9XDIwMdC6IDowIAovdmFy L2xvZy9zeXNsb2cvbWVzc2FnZXM6SnVuIDE4IDAyOjExOjM3IGNvbXAgZ2RtLWJpbmFyeVs3MDUw XTogV0FSTklORzogZ2RtX3NsYXZlX3hpb2Vycm9yX2hhbmRsZXI6INCk0LDvv71cMjAy0LDQu++/ vVwyMTTQvdCw77+9XDIxNyDQvu+/vVwyMTDQuNCx0LrQsCBYIC0g77+9XDIzN9C177+9XDIwMNC1 0LfQsNC/77+9XDIwM++/vVwyMDHQuiA6MCAKL3Zhci9sb2cvdXNlci93YXJuaW5nczpNYXkgIDIg MTM6NDQ6NDQgY29tcCBwdWxzZWF1ZGlvWzIyODJdOiBbcHVsc2VhdWRpb10gYXV0aGtleS5jOiBG YWlsZWQgdG8gb3BlbiBjb29raWUgZmlsZSAnL2hvbWUvdXNlci8uY29uZmlnL3B1bHNlL2Nvb2tp ZSc6IO+/vVwyMzXQte+/vVwyMDIg77+9XDIwMtCw0LrQvtCz0L4g77+9XDIwNNCw0LnQu9CwINC4 0LvQuCDQutCw77+9XDIwMtCw0LvQvtCz0LAKL3Zhci9sb2cvdXNlci93YXJuaW5nczpNYXkgIDIg MTM6NDQ6NDQgY29tcCBwdWxzZWF1ZGlvWzIyODJdOiBbcHVsc2VhdWRpb10gYXV0aGtleS5jOiBG YWlsZWQgdG8gbG9hZCBhdXRoZW50aWNhdGlvbiBrZXkgJy9ob21lL3VzZXIvLmNvbmZpZy9wdWxz ZS9jb29raWUnOiDvv71cMjM10LXvv71cMjAyIO+/vVwyMDLQsNC60L7Qs9C+IO+/vVwyMDTQsNC5 0LvQsCDQuNC70Lgg0LrQsO+/vVwyMDLQsNC70L7Qs9CwCi92YXIvbG9nL3VzZXIvd2FybmluZ3M6 TWF5ICAyIDEzOjQ0OjQ0IGNvbXAgcHVsc2VhdWRpb1syMjgyXTogW3B1bHNlYXVkaW9dIGF1dGhr ZXkuYzogRmFpbGVkIHRvIG9wZW4gY29va2llIGZpbGUgJy9ob21lL3VzZXIvLnB1bHNlLWNvb2tp ZSc6IO+/vVwyMzXQte+/vVwyMDIg77+9XDIwMtCw0LrQvtCz0L4g77+9XDIwNNCw0LnQu9CwINC4 0LvQuCDQutCw77+9XDIwMtCw0LvQvtCz0LAKL3Zhci9sb2cvdXNlci93YXJuaW5nczpNYXkgIDIg MTM6NDQ6NDQgY29tcCBwdWxzZWF1ZGlvWzIyODJdOiBbcHVsc2VhdWRpb10gYXV0aGtleS5jOiBG YWlsZWQgdG8gbG9hZCBhdXRoZW50aWNhdGlvbiBrZXkgJy9ob21lL3VzZXIvLnB1bHNlLWNvb2tp ZSc6IO+/vVwyMzXQte+/vVwyMDIg77+9XDIwMtCw0LrQvtCz0L4g77+9XDIwNNCw0LnQu9CwINC4 0LvQuCDQutCw77+9XDIwMtCw0LvQvtCz0LAK