AWStats – анализируем логи серверов. Виртуальный хостинг: Статистика AWStats - Справочный центр Timeweb Описание статистических показателей
Каждый системный администратор должен время от времени просматривать логи серверов. Чтобы сделать эту работу более приятной и удобной можно использовать программу AWStats. AWStats позволяет в удобном графическом виде просматривать логи web, ftp, mail и потоковых видео серверов. На самом деле, awstats можно обучить разбирать логи любых серверов, только надо грамотно написать правила конфигурации awstats. В этой статье будут приведены примеры конфигов для снятия статистики с логов web и ftp серверов.
Установка AWStats
Для корректной работы AWSats потребуется http сервер с поддержкой выполнения скриптов. Я рекомендую использовать , т.к. сами разработчики AWStats в документации по настройке приводят изменения конфигов данного http сервера. Так что первой задачей для нас и будет научить AWStats разбирать логи apache сервера.
Обновите ваши репозитории до последних версий, чтобы программа AWStats была наиболее свежей. На сегодняшний день самой свежей стабильной версией является 6.95. Не знаю как сейчас, а лет 5 назад в проекте AWStats находили серьезные критические уязвимости в плане безопасности.
После установки программы желательно для просмотра статистики.
Для ubuntu установка сводится к простому
Sudo aptitude install awstats
Для установки программы из исходников, скачиваем программу с и распаковываем архив в какую-нибудь папку ОС. Я рекомендую распаковать в /usr/local/awstats
.
После распаковки выдаем права владельцу/группе, например в linux root/root
#chown -R root:root /usr/local/awstats
Настройка конфигов хостов AWStats
Настройка конфига для web сервера apache
- Проверяем наличие каталога , если его нет то создаем его
- Копируем заготовку /usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf в каталог и переименовываем файл awstats.model.conf в awstats.youdomain.conf . Для данного сайта файл будет называться awstats.сайт.conf .
- Меняем следующие строки в конфиге
Остальные переменные оставляете на свое усмотрение..
После редактирования от root или sudo запускаем сбор статистики, например для конфига моего сайта
Perl /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -config=сайт -update
В результате должны получить примерно следующее
Create/Update database for config "/etc/awstats/awstats.сайт.conf" by AWStats version 7.0 (build 1.... Phase 1: First bypass old records, searching new record... Searching new records from beginning of log file... Phase 2: Now process new records (Flush history on disk after 20000 hosts)... Jumped lines in file: 0 Parsed lines in file: 72782 Found 97 dropped records, Found 0 comments, Found 0 blank records, Found 1 corrupted records, Found 0 old records, Found 72684 new qualified records.
В каталоге, который вы указали в переменной DirData появятся файлы статистики по месяцам.
Настало время просматривать статистики через web интерфейс, но сначала потребуется внести изменения в httpd.conf apache сервера. Дописываем в конец httpd.conf строки
#begin awstats
Alias /awstatsclasses "/usr/local/awstats/wwwroot/classes/"
Alias /awstatscss "/usr/local/awstats/wwwroot/css/"
Alias /awstatsicons "/usr/local/awstats/wwwroot/icon/"
ScriptAlias /awstats/ "/usr/local/awstats/wwwroot/cgi-bin/"
После изменений обязательно перезапускаем сервер apache и теперь можно в браузере набрать http://имя_сервера/awstats/awstats.pl?config=youdomain
Если по каким-то причинам появляется ошибка "403", то внимательно смотрим на права каталогов/подкаталогов awstats и каталога статистики в переменной DirData
.
Чтобы обновлять статистику из web интерфейса требуется выставить владельца на папку DirData
от кого запускается сервер http.
Для сбора ежедневной статистики занесите команду с crontab одной строкой
55 23 * * * /usr/bin/perl /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -config=сайт -update 1> /dev/null 2>&1
Настройка конфига для ftp сервера proftpd
Сбор статистики с FTP серверов будет немного посложнее. Лог файл статистики должен быть в строго определенном формате. Для сервера proftpd в конфиге должны быть следующие строки
# Между знаками "%" должна быть табуляция, а не пробелы! LogFormat awstats "%t %h %u %m %f %s %b" ExtendedLog /var/log/xferlog read,write awstats
Если вы изначально настраивали сервер proftpd по статье , то менять ничего не надо.
Файл конфига в для сбора статистики с proftpd должен выглядеть примерно так - .
Изменяем название конфига и перемещаем его в . В конфиге измените переменные по принципу как в конфиге web статистики
LogFile= SiteDomain= HostAliases= DirData= DirIcons="/awstatsicons" AllowToUpdateStatsFromBrowser=1
Делаем ручной прогон статистики командой, подставив имя своего конфига
Perl /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -config=ftpdomain.com -update
Можно заходить в статистику через браузер http://имя_сервера/awstats/awstats.pl?config=ftpdomain.com
Проблемы и вопросы при установке AWStats
Если у вас что-то не получается сделать по данной статье внимательно прочитайте этапы установке на
А для всех остальных вопросов есть .
Статья просмотрена 36 393 раз
AWStats (сокращение от Advanced Web Statistics) - инструмент веб-аналитики, позволяющий просматривать отчеты о статистике посещений вашего сайта. AWStats собирает и анализирует информацию в логах сервера и предоставляет полученные данные в виде таблиц и графиков.
С помощью AWStats можно получить подробную информацию о количестве посещений, их продолжительности, числе уникальных пользователей, географии посетителей, версиях их браузеров, наиболее популярных страницах сайта, поисковых системах и ключевых словах, по которым пользователи находили ваш сайт, и многом другом.
Дополнительную информацию о приложении можно получить на .
Установка AWStats
Установить приложение AWStats вы можете в разделе "Логи " панели управления.
Для этого выберите домен сайта, для которого необходимо производить анализ статистики, включите лог доступа (access_log) и нажмите на кнопку "Установить AWStats". Приложение будет установлено автоматически и доступно по адресу http://ваш_домен.ru/awstats/.
В качестве реквизитов входа в AWStats необходимо использовать логин и пароль для доступа в панель управления аккаунтом.
Для переключения в русскоязычный интерфейс AWStats необходимо внести изменения в файл конфигурации awstats.conf. Вы можете сделать это с помощью подключения по или .
Путь расположения файла:
/home/u/user/имя_папки_сайта/public_html/awstats/awstats.conf
где u и user - первая буква вашего логин и сам логин.
(При установке приложения папка awstats автоматически создается в директории public_html нужного сайта).
В указанном файле awstats.conf найдите параметр Lang="auto" и замените его на Lang="ru" . Сохраните изменения, после чего обновите страницу с AWStats.
Рассмотрим, какие сведения можно получить из отчетов AWStats.
Наверху страницы указано время последнего обновления представленных данных; ссылка "Обновить сейчас" / Update now позволит загрузить актуальную на текущий момент информацию.
Здесь же вы можете выбрать интересующий вас отчетный период.
Слева находится меню навигации по разделам, каждый из которых содержит различные статистические показатели.
Общее / Summary
В данном разделе можно просмотреть следующую информацию за выбранный месяц:
- Уникальные посетители / Unique visitors
Число уникальных IP-адресов, с которых осуществлялись запросы к сайту за выбранный период. - Количество посещений / Number of visits
Общее количество посещений сайта за выбранный период. Под посещением в данном случае подразумевается "сессия", когда уникальный пользователь обращается к различным страницам сайта в течение часа (все просмотренные им в течение часа страницы будут "суммированы" в одно посещение). - Страницы / Pages
Число просмотренных пользователями страниц (сюда относятся, как правило, файлы HTML, PHP, ASP). Запросы к отдельно загружаемым файлам, например, картинкам, не учитываются. - Запросы / Hits
Число всех запросов к страницам и файлам сайта. - Объем / Bandwidth
Общий объем данных (в байтах), переданных посетителям.
Когда / When
Здесь можно просмотреть данные по перечисленным выше параметрам за разнообразные периоды.
- История за месяц - представлены сведения по всем месяцам года.
- День месяца - сведения по каждому дню.
- Дни недели - средние показатели по дням недели в выбранном периоде.
- Часы - средние показатели каждого часа (на основе средних значений за выбранный месяц).
Кто / Who
Раздел позволяет просмотреть:
- Страны - географию пользователей (страны, из которых пользователи заходят на ваш сайт).
- Хосты - список IP-адресов, с которых производились запросы.
- Роботы/пауки - список поисковых роботов (пауков), индексировавших сайт.
Навигация / Navigation
Содержит следующие сведения:
- Продолжительность визитов - количество посещений разной продолжительности (например, менее 30 секунд, от 30 сек. до 2 минут, от 15 до 30 мин. и др.). Продолжительность визита может быть отмечена как "Неизвестная" в случае, если посещение не было завершено к моменту очередного обновления статистики, или же посещение было начато в последний час суток последнего дня месяца (техническое ограничение на стороне AWStats).
- Тип файла - типы файлов, к которым чаще всего осуществляются запросы (с указанием процентного соотношения).
- Downloads - список загруженных с сайта файлов.
- Просмотры - чаще всего просматриваемых страницах (вкладка "Просмотров" / Viewed).
- Вхождение и Выход - страницы входа и выхода с сайта.
- Операционные системы и Браузеры пользователей.
Рефереры / Referrers
- Происхождение / Origin - содержит информацию о путях перехода на сайт (по прямой ссылке, ссылкам из поисковых систем, ссылкам на других сайтах).
- Поиск / Search - ключевые слова и фразы, по которым ваш сайт находили в поисковых системах.
Остальные / Others
- Смешанные / Miscellaneous - содержит различные данные, не относящиеся ни к одной категории выше; например, сведения об используемых браузерами посетителей плагинах и поддержке различных технологий (java, flash, quicktime и др.).
- Статусы ошибок HTTP / HTTP Status codes - информация об ответах сервера на запросы посетителей.
- Список ненайденных страниц (ошибка 404).
Изучение статистики поможет избежать серьёзных проблем с сайтом, например, позволит узнать с каких IP идут атаки ботов, на какие страницы приходится максимальная нагрузка и прочее. Много данных помогает получить Метрика, но для изучения логов нужен глубокий анализ статистики сайта и тут не обойтись без Awstats, благо большинство хостингов дают возможность поставить программу прямо в панели управления.
Установка Awstats на хостинге
У себя на хостинге Спайс Веб для установки Awstats мне надо:
- - Зайти в панель управления хостинга,
- - Кликнуть по иконке «лог файлы»,
- - Включить сначала логи, потом установить учёт статистики (скрин).
Внимание – Awstats не работает при выключенных логах , так как она берёт статистику из них и анализирует её, сам софт сбором данных не занимается – дело не царское. Логи будут храниться в корне сайта, по мере их устаревания лишние папки можно удалять, а статистика станет доступна по адресу сайт.ру/awstats.
Изучение статистики Awstats
Полный список позиций статистики я расписывать не буду, тут можно потратить пару минут старым дедовским способом «тыка», скажу только об основных моментах. Автоматом статистика обновляется раз в сутки, но можно и помочь в этом, обновив её вручную вверху страницы, нажав «обновить сейчас».
В первую очередь лично меня интересует раздел «хосты», в котором можно узнать все входящие IP и вычленить из них не нужных ботов, создающих нагрузку на сервер . Со строкой «полный список» всё ясно, интересен пункт «неразрешённый IP», так как он показывает адреса, для которых доменное имя не было получено. Обычно все вредители водятся тут и надо только вычленить самые массовые адреса, проверить их на принадлежность ботам систем поиска и закрыть для доступа в htaccess.
## USER IP BANNING
order allow,deny
deny from 98.187.16.59 (пример ip)
Смотрите нагрузку не только по числу входов, но и по объёму.
Для проверки принадлежности IP посмотрите логи посещений access_log нет ли там в строке входа Yandexbot или прочих нужных роботов, иначе вы закроете индексацию сайта для какой-либо поисковой системы.
Остальное можно узнать в Метрике, хотя дело барское, было бы что анализировать.
Статья об анализаторе логов веб-сервера AWstats
AWStats (A dvanced W eb Stat istics) это программа для анализа лог-файла веб-сервера .
AWStats осуществляет визуализацию статистики, включая просмотр посещаемости сайта, уникальных посетителей, страниц, кликов, часов пик, поисковых систем, ключевых слов использованных для поиска вашего сайта, роботов, неработающих ссылок и многое другое.
Установка
- на веб-сервере создаётся файл конфигурации виртуального хоста
- перезапускается веб-сервер для регистрации ссылки на сайт отчётов
- в браузере открывается ссылка вида:
- (для повышения безопасности) в папке /usr/lib/cgi-bin/ на веб-сервере может быть добавлен файл.htaccess вида
Добавление модуля GeoIP
Подключение расширения GeoIP позволяет увеличить информативность в предоставляемом отчёте о посещаемости сайта и ускорить составление отчётов.
Для подключения модуля GeoIP
- устанавливается дополнение, как описано в статье Geoip
- устанавливается библиотека сопряжения с Perl
- в файл конфигурации awstats.conf добавляются строки
- Установка GeoIP в awstats для одного домена на FreeBSD-сервере под управлением ISPManager
Описание статистических показателей
Awstats предоставляет информацию по таким статистическим показателям:
- Общее
- Данные по первому и последнему визитам за отчетный период, а также данные по основным статистическим показателям с разделением на отображаемый и неотображаемый трафик. Неотображаемый трафик включает в себя трафик сгенерированный роботами, вирусами или ответом сервера со специальным HTTP-кодом.
- Уникальные посетители - количество хостов (IP-адресов), которые посетили сайт и при этом просмотрели как минимум одну страницу. Хост - это один компьютер или офисная сеть, имеющая реальный IP-адрес. Если офисные компьютеры имеют выход в Интернет через прокси-сервер, то независимо от количества компьютеров для всего офиса будет учтено только одно посещение.
- Количество визитов - общее количество посетителей. Новым будет считаться посетитель, которого не было на сайте более 60 минут.
- Страницы - количество страниц сайта, просмотренные каждым из посетителей. Этот показатель не учитывает графику и прочие файлы.
- Хиты - количество страниц, изображений и файлов, просмотренные или скачанные посетителями.
- Величина - объем данных переданный посетителю
- Когда
: Информация по различным статистическим параметрам за исследуемый промежуток времени.
- История за месяц - суммарные данные по статистическим показателям за выбранный месяц
- День месяца - данные по статистическим показателям с разделением по дням месяца
- День недели - средние данные по статистическим показателям с разделением по дням недели в рамках выбранного месяца.
- Часы - данные по статистическим показателям с разделением по часам за выбранный день.
- Кто
: Информация о том, из каких стран и с каких хостов пришли посетители, а также - какие роботы просматривали и индексировали сайт.
- Страны
- данные по странам, из которых пришли посетители. Точность данного показателя невелика, так как страны определяются по домену первого уровня.
- Полный список - развернутый список стран, отсортированный по количеству просмотренных страниц.
- Страны
- данные по странам, из которых пришли посетители. Точность данного показателя невелика, так как страны определяются по домену первого уровня.
- Хосты
- данные по IP-адресам (хостам), с которых пришли посетители
- Полный список - развернутый список известных, неизвестных хостов и уникальных посетителей, отсортированный по количеству просмотренных страниц
- Последний визит - список известных, неизвестных хостов и уникальных посетителей, отсортированный по дате последнего визита
- Неразрешенный IP-адрес - список неизвестных хостов (IP-адресов), отсортированный по количеству просмотренных страниц.
- Роботы/Пауки посетители
- данные о том, какие роботы поисковых систем, когда и сколько раз индексировали сайт
- Полный список - развернутый список роботов/пауков посетителей, отсортированный по количеству просмотренных страниц
- Последний визит - список роботов/пауков посетителей, отсортированный по дате последнего визита.
- Навигация
: Информация о продолжительности визитов посетителей, наиболее часто загружаемых типах файлов, наиболее популярных страницах сайта, а также используемых посетителями операционных систем и браузеров.
- Продолжительность визитов - статистика, показывающая продолжительность визитов и количество посетителей, задержавшихся на сайте в течение того или иного промежутка времени.
- Тип файла - общая статистика, показывающая наиболее часто загружаемые типы файлов.
- Просмотров
- статистика, показывающая наиболее популярные страницы сайта
- Полный список - развернутый список адресов страниц, отсортированный по количеству просмотров
- Вхождение - список страниц, отсортированный по признаку «сколько раз данная страница просмотрена первой»
- Выход - список страниц, отсортированный по признаку «сколько раз данная страница просмотрена последней».
- Операционные системы
- статистика, показывающая используемые посетителями операционные системы
- Версии - список используемых посетителями операционных систем, отсортированный по версии операционной системы
- Неизвестный - список неопределенных операционных систем, отсортированный по дате последнего визита.
- Браузеры
- статистика, показывающая используемые посетителями браузеры
- Версии - список используемых посетителями браузеров, отсортированный по версии браузера
- Неизвестный - список неопределенных браузеров, отсортированный по дате последнего визита.
- Рефереры
: Информация о том, как посетители попали на сайт.
- Происхождение
- данные о посетителях, пришедших по ссылке с поисковых систем или с сайта, ссылающегося на Ваш
- Ссылающиеся поисковые машины - данные о количестве переходов с поисковых серверов, рейтингов и каталогов
- Ссылающиеся сайты - данные о сайтах, на которых размещены ссылки на Ваш сайт.
- Поиск
- данные по ключевым фразам и словам, по которым Ваш сайт был найден в поисковых машинах
- Поисковые ключевые фразы - список ключевых фраз с сортировкой по количеству попыток поиска
- Поисковые ключевые слова - список ключевых слов с сортировкой по количеству попыток поиска.
- Происхождение
- данные о посетителях, пришедших по ссылке с поисковых систем или с сайта, ссылающегося на Ваш
- Остальные
: Информация по статистическим данным, не относящимся ни к одной из вышеперечисленных категорий.
- Смешанные - данные о плагинах, используемых браузером посетителя.
- Статусы ошибок HTTP
- данные об ошибках, выдаваемых на запросы посетителей
- Страницы не найдены - список требуемых, но не найденных страниц.
Предыдущая статья: Как получить голоса вконтакте Следующая статья: VKMix (ВКМикс) – накрутка лайков, подписчиков, репостов в ВКонтакте, Инстаграм, Ютуб