Наукова періодика України Електронне моделювання


Valialkin A. V. 
Real-time method of accurate unique IPs counting across high number of distinct dimensions and distinct time frames for big data systems / A. V. Valialkin, O. I. Konashevych // Электронное моделирование. - 2016. - Т. 38, № 3. - С. 63-73. - Режим доступу: http://nbuv.gov.ua/UJRN/elmo_2016_38_3_8
Описан метод, позволяющий подсчитать число уникальных IP адресов из большого количества различных наборов данных (кортежей). Методы, основанные на сканировании логов и вероятностном подсчете, привели к неудовлетворительным результатам. Предложенный метод позволяет избежать чрезмерного использования ресурсов (процессора, оперативной и постоянной памяти), как при использовании метода сканирования необработанных логов и вероятностного метода подсчета, а также избежать большой статистической погрешности, как при использовании вероятностного метода на малых количествах уникальных значений. Основная идея метода состоит в том, что подсчет уникальных IP адресов в различных кортежах в реальном времени проводится в оперативной памяти. Обработка данных выполняется на коротких интервалах и затем они передаются в постоянную память с помощью алгоритма слияния. Обработанные счетчики IP адресов поступают в обычную базу данных из файлов с пятиминутным, часовым, суточным, недельным или месячным интервалом.
  Повний текст PDF - 95.744 Kb    Зміст випуску     Цитування публікації

Цитованість авторів публікації:
  • Valialkin A.
  • Konashevych O.

  • Бібліографічний опис для цитування:

    Valialkin A. V. Real-time method of accurate unique IPs counting across high number of distinct dimensions and distinct time frames for big data systems / A. V. Valialkin, O. I. Konashevych // Электронное моделирование. - 2016. - Т. 38, № 3. - С. 63-73. - Режим доступу: http://nbuv.gov.ua/UJRN/elmo_2016_38_3_8.

      Якщо, ви не знайшли інформацію про автора(ів) публікації, маєте бажання виправити або відобразити більш докладну інформацію про науковців України запрошуємо заповнити "Анкету науковця"
     
    Відділ інформаційно-комунікаційних технологій
    Пам`ятка користувача

    Всі права захищені © Національна бібліотека України імені В. І. Вернадського