logswan

Fast Web log analyzer using probabilistic data structures
Log | Files | Refs | README | LICENSE

commit ca87bf90fbf1c777dc60290592837015cc636250
parent 0b27da99fea4d1161a918f0d2f99298fbaed57ea
Author: Frederic Cambus <fcambus@users.sourceforge.net>
Date:   Tue, 21 Jul 2015 23:00:43 +0200

Updated output file example (Full country names + IPv6 GeoIP hits + unique visits)

Diffstat:
Mexamples/logswan.json | 443+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++------------------
1 file changed, 345 insertions(+), 98 deletions(-)

diff --git a/examples/logswan.json b/examples/logswan.json @@ -1,10 +1,11 @@ { - "date": "2015-07-11 23:27:58", + "date": "2015-07-21 22:57:01", + "generator": "Logswan", "file_size": 21510440139, "processed_lines": 104646437, "invalid_lines": 111, "bandwidth": 32862130502, - "runtime": 185.78477699999999, + "runtime": 208.40123299999999, "hits": { "ipv4": 96550189, "ipv6": 8096137, @@ -12,966 +13,1207 @@ "countries": [ { "data": "--", - "hits": 1061 + "name": "N/A", + "hits": 1117 }, { "data": "AP", + "name": "Asia/Pacific Region", "hits": 49724 }, { "data": "EU", - "hits": 135816 + "name": "Europe", + "hits": 136793 }, { "data": "AD", + "name": "Andorra", "hits": 3710 }, { "data": "AE", - "hits": 173985 + "name": "United Arab Emirates", + "hits": 173990 }, { "data": "AF", + "name": "Afghanistan", "hits": 2785 }, { "data": "AG", + "name": "Antigua and Barbuda", "hits": 88341 }, { "data": "AI", - "hits": 359 + "name": "Anguilla", + "hits": 363 }, { "data": "AL", + "name": "Albania", "hits": 29875 }, { "data": "AM", + "name": "Armenia", "hits": 26089 }, { "data": "CW", + "name": "Curacao", "hits": 7212 }, { "data": "AO", + "name": "Angola", "hits": 6967 }, { "data": "AR", - "hits": 620902 + "name": "Argentina", + "hits": 620958 }, { "data": "AS", + "name": "American Samoa", "hits": 317 }, { "data": "AT", - "hits": 190976 + "name": "Austria", + "hits": 193122 }, { "data": "AU", - "hits": 1293784 + "name": "Australia", + "hits": 1315987 }, { "data": "AW", + "name": "Aruba", "hits": 1784 }, { "data": "AZ", + "name": "Azerbaijan", "hits": 28439 }, { "data": "BA", - "hits": 28981 + "name": "Bosnia and Herzegovina", + "hits": 29148 }, { "data": "BB", - "hits": 6062 + "name": "Barbados", + "hits": 6063 }, { "data": "BD", - "hits": 67887 + "name": "Bangladesh", + "hits": 67893 }, { "data": "BE", - "hits": 145102 + "name": "Belgium", + "hits": 186440 }, { "data": "BF", + "name": "Burkina Faso", "hits": 440 }, { "data": "BG", - "hits": 130617 + "name": "Bulgaria", + "hits": 130713 }, { "data": "BH", + "name": "Bahrain", "hits": 444048 }, { "data": "BI", + "name": "Burundi", "hits": 484 }, { "data": "BJ", + "name": "Benin", "hits": 1381 }, { "data": "BM", - "hits": 1963 + "name": "Bermuda", + "hits": 1964 }, { "data": "BN", + "name": "Brunei Darussalam", "hits": 8740 }, { "data": "BO", - "hits": 17481 + "name": "Bolivia", + "hits": 17588 }, { "data": "BR", - "hits": 910252 + "name": "Brazil", + "hits": 925299 }, { "data": "BS", - "hits": 8890 + "name": "Bahamas", + "hits": 8892 }, { "data": "BT", - "hits": 2870 + "name": "Bhutan", + "hits": 2875 }, { "data": "BW", + "name": "Botswana", "hits": 10209 }, { "data": "BY", - "hits": 113746 + "name": "Belarus", + "hits": 113811 }, { "data": "BZ", + "name": "Belize", "hits": 33600 }, { "data": "CA", - "hits": 2487968 + "name": "Canada", + "hits": 2574776 }, { "data": "CD", + "name": "Congo, The Democratic Republic of the", "hits": 2069 }, { "data": "CF", + "name": "Central African Republic", "hits": 232 }, { "data": "CG", + "name": "Congo", "hits": 6218 }, { "data": "CH", - "hits": 303209 + "name": "Switzerland", + "hits": 329196 }, { "data": "CI", + "name": "Cote D'Ivoire", "hits": 15774 }, { "data": "CK", + "name": "Cook Islands", "hits": 151 }, { "data": "CL", - "hits": 285594 + "name": "Chile", + "hits": 285608 }, { "data": "CM", + "name": "Cameroon", "hits": 8820 }, { "data": "CN", - "hits": 1558485 + "name": "China", + "hits": 1564532 }, { "data": "CO", - "hits": 129308 + "name": "Colombia", + "hits": 129316 }, { "data": "CR", - "hits": 98060 + "name": "Costa Rica", + "hits": 98076 }, { "data": "CU", + "name": "Cuba", "hits": 701 }, { "data": "CV", + "name": "Cape Verde", "hits": 946 }, { "data": "CX", + "name": "Christmas Island", "hits": 3 }, { "data": "CY", - "hits": 17297 + "name": "Cyprus", + "hits": 17301 }, { "data": "CZ", - "hits": 116641 + "name": "Czech Republic", + "hits": 149093 }, { "data": "DE", - "hits": 2174719 + "name": "Germany", + "hits": 2510312 }, { "data": "DJ", + "name": "Djibouti", "hits": 380 }, { "data": "DK", - "hits": 218166 + "name": "Denmark", + "hits": 218275 }, { "data": "DM", + "name": "Dominica", "hits": 681 }, { "data": "DO", - "hits": 116031 + "name": "Dominican Republic", + "hits": 116054 }, { "data": "DZ", + "name": "Algeria", "hits": 156540 }, { "data": "EC", - "hits": 57222 + "name": "Ecuador", + "hits": 58319 }, { "data": "EE", - "hits": 39969 + "name": "Estonia", + "hits": 95788 }, { "data": "EG", - "hits": 428184 + "name": "Egypt", + "hits": 428185 }, { "data": "ER", + "name": "Eritrea", "hits": 69 }, { "data": "ES", - "hits": 1789915 + "name": "Spain", + "hits": 1797643 }, { "data": "ET", + "name": "Ethiopia", "hits": 85389 }, { "data": "FI", - "hits": 35057 + "name": "Finland", + "hits": 36314 }, { "data": "FJ", + "name": "Fiji", "hits": 3950 }, { "data": "FK", + "name": "Falkland Islands (Malvinas)", "hits": 14 }, { "data": "FM", + "name": "Micronesia, Federated States of", "hits": 2216 }, { "data": "FO", + "name": "Faroe Islands", "hits": 261 }, { "data": "FR", - "hits": 1589109 + "name": "France", + "hits": 1725849 }, { "data": "SX", + "name": "Sint Maarten (Dutch part)", "hits": 7624 }, { "data": "GA", + "name": "Gabon", "hits": 13729 }, { "data": "GB", - "hits": 5896864 + "name": "United Kingdom", + "hits": 5975511 }, { "data": "GD", + "name": "Grenada", "hits": 1425 }, { "data": "GE", + "name": "Georgia", "hits": 133290 }, { "data": "GF", + "name": "French Guiana", "hits": 278 }, { "data": "GH", - "hits": 12929 + "name": "Ghana", + "hits": 12930 }, { "data": "GI", + "name": "Gibraltar", "hits": 617 }, { "data": "GL", + "name": "Greenland", "hits": 314 }, { "data": "GM", + "name": "Gambia", "hits": 4349 }, { "data": "GN", + "name": "Guinea", "hits": 1025 }, { "data": "GP", + "name": "Guadeloupe", "hits": 587 }, { "data": "GQ", + "name": "Equatorial Guinea", "hits": 1216 }, { "data": "GR", - "hits": 249179 + "name": "Greece", + "hits": 254259 }, { "data": "GT", - "hits": 26515 + "name": "Guatemala", + "hits": 26520 }, { "data": "GU", + "name": "Guam", "hits": 2374 }, { "data": "GW", + "name": "Guinea-Bissau", "hits": 98 }, { "data": "GY", - "hits": 2239 + "name": "Guyana", + "hits": 2240 }, { "data": "HK", - "hits": 276681 + "name": "Hong Kong", + "hits": 377505 }, { "data": "HN", + "name": "Honduras", "hits": 19092 }, { "data": "HR", - "hits": 54239 + "name": "Croatia", + "hits": 54295 }, { "data": "HT", + "name": "Haiti", "hits": 163356 }, { "data": "HU", - "hits": 137427 + "name": "Hungary", + "hits": 138278 }, { "data": "ID", - "hits": 3034299 + "name": "Indonesia", + "hits": 3035063 }, { "data": "IE", - "hits": 1959568 + "name": "Ireland", + "hits": 1961693 }, { "data": "IL", - "hits": 656983 + "name": "Israel", + "hits": 657086 }, { "data": "IN", - "hits": 1277574 + "name": "India", + "hits": 1279306 }, { "data": "IO", + "name": "British Indian Ocean Territory", "hits": 20 }, { "data": "IQ", + "name": "Iraq", "hits": 160483 }, { "data": "IR", + "name": "Iran, Islamic Republic of", "hits": 374741 }, { "data": "IS", - "hits": 11333 + "name": "Iceland", + "hits": 11385 }, { "data": "IT", - "hits": 1145961 + "name": "Italy", + "hits": 1147390 }, { "data": "JM", + "name": "Jamaica", "hits": 25231 }, { "data": "JO", + "name": "Jordan", "hits": 109418 }, { "data": "JP", - "hits": 536143 + "name": "Japan", + "hits": 546623 }, { "data": "KE", - "hits": 32114 + "name": "Kenya", + "hits": 32181 }, { "data": "KG", + "name": "Kyrgyzstan", "hits": 8094 }, { "data": "KH", - "hits": 22977 + "name": "Cambodia", + "hits": 22996 }, { "data": "KI", + "name": "Kiribati", "hits": 244 }, { "data": "KM", + "name": "Comoros", "hits": 471 }, { "data": "KN", + "name": "Saint Kitts and Nevis", "hits": 712 }, { "data": "KP", + "name": "Korea, Democratic People's Republic of", "hits": 6 }, { "data": "KR", - "hits": 489086 + "name": "Korea, Republic of", + "hits": 489845 }, { "data": "KW", + "name": "Kuwait", "hits": 71225 }, { "data": "KY", + "name": "Cayman Islands", "hits": 2432 }, { "data": "KZ", + "name": "Kazakhstan", "hits": 123634 }, { "data": "LA", + "name": "Lao People's Democratic Republic", "hits": 23667 }, { "data": "LB", + "name": "Lebanon", "hits": 32785 }, { "data": "LC", + "name": "Saint Lucia", "hits": 1435 }, { "data": "LI", + "name": "Liechtenstein", "hits": 265 }, { "data": "LK", - "hits": 53378 + "name": "Sri Lanka", + "hits": 53386 }, { "data": "LR", + "name": "Liberia", "hits": 868 }, { "data": "LS", + "name": "Lesotho", "hits": 1783 }, { "data": "LT", - "hits": 261765 + "name": "Lithuania", + "hits": 269160 }, { "data": "LU", - "hits": 5719 + "name": "Luxembourg", + "hits": 6294 }, { "data": "LV", - "hits": 15391 + "name": "Latvia", + "hits": 15861 }, { "data": "LY", + "name": "Libya", "hits": 20287 }, { "data": "MA", - "hits": 129089 + "name": "Morocco", + "hits": 129090 }, { "data": "MC", + "name": "Monaco", "hits": 498 }, { "data": "MD", - "hits": 13908 + "name": "Moldova, Republic of", + "hits": 13913 }, { "data": "MG", + "name": "Madagascar", "hits": 1236 }, { "data": "MH", + "name": "Marshall Islands", "hits": 260 }, { "data": "MK", - "hits": 30126 + "name": "Macedonia", + "hits": 30132 }, { "data": "ML", + "name": "Mali", "hits": 3164 }, { "data": "MM", + "name": "Myanmar", "hits": 23877 }, { "data": "MN", + "name": "Mongolia", "hits": 24156 }, { "data": "MO", + "name": "Macau", "hits": 4567 }, { "data": "MP", + "name": "Northern Mariana Islands", "hits": 507 }, { "data": "MQ", + "name": "Martinique", "hits": 2308 }, { "data": "MR", + "name": "Mauritania", "hits": 421 }, { "data": "MS", + "name": "Montserrat", "hits": 46 }, { "data": "MT", + "name": "Malta", "hits": 10451 }, { "data": "MU", - "hits": 25626 + "name": "Mauritius", + "hits": 25638 }, { "data": "MV", + "name": "Maldives", "hits": 21913 }, { "data": "MW", + "name": "Malawi", "hits": 2800 }, { "data": "MX", - "hits": 188779 + "name": "Mexico", + "hits": 188818 }, { "data": "MY", - "hits": 358086 + "name": "Malaysia", + "hits": 364017 }, { "data": "MZ", + "name": "Mozambique", "hits": 15896 }, { "data": "NA", + "name": "Namibia", "hits": 10063 }, { "data": "NC", + "name": "New Caledonia", "hits": 1226 }, { "data": "NE", + "name": "Niger", "hits": 1121 }, { "data": "NG", + "name": "Nigeria", "hits": 102616 }, { "data": "NI", + "name": "Nicaragua", "hits": 65530 }, { "data": "NL", - "hits": 1013695 + "name": "Netherlands", + "hits": 1082173 }, { "data": "NO", - "hits": 255986 + "name": "Norway", + "hits": 292885 }, { "data": "NP", - "hits": 21450 + "name": "Nepal", + "hits": 21452 }, { "data": "NR", + "name": "Nauru", "hits": 25 }, { "data": "NU", + "name": "Niue", "hits": 1 }, { "data": "NZ", - "hits": 104454 + "name": "New Zealand", + "hits": 105819 }, { "data": "OM", + "name": "Oman", "hits": 25275 }, { "data": "PA", + "name": "Panama", "hits": 24615 }, { "data": "PE", - "hits": 236590 + "name": "Peru", + "hits": 273415 }, { "data": "PF", + "name": "French Polynesia", "hits": 1787 }, { "data": "PG", + "name": "Papua New Guinea", "hits": 2851 }, { "data": "PH", - "hits": 281685 + "name": "Philippines", + "hits": 281708 }, { "data": "PK", - "hits": 165624 + "name": "Pakistan", + "hits": 165635 }, { "data": "PL", - "hits": 535312 + "name": "Poland", + "hits": 538320 }, { "data": "PM", + "name": "Saint Pierre and Miquelon", "hits": 18 }, { "data": "PR", - "hits": 85776 + "name": "Puerto Rico", + "hits": 85779 }, { "data": "PS", + "name": "Palestinian Territory", "hits": 28331 }, { "data": "PT", - "hits": 145331 + "name": "Portugal", + "hits": 151386 }, { "data": "PW", + "name": "Palau", "hits": 103 }, { "data": "PY", + "name": "Paraguay", "hits": 25719 }, { "data": "QA", + "name": "Qatar", "hits": 48599 }, { "data": "RE", + "name": "Reunion", "hits": 1734 }, { "data": "RO", - "hits": 313743 + "name": "Romania", + "hits": 317376 }, { "data": "RU", - "hits": 1519929 + "name": "Russian Federation", + "hits": 1538721 }, { "data": "RW", + "name": "Rwanda", "hits": 4463 }, { "data": "SA", - "hits": 308754 + "name": "Saudi Arabia", + "hits": 313400 }, { "data": "SB", + "name": "Solomon Islands", "hits": 485 }, { "data": "SC", + "name": "Seychelles", "hits": 1320 }, { "data": "SD", - "hits": 48716 + "name": "Sudan", + "hits": 48723 }, { "data": "SE", - "hits": 408582 + "name": "Sweden", + "hits": 410613 }, { "data": "SG", - "hits": 594530 + "name": "Singapore", + "hits": 612609 }, { "data": "SI", - "hits": 43596 + "name": "Slovenia", + "hits": 44150 }, { "data": "SK", - "hits": 60257 + "name": "Slovakia", + "hits": 60522 }, { "data": "SL", + "name": "Sierra Leone", "hits": 351 }, { "data": "SM", + "name": "San Marino", "hits": 360 }, { "data": "SN", + "name": "Senegal", "hits": 3743 }, { "data": "SO", + "name": "Somalia", "hits": 3627 }, { "data": "SR", + "name": "Suriname", "hits": 2881 }, { "data": "ST", + "name": "Sao Tome and Principe", "hits": 39 }, { "data": "SV", + "name": "El Salvador", "hits": 18129 }, { "data": "SY", + "name": "Syrian Arab Republic", "hits": 24002 }, { "data": "SZ", + "name": "Swaziland", "hits": 687 }, { "data": "TC", + "name": "Turks and Caicos Islands", "hits": 563 }, { "data": "TD", + "name": "Chad", "hits": 94 }, { "data": "TG", + "name": "Togo", "hits": 5603 }, { "data": "TH", - "hits": 283769 + "name": "Thailand", + "hits": 284616 }, { "data": "TJ", + "name": "Tajikistan", "hits": 5470 }, { "data": "TK", + "name": "Tokelau", "hits": 2 }, { "data": "TM", + "name": "Turkmenistan", "hits": 510 }, { "data": "TN", - "hits": 49227 + "name": "Tunisia", + "hits": 49229 }, { "data": "TO", + "name": "Tonga", "hits": 1176 }, { "data": "TL", + "name": "Timor-Leste", "hits": 132 }, { "data": "TR", - "hits": 1222246 + "name": "Turkey", + "hits": 1222366 }, { "data": "TT", - "hits": 19912 + "name": "Trinidad and Tobago", + "hits": 19931 }, { "data": "TV", + "name": "Tuvalu", "hits": 15 }, { "data": "TW", - "hits": 320871 + "name": "Taiwan", + "hits": 321170 }, { "data": "TZ", + "name": "Tanzania, United Republic of", "hits": 8021 }, { "data": "UA", - "hits": 262335 + "name": "Ukraine", + "hits": 262513 }, { "data": "UG", - "hits": 11528 + "name": "Uganda", + "hits": 11529 }, { "data": "US", - "hits": 48675984 + "name": "United States", + "hits": 55579939 }, { "data": "UY", - "hits": 49487 + "name": "Uruguay", + "hits": 49488 }, { "data": "UZ", + "name": "Uzbekistan", "hits": 13745 }, { "data": "VA", + "name": "Holy See (Vatican City State)", "hits": 14 }, { "data": "VC", + "name": "Saint Vincent and the Grenadines", "hits": 955 }, { "data": "VE", - "hits": 117158 + "name": "Venezuela", + "hits": 117179 }, { "data": "VG", - "hits": 11693 + "name": "Virgin Islands, British", + "hits": 11722 }, { "data": "VI", + "name": "Virgin Islands, U.S.", "hits": 9736 }, { "data": "VN", - "hits": 3324201 + "name": "Vietnam", + "hits": 3324295 }, { "data": "VU", + "name": "Vanuatu", "hits": 432 }, { "data": "WF", + "name": "Wallis and Futuna", "hits": 9 }, { "data": "WS", + "name": "Samoa", "hits": 1238 }, { "data": "YE", + "name": "Yemen", "hits": 4776 }, { "data": "YT", + "name": "Mayotte", "hits": 186 }, { "data": "RS", - "hits": 187284 + "name": "Serbia", + "hits": 187367 }, { "data": "ZA", - "hits": 675094 + "name": "South Africa", + "hits": 675483 }, { "data": "ZM", + "name": "Zambia", "hits": 5205 }, { "data": "ME", + "name": "Montenegro", "hits": 4459 }, { "data": "ZW", + "name": "Zimbabwe", "hits": 4457 }, { "data": "A1", + "name": "Anonymous Proxy", "hits": 48561 }, { "data": "A2", + "name": "Satellite Provider", "hits": 17657 }, { "data": "AX", + "name": "Aland Islands", "hits": 115 }, { "data": "GG", + "name": "Guernsey", "hits": 722 }, { "data": "IM", + "name": "Isle of Man", "hits": 918 }, { "data": "JE", - "hits": 12866 + "name": "Jersey", + "hits": 12867 }, { "data": "MF", + "name": "Saint Martin", "hits": 173 }, { "data": "BQ", + "name": "Bonaire, Saint Eustatius and Saba", "hits": 225 }, { "data": "SS", + "name": "South Sudan", "hits": 174 } ], @@ -1151,5 +1393,10 @@ "hits": 92710920 } ] + }, + "visits": { + "ipv4": 8506183, + "ipv6": 1201380, + "total": 9707563 } } \ No newline at end of file