Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Already on GitHub? Sign in to your account

Rate Options seem to not be working via the HTTP API #279

Closed
kylebrandt opened this Issue Feb 10, 2014 · 21 comments

Comments

Projects
None yet
2 participants

resetValue inside rateOptions does not seem to be working. For example with the following query I get values that exceed 10,000:

curl -X POST -H "Content-Type: application/json" -d '{"start":"2014/02/06-22:23:25","end":"2014/02/06-22:31:25","queries":[{"aggregator":"sum","metric":"haproxy.frontend.stot","rate":true,"rateOptions":{"counter":true,"resetValue":10000}}]}' http://ny-devtsdb04:4242/api/query [{"metric":"haproxy.frontend.stot","tags":{"svname":"FRONTEND"},"aggregateTags":["pxname","tier","host"],"dps":{"1391725408":1011.9333333333335,"1391725419":1012.2000000000002,"1391725423":1030.6000000000004,"1391725434":1030.5333333333335,"1391725438":986.4666666666669,"1391725439":979.2875,"1391725449":979.2875,"1391725454":943.3666666666669,"1391725469":984.7333333333333,"1391725482":-5216934.290909092,"1391725484":-5216906.624242427,"1391725497":1011.9757575757577,"1391725499":1000.3090909090909,"1391725514":1021.309090909091,"1391725523":1021.2475524475525,"1391725529":1052.047552447553,"1391725538":-789292.7583333332,"1391725544":-789342.5583333333,"1391725553":1002.5333333333334,"1391725559":992.3333333333331,"1391725568":992.1999999999999,"1391725570":992.4999999999999,"1391725574":1014.3,"1391725585":-3020989.6645833333,"1391725589":-3021003.397916666,"1391725600":1000.2,"1391725604":1047.2666666666669,"1391725615":1047.6000000000001,"1391725619":1042.4666666666667,"1391725630":1042.2,"1391725634":1018.8000000000002,"1391725645":1019.0000000000002,"1391725649":1022.9333333333336,"1391725660":1022.666666666667,"1391725664":1022.4000000000002,"1391725675":1022.8666666666669,"1391725679":1000.3333333333333,"1391725690":999.7999999999998,"1391725694":1015.9333333333335,"1391725705":1016.0000000000001,"1391725709":1049.0666666666668,"1391725710":1033.2749999999999,"1391725720":1033.8083333333334,"1391725725":964.9000000000002,"1391725735":964.7000000000003,"1391725740":1000.6666666666667,"1391725751":1000.3000000000001,"1391725755":792.7666666666669,"1391725766":3229.5333333333333,"1391725770":2439.8000000000006,"1391725781":3102.733333333334,"1391725796":3063.4000000000005,"1391725811":1604.4666666666667,"1391725826":1037.3333333333333,"1391725830":-8446318.749999998,"1391725841":-8446356.416666664,"1391725845":999.1333333333336,"1391725856":992.4000000000004,"1391725860":992.5333333333338,"1391725871":1009.4000000000005,"1391725876":1009.766666666667}}]

Note the 1391725830":-8446318.749999998,"1391725841":-8446356.416666664.

When I pass what I believe to be the same query via the web interface, it seems to be working:

#start=2014/02/06-22:23:25&end=2014/02/06-22:31:25&m=sum:rate%7Bcounter,,10000%7D:haproxy.frontend.stot&o=&yrange=%5B-1000:%5D&wxh=800x600

image

Am I missing some difference between the two, or is there something not working here?

@manolama manolama added the bug label Feb 26, 2014

Owner

manolama commented Mar 7, 2014

That's an odd one. Could you try passing the query string version of the query to the JSON API endpoint please? I tested both parsing methods (POST and GET) and they both parse out the same, passing the reset value of 10,000.

Owner

manolama commented Mar 7, 2014

Also, it'd be good to look at the Gnuplot data file for that graph if you could capture that please.

The query string version seems to behave the same for me:

curl 'http://ny-devtsdb04:4242/api/query?start=2014/02/06-22:23:25&end=2014/02/06-22:31:25&m=sum:rate,counter,,10000:haproxy.frontend.stot'
[{"metric":"haproxy.frontend.stot","tags":{"svname":"FRONTEND"},"aggregateTags":["pxname","tier","host"],"dps":{"1391725408":1011.9333333333335,"1391725419":1012.2000000000002,"1391725423":1030.6000000000004,"1391725434":1030.5333333333335,"1391725438":986.4666666666669,"1391725439":979.2875,"1391725449":979.2875,"1391725454":943.3666666666669,"1391725469":984.7333333333333,"1391725482":-5216934.290909092,"1391725484":-5216906.624242427,"1391725497":1011.9757575757577,"1391725499":1000.3090909090909,"1391725514":1021.309090909091,"1391725523":1021.2475524475525,"1391725529":1052.047552447553,"1391725538":-789292.7583333332,"1391725544":-789342.5583333333,"1391725553":1002.5333333333334,"1391725559":992.3333333333331,"1391725568":992.1999999999999,"1391725570":992.4999999999999,"1391725574":1014.3,"1391725585":-3020989.6645833333,"1391725589":-3021003.397916666,"1391725600":1000.2,"1391725604":1047.2666666666669,"1391725615":1047.6000000000001,"1391725619":1042.4666666666667,"1391725630":1042.2,"1391725634":1018.8000000000002,"1391725645":1019.0000000000002,"1391725649":1022.9333333333336,"1391725660":1022.666666666667,"1391725664":1022.4000000000002,"1391725675":1022.8666666666669,"1391725679":1000.3333333333333,"1391725690":999.7999999999998,"1391725694":1015.9333333333335,"1391725705":1016.0000000000001,"1391725709":1049.0666666666668,"1391725710":1033.2749999999999,"1391725720":1033.8083333333334,"1391725725":964.9000000000002,"1391725735":964.7000000000003,"1391725740":1000.6666666666667,"1391725751":1000.3000000000001,"1391725755":792.7666666666669,"1391725766":3229.5333333333333,"1391725770":2439.8000000000006,"1391725781":3102.733333333334,"1391725796":3063.4000000000005,"1391725811":1604.4666666666667,"1391725826":1037.3333333333333,"1391725830":-8446318.749999998,"1391725841":-8446356.416666664,"1391725845":999.1333333333336,"1391725856":992.4000000000004,"1391725860":992.5333333333338,"1391725871":1009.4000000000005,"1391725876":1009.766666666667}}]

I'm not sure how to capture the Gnuplot data file, would you be able to provide me with some guidance for that?

Owner

manolama commented Mar 7, 2014

The easiest thing is to clear out the temp directory that you're using for OpenTSDB, then query for the graph and you should see a few files in there. Copy those please.

Also, looking at the JSON data returned, those negative values may be a serialization issue that I've seen before and thought I fixed. Try running the same query a few times in a row and throughout the day and see if those negative values change around. Something goofy may be happening in the serializer and I want to track that down before issuing 2.0.

Finally, could you let me know what OS, Java runtime and version of OpenTSDB you're running please? Thanks!

OS: CentOS release 6.5 (Final)
Java: Java(TM) SE Runtime Environment (build 1.6.0_31-b04)
Java HotSpot(TM) 64-Bit Server VM (build 20.6-b01, mixed mode)
TSD: OpenTSDB version [2.0.0] built from revision 4d008a6 in a MINT state
Built on Thu Dec 12 11:46:15 GMT-500 2013 by root@ny-devtsdb04.ds.stackexchange.com:/root/dev/next/build

tsdd773eae1

for f in tsdd7*.(dat|json|gnuplot|err); do echo "**$f**"; cat $f; done; 
**tsdd773eae1.err**
Could not find/open font when opening font "arial", using internal non-scalable font
**tsdd773eae1.gnuplot**
set term png small size 800,700
set xdata time
set timefmt "%s"
if (GPVAL_VERSION < 4.6) set xtics rotate; else set xtics rotate right
set output "/tmp/tsdd773eae1.png"
set xrange ["1391725405":"1391725885"]
set format x "%H:%M:%S"
set grid
set style data linespoints
set key right box
set yrange [-1000:]
plot  "/tmp/tsdd773eae1_0.dat" using 1:2 title "haproxy.frontend.stot{svname=FRONTEND}"
**tsdd773eae1.json**
{"etags":[["host","pxname","tier"]],"plotted":61,"points":22832,"timing":40}**tsdd773eae1_0.dat**
1391720420 0.8071011984983205
1391720421 1.6966530679343372
1391720425 1152.8666666666668
1391720436 1153.4333333333334
1391720440 1145.4333333333332
1391720451 1145.2666666666667
1391720455 1113.2666666666669
1391720466 1113.2666666666669
1391720470 1136.1333333333332
1391720481 1135.6666666666665
1391720485 1164.6000000000001
1391720496 1165.4
1391720500 1144.6000000000001
1391720511 1144.1333333333334
1391720515 1148.2
1391720526 1148.466666666667
1391720530 1169.1333333333334
1391720541 1168.5333333333335
1391720545 1151.3333333333335
1391720556 1152.1333333333334
1391720560 1171.0
1391720571 1170.2666666666667
1391720575 1176.3333333333335
1391720586 1177.1333333333337
1391720590 1143.2666666666667
1391720601 1142.1333333333334
1391720605 1122.7333333333336
1391720616 1124.0666666666668
1391720620 1126.1333333333337
1391720631 1125.1333333333337
1391720635 1100.8666666666668
1391720636 1102.4500000000003
1391720646 1102.9833333333336
1391720651 1065.1958333333332
1391720661 1064.5958333333333
1391720666 1150.1333333333334
1391720676 1150.9333333333334
1391720681 1129.6666666666667
1391720691 1129.2
1391720696 1166.6000000000001
1391720707 1166.7500000000002
1391720711 1170.8833333333334
1391720722 1170.4
1391720726 1156.6666666666667
1391720737 1157.466666666667
1391720741 1118.8000000000004
1391720752 1118.3333333333337
1391720756 1117.6000000000001
1391720767 1117.8666666666668
1391720771 1126.2666666666669
1391720782 1125.6666666666667
1391720786 1175.466666666667
1391720797 1176.2666666666669
1391720801 1176.6000000000004
1391720812 1176.1333333333337
1391720816 1132.266666666667
1391720827 1132.5333333333338
1391720831 1139.5333333333333
1391720842 1139.0666666666668
1391720846 1162.466666666667
1391720857 1163.0000000000002
1391720861 1159.7333333333338
1391720872 1159.4000000000003
1391720876 1179.2666666666667
1391720887 1179.4
1391720891 1128.1333333333337
1391720902 1127.9333333333336
1391720906 1187.7333333333331
1391720917 1187.9999999999998
1391720922 1045.2375
1391720932 1045.1708333333333
1391720937 1139.2666666666669
1391720947 1139.2666666666669
1391720952 1170.1333333333334
1391720962 1169.9333333333334
1391720967 1153.2000000000003
1391720977 1153.2000000000003
1391720982 1156.9333333333334
1391720992 1157.4
1391720997 1154.0666666666668
1391721008 1153.4416666666668
1391721012 1151.7083333333335
1391721023 1152.1333333333334
1391721027 1159.2
1391721038 1158.9333333333334
1391721042 1127.3333333333335
1391721053 1127.6666666666667
1391721057 1137.466666666667
1391721068 1136.7333333333336
1391721072 1140.6666666666672
1391721083 1141.8000000000004
1391721087 1181.2000000000003
1391721098 1180.466666666667
1391721102 1165.0
1391721113 1165.4666666666667
1391721117 1157.6000000000001
1391721128 1157.0666666666666
1391721132 1162.3333333333335
1391721143 1162.5333333333335
1391721147 1167.8666666666666
1391721158 1167.8666666666666
1391721162 1114.4000000000003
1391721163 1099.3291666666667
1391721173 1099.5291666666667
1391721178 1081.8458333333335
1391721188 1081.4458333333334
1391721193 1137.8
1391721203 1138.0666666666666
1391721208 1145.3333333333335
1391721218 1145.466666666667
1391721223 1125.6666666666667
1391721233 1125.6666666666667
1391721238 1153.2
1391721248 1152.9333333333334
1391721253 1125.9333333333334
1391721263 1125.9333333333334
1391721264 1125.4208333333333
1391721268 1147.154166666667
1391721279 1147.941666666667
1391721283 1131.4750000000001
1391721294 1131.3333333333335
1391721298 1160.666666666667
1391721309 1160.9333333333334
1391721313 1156.9333333333332
1391721324 1156.3333333333333
1391721328 1213.5333333333333
1391721339 1214.0666666666666
1391721343 1197.3333333333333
1391721354 1197.0
1391721358 1179.0666666666668
1391721369 1179.3333333333335
1391721373 1155.0
1391721384 1154.5333333333333
1391721388 1147.4666666666662
1391721399 1147.9999999999998
1391721403 1158.9333333333336
1391721414 1158.7333333333336
1391721418 1158.7333333333333
1391721429 1158.7333333333333
1391721433 1159.0666666666668
1391721434 1148.125
1391721444 1147.7916666666667
1391721449 1120.5375000000001
1391721459 1121.0708333333334
1391721464 1155.4666666666665
1391721474 1155.1333333333332
1391721479 1139.7333333333336
1391721489 1140.0000000000005
1391721494 1137.2666666666669
1391721504 1136.8000000000002
1391721509 1140.8666666666668
1391721519 1141.1333333333334
1391721524 1107.8000000000002
1391721534 1108.1333333333337
1391721539 1132.1333333333334
1391721549 1132.1333333333334
1391721550 1131.5416666666667
1391721554 1128.408333333333
1391721565 1128.4833333333331
1391721569 1154.416666666667
1391721580 1154.7333333333338
1391721584 1130.1333333333334
1391721595 1130.0666666666666
1391721599 1133.2666666666669
1391721610 1133.2666666666669
1391721614 1157.2666666666667
1391721625 1157.1333333333334
1391721629 1072.066666666667
1391721640 1072.3333333333337
1391721644 1127.4
1391721655 1127.4
1391721659 1097.8666666666668
1391721670 1097.6000000000001
1391721674 1124.6000000000004
1391721685 1124.5333333333335
1391721689 1133.8666666666668
1391721700 1134.1333333333334
1391721704 1132.9999999999998
1391721715 1133.0666666666666
1391721720 1057.7416666666668
1391721730 1057.475
1391721735 1125.4000000000003
1391721745 1125.3333333333335
1391721750 1142.6
1391721760 1142.9999999999998
1391721765 1125.7333333333333
1391721775 1125.5333333333335
1391721780 1159.0000000000005
1391721790 1158.6000000000004
1391721795 1159.0000000000002
1391721805 1159.466666666667
1391721810 1137.3333333333333
1391721820 1137.3999999999999
1391721821 1137.4208333333331
1391721825 1104.4208333333333
1391721836 1104.45
1391721840 1130.2500000000002
1391721851 1129.666666666667
1391721855 1105.7333333333333
1391721866 1106.2
1391721870 1136.3999999999999
1391721881 1136.3333333333333
1391721885 1106.2666666666669
1391721896 1106.466666666667
1391721900 1110.4666666666667
1391721911 1109.8666666666668
1391721915 1133.4
1391721926 1133.7333333333336
1391721930 1143.6666666666667
1391721941 1143.8666666666668
1391721945 1151.0000000000002
1391721956 1150.8000000000002
1391721961 1071.6666666666665
1391721971 1071.6
1391721976 1136.0000000000002
1391721986 1135.9333333333336
1391721991 1133.5333333333335
1391722001 1133.866666666667
1391722006 1126.6000000000001
1391722016 1126.5333333333335
1391722021 1129.3333333333335
1391722031 1129.0
1391722036 1189.3999999999996
1391722046 1189.5333333333328
1391722051 1133.466666666667
1391722061 1134.0666666666668
1391722066 1154.4666666666667
1391722076 1153.9333333333334
1391722081 1168.9333333333336
1391722091 1168.8666666666668
1391722096 1159.3333333333335
1391722106 1159.6000000000001
1391722107 1159.2208333333335
1391722111 1135.6208333333332
1391722122 1136.083333333333
1391722126 1197.5500000000002
1391722137 1197.2666666666669
1391722141 1126.2
1391722152 1126.1333333333332
1391722156 1119.2
1391722167 1119.2
1391722171 1097.2666666666667
1391722182 1097.7333333333333
1391722186 1120.5333333333333
1391722197 1120.2666666666667
1391722201 1125.4666666666667
1391722202 1124.0333333333333
1391722212 1123.7
1391722217 1080.6375000000003
1391722227 1080.8375
1391722232 1132.466666666667
1391722242 1132.666666666667
1391722247 1113.8666666666668
1391722257 1113.2666666666669
1391722262 1147.6
1391722272 1148.1333333333332
1391722277 1131.6000000000001
1391722287 1131.5333333333335
1391722292 1156.6666666666665
1391722302 1156.9333333333334
1391722307 1116.5333333333335
1391722317 1116.2
1391722322 1130.2
1391722332 1130.4666666666667
1391722333 1130.075
1391722337 1146.6083333333333
1391722348 1146.5583333333334
1391722352 1124.4250000000002
1391722363 1124.8000000000002
1391722367 1089.0666666666668
1391722378 1089.0
1391722382 1095.4666666666667
1391722393 1095.1333333333334
1391722397 1116.2
1391722408 1116.4
1391722412 1131.866666666667
1391722423 1131.9333333333336
1391722427 1129.7333333333336
1391722438 1129.8000000000002
1391722442 1106.2666666666669
1391722453 1105.9333333333334
1391722457 1082.6666666666667
1391722468 1082.8666666666668
1391722472 1091.9333333333336
1391722483 1092.1333333333337
1391722487 1115.5333333333335
1391722498 1115.466666666667
1391722502 1110.0666666666668
1391722503 1112.5541666666666
1391722513 1112.2208333333333
1391722518 1042.2375
1391722528 1042.4375000000002
1391722533 1093.5333333333335
1391722543 1093.7333333333338
1391722548 1135.2
1391722558 1135.1333333333334
1391722563 1146.466666666667
1391722573 1146.1333333333334
1391722578 1088.5333333333333
1391722588 1088.7333333333333
1391722593 1123.2000000000003
1391722603 1123.0666666666668
1391722604 1123.3458333333335
1391722608 1106.5458333333338
1391722619 1106.329166666667
1391722623 1120.7958333333336
1391722634 1120.8000000000002
1391722638 1114.8000000000002
1391722649 1114.7333333333336
1391722653 1101.0
1391722664 1101.4666666666667
1391722668 1117.9333333333334
1391722679 1117.6000000000001
1391722683 1097.6
1391722694 1097.3999999999999
1391722698 1138.7333333333336
1391722709 1138.9333333333334
1391722713 1133.5333333333335
1391722724 1133.7333333333336
1391722728 1086.9333333333336
1391722739 1086.7333333333336
1391722743 1099.0666666666668
1391722754 1099.0000000000002
1391722758 1111.8000000000002
1391722769 1111.7333333333336
1391722773 1104.466666666667
1391722784 1104.8000000000002
1391722789 1046.8666666666668
1391722799 1046.8
1391722804 1090.6
1391722814 1090.2666666666667
1391722819 1105.6000000000004
1391722829 1105.6666666666672
1391722834 1106.4
1391722844 1106.8666666666668
1391722849 1118.8000000000002
1391722859 1118.3333333333335
1391722864 1119.8666666666666
1391722874 1120.0666666666666
1391722879 1120.2666666666669
1391722889 1120.2666666666669
1391722890 1119.866666666667
1391722894 1106.4
1391722905 1107.1083333333333
1391722909 1126.9749999999997
1391722920 1126.7333333333331
1391722924 1139.6666666666667
1391722935 1139.5333333333335
1391722939 1099.0666666666666
1391722950 1098.9333333333334
1391722954 1109.2
1391722965 1109.8000000000002
1391722969 1107.7333333333336
1391722980 1107.1333333333337
1391722984 1096.5333333333333
1391722995 1096.6
1391722999 1121.2666666666669
1391723010 1121.4000000000003
1391723014 1100.6000000000001
1391723025 1100.9333333333336
1391723029 1105.9333333333336
1391723030 1097.8000000000002
1391723040 1097.4
1391723045 1063.8458333333333
1391723055 1063.6458333333333
1391723060 1082.866666666667
1391723070 1083.0666666666668
1391723075 1090.266666666667
1391723085 1090.6000000000004
1391723090 1120.8000000000004
1391723100 1120.466666666667
1391723105 1107.666666666667
1391723115 1107.2000000000003
1391723120 1065.4
1391723130 1066.1333333333334
1391723135 1121.8666666666668
1391723145 1121.8000000000002
1391723146 1121.5833333333335
1391723150 1058.5833333333335
1391723161 1058.8458333333333
1391723165 1078.3125
1391723176 1077.6
1391723180 1102.4
1391723191 1103.0000000000002
1391723195 1070.6000000000001
1391723206 1070.6666666666667
1391723210 1086.5333333333335
1391723221 1086.3333333333335
1391723225 1094.8666666666666
1391723236 1094.6666666666665
1391723240 1095.9333333333334
1391723251 1096.2666666666667
1391723255 1081.6000000000001
1391723266 1081.666666666667
1391723270 1115.666666666667
1391723281 1115.466666666667
1391723285 1131.2
1391723296 1131.0
1391723300 1092.7333333333333
1391723301 1081.7875000000001
1391723311 1082.1208333333334
1391723316 1067.6000000000004
1391723326 1067.7333333333336
1391723331 1123.6000000000001
1391723341 1123.4666666666667
1391723346 1106.1333333333334
1391723356 1105.8666666666668
1391723361 1058.3333333333335
1391723371 1058.6000000000001
1391723376 1092.0000000000002
1391723386 1092.066666666667
1391723391 1083.0000000000002
1391723401 1082.8
1391723406 1078.6666666666667
1391723416 1078.6000000000001
1391723417 1078.4541666666667
1391723421 1071.8541666666667
1391723432 1072.1166666666668
1391723436 1112.916666666667
1391723447 1112.9333333333338
1391723451 1108.466666666667
1391723462 1108.1333333333337
1391723466 1066.7333333333336
1391723477 1067.0000000000002
1391723481 1088.9333333333336
1391723492 1089.2666666666669
1391723496 1119.0666666666666
1391723507 1119.2666666666667
1391723511 1062.3333333333333
1391723522 1061.8666666666666
1391723526 1100.2666666666667
1391723537 1100.3333333333333
1391723541 1071.0000000000002
1391723552 1070.7333333333336
1391723556 1087.6000000000001
1391723567 1088.6000000000001
1391723571 1103.866666666667
1391723572 1104.8333333333335
1391723582 1103.6333333333334
1391723587 1050.7583333333332
1391723597 1051.4916666666666
1391723602 1109.0
1391723612 1108.4
1391723617 1089.8000000000002
1391723627 1090.6000000000001
1391723632 1083.7333333333338
1391723642 1082.7333333333338
1391723647 1066.9333333333334
1391723657 1067.2666666666669
1391723662 1081.866666666667
1391723672 1081.9333333333336
1391723677 1083.2000000000003
1391723687 1083.5333333333335
1391723692 1059.4
1391723703 1058.8375
1391723707 1055.5708333333332
1391723718 1055.7333333333333
1391723722 1084.2666666666669
1391723733 1084.4000000000003
1391723737 1060.4
1391723748 1060.6000000000001
1391723752 1124.6
1391723763 1124.1999999999998
1391723767 1098.3999999999999
1391723778 1098.4666666666665
1391723782 1119.8666666666668
1391723793 1120.0666666666668
1391723797 1132.7333333333338
1391723808 1132.8000000000004
1391723812 1135.4
1391723823 1135.0666666666666
1391723827 1080.1999999999998
1391723838 1080.2666666666664
1391723843 1023.0375
1391723853 1023.3041666666667
1391723858 1093.866666666667
1391723868 1093.666666666667
1391723873 1111.666666666667
1391723883 1111.666666666667
1391723888 1090.1999999999998
1391723898 1089.9999999999998
1391723903 1099.8000000000002
1391723913 1100.3333333333337
1391723918 1064.1333333333337
1391723928 1063.8000000000002
1391723933 1057.466666666667
1391723943 1057.466666666667
1391723948 1054.6000000000001
1391723959 1054.0583333333336
1391723963 1054.9250000000004
1391723974 1056.066666666667
1391723978 1093.666666666667
1391723989 1092.8000000000004
1391723993 1082.4666666666667
1391724004 1083.0
1391724008 1067.4666666666667
1391724019 1066.7333333333333
1391724023 1053.2666666666664
1391724034 1054.3333333333333
1391724038 1083.9333333333336
1391724049 1083.0666666666668
1391724053 1092.2000000000003
1391724064 1092.4666666666672
1391724068 1038.2666666666669
1391724079 1038.0666666666668
1391724083 1119.9333333333336
1391724084 1127.591666666667
1391724094 1128.1250000000002
1391724099 984.4458333333334
1391724109 984.1125000000001
1391724114 1049.6666666666667
1391724124 1049.6666666666667
1391724129 1073.8666666666666
1391724139 1073.6666666666665
1391724144 1044.0666666666668
1391724154 1044.666666666667
1391724159 1058.2000000000003
1391724169 1057.7333333333336
1391724174 1038.4000000000003
1391724184 1038.466666666667
1391724189 1084.8000000000002
1391724199 1084.7333333333333
1391724200 1084.5875
1391724204 1050.4541666666667
1391724215 1050.9666666666667
1391724219 1056.9
1391724230 1056.5333333333335
1391724234 1064.2
1391724245 1064.2666666666667
1391724249 1064.7333333333331
1391724260 1064.533333333333
1391724264 1074.9333333333334
1391724275 1075.5333333333333
1391724279 1045.2000000000003
1391724290 1044.7333333333336
1391724294 1053.7333333333336
1391724305 1053.666666666667
1391724309 1058.0
1391724320 1058.0666666666666
1391724324 1066.7333333333333
1391724335 1067.0666666666668
1391724339 1049.7333333333336
1391724350 1049.5333333333335
1391724354 1062.0666666666668
1391724365 1061.8666666666668
1391724370 964.6583333333333
1391724380 964.725
1391724385 1083.4666666666667
1391724395 1083.5333333333333
1391724400 1062.2666666666669
1391724410 1062.466666666667
1391724415 1073.8000000000002
1391724425 1073.3333333333335
1391724430 1058.4000000000003
1391724440 1058.7333333333336
1391724445 1061.8000000000002
1391724455 1061.866666666667
1391724460 1036.066666666667
1391724470 1036.1333333333337
1391724475 1077.9333333333336
1391724485 1078.066666666667
1391724486 1077.5250000000003
1391724490 1068.325
1391724501 1068.3208333333332
1391724505 1049.5875000000003
1391724516 1050.0666666666668
1391724520 1057.8000000000002
1391724531 1057.6000000000001
1391724535 1049.6666666666667
1391724546 1049.6666666666667
1391724550 1045.6
1391724561 1045.2666666666667
1391724565 1074.6000000000001
1391724576 1075.1333333333334
1391724580 1085.0666666666668
1391724591 1084.8666666666668
1391724595 1065.0666666666668
1391724606 1065.0666666666668
1391724610 1039.7333333333333
1391724621 1039.3999999999999
1391724625 1026.4000000000003
1391724636 1027.1333333333337
1391724640 1024.7333333333336
1391724641 1015.7541666666667
1391724651 1015.5541666666667
1391724656 977.8541666666667
1391724666 977.5875000000001
1391724671 1072.7333333333333
1391724681 1072.9333333333334
1391724686 1062.6666666666667
1391724696 1063.0666666666666
1391724701 1035.7333333333333
1391724711 1035.4666666666667
1391724716 1036.2666666666669
1391724726 1036.0666666666668
1391724731 1051.1333333333334
1391724741 1050.6
1391724746 1038.0000000000002
1391724756 1038.8000000000002
1391724761 1051.6666666666667
1391724771 1051.2
1391724776 1071.8000000000002
1391724786 1071.9333333333336
1391724787 1071.9708333333335
1391724791 1086.104166666667
1391724802 1085.3208333333337
1391724806 1086.2541666666668
1391724817 1087.466666666667
1391724821 1054.6000000000001
1391724832 1053.8666666666668
1391724836 1042.9333333333336
1391724847 1043.4666666666672
1391724851 1060.1333333333337
1391724862 1059.2666666666669
1391724866 1032.9333333333336
1391724877 1034.0000000000002
1391724881 1038.466666666667
1391724892 1037.7333333333336
1391724896 1027.0
1391724907 1027.4
1391724911 1018.0666666666667
1391724922 1017.4666666666667
1391724926 1060.4666666666667
1391724927 1058.4208333333333
1391724937 1059.2208333333335
1391724942 982.6
1391724952 982.1333333333333
1391724957 1020.8666666666667
1391724967 1021.1333333333334
1391724972 1035.3333333333335
1391724982 1034.7333333333333
1391724987 1019.3333333333336
1391724997 1020.1333333333336
1391725002 1051.1333333333334
1391725012 1050.6666666666667
1391725017 1040.5333333333335
1391725027 1040.8000000000002
1391725032 1033.0666666666666
1391725042 1032.4666666666667
1391725047 1071.3333333333337
1391725058 1072.004166666667
1391725062 1065.8041666666668
1391725073 1065.4666666666667
1391725077 1049.3333333333335
1391725088 1049.6000000000001
1391725092 1012.1333333333334
1391725103 1011.5333333333334
1391725107 1000.5333333333334
1391725118 1001.3333333333334
1391725122 1024.8666666666668
1391725133 1024.4
1391725137 1016.5999999999999
1391725148 1016.7333333333332
1391725152 1016.6666666666667
1391725163 1016.4666666666668
1391725167 1014.4666666666668
1391725178 1014.7333333333335
1391725183 934.05
1391725193 934.05
1391725198 1014.6000000000001
1391725208 1014.7333333333335
1391725213 1016.3999999999999
1391725223 1015.9999999999999
1391725228 997.8000000000003
1391725238 998.066666666667
1391725243 1028.9333333333336
1391725253 1028.7333333333336
1391725258 1041.8666666666668
1391725268 1041.8666666666668
1391725273 1035.8666666666668
1391725283 1036.1333333333334
1391725288 1019.1333333333337
1391725298 1019.0000000000003
1391725303 1034.2666666666669
1391725313 1034.2000000000003
1391725314 1034.3666666666668
1391725318 1014.7666666666668
1391725329 1014.4458333333334
1391725333 1050.3125
1391725344 1050.3333333333335
1391725348 991.3333333333336
1391725359 991.6000000000003
1391725363 1030.6000000000001
1391725374 1030.5333333333335
1391725378 997.4666666666667
1391725389 997.5333333333333
1391725393 1026.4
1391725404 1026.3333333333335
1391725408 1011.9333333333335
1391725419 1012.2000000000002
1391725423 1030.6000000000004
1391725434 1030.5333333333335
1391725438 986.4666666666669
1391725439 979.2875
1391725449 979.2875
1391725454 943.3666666666669
1391725469 984.7333333333333
1391725482 984.0121212121212
1391725484 1011.6787878787881
1391725497 1011.9757575757577
1391725499 1000.3090909090909
1391725514 1021.309090909091
1391725523 1021.2475524475525
1391725529 1052.047552447553
1391725538 1052.2952380952386
1391725544 1002.4952380952383
1391725553 1002.5333333333334
1391725559 992.3333333333331
1391725568 992.1999999999999
1391725570 992.4999999999999
1391725574 1014.3
1391725585 1013.5229166666667
1391725589 999.7895833333333
1391725600 1000.2
1391725604 1047.2666666666669
1391725615 1047.6000000000001
1391725619 1042.4666666666667
1391725630 1042.2
1391725634 1018.8000000000002
1391725645 1019.0000000000002
1391725649 1022.9333333333336
1391725660 1022.666666666667
1391725664 1022.4000000000002
1391725675 1022.8666666666669
1391725679 1000.3333333333333
1391725690 999.7999999999998
1391725694 1015.9333333333335
1391725705 1016.0000000000001
1391725709 1049.0666666666668
1391725710 1033.2749999999999
1391725720 1033.8083333333334
1391725725 964.9000000000002
1391725735 964.7000000000003
1391725740 1000.6666666666667
1391725751 1000.3000000000001
1391725755 792.7666666666669
1391725766 3229.5333333333333
1391725770 2439.8000000000006
1391725781 3102.733333333334
1391725796 3063.4000000000005
1391725811 1604.4666666666667
1391725826 1037.3333333333333
1391725830 1036.1000000000001
1391725841 998.4333333333333
1391725845 999.1333333333336
1391725856 992.4000000000004
1391725860 992.5333333333338
1391725871 1009.4000000000005
1391725876 1009.766666666667
1391725886 995.3666666666667
1391725891 996.0
1391725901 999.8666666666667
1391725906 999.1333333333336
1391725916 1007.1333333333338
1391725921 1007.666666666667
1391725931 981.8000000000002
1391725936 981.5333333333335
1391725946 989.6000000000004
1391725951 989.0666666666672
1391725961 987.266666666667
1391725966 988.2000000000003
1391725976 450.86666666666656
1391725981 3124.4666666666667
1391725991 2724.733333333333
1391725992 2677.3125
1391725996 3320.045833333333
1391726007 3319.7791666666667
1391726011 3133.1791666666672
1391726022 3133.933333333334
1391726026 1858.7333333333336
1391726037 1858.1333333333337
1391726041 1151.0666666666668
1391726052 1151.2666666666669
1391726056 1157.466666666667
1391726067 1157.1333333333337
1391726071 1058.8000000000002
1391726082 1059.5333333333335
1391726086 1053.4
1391726097 1052.8000000000002
1391726101 1062.4
1391726112 1062.6000000000001
1391726116 1017.866666666667
1391726127 1017.5333333333336
1391726132 932.2125
1391726142 932.9458333333333
1391726147 1002.2000000000002
1391726157 1001.6000000000003
1391726162 1010.8000000000001
1391726172 1010.7333333333333
1391726177 995.2000000000002
1391726187 995.4666666666668
1391726192 976.666666666667
1391726202 977.066666666667
1391726207 1022.0666666666667
1391726217 1021.9333333333335
1391726222 994.7333333333335
1391726232 994.2666666666668
1391726237 1002.8666666666668
1391726247 1003.2666666666668
1391726252 983.2666666666668
1391726262 983.4000000000001
1391726267 991.2000000000003
1391726278 990.8208333333337
1391726282 996.2875
1391726293 996.0666666666667
1391726297 974.3333333333336
1391726308 974.5333333333336
1391726312 1002.8000000000002
1391726323 1002.8666666666669
1391726327 987.4
1391726338 987.6
1391726342 966.5333333333333
1391726353 965.9333333333333
1391726357 958.0666666666668
1391726368 958.5333333333335
1391726372 990.6000000000001
1391726383 990.5333333333335
1391726387 994.0000000000001
1391726398 994.2000000000002
1391726402 1012.5333333333335
1391726413 1011.9333333333335
1391726418 943.6458333333334
1391726428 944.1125
1391726433 997.1999999999999
1391726443 997.1333333333333
1391726448 1007.2666666666668
1391726458 1007.4666666666668
1391726463 982.6
1391726473 982.0
1391726478 1006.4666666666667
1391726488 1006.9333333333334
1391726493 966.066666666667
1391726503 966.0000000000003
1391726508 985.4000000000002
1391726518 985.3333333333335
1391726519 985.5000000000002
1391726523 974.4333333333336
1391726534 973.9208333333336
1391726538 992.1875000000002
1391726549 992.5333333333336
1391726553 958.4000000000003
1391726564 958.6000000000004
1391726568 975.8000000000002
1391726579 975.7333333333335
1391726583 998.0666666666667
1391726594 997.7333333333333
1391726598 960.8000000000002
1391726609 961.0000000000002
1391726613 973.5333333333335
1391726624 973.6000000000003
1391726628 983.066666666667
1391726639 983.4000000000002
1391726643 967.6
1391726654 966.7333333333333
1391726658 952.0666666666667
1391726669 952.8000000000001
1391726673 947.5333333333335
1391726684 947.2000000000002
1391726688 969.4000000000002
1391726699 969.8666666666669
1391726703 992.8666666666668
1391726704 987.3416666666667
1391726714 986.475
1391726719 909.2041666666669
1391726729 909.9375000000002
1391726734 984.7333333333335
1391726744 984.4000000000001
1391726749 956.6
1391726759 957.0666666666667
1391726764 969.4000000000001
1391726774 968.5333333333334
1391726779 953.1333333333337
1391726789 953.866666666667
1391726794 988.6000000000003
1391726804 988.5333333333336
1391726805 988.191666666667
1391726809 972.591666666667
1391726820 972.454166666667
1391726824 953.0541666666667
1391726835 953.5333333333334
1391726839 962.266666666667
1391726850 961.666666666667
1391726854 961.4000000000002
1391726865 962.4000000000002
1391726869 966.6666666666669
1391726880 965.8000000000002
1391726884 1007.0666666666668
1391726895 1007.5333333333335
1391726899 994.1333333333334
1391726910 993.5333333333335
1391726914 974.9333333333335
1391726925 975.9333333333335
1391726929 981.2666666666668
1391726940 980.4000000000001
1391726944 979.5999999999999
1391726955 980.0666666666666
1391726959 953.0000000000002
1391726970 952.4000000000002
1391726974 938.4666666666668
1391726975 937.5166666666667
1391726985 938.5166666666667
1391726990 917.6041666666667
1391727000 916.7375000000001
1391727005 951.9333333333334
1391727015 952.4000000000001
1391727020 925.5333333333334
1391727030 924.9333333333334
1391727035 927.0000000000001
1391727045 928.0000000000001
1391727050 939.1333333333334
1391727060 937.8666666666668
1391727065 962.9333333333335
1391727075 963.0666666666668
1391727080 928.6666666666669
1391727090 929.7333333333335
1391727095 957.6
1391727106 957.0875
1391727110 951.6875000000003
1391727121 952.066666666667
1391727125 946.2
1391727136 945.3333333333334
1391727140 927.9333333333335
1391727151 928.6666666666669
1391727155 924.7333333333335
1391727166 924.4000000000001
1391727170 926.9333333333334
1391727181 927.4000000000001
1391727185 962.0666666666667
1391727196 961.2666666666668
1391727200 916.9333333333335
1391727211 917.8000000000001
1391727215 959.2666666666668
1391727216 951.0583333333333
1391727226 950.525
1391727231 896.754166666667
1391727241 897.2208333333335
1391727246 935.4000000000001
1391727256 934.5333333333334
1391727261 931.8666666666668
1391727271 932.6000000000001
1391727276 954.9333333333335
1391727286 954.7333333333335
1391727291 970.6666666666667
1391727301 970.8666666666667
1391727306 963.0
1391727316 962.2666666666667
1391727321 952.4000000000002
1391727331 953.1333333333336
1391727336 933.6000000000001
1391727346 933.4000000000001
1391727351 941.6666666666666
1391727361 941.8666666666667
1391727366 941.6666666666665
1391727377 940.8583333333333
1391727381 943.1916666666667
1391727392 944.3333333333334
1391727396 944.2666666666669
1391727407 943.6666666666669
1391727411 933.0666666666667
1391727422 933.3333333333334
1391727426 917.8666666666668
1391727437 917.1333333333334
1391727441 961.8666666666668
1391727442 961.3750000000001
1391727452 961.575
1391727457 878.1750000000001
1391727467 879.0416666666667
1391727472 928.4666666666669
1391727482 927.6000000000003
1391727487 943.8
1391727497 944.1333333333334
1391727502 971.8000000000002
1391727512 971.6000000000003
1391727517 931.6000000000003
1391727527 932.2000000000003
1391727532 930.8000000000003
1391727542 930.066666666667
1391727547 916.2666666666668
1391727557 916.6000000000001
1391727562 918.2666666666669
1391727572 917.9333333333335
1391727577 936.6666666666669
1391727587 937.5333333333335
1391727592 924.2666666666671
1391727602 923.2666666666671
1391727607 948.1999999999998
1391727617 948.7999999999998
1391727622 950.0666666666668
1391727633 949.5125000000002
1391727637 972.1125000000003
1391727648 973.066666666667
1391727652 942.4666666666668
1391727663 941.4666666666668
1391727667 902.3999999999999
1391727678 902.9999999999999
1391727682 902.266666666667
1391727693 901.8000000000003
1391727697 955.4666666666669
1391727708 956.3333333333336
1391727712 933.0666666666668
1391727723 932.0666666666668
1391727727 929.1999999999999
1391727738 929.8
1391727742 879.5999999999999
1391727753 879.1333333333332
1391727758 850.0875
1391727768 850.9541666666667
1391727773 923.8000000000002
1391727783 922.8000000000002
1391727788 913.2666666666665
1391727798 913.3333333333331
1391727803 905.7333333333335
1391727813 906.3333333333335
1391727818 909.6000000000003
1391727828 909.4000000000003
1391727833 903.8666666666667
1391727843 903.9333333333335
1391727848 935.5333333333334
1391727858 935.0666666666667
1391727863 940.4666666666667
1391727873 941.0666666666667
1391727878 911.2000000000004
1391727888 911.0000000000003
1391727893 929.8000000000001
1391727904 929.7541666666668
1391727908 887.2208333333334
1391727919 886.8666666666667
1391727923 915.7333333333336
1391727934 916.4666666666669
1391727938 884.3333333333336
1391727949 883.8666666666669
1391727953 919.6000000000001
1391727964 919.8000000000002
1391727968 872.3333333333336
1391727979 871.7333333333336
1391727983 910.066666666667
1391727994 911.066666666667
1391727998 938.8666666666669
1391728009 938.1333333333336
1391728013 907.8666666666669
1391728014 901.6458333333334
1391728024 902.1125
1391728029 867.9583333333333
1391728039 867.2249999999999
1391728044 894.7333333333333
1391728054 895.7333333333333
1391728059 943.1333333333334
1391728069 942.4000000000001
1391728074 889.0000000000002
1391728084 889.4666666666669
1391728089 923.7333333333335
1391728099 923.0000000000001
1391728104 886.4
1391728114 887.4666666666666
1391728119 918.1333333333337
1391728129 917.266666666667
1391728134 909.1333333333338
1391728144 909.1333333333338
1391728149 932.2666666666668
1391728159 932.6000000000001
1391728164 933.6666666666667
1391728175 933.5583333333334
1391728179 912.9583333333335
1391728190 913.2666666666669
1391728194 889.8666666666669
1391728205 889.3333333333336
1391728209 850.3999999999999
1391728220 850.7333333333333
1391728224 891.0000000000002
1391728235 891.0000000000002
1391728239 891.1333333333337
1391728250 891.2000000000003
1391728254 885.0666666666668
1391728265 884.2666666666669
1391728270 819.0
1391728280 820.0666666666667
1391728285 875.7333333333333
1391728295 875.5333333333333
1391728300 884.8000000000002
1391728310 884.9333333333336
1391728315 873.4000000000004
1391728325 872.6666666666671
1391728330 885.8
1391728340 886.4
1391728345 899.0666666666671
1391728355 898.866666666667
1391728360 872.6666666666669
1391728370 873.0000000000003
1391728375 896.4666666666669
1391728385 895.7333333333336
1391728390 885.8666666666669
1391728400 886.666666666667
1391728405 869.4666666666667
1391728415 869.1333333333333
1391728420 863.6000000000003
1391728430 863.8666666666669
1391728435 876.4666666666668
1391728445 875.8000000000003
1391728450 850.8
1391728460 851.5333333333333
1391728465 856.4666666666668
1391728476 855.9625000000001
1391728480 842.6958333333337
1391728491 842.6000000000003
1391728495 878.1333333333334
1391728506 878.4666666666668
1391728510 862.0666666666667
1391728521 861.6
1391728525 895.066666666667
1391728536 896.466666666667
1391728541 808.9833333333333
1391728551 807.9833333333333
1391728556 911.8000000000002
1391728566 912.4000000000002
1391728571 860.3333333333335
1391728581 859.6000000000001
1391728586 861.4000000000003
1391728596 862.5333333333336
1391728601 894.2666666666669
1391728611 893.2666666666669
1391728616 886.3333333333336
1391728626 886.9333333333335
1391728631 868.6666666666666
1391728641 867.9333333333333
1391728646 859.7333333333337
1391728656 860.866666666667
1391728661 865.2000000000004
1391728671 864.066666666667
1391728676 878.3333333333334
1391728686 879.2
1391728691 855.8666666666667
1391728701 854.8666666666667
1391728706 873.7333333333336
1391728716 875.1333333333337
1391728721 858.066666666667
1391728731 856.8000000000003
1391728736 863.4666666666669
1391728746 864.0666666666668
1391728751 850.2666666666667
1391728761 850.1333333333332
1391728762 849.7041666666667
1391728766 879.904166666667
1391728777 880.8250000000004
1391728781 867.0250000000002
1391728792 866.3333333333336
1391728796 858.7333333333336
1391728807 859.0666666666668
1391728812 811.6375
1391728822 811.1708333333333
1391728827 840.0666666666668
1391728837 840.9333333333335
1391728842 878.6000000000004
1391728852 877.866666666667
1391728857 857.5333333333335
1391728867 857.8666666666668
1391728872 873.1333333333333
1391728882 872.6666666666666
1391728887 873.0000000000002
1391728897 873.8666666666669
1391728902 851.066666666667
1391728912 850.3333333333336
1391728917 854.4000000000001
1391728927 854.2
1391728932 848.5333333333334
1391728942 849.1333333333334
1391728947 837.8000000000003
1391728957 837.6000000000003
1391728962 846.8000000000002
1391728972 847.1333333333336
1391728977 850.9333333333336
1391728987 850.4000000000003
1391728992 847.2666666666668
1391729002 847.4666666666668
1391729007 842.6000000000004
1391729017 842.6000000000004
1391729022 854.2
1391729032 854.0000000000001
1391729033 854.4041666666667
1391729037 832.0041666666668
1391729038 817.3000000000001
1391729048 816.8166666666667
1391729053 820.8208333333333
1391729063 821.1666666666666
1391729068 845.0000000000002
1391729078 844.9333333333336
1391729083 862.3333333333335
1391729093 862.5333333333335
1391729098 852.4666666666667
1391729108 852.0666666666667
1391729113 867.8666666666669
1391729123 868.066666666667
1391729128 846.5333333333336
1391729138 846.5333333333336
1391729143 874.6000000000003
1391729153 875.066666666667
1391729158 845.4666666666667
1391729168 845.0
1391729173 855.5999999999999
1391729183 855.6666666666665
1391729188 847.0666666666667
1391729198 847.4
1391729203 877.2000000000002
1391729213 877.1333333333336
1391729218 865.0666666666668
1391729228 865.2000000000002
1391729233 860.6666666666667
1391729243 860.0000000000001
1391729248 861.4000000000003
1391729258 861.866666666667
1391729263 855.6000000000001
1391729273 855.4000000000002
1391729278 851.5333333333334
1391729288 851.2666666666668
1391729289 851.4250000000001
1391729293 848.6916666666668
1391729304 848.4250000000001
1391729309 792.7583333333333
1391729319 793.3333333333334
1391729324 850.9333333333335
1391729334 850.7333333333336
1391729339 849.9333333333335
1391729349 849.8000000000002
1391729354 844.0666666666668
1391729364 843.6000000000003
1391729369 854.0666666666671
1391729379 855.1333333333337
1391729384 854.1333333333334
1391729394 853.4000000000001
1391729399 848.1333333333332
1391729409 848.6666666666665
1391729414 867.2666666666668
1391729424 866.4000000000001
1391729429 862.1333333333336
1391729439 863.2000000000002
1391729444 846.2666666666669
1391729454 845.4000000000002
1391729459 847.4666666666668
1391729469 847.8000000000001
1391729474 842.7333333333333
1391729484 842.6000000000001
1391729489 857.8666666666668
1391729499 858.6000000000001
1391729504 850.1333333333337
1391729514 849.3333333333336
1391729519 840.2666666666669
1391729529 840.6666666666667
1391729534 849.5333333333335
1391729544 848.9333333333336
1391729549 843.7333333333335
1391729559 844.5333333333334
1391729565 798.1541666666667
1391729575 797.4375
1391729580 827.6166666666667
1391729590 828.2666666666667
1391729595 856.8666666666668
1391729605 856.1333333333334
1391729610 875.5333333333336
1391729620 876.2000000000003
1391729625 842.6000000000003
1391729635 842.266666666667
1391729640 852.0000000000002
1391729650 852.2666666666669
1391729655 854.0000000000002
1391729665 853.5333333333336
1391729670 860.8000000000002
1391729680 861.5333333333335
1391729685 833.8666666666668
1391729695 833.4000000000001
1391729700 840.7333333333332
1391729710 840.9333333333333
1391729715 835.6
1391729725 835.1333333333334
1391729730 822.5333333333336
1391729740 823.066666666667
1391729745 835.5333333333334
1391729755 835.2000000000002
1391729760 831.1333333333334
1391729770 831.4000000000001
1391729775 829.8000000000001
1391729785 829.3333333333334
1391729790 803.8000000000002
1391729800 803.9333333333335
1391729805 845.0666666666671
1391729815 845.4000000000004
1391729821 786.7041666666667
1391729830 786.4375
1391729836 836.6000000000001
1391729845 836.6666666666669
1391729851 811.2000000000002
1391729860 811.2000000000002
1391729866 816.0000000000002
1391729875 815.9333333333335
1391729876 816.0791666666669
1391729881 826.8791666666667
1391729891 826.7208333333334
1391729896 820.9875000000002
1391729906 821.0666666666668
1391729911 847.8000000000003
1391729921 847.8000000000003
1391729926 824.4666666666668
1391729936 824.7333333333335
1391729941 837.6000000000001
1391729951 837.4666666666667
1391729956 817.1333333333336
1391729966 817.0000000000002
1391729971 825.3333333333335
1391729981 825.2
1391729986 824.066666666667
1391729996 824.4000000000002
1391730001 837.0666666666667
1391730011 836.8000000000001
1391730016 837.3333333333335
1391730026 837.5333333333334
1391730031 835.0000000000002
1391730041 834.7333333333336
1391730046 850.3333333333336
1391730056 850.5333333333336
1391730061 812.6
1391730071 812.6
1391730076 832.7333333333333
1391730086 832.6666666666667
1391730091 821.0666666666671
1391730101 821.0666666666671
1391730106 837.6000000000001
1391730107 834.6375000000002
1391730116 834.7041666666668
1391730122 765.0958333333335
1391730131 765.0958333333335
1391730137 828.2666666666667
1391730147 828.0708333333334
1391730152 819.3375000000003
1391730162 819.4666666666669
1391730167 824.7333333333335
1391730177 824.8000000000002
1391730182 793.9333333333333
1391730192 793.9333333333333
1391730197 811.2666666666668
1391730207 811.2000000000002
1391730212 849.0000000000002
1391730222 849.066666666667
1391730227 815.1333333333336
1391730237 815.1333333333336
1391730242 803.6666666666667
1391730252 804.0666666666668
1391730257 816.5333333333334
1391730267 816.0666666666667
1391730272 830.8666666666669
1391730282 831.2666666666669
1391730287 822.4000000000002
1391730297 822.0000000000002
1391730302 797.8666666666667
1391730312 798.2
1391730317 811.2666666666669
1391730327 810.5333333333336
1391730332 804.4666666666668
1391730342 805.2666666666668
1391730347 800.4000000000003
1391730357 799.666666666667
1391730362 824.9333333333334
1391730372 825.7333333333335
1391730377 815.3333333333335
1391730387 814.2000000000002
1391730392 828.0666666666668
1391730402 828.6666666666669
1391730408 773.875
1391730417 773.275
1391730423 814.4666666666667
1391730432 814.6
1391730433 814.9625
1391730438 823.1625
1391730448 822.6458333333334
1391730453 819.9125000000005
1391730463 820.6666666666671
1391730468 815.8000000000003
1391730478 815.066666666667
1391730483 809.9333333333333

I'm also seeing some results via the TSD interface that don't seem to match the documentation:

"To avoid this, we can set the resetValue which will, when the rate exceeds this value, return a data point of 0 so as to avoid spikes in either direction."

Without Counter Set:
image

With Counter Set:
image

I would expect the bigs dips to become "zeros" according to the documentation (which is the behavior I have noticed before), but in this case the dips just "disappear" (Which actually might be better anyways). Or is there something I'm not understanding?

Owner

manolama commented Mar 18, 2014

OK, so the Jackson serialization is definitely causing those odd negative values as the Gnuplot script is writing the proper data. I think that my fix before was to upgrade Jackson. Could you verify that you have 2.1.4 of the Jackson libs in your class path, i.e. in the build/third_party/jackson directory? If so, try dumping those and using newer versions, then repeat the query and lets see if that produces the correct results through the API.

Owner

manolama commented Mar 18, 2014

Regarding the rate reset value, the point will only return 0 if the difference is greater than the configured reset value. In your case, it looks like your negative rates were probably around the 2 to 3k mark, so if you try bumping your rate reset value to 2k, you should start seeing those 0s.

I did have Jackson 2.1.4. I believe I am running at a newer version now since that is what classpath shows in ps aux (I don't know java, so let me know if the this doesn't necessarily mean it is running with jackson 2.2.3 now):

'root     12281 10.7  1.2 5400332 206164 pts/0  Sl   22:37   4:35 java -enableassertions -enablesystemassertions -classpath /usr/local/share/opentsdb/asynchbase-1.4.1.jar:/usr/local/share/opentsdb/guava-13.0.1.jar:/usr/local/share/opentsdb/jackson-annotations-2.2.3.jar:/usr/local/share/opentsdb/jackson-core-2.2.3.jar:/usr/local/share/opentsdb/jackson-databind-2.2.3.jar:/usr/local/share/opentsdb/log4j-over-slf4j-1.7.2.jar:/usr/local/share/opentsdb/logback-classic-1.0.9.jar:/usr/local/share/opentsdb/logback-core-1.0.9.jar:/usr/local/share/opentsdb/netty-3.6.2.Final.jar:/usr/local/share/opentsdb/slf4j-api-1.7.2.jar:/usr/local/share/opentsdb/suasync-1.4.0.jar:/usr/local/share/opentsdb/tsdb-2.0.0.jar:/usr/local/share/opentsdb/zookeeper-3.3.6.jar:/usr/local/share/opentsdb net.opentsdb.tools.TSDMain --port=4242 --staticroot=build/staticroot --cachedir=/tmp/tsd --zkquorum=ny-devtsdb01 --config /root/dev/opentsdb.conf'```

I still have those negative values in the query results:

curl 'http://localhost:4242/api/query?start=2014/02/06-22:23:25&end=2014/02/06-22:31:25&m=sum:rate,counter,,10000:haproxy.frontend.stot'
[{"metric":"haproxy.frontend.stot","tags":{"svname":"FRONTEND"},"aggregateTags":["pxname","tier","host"],"dps":{"1391725408":1011.9333333333335,"1391725419":1012.2000000000002,"1391725423":1030.6000000000004,"1391725434":1030.5333333333335,"1391725438":986.4666666666669,"1391725439":979.2875,"1391725449":979.2875,"1391725454":943.3666666666669,"1391725469":984.7333333333333,"1391725482":-5216934.290909092,"1391725484":-5216906.624242427,"1391725497":1011.9757575757577,"1391725499":1000.3090909090909,"1391725514":1021.309090909091,"1391725523":1021.2475524475525,"1391725529":1052.047552447553,"1391725538":-789292.7583333332,"1391725544":-789342.5583333333,"1391725553":1002.5333333333334,"1391725559":992.3333333333331,"1391725568":992.1999999999999,"1391725570":992.4999999999999,"1391725574":1014.3,"1391725585":-3020989.6645833333,"1391725589":-3021003.397916666,"1391725600":1000.2,"1391725604":1047.2666666666669,"1391725615":1047.6000000000001,"1391725619":1042.4666666666667,"1391725630":1042.2,"1391725634":1018.8000000000002,"1391725645":1019.0000000000002,"1391725649":1022.9333333333336,"1391725660":1022.666666666667,"1391725664":1022.4000000000002,"1391725675":1022.8666666666669,"1391725679":1000.3333333333333,"1391725690":999.7999999999998,"1391725694":1015.9333333333335,"1391725705":1016.0000000000001,"1391725709":1049.0666666666668,"1391725710":1033.2749999999999,"1391725720":1033.8083333333334,"1391725725":964.9000000000002,"1391725735":964.7000000000003,"1391725740":1000.6666666666667,"1391725751":1000.3000000000001,"1391725755":792.7666666666669,"1391725766":3229.5333333333333,"1391725770":2439.8000000000006,"1391725781":3102.733333333334,"1391725796":3063.4000000000005,"1391725811":1604.4666666666667,"1391725826":1037.3333333333333,"1391725830":-8446318.749999998,"1391725841":-8446356.416666664,"1391725845":999.1333333333336,"1391725856":992.4000000000004,"1391725860":992.5333333333338,"1391725871":1009.4000000000005,"1391725876":1009.766666666667}}]

Not sure if this helps, but in way of an update, I pulled Next and I'm still seeing this

@manolama Any updates on this by chance? Is there anything I can provide from my end?

Owner

manolama commented Apr 4, 2014

Sorry, not yet. Which part though? The negative JSON #s or the rate reset? If the latter, did you try a smaller reset value to see what that would give you? Thanks!

Mostly concerned about the negative JSON values (which makes it seem like the counter options have no effect). I believe you might have been correct that my reset value was too high in the other instance, because I can't currently reproduce that.

Owner

manolama commented Apr 7, 2014

Hey Kyle, could you try manolama/opentsdb@7b7f500 please and see if that resolves the negatives in the JSON output?

Hi Chris,

I applied it next with the following:

wget
https://github.com/manolama/opentsdb/commit/7b7f5005a2a3ee08234ffa93bae2092b97b178cb.patch
git apply 7b7f500.patch

7b7f500.patch:23: trailing whitespace.
} else {
warning: 1 line adds whitespace errors.

I then ran the build script again, and a make install from the build dir.
OpenTSDB now says the version is:

OpenTSDB version [2.0.0] built from revision ef641be in a MODIFIED state

The modified state makes me believe that patch applied. However, I still
see those negative numbers in the query. Let me know if you want me to try
something different.

Thanks,
Kyle

On Mon, Apr 7, 2014 at 2:56 PM, Chris Larsen notifications@github.comwrote:

Hey Kyle, could you try manolama@7b7f500manolama/opentsdb@7b7f500 and see if that resolves the negatives in the JSON output?

Reply to this email directly or view it on GitHubhttps://github.com/OpenTSDB/opentsdb/issues/279#issuecomment-39769094
.

Owner

manolama commented Apr 8, 2014

Aha! I had to cycle my TSDs during an update and the counters reset so I had the negative rates showing up. I can now reproduce the issue you're seeing where it graphs properly but doesn't work in the JSON. It's not the Jackson issue, must be in parsing the rate. Working on it.

@manolama manolama added a commit to manolama/opentsdb that referenced this issue Apr 8, 2014

@manolama manolama Fix for #279 where rate options were not being passed to the query ob…
…ject if

the query did not include TSUIDs.
1ab924c

@manolama manolama added a commit that referenced this issue Apr 8, 2014

@manolama @manolama manolama + manolama Fix for #279 where rate options were not being passed to the query ob…
…ject if

the query did not include TSUIDs.

Signed-off-by: Chris Larsen <clarsen@euphoriaaudio.com>
43feca8
Owner

manolama commented Apr 8, 2014

Patched. The rateOptions object wasn't being passed to the sub query if the query didn't include TSUIDs. Try it out at 43feca8.

I ALSO fixed the docs. A query string for rate options should enclose the options in curly braces ala http://localhost:4242/api/query?start=2014/02/06-22:23:25&end=2014/02/06-22:31:25&m=sum:rate{counter,,10000}:haproxy.frontend.stot

Give that a try please.

@manolama The patch seems to be working on the example query. Although it looks like I have found another one that doesn't seem to work:

curl 'http://ny-devtsdb04:4242/api/query?start=5m-ago&m=sum:rate\{counter,,5\}:os.cpu\{host=ny-devtsaf01\}'
[{"metric":"os.cpu","tags":{"host":"ny-devtsaf01"},"aggregateTags":[],"dps":{"1396987563":12.8,"1396987578":14.933333333333334,"1396987593":14.933333333333334,"1396987608":14.933333333333334,"1396987623":21.333333333333332,"1396987638":72.53333333333333,"1396987653":14.933333333333334,"1396987668":12.8,"1396987683":14.933333333333334,"1396987698":14.933333333333334,"1396987713":14.933333333333334,"1396987728":14.933333333333334,"1396987743":12.8,"1396987758":14.933333333333334,"1396987773":14.933333333333334,"1396987788":12.8,"1396987803":14.933333333333334,"1396987818":12.8,"1396987833":14.933333333333334,"1396987848":12.8}}]

I would expect anything larger than 5 to be a reset, and therefore it would be 0?

@manolama : Seems like resetValue only goes into effect when the numbers are negative - which kind of makes sense to me. Can you confirm that this is the desired behavior?

Owner

manolama commented Apr 10, 2014

Yeah, the resetValue should only execute if the delta goes negative. I'll see if I can make that clearer in the docs. Is it ok to close this issue out then? Thanks!

@manolama Yup thanks for everything!

@kylebrandt kylebrandt closed this Apr 10, 2014

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment