Skip to content

Commit

Permalink
update qcheck-core example expect test
Browse files Browse the repository at this point in the history
  • Loading branch information
@jmid
jmid committed Jul 6, 2022
1 parent a63f9c3 commit 0cf2664
Show file tree
Hide file tree
Showing 3 changed files with 344 additions and 4 deletions.
15 changes: 11 additions & 4 deletions example/dune
View file
@@ -1,3 +1,6 @@
(* -*- tuareg -*- *)

let dune = Printf.sprintf {|

(executables
(names QCheck_runner_test)
Expand All @@ -6,16 +9,20 @@
(rule
(targets output.txt)
(deps ./QCheck_runner_test.exe)
(enabled_if (= %{os_type} "Unix"))
(enabled_if (= %%{os_type} "Unix"))
(action
(with-accepted-exit-codes
1
(with-stdout-to
%{targets}
%%{targets}
(run ./QCheck_runner_test.exe --no-colors -s 1234)))))

(rule
(alias runtest)
(enabled_if (= %{os_type} "Unix"))
(enabled_if (= %%{os_type} "Unix"))
(package qcheck)
(action (diff output.txt.expected output.txt)))
(action (diff output.txt.expected.%i output.txt)))

|} Sys.word_size

let () = Jbuild_plugin.V1.send dune
333 changes: 333 additions & 0 deletions example/output.txt.expected.32
View file
@@ -0,0 +1,333 @@
random seed: 1234

--- Failure --------------------------------------------------------------------

Test should_fail_sort_id failed (13 shrink steps):

[1; 0]

=== Error ======================================================================

Test should_error_raise_exn errored on (31 shrink steps):

0

exception Dune__exe__QCheck_runner_test.Error


+++ Collect ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

Collect results for test collect_results:

4: 20 cases
3: 25 cases
2: 17 cases
1: 18 cases
0: 20 cases

+++ Stats for with_stats ++++++++++++++++++++++++++++++++++++++++++++++++++++++++

stats mod4:
num: 100, avg: 1.68, stddev: 1.09, median 2, min 0, max 3
0: ############################## 17
1: ################################################### 29
2: ######################################## 23
3: ####################################################### 31

stats num:
num: 100, avg: 66.84, stddev: 31.94, median 65, min 2, max 120
2.. 7: ################## 3
8.. 13: ################## 3
14.. 19: 0
20.. 25: ########################################## 7
26.. 31: ######################## 4
32.. 37: ######################## 4
38.. 43: ################## 3
44.. 49: ################################################ 8
50.. 55: #################################### 6
56.. 61: #################################### 6
62.. 67: ####################################################### 9
68.. 73: ########################################## 7
74.. 79: ######################## 4
80.. 85: ################## 3
86.. 91: ############ 2
92.. 97: ########################################## 7
98..103: #################################### 6
104..109: #################################### 6
110..115: ####################################################### 9
116..121: ################## 3

--- Failure --------------------------------------------------------------------

Test neg test unexpected success failed:

Negative test neg test unexpected success succeeded but was expected to fail

=== Error ======================================================================

Test neg fail with error errored on (7 shrink steps):

0

exception Dune__exe__QCheck_runner_test.Error


--- Failure --------------------------------------------------------------------

Test FAIL_pred_map_commute failed (47 shrink steps):

([1], {_ -> 0}, {0 -> false; _ -> true})

--- Failure --------------------------------------------------------------------

Test FAIL_fun2_pred_strings failed (1 shrink steps):

{some other string -> false; _ -> true}

--- Failure --------------------------------------------------------------------

Test fold_left fold_right failed (34 shrink steps):

(0, [1], {(1, 0) -> 1; _ -> 0})

+++ Messages ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

Messages for test fold_left fold_right:

l=[1], fold_left=1, fold_right=0


--- Failure --------------------------------------------------------------------

Test fold_left fold_right uncurried failed (44 shrink steps):

({(0, 7) -> 1; _ -> 0}, 0, [7])

--- Failure --------------------------------------------------------------------

Test long_shrink failed (87 shrink steps):

([0], [-1])

--- Failure --------------------------------------------------------------------

Test mod3_should_fail failed (34 shrink steps):

-21

+++ Stats for stats_neg ++++++++++++++++++++++++++++++++++++++++++++++++++++++++

stats dist:
num: 5000, avg: 0.17, stddev: 29.68, median 0, min -99, max 99
-99..-90: # 65
-89..-80: # 63
-79..-70: # 64
-69..-60: # 58
-59..-50: # 67
-49..-40: # 72
-39..-30: # 61
-29..-20: # 61
-19..-10: # 67
-9.. 0: ####################################################### 2076
1.. 10: ############################################## 1764
11.. 20: # 66
21.. 30: # 64
31.. 40: # 64
41.. 50: # 67
51.. 60: # 60
61.. 70: # 75
71.. 80: # 60
81.. 90: # 60
91..100: # 66

!!! Warning !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

Warning for test WARN_unlikely_precond:

WARNING: only 0.6% tests (of 2000) passed precondition for "WARN_unlikely_precond"

NOTE: it is likely that the precondition is too strong, or that the generator is buggy.

--- Failure --------------------------------------------------------------------

Test FAIL_unlikely_precond failed:

ERROR: only 0.6% tests (of 2000) passed precondition for "FAIL_unlikely_precond"

NOTE: it is likely that the precondition is too strong, or that the generator is buggy.


--- Failure --------------------------------------------------------------------

Test FAIL_#99_1 failed:

ERROR: uncaught exception in generator for test FAIL_#99_1 after 100 steps:
Exception: QCheck.No_example_found("<example>")
Backtrace:

+++ Stats for stat_display_test_1 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++

stats dist:
num: 1000, avg: 0.90, stddev: 28.23, median 0, min -99, max 99
-99..-90: # 12
-89..-80: # 11
-79..-70: # 9
-69..-60: 6
-59..-50: # 11
-49..-40: # 13
-39..-30: # 9
-29..-20: # 13
-19..-10: 8
-9.. 0: ####################################################### 453
1.. 10: ######################################### 340
11.. 20: # 15
21.. 30: # 11
31.. 40: # 12
41.. 50: # 13
51.. 60: # 13
61.. 70: # 16
71.. 80: # 9
81.. 90: # 16
91..100: # 10

+++ Stats for stat_display_test_2 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++

stats dist:
num: 1000, avg: 15.11, stddev: 23.27, median 6, min 0, max 99
0.. 4: #################################################### 377
5.. 9: ####################################################### 392
10.. 14: ## 20
15.. 19: ## 15
20.. 24: # 11
25.. 29: ## 17
30.. 34: ## 19
35.. 39: ## 17
40.. 44: # 10
45.. 49: # 9
50.. 54: # 8
55.. 59: # 9
60.. 64: ## 15
65.. 69: # 10
70.. 74: # 13
75.. 79: ## 19
80.. 84: # 11
85.. 89: # 13
90.. 94: 5
95.. 99: # 10

+++ Stats for stat_display_test_3 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++

stats dist:
num: 1000, avg: 195335.64, stddev: 136803.99, median 195583, min -43624, max 435210
-43624..-19683: ############################################ 52
-19682.. 4259: ######################################## 47
4260.. 28201: ############################## 36
28202.. 52143: ############################################ 52
52144.. 76085: ########################################## 50
76086..100027: ####################################################### 64
100028..123969: ############################################### 55
123970..147911: ######################################## 47
147912..171853: ############################################## 54
171854..195795: #################################### 43
195796..219737: ############################################## 54
219738..243679: ########################################### 51
243680..267621: ################################################ 57
267622..291563: ########################################## 49
291564..315505: #################################### 42
315506..339447: ###################################### 45
339448..363389: ################################################ 57
363390..387331: ###################################### 45
387332..411273: ########################################## 49
411274..435215: ########################################### 51

+++ Stats for stat_display_test_4 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++

stats dist:
num: 1000, avg: -173.78, stddev: 23042.92, median 180, min -39859, max 39942
-39859..-35869: ############################################# 56
-35868..-31878: ################################### 43
-31877..-27887: ################################################# 60
-27886..-23896: ##################################### 46
-23895..-19905: ######################################## 49
-19904..-15914: #################################### 45
-15913..-11923: ############################################ 54
-11922.. -7932: ############################################### 58
-7931.. -3941: ######################################### 51
-3940.. 50: ############################ 35
51.. 4041: ####################################### 48
4042.. 8032: ########################################## 52
8033.. 12023: ######################################### 51
12024.. 16014: ########################################### 53
16015.. 20005: ############################################ 54
20006.. 23996: ################################## 42
23997.. 27987: ####################################################### 67
27988.. 31978: ################################ 40
31979.. 35969: ######################################### 51
35970.. 39960: #################################### 45

+++ Stats for stat_display_test_5 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++

stats dist:
num: 1000, avg: 0.02, stddev: 2.55, median 0, min -4, max 4
-4: ############################################ 99
-3: ##################################################### 118
-2: ################################################## 111
-1: ################################################## 113
0: ################################################## 113
1: ##################################################### 118
2: ############################################# 102
3: ####################################################### 122
4: ############################################## 104

+++ Stats for stat_display_test_6 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++

stats dist:
num: 1000, avg: 6.67, stddev: 6.39, median 7, min -4, max 17
-4..-3: ############################################# 90
-2..-1: ############################################# 91
0.. 1: ########################################## 84
2.. 3: ############################################## 92
4.. 5: ########################################### 87
6.. 7: ########################################### 86
8.. 9: ############################################ 89
10..11: ########################################### 87
12..13: ####################################################### 110
14..15: ############################################# 91
16..17: ############################################## 93
18..19: 0
20..21: 0
22..23: 0
24..25: 0
26..27: 0
28..29: 0
30..31: 0
32..33: 0
34..35: 0

+++ Stats for stat_display_test_7 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++

stats dist:
num: 100000, avg: 336840.90, stddev: 619301756.02, median 895228, min -1073728193, max 1073739280
-1073728193.. -966354820: ##################################################### 5009
-966354819.. -858981446: #################################################### 5004
-858981445.. -751608072: #################################################### 4917
-751608071.. -644234698: ##################################################### 5028
-644234697.. -536861324: #################################################### 4962
-536861323.. -429487950: ##################################################### 5039
-429487949.. -322114576: #################################################### 4927
-322114575.. -214741202: ##################################################### 5054
-214741201.. -107367828: ##################################################### 5065
-107367827.. 5546: #################################################### 4954
5547.. 107378920: #################################################### 4943
107378921.. 214752294: ################################################### 4900
214752295.. 322125668: ###################################################### 5126
322125669.. 429499042: ####################################################### 5198
429499043.. 536872416: #################################################### 4988
536872417.. 644245790: #################################################### 4940
644245791.. 751619164: #################################################### 5002
751619165.. 858992538: #################################################### 4928
858992539.. 966365912: ##################################################### 5070
966365913.. 1073739286: #################################################### 4946
================================================================================
1 warning(s)
failure (10 tests failed, 2 tests errored, ran 28 tests)
0 example/output.txt.expected → example/output.txt.expected.64
View file
File renamed without changes.

0 comments on commit 0cf2664

Please sign in to comment.