Merge pull request #40 from ispras/optimize-compiler

Optimize compiler
ispras · Dec 4, 2022 · 4373a71 · 4373a71
2 parents f233c8d + 8edf816
commit 4373a71
Show file tree

Hide file tree

Showing 30 changed files with 5,578 additions and 368 deletions.
diff --git a/.clang-format b/.clang-format
@@ -0,0 +1,137 @@
+---
+Language:        Cpp
+# BasedOnStyle:  LLVM
+AccessModifierOffset: -2
+AlignAfterOpenBracket: Align
+AlignConsecutiveMacros: false
+AlignConsecutiveAssignments: false
+AlignConsecutiveDeclarations: false
+AlignEscapedNewlines: Right
+AlignOperands:   true
+AlignTrailingComments: true
+AllowAllArgumentsOnNextLine: true
+AllowAllConstructorInitializersOnNextLine: true
+AllowAllParametersOfDeclarationOnNextLine: true
+AllowShortBlocksOnASingleLine: Never
+AllowShortCaseLabelsOnASingleLine: false
+AllowShortFunctionsOnASingleLine: All
+AllowShortLambdasOnASingleLine: All
+AllowShortIfStatementsOnASingleLine: Never
+AllowShortLoopsOnASingleLine: false
+AlwaysBreakAfterDefinitionReturnType: None
+AlwaysBreakAfterReturnType: None
+AlwaysBreakBeforeMultilineStrings: false
+AlwaysBreakTemplateDeclarations: MultiLine
+BinPackArguments: true
+BinPackParameters: true
+BraceWrapping:
+  AfterCaseLabel:  false
+  AfterClass:      false
+  AfterControlStatement: false
+  AfterEnum:       false
+  AfterFunction:   false
+  AfterNamespace:  false
+  AfterObjCDeclaration: false
+  AfterStruct:     false
+  AfterUnion:      false
+  AfterExternBlock: false
+  BeforeCatch:     false
+  BeforeElse:      false
+  IndentBraces:    false
+  SplitEmptyFunction: true
+  SplitEmptyRecord: true
+  SplitEmptyNamespace: true
+BreakBeforeBinaryOperators: None
+BreakBeforeBraces: Attach
+BreakBeforeInheritanceComma: false
+BreakInheritanceList: BeforeColon
+BreakBeforeTernaryOperators: true
+BreakConstructorInitializersBeforeComma: false
+BreakConstructorInitializers: BeforeColon
+BreakAfterJavaFieldAnnotations: false
+BreakStringLiterals: true
+ColumnLimit:     80
+CommentPragmas:  '^ IWYU pragma:'
+CompactNamespaces: false
+ConstructorInitializerAllOnOneLineOrOnePerLine: false
+ConstructorInitializerIndentWidth: 4
+ContinuationIndentWidth: 4
+Cpp11BracedListStyle: true
+DeriveLineEnding: true
+DerivePointerAlignment: false
+DisableFormat:   false
+ExperimentalAutoDetectBinPacking: false
+FixNamespaceComments: true
+ForEachMacros:
+  - foreach
+  - Q_FOREACH
+  - BOOST_FOREACH
+IncludeBlocks:   Preserve
+IncludeCategories:
+  - Regex:           '^"(llvm|llvm-c|clang|clang-c)/'
+    Priority:        2
+    SortPriority:    0
+  - Regex:           '^(<|"(gtest|gmock|isl|json)/)'
+    Priority:        3
+    SortPriority:    0
+  - Regex:           '.*'
+    Priority:        1
+    SortPriority:    0
+IncludeIsMainRegex: '(Test)?$'
+IncludeIsMainSourceRegex: ''
+IndentCaseLabels: false
+IndentGotoLabels: true
+IndentPPDirectives: None
+IndentWidth:     2
+IndentWrappedFunctionNames: false
+JavaScriptQuotes: Leave
+JavaScriptWrapImports: true
+KeepEmptyLinesAtTheStartOfBlocks: true
+MacroBlockBegin: ''
+MacroBlockEnd:   ''
+MaxEmptyLinesToKeep: 1
+NamespaceIndentation: None
+ObjCBinPackProtocolList: Auto
+ObjCBlockIndentWidth: 2
+ObjCSpaceAfterProperty: false
+ObjCSpaceBeforeProtocolList: true
+PenaltyBreakAssignment: 2
+PenaltyBreakBeforeFirstCallParameter: 19
+PenaltyBreakComment: 300
+PenaltyBreakFirstLessLess: 120
+PenaltyBreakString: 1000
+PenaltyBreakTemplateDeclaration: 10
+PenaltyExcessCharacter: 1000000
+PenaltyReturnTypeOnItsOwnLine: 60
+PointerAlignment: Right
+ReflowComments:  true
+SortIncludes:    true
+SortUsingDeclarations: true
+SpaceAfterCStyleCast: false
+SpaceAfterLogicalNot: false
+SpaceAfterTemplateKeyword: true
+SpaceBeforeAssignmentOperators: true
+SpaceBeforeCpp11BracedList: false
+SpaceBeforeCtorInitializerColon: true
+SpaceBeforeInheritanceColon: true
+SpaceBeforeParens: ControlStatements
+SpaceBeforeRangeBasedForLoopColon: true
+SpaceInEmptyBlock: false
+SpaceInEmptyParentheses: false
+SpacesBeforeTrailingComments: 1
+SpacesInAngles:  false
+SpacesInConditionalStatement: false
+SpacesInContainerLiterals: true
+SpacesInCStyleCastParentheses: false
+SpacesInParentheses: false
+SpacesInSquareBrackets: false
+SpaceBeforeSquareBrackets: false
+Standard:        Latest
+StatementMacros:
+  - Q_UNUSED
+  - QT_REQUIRE_VERSION
+TabWidth:        8
+UseCRLF:         false
+UseTab:          Never
+...
+
diff --git a/.gitignore b/.gitignore
@@ -19,3 +19,7 @@ custom-llvm/*.tar.xz
 **/futag-llvm.*.tar.xz
 TODO
 product-tests/*.tar.xz
+src/Checkers/lib/CMakeLists.txt.test
+src/Checkers/include/Checkers.td.test
+src/Checkers/lib/FutagTest.cpp
+futag-llvm*
diff --git a/README.md b/README.md
@@ -14,7 +14,7 @@
 FUTAG — это автоматизированный инструмент генерации фаззинг-целей для программных библиотек.
 В отличие от обычных программ, программная библиотека может не содержать точки входа и не принимать входные данные, поэтому создание вручную фаззинг-цели для анализа программных библиотек остается проблемой и требует ресурсов. Одним из решением данной проблемы является автоматизация процесса создания фаззинг-целей, что уменьшает количество затрачиваемых ресурсов.
 FUTAG использует инструменты Clang и Clang LLVM в качестве внешнего интерфейса для анализа библиотек и генерации фаззинг-целей.
-FUTAG во время работы использует статический анализ для поиска:
+FUTAG запускает статический анализ во время сборки библиотеки для поиска:
 - Зависимостей сущностей (типы данных, функции, структуры и т.д.) в исходном коде целевой библиотеки.
 - Контекста использования библиотеки.
 Далее информация, полученная по результатам статического анализа, используется для генерации фаззинг-целей.
@@ -66,12 +66,17 @@ FUTAG во время работы использует статический
 # предварительно должен быть установлен пакет futag-<версия>.tar.gz
 from futag.preprocessor import *
 
-testing_lib = Builder(
-    "futag-llvm/", # путь к директории "futag-llvm" [2.2.]
-    "path/to/library/source/code" # путь к директории содержащей исходные кода исследуемого ПО
+FUTAG_PATH = "/home/futag/Futag-tests/futag-llvm/"
+lib_path = "path/to/library/source/code"
+build_test = Builder(
+    FUTAG_PATH,
+    lib_path,
+    clean=True, # удалить все папки сгенерированные Futag-ом перед сборкой
+    # processes=4, # количество задач при сборке
+    # build_ex_params="--with-openssl --with-mhash" # дополнительные параметры при сборке библиотеки
 )
-testing_lib.auto_build()
-testing_lib.analyze()
+build_test.auto_build()
+build_test.analyze()
 ```
 
 - Генерация и компиляция драйверов
@@ -80,18 +85,23 @@ testing_lib.analyze()
 # предварительно должен быть установлен пакет futag-<версия>.tar.gz
 from futag.generator import *
 
-g = Generator(
-    "futag-llvm/", # путь к директории "futag-llvm"
-    "path/to/library/source/code" # путь к директории содержащей исходные кода исследуемого ПО
+FUTAG_PATH = "/home/futag/Futag-tests/futag-llvm/"
+lib_path = "path/to/library/source/code"
+
+generator = Generator(
+    FUTAG_PATH, # путь к директории "futag-llvm"
+    lib_path # путь к директории содержащей исходные кода исследуемого ПО
 )
 
 # Генерация фаззинг-оберток 
-g.gen_targets(
+generator.gen_targets(
   anonymous=False # опция для генерации фаззинг-обертки для функций, которые не имеют публичный доступ
 )
-
 # Compile fuzz drivers
-g.compile_targets()
+generator.compile_targets(
+  4, # количество задач при сборке
+  # extra_include="-DHAVE_CONFIG_H" # дополнительные параметры при сборке библиотеки
+)
 ```
 По-умолчанию, успешно скомпилированные фаззинг-обертки для целевых функций находятся в каталоге futag-fuzz-drivers, где для каждой целевой функции создаётся своя поддиректория название которой совпадает с именем целевой функции. 
 Если для функции сгенерировалось несколько фаззинг-оберток, в подкаталоге целевой функции создаются соответствующие директории, где к имени целевой функции добавляется порядковый номер.

diff --git a/custom-llvm/build.sh b/custom-llvm/build.sh
@@ -54,7 +54,7 @@ cp -r $futag_src/clang/lib/Futag $custom_llvm/clang/lib/
 
 # copy clang Checker
 cp $futag_src/Checkers/include/$Checkerstd $custom_llvm/clang/include/clang/StaticAnalyzer/Checkers/Checkers.td
-cp $futag_src/Checkers/lib/FutagAnalyzer.cpp $custom_llvm/clang/lib/StaticAnalyzer/Checkers/
+cp $futag_src/Checkers/lib/*.cpp $custom_llvm/clang/lib/StaticAnalyzer/Checkers/
 cp -r $futag_src/Checkers/lib/$CheckerCMakeLists $custom_llvm/clang/lib/StaticAnalyzer/Checkers/CMakeLists.txt
 
 # # copy clang Plugin

diff --git a/custom-llvm/buildwAFLplusplus.sh b/custom-llvm/buildwAFLplusplus.sh
@@ -55,6 +55,7 @@ cp -r $futag_src/clang/lib/Futag $custom_llvm/clang/lib/
 # copy clang Checker
 cp $futag_src/Checkers/include/$Checkerstd $custom_llvm/clang/include/clang/StaticAnalyzer/Checkers/Checkers.td
 cp $futag_src/Checkers/lib/FutagAnalyzer.cpp $custom_llvm/clang/lib/StaticAnalyzer/Checkers/
+cp $futag_src/Checkers/lib/FutagContextConsumer.cpp $custom_llvm/clang/lib/StaticAnalyzer/Checkers/
 cp -r $futag_src/Checkers/lib/$CheckerCMakeLists $custom_llvm/clang/lib/StaticAnalyzer/Checkers/CMakeLists.txt
 
 # # copy clang Plugin

diff --git a/custom-llvm/buildwAFLplusplusFuzzIntro.sh b/custom-llvm/buildwAFLplusplusFuzzIntro.sh
@@ -64,6 +64,7 @@ cp -r $futag_src/clang/lib/Futag $custom_llvm/clang/lib/
 # copy clang Checker
 cp $futag_src/Checkers/include/$Checkerstd $custom_llvm/clang/include/clang/StaticAnalyzer/Checkers/Checkers.td
 cp $futag_src/Checkers/lib/FutagAnalyzer.cpp $custom_llvm/clang/lib/StaticAnalyzer/Checkers/
+cp $futag_src/Checkers/lib/FutagContextConsumer.cpp $custom_llvm/clang/lib/StaticAnalyzer/Checkers/
 cp -r $futag_src/Checkers/lib/$CheckerCMakeLists $custom_llvm/clang/lib/StaticAnalyzer/Checkers/CMakeLists.txt
 
 # # copy clang Plugin

diff --git a/custom-llvm/buildwFuzzIntro.sh b/custom-llvm/buildwFuzzIntro.sh
@@ -64,6 +64,7 @@ cp -r $futag_src/clang/lib/Futag $custom_llvm/clang/lib/
 # copy clang Checker
 cp $futag_src/Checkers/include/$Checkerstd $custom_llvm/clang/include/clang/StaticAnalyzer/Checkers/Checkers.td
 cp $futag_src/Checkers/lib/FutagAnalyzer.cpp $custom_llvm/clang/lib/StaticAnalyzer/Checkers/
+cp $futag_src/Checkers/lib/FutagContextConsumer.cpp $custom_llvm/clang/lib/StaticAnalyzer/Checkers/
 cp -r $futag_src/Checkers/lib/$CheckerCMakeLists $custom_llvm/clang/lib/StaticAnalyzer/Checkers/CMakeLists.txt
 
 # # copy clang Plugin

diff --git a/src/Checkers/include/Checkers.td b/src/Checkers/include/Checkers.td
@@ -241,15 +241,57 @@ def NonnullGlobalConstantsChecker: Checker<"NonnilStringConstants">,
 let ParentPackage = Futag in {
 
     def FutagAnalyzer : Checker<"FutagAnalyzer">,
-    HelpText<"Futag Checker for finding potential fuzzing functions. Use scan-build for viewing result and generating list of needed function">,
+    HelpText<"Futag Checker for finding potential fuzzing functions.">,
     CheckerOptions<[
         CmdLineOption<String,
                     "report_dir",
-                    "Absolute path to the directory, where to write results of the analyzis",
+                    "Absolute path to the directory, where to write results of the analysis",
                     "/tmp/futag-function-analyzer-reports/",
                     Released>,
     ]>,
     Documentation<NotDocumented>;
+
+    def FutagContextConsumer : Checker<"FutagContextConsumer">,
+    HelpText<"Checker for finding context in consumer libraries.">,
+    CheckerOptions<[
+        CmdLineOption<String,
+                    "FuncName",
+                    "Name of function to slice",
+                    "main",
+                    Released>,
+        CmdLineOption<Integer,
+                    "LineNumber",
+                    "0",
+                    "main",
+                    Released>,
+        CmdLineOption<Integer,
+                    "ColNumber",
+                    "0",
+                    "main",
+                    Released>,
+    ]>,
+    Documentation<NotDocumented>;
+
+    def FutagCatchInfo : Checker<"FutagCatchInfo">,
+    HelpText<"Checker for finding context in consumer libraries.">,
+    CheckerOptions<[
+        CmdLineOption<String,
+                    "FuncName",
+                    "Name of function to slice",
+                    "main",
+                    Released>,
+        CmdLineOption<Integer,
+                    "Beginline",
+                    "Begin line",
+                    "0",
+                    Released>,
+        CmdLineOption<Integer,
+                    "EndLine",
+                    "End line",
+                    "0",
+                    Released>,
+    ]>,
+    Documentation<NotDocumented>;
 } //end Futag 
 
 

diff --git a/src/Checkers/include/Checkers12.td b/src/Checkers/include/Checkers12.td
@@ -247,6 +247,27 @@ let ParentPackage = Futag in {
                     Released>,
     ]>,
     Documentation<NotDocumented>;
+
+    def FutagContextConsumer : Checker<"FutagContextConsumer">,
+    HelpText<"Checker for finding context in consumer libraries.">,
+    CheckerOptions<[
+        CmdLineOption<String,
+                    "FuncName",
+                    "Name of function to slice",
+                    "main",
+                    Released>,
+        CmdLineOption<Integer,
+                    "LineNumber",
+                    "Line number",
+                    "main",
+                    Released>,
+        CmdLineOption<Integer,
+                    "ColNumber",
+                    "Column number",
+                    "main",
+                    Released>,
+    ]>,
+    Documentation<NotDocumented>;
 } //end Futag 
 
 let ParentPackage = CoreAlpha in {

diff --git a/src/Checkers/include/Checkers13.td b/src/Checkers/include/Checkers13.td
@@ -247,6 +247,27 @@ let ParentPackage = Futag in {
                     Released>,
     ]>,
     Documentation<NotDocumented>;
+
+    def FutagContextConsumer : Checker<"FutagContextConsumer">,
+    HelpText<"Checker for finding context in consumer libraries.">,
+    CheckerOptions<[
+        CmdLineOption<String,
+                    "FuncName",
+                    "Name of function to slice",
+                    "main",
+                    Released>,
+        CmdLineOption<Integer,
+                    "LineNumber",
+                    "Line number",
+                    "main",
+                    Released>,
+        CmdLineOption<Integer,
+                    "ColNumber",
+                    "Column number",
+                    "main",
+                    Released>,
+    ]>,
+    Documentation<NotDocumented>;
 } //end Futag 
 
 let ParentPackage = CoreAlpha in {

diff --git a/src/Checkers/lib/CMakeLists.txt b/src/Checkers/lib/CMakeLists.txt
@@ -44,6 +44,8 @@ add_clang_library(clangStaticAnalyzerCheckers
   FixedAddressChecker.cpp
   FuchsiaHandleChecker.cpp
   FutagAnalyzer.cpp
+  FutagCatchInfo.cpp
+  FutagContextConsumer.cpp
   GCDAntipatternChecker.cpp
   GenericTaintChecker.cpp
   GTestChecker.cpp

diff --git a/src/Checkers/lib/CMakeLists12.txt b/src/Checkers/lib/CMakeLists12.txt
@@ -44,6 +44,7 @@ add_clang_library(clangStaticAnalyzerCheckers
   FixedAddressChecker.cpp
   FuchsiaHandleChecker.cpp
   FutagAnalyzer.cpp
+  FutagContextConsumer.cpp
   GCDAntipatternChecker.cpp
   GenericTaintChecker.cpp
   GTestChecker.cpp

diff --git a/src/Checkers/lib/CMakeLists13.txt b/src/Checkers/lib/CMakeLists13.txt
@@ -44,6 +44,7 @@ add_clang_library(clangStaticAnalyzerCheckers
   FixedAddressChecker.cpp
   FuchsiaHandleChecker.cpp
   FutagAnalyzer.cpp
+  FutagContextConsumer.cpp
   GCDAntipatternChecker.cpp
   GenericTaintChecker.cpp
   GTestChecker.cpp