Evaluation Frameworks

Home -> Self-Adaptive Systems -> Dimensions and Design Space

A Framework for Evaluating Quality-Driven Self-Adaptive Software Systems

Villegas et. at propõe um framework para a avaliação de sistemas auto-adaptativos. O primeiro passo para a elaboração deste framework correspondeu a uma avaliação e classificação dos trabalhos na área com base em 8 dimensões:

• Objetivo da adaptação: corresponde à motivação para o uso da auto-adaptação
• Entrada de referência: corresponde à especificação de valores de referência que devem ser observados e mantidos no sistema gerenciado pelo gerente de adaptação. De forma geral, a especificação da entrada de referência pode se ser realizada através de:
  • Valor único de referência
  • Contrato
  • Políticas
  • Constraints
  • Requisitos funcionais (invariantes, assertivas, expressões regulares)
• Saídas medidas: corresponde aos valores que são medidos no sistema gerenciado. Do ponto de vista dessa dimensão, dois aspectos devem ser considerados:
  • Como especificar os valores a serem medidos
  • Como especificar como a monitoração deve ser realizada
• Ações de controle computadas: são ações identificadas pelo gerente de adaptação cuja finalidade é fazer com que o sistema gerenciado atinja os objetivos determinados. São considerados os seguintes tipos de ações de controle:
  • Sinais contínuos que afetam as propriedades comportamentais do sistema gerenciado
  • Operações discretas que afetam a infraestrutura sobre a qual o sistema adaptativo é executado
  • Operações discretas que afetam os processos que compõem o sistema gerenciado diretamente (ex. mudanças de prioridades e operações tais como interrupções e retomadas)
  • Operações discretas que afetam a arquitetura do sistema adaptativo
• Estrutura do sistema: Em geral, os sistemas adaptativos são compostos por dois sub-sistemas: gerente de adaptação e sistema gerenciado. A proposição desta dimensão visa analisar se esses sub-sistemas estão separados e como eles são individualmente estruturados.
• Propriedades da adaptação: representa uma característica de qualidade de um sistema adaptativo. Foram identificadas as seguintes propriedades:
  • Relativas ao gerente de adaptação:
    • Estabilidade: indica o grau no qual o processo de adaptação converge na direção de atingir o objetivo de controle. Uma solução não estável repete o processo de adaptação um indefinido número de vezes promovendo uma degradação na performance do sistema gerenciado.
    • Precisão: indica o quão próximo o estado de um sistema gerenciado se aproxima do estado desejado
    • Tempo de resolução: indica o quão rápido o gerente de adaptação é capaz de adaptar o sistema gerenciado no sentido de atingir os objetivos da adaptação.
    • Baixa sobre-carga
    • Finalização: indica que a ação de adaptação efetivamente termina.
    • Consistência: visa garantir a integridade estrutural e comportamental do sistema gerenciado.
    • Escalabilidade
    • Segurança
  • Relativas ao sistema gerenciado
    • Manutenção dos invariantes
    • QoS (e.g. latência, throughput , disponibilidade, segurança)
• Mecanismo de avaliação: analisa a estratégia proposta para a avaliação da solução de adaptação (e.g. cenários de exemplo e testes em ambientes reais ou simulados).
• Indicadores chave de performance (KPIs)

A partir desta classificação, Villegas indentificou que a avaliação das propostas deveria ser realizada em função das propriedades de adaptação. Contudo, muitas destas propriedades não podem ser avaliadas/mensuradas diretamente. Neste contexto, Villegas propõe que estas propriedades sejam avaliadas em função de um conjunto de atributos de qualidade que podem ser mensurados e apresenta o mapeamento destas propriedades de adaptação para atributos de qualidade. Finalmente, são apresentadas métricas de qualidade que podem ser utilizadas na avaliação desses atributos.

References

Villegas 2011