работа со спектрами по длинным данным

[STyulb]

Проблема:

1. Размах данных в спектрах очень велик. В результате дорожка по усредненным спектрам может меняться на экране в десятки раз и прыгает то вверх, то вниз. Очень тяжело смотреть спектры и принимать решение о том, что записывать для проверки как пульсар, что не записывать.
2. Связано с первым пунктом. Хорошо бы иметь на экране линии отсечения на разных уровнях. Лучше всего это 5,7,10сигма шумов
3. Связано с пунктом 2. До сих пор нет корректной оценки шумов ни первичных, ни по усредненным спектрам.
4. Просмотрел примерно половину всех "длинных" спектров верхней площадки, сильно утомился и обнаружил штук 10 очень хороших пульсарных кандидатов, так что для облегчения работы как с усредненными, так и с исходными спектрами нужно допилить программу для облегчения жизни.
   Что вижу на спектрах:
   Я заметил, что в усредненных спектрах очень часто, а в одиночных спектрах время от времени наблюдаются следующие моменты: в начале записи спектра выброс вниз. Его длина, как правило не превышает 10-15 точек; в конце записи выброс вниз, его длина, как правило, 1-2 точки; в точке 4082 (период 0.05с) наблюдается выброс вверх, ширина выброса +-15 точек; в точке 6150 (период 0.033с) наблюдается выброс вверх, ширина выброса +-8 точек. Есть и ряд других выбросов, но их амплитуда не столь велика, так что можно их игнорировать; если мысленно провести нулевую линию, то выбросы вниз смотрятся как нормальная дорожка, а вот выбросы вверх самые разнообразные и поэтому сигму шумов нужно определять по выбросам вниз.
   Предлагаю:
5. Сигму шумов определять лишь по нижней части дорожки. Для этого выкинуть из анализа первые 100 точек и 10 последних. Оставшиеся точки рассортировать в порядке возрастания или убывания, найти медианное значение. Оно будет максимально близко к средней линии и будет игнорировать любые выбросы вверх, как связанные с реальными пульсарами, так и просто с шумами. Взять 10 точек с минимальными значениями. Усреднить. Из полученного медианного значения вычесть усредненное (это должно быть положительное число(!!!). Разделить его на 3 и назвать сигмой шумов.
6. Завести новый флажок. Появляется в режиме pulsar analytics в колонке флажков "Fourer filters". Подпись к флажку "SNR lines". Если флажок нажат, то на картинках со спектрами рисуются бледными цветами (например бледно синий, зеленый, серый) линии уровня 5,7,10 сигма шумов,а также линия нулевого уровня. Это позволит легко ориентироваться в спектре.
7. Если флажок нажат, то проводить нормировку на экране. Это можно будет потом подогнать, но в первом приближении весь экран пусть будет 25 сигма шумов. Ниже линии медианного среднего 5 сигма шумов, выше 20 сигма шумов. Значения в выбросах с уровнем выше 15 сигма приравнять 15 сигма. В этом случае кратные гармоники будут работать адекватно, а весь экран всегда будет одинаковый и удобный для просмотра.
8. Режим "SNR lines" обязательно должен работать также и в "Full gray zone". Это поможет адекватному поиску по индивидуальным спектрам.