Генератор прогнозов создает модель с помощью обучающих данных и набора элементарных функций.
Результат работы генератора - прогноз и структура модели данных.

Метод наименьших углов (англ. least angle regression, LARS) - алгоритм отбора признаков в задачах линейной регрессии. Алгоритм предложили Бредли Эфрон, Тревор Хасти и Роберт Тибширани [1].

LARS решает следующую задачу. Пусть назначена линейная регрессионная модель. При большом количестве свободных переменных возникает проблема неустойчивого оценивания весов модели. LARS предлагает метод выбора такого набора свободных переменных, который имел бы наиболее значимую статистическую связь с зависимой переменной. Также LARS предлагает метод оценки весов.

Алгоритм LARS похож на алгоритм шаговой регрессии. Различие в том, что вместо последовательного добавления свободных, на каждом шаге алгоритмов происходит измерение весов модели. Веса увеличиваются так, чтобы доставить наибольшую корреляцию с вектором регрессионных остатков. Основным достоинством LARS является то, что он выполняется за число шагов, не превышающее число свободных переменных. Частным случаем алгоритма LARS является алгоритм LASSO.

Рассмотрим задачу восстановления линейной регрессии одной свободной переменной.

Дано

Задана выборка  - множество пар значений свободной и зависимой переменной, . Свободная переменная , зависимая переменная . Принята модель регрессионной зависимости - параметрическое семейство функций

в которой аддитивная случайная величина  имеет Гауссово распределение с нулевым математическим ожиданием и дисперсией .

Модель  принадлежит множеству моделей , которое задается следующим образом. Экспертно задано конечное множество функций . Обозначим  некоторое подмножество множества индексов функций из . Пусть  - порядковый номер подмножества , . Модель  есть линейная комбинация функций  с индексом ,

Индекс  есть мощность множества  индексов функций из , другими словами, число элементов в линейной комбинации .

Ниже приведены модели, которые используются при регрессионном анализе измеряемых данных. Параметры моделей обозначены латинскими и греческими буквами: ,  — свободная и зависимая переменные. Все параметры и переменные вещественные. При соединении параметров в вектор , для представления модели в виде параметры присоединяются в лексикографическом порядке, то есть в том порядке, в котором они появляются, если представить формулу регрессионной модели в виде строки.

В список не вошли универсальные параметрические модели, например, нейронная сеть — многослойный перцептрон, радиальные базисные функции, полиномы Лагранжа, полиномы Чебышёва. Также не вошли непараметрические модели. Оба эти класса требуют специального описания.

Этот список не является жестко заданным. Выбираемая регрессионная модель зависит прежде всего от экспертных предположений относительно моделируемого явления.

Система линейных алгебраических уравнений с неизвестными — это система уравнений вида

Здесь  — неизвестные, которые надо определить. Коэффициенты системы и её свободные члены предполагаются известными. Индексы коэффициента системы обозначают номера уравнения  и неизвестного , при котором стоит этот коэффициент.

Система называется однородной, если все её свободные члены равны нулю, , иначе — неоднородной.

Система называется квадратной, если число  уравнений равно числу  неизвестных.

Линейная регрессия — метод восстановления зависимости между двумя переменными. Ниже приведен пример программы, которая строит линейную модель зависимости по заданной выборке и показывает результат на графике.

Для заданного множества из  пар , , значений свободной и зависимой переменной требуется построить зависимость. Назначена линейная модель

c аддитивной случайной величиной . Переменные  принимают значения на числовой прямой . Предполагается, что случайная величина распределена нормально с нулевым матожиданием и фиксированной дисперсией , которая не зависит от переменных . При таких предположениях параметры  регрессионной модели вычисляются с помощью метода наименьших квадратов.

Например, требуется построить зависимость цены нарезного хлеба от времени. (См. рис. далее по тексту). В таблице регрессионной выборки первая колонка — зависимая переменная  (цена батона хлеба), вторая — свободная переменная  (время). Всего данные содержат 195 пар значений переменных. Данные нормированы.

Символьная регрессия — метод построения регрессионных моделей путем перебора различных произвольных суперпозиций функций из некоторого заданного набора. Суперпозиция функций при этом называется «программой», а стохастический оптимизационный алгоритм построения таких суперпозиций называется генетическим программированием.

Алгоритм Левенберга-Марквардта предназначен для оптимизации параметров нелинейных регрессионных моделей. Предполагается, что в качестве критерия оптимизации используется среднеквадратичная ошибка модели на обучающей выборке. Алгоритм заключается в последовательном приближении заданных начальных значений параметров к искомому локальному оптимуму.

Алгоритм отличается от метода сопряженных градиентов тем, что использует матрицу Якоби модели, а не градиент вектора параметров. От алгоритма Гаусса-Ньютона этот алгоритм отличается тем, что использует параметр регуляризации.

Уильям Оккам — английский философ-схоласт, логик и церковно-политический писатель (ок 1285—1349), автор принципа: «не умножай сущности без необходимости». Этот принцип поддерживается двумя соображениями. Во-первых, эстетическим: «При описании результатов экспериментов у теории с красивой математикой больше шансов на успех, чем у безобразной» — Поль Дирак. Во-вторых, применение бритвы Оккама уже имело большой успех при решении практических задач.

Cвязанный Байесовский вывод — метод сравнения регрессионных моделей основанный на анализе их пространства параметров. Этот метод использует классический Байесовский вывод дважды: для вычисления апостериорной вероятности параметров модели и для вычисления апостериорной вероятности самой модели. Связанность заключается в том, что оба вывода используют общий сомножитель, называемый доcтоверностью модели. Неотъемлемой частью этого метода является анализ пространства параметров модели и зависимости целевой функции от значений параметров. Результатом такого анализа является возможность оценить насколько важны отдельные параметры модели для аппроксимации данных. Cвязанный Байесовский вывод используется как в задачах регрессии, так и в задачах классификации.

При решении задач регрессионного анализа искомая модель может быть назначена аналитиком на основе предположений о характере решаемой задачи или выбрана из некоторого множества индуктивно-порождаемых моделей. При выборе моделей встают вопросы о том, какова должна быть структура модели, ее сложность, устойчивость и точность. Изучаются методы создания и оптимизации линейных и нелинейных регрессионных моделей, методы порождения моделей с участием и без участия экспертов, методы выбора моделей с помощью резличных критериев качества.

Курс лекций состоит теоретической и прикладной частей. Теоретическая часть рассматривает обоснование применимости методов для решения определенных задач. Прикладная часть включает ряд заданий по написанию алгоритмов регрессионного анализа на языке системы Matlab.

Курс читается студентам 6-го курса кафедры «Интеллектуальные системы» (Специализация: Интеллектуальный анализ данных) ФУПМ МФТИ с 2006 года. От студентов требуется знание линейной алгебры и математической статистики.

Оптимальное прореживание нейронных сетей (англ. optimal brain surgery) — метод упрощения структуры регрессионной модели, например, нейронной сети. Основная идея прореживания (англ. pruning) заключается в том, что те элементы модели или те нейроны сети, которые оказывают малое влияние на ошибку аппроксимации, можно исключить из модели без значительного ухудшения качества аппроксимации.

2009

Strijov V. The Inductive Algorithms of Model Generation // SIAM Conference on Computational Science and Engineering (CSE09). Abstracts. Miami, Florida, USA. March 2-6, 2009. [strijov09_SIAM_cse09.pdf, En]

Стрижов А.В. Стрижов В.В. Объективизация экспертных оценок, выставленных в ранговых шкалах // Математика. Компьютер. Образование. XVI международная конференция. Тезисы докладов. М.: "РХД". 2009. С. ?. [strizhov09mce.pdf, Ru]

Стрижов В.В. Сологуб Р.В. Порождение регрессионных моделей подразумеваемой волатильности опционов // Математика. Компьютер. Образование. XVI международная конференция. Тезисы докладов. М.: "РХД". 2009. С. ?. [sologub09mce.pdf, Ru]

Стрижов В.В. Крымова Е.А. Алгоритмы порождения и выбора регрессионных моделей // Математика. Компьютер. Образование. XVI международная конференция. Тезисы докладов. М.: "РХД". 2009. С. ?. [krymova09mce.pdf, Ru]

Стрижов В.В. Порождение и выбор регрессионных моделей // Математика. Компьютер. Образование. XVI международная конференция. Тезисы докладов. М.: "РХД". 2009. С. ?. [strijov09mce.pdf, Ru]

Стрижов В.В., Сологуб Р.А. Индуктивное порождение регрессионных моделей предполагаемой волатильности для опционных торгов // Журнал вычислительных технологий. 2009. [strijov09inductive.pdf, Ru]

Термину регрессионная модель, используемому в регрессионном анализе, можно сопоставить синонимы: «теория», «гипотеза». Эти термины пришли из статистики, в частности из раздела «проверка статистических гипотез». Регрессионная модель есть прежде всего гипотеза, которая должна быть подвергнута статистической проверке, после чего она принимается или отвергается.

Метод группового учета аргументов, МГУА (Group Method of Data Handling, GMDH) - метод порождения и выбора регрессионных моделей оптимальной сложности. Под сложностью модели в МГУА понимается число параметров. Для порождения используется [базовая модель], подмножество элементов которой должно входить в искомую модель. Для выбора моделей используются внешние критерии, специальные функционалы качества моделей, вычисленные на тестовой выборке.

МГУА рекомендуется к использованию в том случае, когда выборка содержит несколько элементов. Тогда при построении регрессионных моделей использовать статистические гипотезы о плотности распределения, плотности распределения например, гипотезу о Гауссовском распределении, невозможно. Поэтому используется индуктивный подход, согласно которому последовательно порождаются модели возрастающей сложности до тех пор, пока не будет найден минимум некоторого критерия качества модели. Этот критерий качества называется внешний критерий, так как при настройке моделей и при оценке качества моделей используются разные данные. Достижение глобального минимума внешнего критерия при порождении моделей означает, что модель, доставляющая такой минимум, является искомой.

Один из авторов этого метода А.Г. Ивахненко пишет: «Осуществляется целенаправленный перебор многих моделей-претендентов различной сложности по ряду критериев.В результате находится модель оптимальной структуры в виде одного уравнения или системы уравнений. Минимум критерия селекции определяет модель оптимальной структуры».

Сингулярное разложение (Singular Value Decomposition, SVD) декомпозиция вещественной матрицы с целью ее приведения к каноническому виду. Сингулярное разложение является удобным методом при работе с матрицами. Оно показывает геометрическую структуру матрицы и позволяет наглядно представить имеющиеся данные. Сингулярное разложение используется при решении самых разных задач от приближения методом наименьших квадратов и решения систем уравнений до сжатия изображений. При этом используются разные свойства сингулярного разложения, например, способность показывать ранг матрицы, приближать матрицы данного ранга. SVD позволяет вычислять обратные и псевдообратные матрицы большого размера, что делает его полезным инструментом при решении задач регрессионного анализа.

Метод наименьших квадратов — метод нахождения оптимальных параметров линейной регрессии, таких, что сумма квадратов ошибок (регрессионных остатков) минимальна. Метод заключается в минимизации евклидова расстояния между двумя векторами -- вектором восстановленных значений зависимой переменной и вектором фактических значений зависимой переменной.

Регрессионный анализ - метод моделирования измеряемых данных и исследования их свойств. Данные состоят из пар значений зависимой переменной (переменной отклика) и независимой переменной (объясняющей переменной). Регрессионная модель есть функция независимой переменной и параметров с добавленной случайной переменной. Параметры модели настраиваются таким образом, что модель наилучшим образом приближает данные. Критерием качества приближения (целевой функцией) обычно является среднеквадратичная ошибка: сумма квадратов разности значений модели и зависимой переменной для всех значений независимой переменной в качестве аргумента.

Регрессионный анализ - раздел математической статистики и машинного обучения. Предполагается, что зависимая переменная есть сумма значений некоторой модели и случайной величины. Относительно характера распределения этой величины делаются распределения, называемые гипотезой порождения данных. Для подтверждения или опровержения этой гипотезы выполняются статистические тесты, называемые анализом остатков. При этом предполагается, что независимая переменная не содержит ошибок. Регрессионный анализ используется для прогноза, анализа временных рядов, тестирования гипотез и выявления скрытых взаимосвязей в данных.