Генератор прогнозов создает модель с помощью обучающих данных и набора элементарных функций.
Результат работы генератора - прогноз и структура модели данных.

Материалы по практикуму 3-го курса: задания и выполненные работы в весеннем семестре 2009 года на Кафедре интеллектуальных систем ФУПМ МФТИ.


    Описание заданий и форматов выполнения

    Численные методы обучения по прецедентам (практика, В.В. Стрижов)
    Примеры и справочные материалы

       1. Пример оформления работы: "Логистическая регрессия (пример)"
       2. Введение в Матлаб
       3. Документирование функций Матлаб
       4. Как работать с репозиторием алгоритмов

    Выполненные работы

       1. EM алгоритм (пример)
       2. EM-алгоритм с последовательным добавлением компонент (пример)
       3. Однослойный персептрон (пример)
       4. Метод Парзеновского окна (пример)
       5. Метод k взвешенных ближайших соседей (пример)
       6. Функции радиального базиса (пример)
       7. Логистическая регрессия для решения задач классификации (пример)

    Дополнительно
    Некоторые примеры, выполненные в стиле Matlb-report находятся здесь.

LARS is one of the most effective algorithms to select linear regression models. It is not so greedy as step-wise regression and takes not so much steps as Lasso.

% Least Angle Regression, demo

Московский физико-технический институт, Факультет управления и прикладной математики

’’Численные методы обучения по прецедентам’’ — практические занятия, включающие прикладные аспекты создания алгоритмов машинного обучения. Семестровый курс содержит 32 часа практических занятий. В ходе занятий студент получает несколько заданий на исследование свойств алгоритмов. Результатом практики являются отчеты о выполнении заданий. Все задания нужно сдать по меньшей мере за неделю до экзамена, чтобы успеть получить рецензию и исправить недочеты.

SourceForge — репозиторий программ, разрабатываемых на условиях открытого доступа к исходному коду (open source). Репозиторий предоставляет удобный интерфейс разработчикам, позволяющий отслеживать версии создаваемых программ (version control), вести список ошибок (bug tracing) и выпускать версии, готовые для использования (file releases).

Обзор

SourceForge — крупнейший сайт, посвященный разработке программ с открытым кодом. Сайт предоставляет разработчикам ресурсы для управления проектами, совместной работы распространения программного обеспечения. Сейчас на сайте 176,000 свободно распространяемых программ и более 1,800,000 зарегистрированных пользователей.

В разделе Scientific/Engineering находится более 23,000 программ, в том числе более 2600 посвящено математике.

Matlab — язык программирования и система научных и инженерных расчетов, построенная на основе интерпретатора этого языка. Matlab, сокращение от «Matrix Laboratory», предназначен в первую очередь для выполнения алгоритмов, использующих векторы и матрицы.

Язык программирования Matlab (иногда также называется M-code) изначально был разработан с целью упрощения работы с процедурами широко распространенной в 70-80 годы библиотеки алгоритмов линейной алгебры LINPACK. Впоследствии он развился в мощный язык с богатым набором типов данных.

Оболочка Matlab состоит из командной строки, текстового редактора со встроенным отладчиком и окнами со списком файлов, списком видимых переменных и с историей введенных команд.

Matlab имеет большое число пакетов (toolboxes) — как собственных, так и распространяемых независимыми разработчиками часто на условиях открытого кода. В Matlab включен Simulink — визуальный редактор для моделирования динамических систем.

Документирование функций Matlab — способ передачи кода программ, написанных на языке Matlab коллегам или в общественное пользование. Система Matlab имеет ряд инструментов для работы с документированными функциями. В частности:

1. заголовок функции показывается в поле «Description» окна «Current Directory»;
2. заголовок функции и ссылка на файл, содержащий функцию показываются при генерации содержания «View->Directory Reports->Contents Report»;
3. документация функции «help myfunc» показывается в окне «Command Window»;
4. документация функции «doc myfunc» показывается в окне «Help»;
5. список незавершенных работ и работ, требующих пересмотра показывается при генерации отчета «View->Directory Reports->TODO/FIXME Report».

Логистическая регрессия - частный случай обобщенной линейной регрессии. Предполагается, что зависимая переменная принимает два значения и имеет биномиальное распределение. На практике логистическая регрессия используется для решения задач классификации с линейно-разделяемыми классами.

Matlab — язык программирования и система научных и инженерных расчетов, построенная на основе интерпретатора этого языка. Matlab, сокращение от «Matrix Laboratory», предназначен в первую очередь для выполнения алгоритмов, использующих векторы и матрицы.

Язык программирования Matlab (иногда также называется M-code) изначально был разработан с целью упрощения работы с процедурами широко распространенной в 70-80 годы библиотеки алгоритмов линейной алгебры LINPACK. Впоследствии он развился в мощный язык с богатым набором типов данных.

Оболочка Matlab состоит из командной строки, текстового редактора со встроенным отладчиком и окнами со списком файлов, списком видимых переменных и с историей введенных команд.

Matlab имеет большое число пакетов (toolboxes) — как собственных, так и распространяемых независимыми разработчиками часто на условиях открытого кода. В Matlab включен Simulink — визуальный редактор для моделирования динамических систем.

Если не предполагается выводить прогресс-бар графически (см, например, waitbar), то можно вывести с помощью функции sprintf строку, а при увечичении счетчика прогресс-бара стирать старое значение и записывать новое.

intro.m

--------

1. Matlab is very simple. There are no projects, no compilations and no libraries.
2. There are command window, m-code window, path list and help.
3. If you want to use a toolbox function, just use the function name in your code.
4. There are no name collisions. The old name just dies when reloaded. Remember this pity fact.
5. And keep the path list (see the main menu) up to date.
6. Please search the help before making an algorithm. You will save lot of time.
7. Then please search internet (special-purpose cites and wikipedia are highly recommended). There are the other researchers who make code, too.
8. Do not afraid of using complicated algorithms. Often classification, scaling, regression, optimization is no more than one line of the code. It is not expensive.
9. Your function help must be bright.
   • The first line shortly explains the purpose of the function.
   • The second one may name the function with in-out arguments.
   • The next describes variants of usage or arguments formats.
   And the example is essential. One can run your function using your help example.
10. Make short examples of what you are doing and keep it to the future.
11. Store useful functions in a repository. And comment them well.
12. If you are making a large project, think how to organize functions in a proper way.
13. Study all data structures of Matlab. There are plenty.
14. Avoid 'for' when possible. Say, to multilply each column of a matrix A by constants x is A*diag(x), there is no 'for'.
15. To be continued. Good luck!

This demo shows how to deal with the different hypothesis on data generation. The data generation hypothesis here is an assumption about the link function.

We have a synthetic model and three link functions. We generate a sinthetic noise, denerated according to the correspondent hypothesis and to the link function.

The problem is to find the model parameters and recover the dependent variable of the regression.

The Newton-Raphson algorithm is used to obtain the optimal parameters of the regression model

Contents

• Create a demonstration data set
• Set the constant for iteration convergence
• Define the initial value of the parameters
• The Newton-Raphson procedure
• Show the result
• Notes

It shows how to use minimal least squares method to fit data. We will generate one-dimensional regression sample set. Tree linear regression models will be constructed, their parameters will be tuned according to the sample set.

Contents

• Generate a sample set
• Load the file
• The first model, linear function
• The second model, quadratic function
• The third model, linear combination of linear and sine
• Plot the results

• 1) electricity consumption
• 2) triangle example
• 3) trapezoid example
• 4) sine example
• run the forecasting algorithm
• show the results

• Load data from file
• Tune a linear regression model using a common optimization algorithm
• Plot the results
• The target function example

• Load the historical data
• Calculate the impied volatility using the Black-Sholes' model
• Plot the source data
• Make the regression Maturity and Strike to ImpVol
• Check it with a simple example
• Check the sample set for NaNs
• Assign the model
• Plot the result