Технологии Big Data
Как было указано выше, Big Data – это широкий спектр методов, в основе которых лежат математические методы. Эти технологии часто неотделимы друг от друга, они переплетаются, входят одна в другую. Это такие технологии, которые применяются в том числе, и для анализа и принятия решений, в том числе, в сельском хозяйстве, как:
машинное обучение и нейронные сети – служит для выявления взаимосвязей между явлениями, для прогнозирования, интеллектуального анализа данных;
предиктивная аналитика – используется для прогнозирования развития явлений;
имитационное моделирование – позволяет на основе разработки динамической модели проводить эксперименты с компьютерной моделью процесса или явления;
визуализация данных – один из методов анализа данных, который позволяет ЛПР увидеть некоторые взаимосвязи или тенденции, которые невозможно было «уловить», имея массовые данные, и которые хорошо проявились, будучи представленными в графическом виде;
статистический анализ – множество известных статистических методов для анализа массовых (больших) данных;
Data Mining – комплекс технологий «добычи» новой значимой информации из большого объема данных.
Предиктивная аналитика
Вторая технология– Big Data предиктивная (или прогнозная) аналитика.
Она опирается на известные статистические методы прогнозирования, методы интеллектуального анализа (Data Mining), теорию игр. Например, в растениеводстве статистические методы прогнозирования используют чаще всего для прогнозирования урожайности сельскохозяйственных культур. Прогнозируются также такие показа тели, как: природно-климатические условия (температура, количество осадков) и производительность труда механизаторов на полевых работах и другие.
При этом используется метод наименьших квадратов, который позволяет построить тренд и прогнозировать по тренду. Например, на рисунке изображены нанесенные точки фактической урожайности зерновых культур и прогнозные значения по тренду.
Прогнозирование
урожайности
зерновых
культур
по
тренду
(предиктивная
аналитика)
Причем из двух линий тренда видно, что та линия, которая построена по параболе (красная линия), наиболее адекватна фактическим данным. Именно по ней ЛПР будет прогнозировать урожайность.
Прогнозирование сегодня также часто осуществляют с помощью нейросетевого алгоритма. Методы статистического анализа и прогнозирования используются во множестве имеющихся сегодня на рынке аналитических цифровых платформ, таких как Statistica, SPSS, Deductor и других.
В предиктивной аналитике также широко используются алгоритмы теории игр. В теории игр относительно сельского хозяйства наиболее часто используется метод, называемый «игры с природой». Этот метод рассмотрим на следующем примере. Агроном выбирает стратегию растениеводства, когда предполагаются такие исходы предстоящего года, как p1 – значительные осадки, p2 – умеренные осадки, p3 – осадки низкой интенсивности, p4 – засушливый год.
Из предполагаемых стратегий соответственно предполагаемому исходу года есть следующие: q1 – выращивать засухоустойчивую культуру (например, пшеницу), q2 – выращивать влаголюбивую и светолюбивую культуру (например, горох), q3 – выращивать влаголюбивую культуру (например, вику), q4 – отвести землю под пастбища. Затраты на реализацию намеченных планов зависят от состояния погоды, в частности от количества осадков, которые условно можно разделить на четыре категории. В таблице представлена платежная матрица прибыли на 1 ц (в рублях).
Таблица – Исходная платежная матрица прибыли на 1 ц, р.
Стратегии |
Исходы |
|||
p1 |
p2 |
p3 |
p4 |
|
q1 – Пшеница |
10 |
250 |
225 |
175 |
q2 – Горох |
225 |
250 |
175 |
0 |
q3 – Вика |
250 |
225 |
100 |
30 |
q4 – Пастбища |
60 |
75 |
75 |
50 |
По критерию Лапласа, минимаксному критерию и критерию Сэвиджа наиболее оптимальным является вариант 4.
Алгоритм теории игр реализуется множеством программ, та- ких, как Python с Nashpy и других.