семестр 2 / лабы / lab1_prot

import os
clear = lambda: os.system('cls')
clear()
import scipy
import random
import numpy as np
import matplotlib.pyplot as plt

#Функция вычисления значений гипотезы
def hypothesis(x, theta, count):
h = X@theta.T
'''
while i != count:
tmp += theta.T@x[i]
h.append(tmp)
j = 0
tmp = 0
i += 1
i = 0
'''
return h

#Функция вычисления значения функции стоимости
def qdc_err(h, y, count):
i = 0
err = 0
while i != count:
err += (h[i]-y[i][0])**2
i += 1
i = 0
J = (1/(2*count)*err)
return float(J)

#Функция возвращения значения функции стоимости
def J(theta):
coeff = theta
cost_func = 0
H = hypothesis(X, coeff, count)
cost_func = qdc_err(H, result, count)
return float(cost_func)

#Функция вычисления частной производной по одному из коэффициентов гипотезы
def partial_J(h, x, y, n, count):
i = 0
partial = 0
while i != count:
partial += ((h[i]-y[i][0])*x[i][n])/count
i += 1
i = 0
return float(partial)

#Функция вычисления частных производных по каждому из коэффициентов гипотезы
def diff_J(theta):
coeff = theta
dJ = []
j = 0
H = hypothesis(X, coeff, count)
while j != len(coeff):
dJ.append(partial_J(H, X, result, j, count))
j += 1
j = 0
return dJ

#Функция обращения к массиву коэффициентов
def theta_call(TH):
return TH

#Функция сохранения коэффициентов гипотезы
def theta_save(theta):
t = theta
ty = theta_call(TH)
f = 0
while f != 5:
ty[f].append(t[f])
f += 1
f = 0
return TH

#Счётчик итераций минимизации
def iter_count(iter_number_arr):
iter_number_arr.append(iter_number_arr[-1]+1)
return iter_number_arr

#Функция сохранения значений функции стоимости
def cost_func_save(cost_func_arr, J):
cost_func_arr.append(J)
return cost_func_arr

#Функция отклика
def Callback(theta):
J_min_fun = J(theta)
iter_count(iter_number_arr)
theta_save(theta)
cost_func_save(cost_func_arr,J_min_fun)
print(f'\n{chr(0x2503)} Cost func value at {iter_number_arr[-1]:02d} iteration is {J_min_fun:e} {chr(0x2503)}', end="")

all_data = [[], []]
headings = []
count = 0
i = 0
j = 0

#Считывание данных из файла
f = open('kc_house_data.csv', mode='r', encoding='cp1251')
for line in f:
if count == 0:
headings.extend(line.split(','))
elif count > 0:
tmp = line.split(',')
all_data[0].append(float(tmp[11]))
all_data[1].append(float(tmp[2]))
count += 1
f.close()
count -= 1

#Разделение входных данных на матрицу параметров и матрицу результатов
parameters = np.ones(count*1)
parameters.shape = (count, 1)
result = np.zeros(count*1)
result.shape = (count, 1)

while i != count:
parameters[i][0] = all_data[0][i]
result[i][0] = all_data[1][i]
i +=1
i = 0

#Построение графика зависимости результата от параметра
plt.figure(1)
plt.scatter(parameters, result)

#Нормирование значений параметров
x_mx = float(np.max(parameters, 0))
x_mn = float(np.min(parameters, 0))
x_sub = x_mx - x_mn
left_border = 0
right_border = 1

#Замена исходных параметров на нормированные
while i != count:
parameters[i][0] = left_border + ((parameters[i][0] - x_mn)/x_sub)*(right_border - left_border)
i += 1
i = 0

#Создание матрицы переменных для гипотезы
X = np.ones(count*5)
X.shape = (count,5)

#Заполнение матрицы переменных для гипотезы необходимимы данными
while i != count:
while j != 5:
X[i][j] = parameters[i][0]**j
j += 1
i += 1
j = 0
i = 0
j = 0

#Вычисление первых значений коэффициентов гипотезы
theta = np.zeros(5)
theta.flatten(order="F")
while i != 5:
theta[i] = random.random()
i += 1
i = 0

#Сохранение коэффициентов гипотезы для простроения графика
TH = [[],[],[],[],[]]
while i != 5:
TH[i].append(theta[i])
i += 1
i = 0

#Необходимые данные для сохранения значений для построения графиков
iter_number = 0
iter_number_arr = [iter_number]
cost_func = J(theta)
cost_func_arr = [cost_func]

#Вывод результатов
s = ""
for g in range(0,49):
s += chr(0x2501)
print(f'{chr(0x250F)}{s}{chr(0x2513)}', end='')
print(f'\n{chr(0x2503)} MINIMIZE ITERATIONS {chr(0x2503)}',end='')
#Поиск минимума функции стоимости
J_min = scipy.optimize.minimize(J, theta, method='BFGS', jac=diff_J, callback=Callback)
print(f'\n{chr(0x2523)}{s}{chr(0x252B)}')

s = ""
for g in range(0,49):
s += chr(0x2501)
print(f'\
{chr(0x2503)} MINIMAL COEFFICIENTS {chr(0x2503)}\
\n{chr(0x2503)} Theta0 = {J_min.x[0]: 0.4e} Theta3 = {J_min.x[3]: 0.4e} {chr(0x2503)}\
\n{chr(0x2503)} Theta1 = {J_min.x[1]: 0.4e} Theta4 = {J_min.x[4]: 0.4e} {chr(0x2503)}\
\n{chr(0x2503)} Theta2 = {J_min.x[2]: 0.4e} {chr(0x2503)}\
\n{chr(0x2517)}{s}{chr(0x251B)}')

#Построение графиков
##График гипотезы
x_line = np.linspace(0, 13, count)
x_line.flatten(order="F")
x_line_norm = x_line.copy()
###Нормирование значений параметров
x_mx = float(np.max(x_line, 0))
x_mn = float(np.min(x_line, 0))
x_sub = x_mx - x_mn
###Замена исходных параметров на нормированные
while i != count:
x_line[i] = left_border + ((x_line[i] - x_mn)/x_sub)*(right_border - left_border)
i += 1
i = 0
j = 0
###Создание матрицы переменных для гипотезы
x_line_p = np.ones(count*5)
x_line_p.shape = (count,5)
###Заполнение матрицы переменных для гипотезы необходимимы данными
while i != count:
while j != 5:
x_line_p[i][j] = x_line[i]**j
j += 1
i += 1
j = 0
i = 0
j = 0
plt.figure(1)
plt.plot(x_line_norm, hypothesis(x_line_p, J_min.x, count),c="g", label="Гипотеза")
##График зависимости результата от параметра
###Добавление подписей осям
plt.xlabel("Grade")
plt.ylabel("Price")
###Добавление более частой сетки
plt.grid(which='major')
plt.minorticks_on()
plt.grid(which='minor', linestyle=':')
plt.tight_layout()
plt.legend()

##График зависимости значений коэффициентов гипотезы от итерации минимизации
plt.figure(2)
###Построение линий зависимостей соответствующих коэффициентов с подписями в легенде
plt.plot(iter_number_arr, TH[0], label=r"$\theta_0$")
plt.plot(iter_number_arr, TH[1], label=r"$\theta_1$")
plt.plot(iter_number_arr, TH[2], label=r"$\theta_2$")
plt.plot(iter_number_arr, TH[3], label=r"$\theta_3$")
plt.plot(iter_number_arr, TH[4], label=r"$\theta_4$")
###Добавление подписей осям
plt.xlabel("Количество итераций")
plt.ylabel("Значения коэффициентов")
###Добавление более частой сетки
plt.grid(which='major')
plt.minorticks_on()
plt.grid(which='minor', linestyle=':')
plt.tight_layout()
###Добавление легенды
plt.legend(loc='upper left')

##График зависимости значения функции стоимости от итерациии минимизации
plt.figure(3)
##Построение зависимости
plt.plot(iter_number_arr, cost_func_arr)
###Добавление подписей осям
plt.xlabel("Количество итераций")
plt.ylabel("Значение функции стоимости")
###Добавление более частой сетки
plt.grid(which='major')
plt.minorticks_on()
plt.grid(which='minor', linestyle=':')
plt.tight_layout()
plt.show()