neural-network-scratch-mn

import%20marimo%0A%0A__generated_with%20%3D%20%220.15.1%22%0Aapp%20%3D%20marimo.App()%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%23%20Neural%20Network%20from%20Scratch%0A%0A%20%20%20%20See%20%5Baccompanying%20blog%20post%5D(http%3A%2F%2Flocalhost%3A1313%2F2025%2F07%2Fa-simple-neural-network-from-scratch%2F)%20for%20explanation.%0A%20%20%20%20Run%20each%20cell%20in%20sequence%20-%20last%20cell%20executes%20training%20loop%20with%20visualizations.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22Our%20network%20class%20and%20the%20helper%20functions%20for%20training%20and%20plotting%20training%20progress%20are%20here%3A%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20random%0A%20%20%20%20import%20math%0A%0A%20%20%20%20%23%20Yes%20I'm%20aware%20this%20is%20a%20third-party%20library.%0A%20%20%20%20%23%20I%20said%20the%20neural%20network%20is%20from%20scratch.%20%3A-D%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%0A%20%20%20%20xor_dataset%20%3D%20%5B%20(0%2C0%2C0)%2C%20(0%2C1%2C1)%2C%20(1%2C0%2C1)%2C%20(1%2C1%2C0)%20%5D%0A%0A%20%20%20%20def%20sigmoid(x)%3A%0A%20%20%20%20%20%20%20%20return%201%2F(1%20%2B%20(math.exp(-x)))%0A%0A%20%20%20%20class%20Network(object)%3A%0A%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20wr%2C%20br)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Randomly%20set%20initial%20parameters%0A%20%20%20%20%20%20%20%20%20%20%20%20self.w11%2C%20self.w21%2C%20self.w12%2C%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20self.w22%2C%20self.v1%2C%20self.v2%2C%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3D%20%5B%20random.uniform(-wr%2C%20wr%20)%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_%20in%20range(6)%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.b1%2C%20self.b2%2C%20self.c%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3D%20%5Brandom.uniform(-br%2C%20br)%20for%20_%20in%20range(3)%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Predict%20an%20output%0A%20%20%20%20%20%20%20%20def%20predict(self%2C%20data)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20x1%2C%20x2%2C%20y%20in%20data%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_%2C%20_%2C%20y_hat%20%3D%20self.forward_pass(x1%2C%20x2)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print(f%22input%3D(%7Bx1%7D%2C%7Bx2%7D)%20%20target%3D%7By%7D%22%20%2B%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22pred%3D%7By_hat%3A.4f%7D%22)%0A%0A%20%20%20%20%20%20%20%20%23%20Perform%20a%20single%20forward-pass%20using%20this%20network.%0A%20%20%20%20%20%20%20%20%23%20Used%20by%20predict()%20for%20re-usability%0A%20%20%20%20%20%20%20%20%23%20but%20can%20also%20be%20called%20on%20its%20own%0A%20%20%20%20%20%20%20%20%23%20for%20training%20purposes%0A%20%20%20%20%20%20%20%20def%20forward_pass(self%2C%20x1%2C%20x2)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20hidden%20neuron%201%0A%20%20%20%20%20%20%20%20%20%20%20%20h1%20%3D%20sigmoid(x1*self.w11%20%2B%20x2*self.w21%20%2B%20self.b1)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20hidden%20neuron%202%0A%20%20%20%20%20%20%20%20%20%20%20%20h2%20%3D%20sigmoid(x1*self.w12%20%2B%20x2*self.w22%20%2B%20self.b2)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20output%20neuron%0A%20%20%20%20%20%20%20%20%20%20%20%20y_hat%20%3D%20sigmoid(h1*self.v1%20%2B%20h2*self.v2%20%2B%20self.c)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Returning%20h1%2C%20h2%20here%20so%20we%20can%20use%20for%20training.%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Ignore%20if%20just%20getting%20the%20output.%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20h1%2C%20h2%2C%20y_hat%0A%0A%20%20%20%20def%20plot_loss(losses%2C%20results)%3A%0A%20%20%20%20%20%20%20%20fig%2C%20ax1%20%3D%20plt.subplots(figsize%3D(12%2C5))%0A%0A%20%20%20%20%20%20%20%20%23%20Left%20y-axis%20for%20loss%0A%20%20%20%20%20%20%20%20ax1.plot(list(range(len(losses)))%2C%20losses%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Loss%22%2C%20color%3D%22blue%22%2C%20marker%3D%22o%22)%0A%20%20%20%20%20%20%20%20ax1.set_xlabel(%22Training%20step%22)%0A%20%20%20%20%20%20%20%20ax1.set_ylabel(%22Loss%22%2C%20color%3D%22blue%22)%0A%20%20%20%20%20%20%20%20ax1.tick_params(axis%3D%22y%22%2C%20labelcolor%3D%22blue%22)%0A%0A%20%20%20%20%20%20%20%20%23%20Right%20y-axis%20for%20number%20of%20good%20predictions%0A%20%20%20%20%20%20%20%20ax2%20%3D%20ax1.twinx()%0A%20%20%20%20%20%20%20%20ax2.scatter(list(range(len(results)))%2C%20results%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Correct%20(1%3DTrue%2C%200%3DFalse)%22%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22red%22%2C%20marker%3D%22x%22)%0A%20%20%20%20%20%20%20%20ax2.set_ylabel(%22Good%20predictions%22%2C%20color%3D%22red%22)%0A%20%20%20%20%20%20%20%20ax2.tick_params(axis%3D%22y%22%2C%20labelcolor%3D%22red%22)%0A%20%20%20%20%20%20%20%20ax2.set_yticks(%5B0%2C1%2C2%2C3%2C4%5D)%0A%0A%20%20%20%20%20%20%20%20%23%20Title%20%2B%20layout%0A%20%20%20%20%20%20%20%20plt.title(%22Training%20Progress%22)%0A%20%20%20%20%20%20%20%20fig.tight_layout()%0A%20%20%20%20%20%20%20%20plt.show()%0A%0A%20%20%20%20%23%20Performs%20a%20single%20training%20loop%20of%20epochs%20until%0A%20%20%20%20%23%20the%20epoch%20limit%20is%20hit%20or%20convergence%20is%20detected.%0A%20%20%20%20%23%20Should%20be%20called%20in%20an%20outer%20%22retry%22%20loop%0A%20%20%20%20def%20train(net%2C%20dataset%2C%20epochs%2C%20learning_rate%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20convergence_threshold)%3A%0A%0A%20%20%20%20%20%20%20%20passes%20%3D%200%0A%20%20%20%20%20%20%20%20losses%20%3D%20%5B%5D%20%20%20%20%23%20avg%20loss%20per%20epoch%0A%20%20%20%20%20%20%20%20results%20%3D%20%5B%5D%20%20%20%23%20prediction%20accuracy%0A%0A%20%20%20%20%20%20%20%20while%20True%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20passes%20%2B%3D%201%0A%20%20%20%20%20%20%20%20%20%20%20%20epoch_loss%20%3D%200%0A%20%20%20%20%20%20%20%20%20%20%20%20good_predictions%20%3D%200%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20input%20in%20dataset%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20passes%20%3E%20epochs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20losses%2C%20results%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x1%2C%20x2%2C%20y%20%3D%20input%5B0%5D%2C%20input%5B1%5D%2C%20input%5B2%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20h1%2C%20h2%2C%20y_hat%20%3D%20net.forward_pass(x1%2C%20x2)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pred%20%3D%20round(y_hat)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20y%20%3D%3D%20pred%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20good_predictions%20%2B%3D%201%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Output%20layer%20error%20term%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_out%20%3D%20(y_hat%20-%20y)%20*%20y_hat%20*%20(1%20-%20y_hat)%20%20%20%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Track%20loss%20explicitly%20so%20we%20can%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20detect%20convergence%20over%20time%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20epoch_loss%20%2B%3D%200.5%20*%20(y_hat%20-%20y)%20**%202%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Gradients%20for%20output%20weights%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20per%20the%20steps%20explained%20above%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dv1%20%3D%20delta_out%20*%20h1%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dv2%20%3D%20delta_out%20*%20h2%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dc%20%20%3D%20delta_out%20*%201%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Update%20output%20weights%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20net.v1%20-%3D%20learning_rate%20*%20dv1%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20net.v2%20-%3D%20learning_rate%20*%20dv2%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20net.c%20%20-%3D%20learning_rate%20*%20dc%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Hidden%20layer%20error%20terms%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_h1%20%3D%20delta_out%20*%20net.v1%20*%20h1%20*%20(1%20-%20h1)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_h2%20%3D%20delta_out%20*%20net.v2%20*%20h2%20*%20(1%20-%20h2)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Gradients%20for%20hidden%20weights%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dw11%20%3D%20delta_h1%20*%20x1%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dw21%20%3D%20delta_h1%20*%20x2%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20db1%20%20%3D%20delta_h1%20*%201%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dw12%20%3D%20delta_h2%20*%20x1%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dw22%20%3D%20delta_h2%20*%20x2%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20db2%20%20%3D%20delta_h2%20*%201%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Update%20hidden%20weights%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20net.w11%20-%3D%20learning_rate%20*%20dw11%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20net.w21%20-%3D%20learning_rate%20*%20dw21%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20net.b1%20%20-%3D%20learning_rate%20*%20db1%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20net.w12%20-%3D%20learning_rate%20*%20dw12%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20net.w22%20-%3D%20learning_rate%20*%20dw22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20net.b2%20%20-%3D%20learning_rate%20*%20db2%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20epoch_loss%20%2F%3D%20len(dataset)%0A%20%20%20%20%20%20%20%20%20%20%20%20losses.append(epoch_loss)%0A%20%20%20%20%20%20%20%20%20%20%20%20results.append(good_predictions)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20no%20sense%20in%20training%20further%2C%20return%20early%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20epoch_loss%20%3C%20convergence_threshold%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20losses%2C%20results%0A%20%20%20%20return%20Network%2C%20plot_loss%2C%20train%2C%20xor_dataset%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22Once%20the%20above%20cells%20have%20been%20run%2C%20you%20can%20then%20run%20the%20cell%20below%20to%20see%20the%20overall%20results%20of%20a%20training%20run%20including%20retries.%20Run%20it%20multiple%20times%20to%20see%20the%20variance!%20See%20if%20the%20tunables%20below%20have%20an%20impact%20on%20convergence%20time!%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Network%2C%20plot_loss%2C%20train%2C%20xor_dataset)%3A%0A%20%20%20%20tries%20%3D%200%0A%20%20%20%20while%20True%3A%0A%20%20%20%20%20%20%20%20%23%20%22Tunables%22%20-%20tweak%20these%20and%20observe%20impact%20to%0A%20%20%20%20%20%20%20%20%23%20convergence%20time%2C%20retries%2C%20etc.%0A%20%20%20%20%20%20%20%20learning_rate%20%3D%200.1%0A%20%20%20%20%20%20%20%20epochs%20%3D%2010000%0A%20%20%20%20%20%20%20%20weights_range%20%20%3D%202%0A%20%20%20%20%20%20%20%20bias_range%20%3D%200.5%0A%20%20%20%20%20%20%20%20convergence_threshold%20%3D%201e-3%0A%0A%20%20%20%20%20%20%20%20net%20%3D%20Network(weights_range%2C%20bias_range)%0A%20%20%20%20%20%20%20%20if%20tries%20%3E%2030%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(%22Unable%20to%20converge%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20%20%20%20%20tries%20%2B%3D1%0A%0A%20%20%20%20%20%20%20%20losses%2C%20good_predictions%20%3D%20train(net%2C%20xor_dataset%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20epochs%2C%20learning_rate%2C%20convergence_threshold)%0A%0A%20%20%20%20%20%20%20%20if%20losses%5B-1%5D%20%3C%20convergence_threshold%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Converged%20after%20%7Btries%7D%20tries%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20plot_loss(losses%2C%20good_predictions)%20%20%20%20%0A%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A