neural-network-updated-mn

import%20marimo%0A%0A__generated_with%20%3D%20%220.15.2%22%0Aapp%20%3D%20marimo.App()%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%23%20Neural%20Network%20with%20Binary%20Cross-Entropy%20Loss%0A%0A%20%20%20%20See%20%5Baccompanying%20blog%20post%5D(https%3A%2F%2Foswalt.dev%2F2025%2F08%2Fneural-network-from-scratch-updated%2F)%20for%20explanation.%0A%20%20%20%20Run%20each%20cell%20in%20sequence%20-%20last%20cell%20executes%20training%20loop%20with%20visualizations.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20random%0A%20%20%20%20import%20math%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%0A%20%20%20%20xor_dataset%20%3D%20%5B%20(0%2C0%2C0)%2C%20(0%2C1%2C1)%2C%20(1%2C0%2C1)%2C%20(1%2C1%2C0)%20%5D%0A%0A%20%20%20%20def%20sigmoid(x)%3A%0A%20%20%20%20%20%20%20%20return%201%2F(1%20%2B%20(math.exp(-x)))%0A%0A%20%20%20%20class%20Network(object)%3A%0A%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20wr%2C%20br)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Randomly%20set%20initial%20parameters%0A%20%20%20%20%20%20%20%20%20%20%20%20self.w11%2C%20self.w21%2C%20self.w12%2C%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20self.w22%2C%20self.v1%2C%20self.v2%2C%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3D%20%5B%20random.uniform(-wr%2C%20wr%20)%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_%20in%20range(6)%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.b1%2C%20self.b2%2C%20self.c%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3D%20%5Brandom.uniform(-br%2C%20br)%20for%20_%20in%20range(3)%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Predict%20an%20output%0A%20%20%20%20%20%20%20%20def%20predict(self%2C%20data)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20x1%2C%20x2%2C%20y%20in%20data%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_%2C%20_%2C%20y_hat%20%3D%20self.forward_pass(x1%2C%20x2)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print(f%22input%3D(%7Bx1%7D%2C%7Bx2%7D)%20%20target%3D%7By%7D%22%20%2B%20%5C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22pred%3D%7By_hat%3A.4f%7D%22)%0A%0A%20%20%20%20%20%20%20%20%23%20Perform%20a%20single%20forward-pass%20using%20this%20network.%0A%20%20%20%20%20%20%20%20%23%20Used%20by%20predict()%20for%20re-usability%0A%20%20%20%20%20%20%20%20%23%20but%20can%20also%20be%20called%20on%20its%20own%0A%20%20%20%20%20%20%20%20%23%20for%20training%20purposes%0A%20%20%20%20%20%20%20%20def%20forward_pass(self%2C%20x1%2C%20x2)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20hidden%20neuron%201%0A%20%20%20%20%20%20%20%20%20%20%20%20h1%20%3D%20sigmoid(x1*self.w11%20%2B%20x2*self.w21%20%2B%20self.b1)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20hidden%20neuron%202%0A%20%20%20%20%20%20%20%20%20%20%20%20h2%20%3D%20sigmoid(x1*self.w12%20%2B%20x2*self.w22%20%2B%20self.b2)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20output%20neuron%0A%20%20%20%20%20%20%20%20%20%20%20%20y_hat%20%3D%20sigmoid(h1*self.v1%20%2B%20h2*self.v2%20%2B%20self.c)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Returning%20h1%2C%20h2%20here%20so%20we%20can%20use%20for%20training.%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Ignore%20if%20just%20getting%20the%20output.%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20h1%2C%20h2%2C%20y_hat%0A%0A%20%20%20%20def%20plot_loss(losses%2C%20results)%3A%0A%20%20%20%20%20%20%20%20fig%2C%20ax1%20%3D%20plt.subplots(figsize%3D(12%2C5))%0A%0A%20%20%20%20%20%20%20%20%23%20Left%20y-axis%20for%20loss%0A%20%20%20%20%20%20%20%20ax1.plot(list(range(len(losses)))%2C%20losses%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Loss%22%2C%20color%3D%22blue%22%2C%20marker%3D%22o%22)%0A%20%20%20%20%20%20%20%20ax1.set_xlabel(%22Training%20step%22)%0A%20%20%20%20%20%20%20%20ax1.set_ylabel(%22Loss%22%2C%20color%3D%22blue%22)%0A%20%20%20%20%20%20%20%20ax1.tick_params(axis%3D%22y%22%2C%20labelcolor%3D%22blue%22)%0A%0A%20%20%20%20%20%20%20%20%23%20Right%20y-axis%20for%20number%20of%20good%20predictions%0A%20%20%20%20%20%20%20%20ax2%20%3D%20ax1.twinx()%0A%20%20%20%20%20%20%20%20ax2.scatter(list(range(len(results)))%2C%20results%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Correct%20(1%3DTrue%2C%200%3DFalse)%22%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22red%22%2C%20marker%3D%22x%22)%0A%20%20%20%20%20%20%20%20ax2.set_ylabel(%22Good%20predictions%22%2C%20color%3D%22red%22)%0A%20%20%20%20%20%20%20%20ax2.tick_params(axis%3D%22y%22%2C%20labelcolor%3D%22red%22)%0A%20%20%20%20%20%20%20%20ax2.set_yticks(%5B0%2C1%2C2%2C3%2C4%5D)%0A%0A%20%20%20%20%20%20%20%20%23%20Title%20%2B%20layout%0A%20%20%20%20%20%20%20%20plt.title(%22Training%20Progress%22)%0A%20%20%20%20%20%20%20%20fig.tight_layout()%0A%20%20%20%20%20%20%20%20plt.show()%0A%0A%20%20%20%20%23%20Performs%20a%20single%20training%20loop%20of%20epochs%20until%0A%20%20%20%20%23%20the%20epoch%20limit%20is%20hit%20or%20convergence%20is%20detected.%0A%20%20%20%20%23%20Should%20be%20called%20in%20an%20outer%20%22retry%22%20loop%0A%20%20%20%20def%20train(net%2C%20dataset%2C%20epochs%2C%20learning_rate%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20convergence_threshold)%3A%0A%0A%20%20%20%20%20%20%20%20passes%20%3D%200%0A%20%20%20%20%20%20%20%20losses%20%3D%20%5B%5D%20%20%20%20%23%20avg%20loss%20per%20epoch%0A%20%20%20%20%20%20%20%20results%20%3D%20%5B%5D%20%20%20%23%20prediction%20accuracy%0A%0A%20%20%20%20%20%20%20%20while%20True%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20passes%20%2B%3D%201%0A%20%20%20%20%20%20%20%20%20%20%20%20epoch_loss%20%3D%200%0A%20%20%20%20%20%20%20%20%20%20%20%20good_predictions%20%3D%200%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Initializing%20the%20epoch-avg%20gradients%0A%20%20%20%20%20%20%20%20%20%20%20%20grad_v1%20%3D%20grad_v2%20%3D%20grad_c%20%3D%200%0A%20%20%20%20%20%20%20%20%20%20%20%20grad_w11%20%3D%20grad_w21%20%3D%20grad_b1%20%3D%200%0A%20%20%20%20%20%20%20%20%20%20%20%20grad_w12%20%3D%20grad_w22%20%3D%20grad_b2%20%3D%200%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20input%20in%20dataset%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20passes%20%3E%20epochs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20losses%2C%20results%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x1%2C%20x2%2C%20y%20%3D%20input%5B0%5D%2C%20input%5B1%5D%2C%20input%5B2%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20h1%2C%20h2%2C%20y_hat%20%3D%20net.forward_pass(x1%2C%20x2)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pred%20%3D%20round(y_hat)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20y%20%3D%3D%20pred%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20good_predictions%20%2B%3D%201%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Output%20layer%20error%20term%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_out%20%3D%20y_hat%20-%20y%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Cross-entropy%20loss%20for%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20tracking%20convergence%20over%20time%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20epoch_loss%20%2B%3D%20-%20(y%20*%20math.log(y_hat%20%2B%201e-15)%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(1%20-%20y)%20*%20math.log(1%20-%20y_hat%20%2B%201e-15))%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Accumulate%20output%20gradients%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20grad_v1%20%2B%3D%20delta_out%20*%20h1%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20grad_v2%20%2B%3D%20delta_out%20*%20h2%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20grad_c%20%20%2B%3D%20delta_out%20*%201%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Hidden%20layer%20error%20terms%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_h1%20%3D%20delta_out%20*%20net.v1%20*%20h1%20*%20(1%20-%20h1)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20delta_h2%20%3D%20delta_out%20*%20net.v2%20*%20h2%20*%20(1%20-%20h2)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Accumulate%20hidden%20gradients%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20grad_w11%20%2B%3D%20delta_h1%20*%20x1%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20grad_w21%20%2B%3D%20delta_h1%20*%20x2%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20grad_b1%20%20%2B%3D%20delta_h1%20*%201%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20grad_w12%20%2B%3D%20delta_h2%20*%20x1%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20grad_w22%20%2B%3D%20delta_h2%20*%20x2%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20grad_b2%20%20%2B%3D%20delta_h2%20*%201%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Apply%20average%20gradients%20at%20the%20end%20of%20the%20epoch%0A%20%20%20%20%20%20%20%20%20%20%20%20m%20%3D%20len(dataset)%0A%20%20%20%20%20%20%20%20%20%20%20%20net.v1%20-%3D%20learning_rate%20*%20grad_v1%20%2F%20m%0A%20%20%20%20%20%20%20%20%20%20%20%20net.v2%20-%3D%20learning_rate%20*%20grad_v2%20%2F%20m%0A%20%20%20%20%20%20%20%20%20%20%20%20net.c%20%20-%3D%20learning_rate%20*%20grad_c%20%2F%20m%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20net.w11%20-%3D%20learning_rate%20*%20grad_w11%20%2F%20m%0A%20%20%20%20%20%20%20%20%20%20%20%20net.w21%20-%3D%20learning_rate%20*%20grad_w21%20%2F%20m%0A%20%20%20%20%20%20%20%20%20%20%20%20net.b1%20%20-%3D%20learning_rate%20*%20grad_b1%20%2F%20m%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20net.w12%20-%3D%20learning_rate%20*%20grad_w12%20%2F%20m%0A%20%20%20%20%20%20%20%20%20%20%20%20net.w22%20-%3D%20learning_rate%20*%20grad_w22%20%2F%20m%0A%20%20%20%20%20%20%20%20%20%20%20%20net.b2%20%20-%3D%20learning_rate%20*%20grad_b2%20%2F%20m%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20epoch_loss%20%2F%3D%20len(dataset)%0A%20%20%20%20%20%20%20%20%20%20%20%20losses.append(epoch_loss)%0A%20%20%20%20%20%20%20%20%20%20%20%20results.append(good_predictions)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20no%20sense%20in%20training%20further%2C%20return%20early%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20epoch_loss%20%3C%20convergence_threshold%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20losses%2C%20results%0A%20%20%20%20return%20Network%2C%20mo%2C%20plot_loss%2C%20train%2C%20xor_dataset%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22Training%20loop%20below%20(re-run%20as%20many%20times%20as%20you%20want%20to%20see%20different%20training%20behaviors%20due%20to%20random%20weights)%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Network%2C%20plot_loss%2C%20train%2C%20xor_dataset)%3A%0A%20%20%20%20tries%20%3D%200%0A%20%20%20%20while%20True%3A%0A%20%20%20%20%20%20%20%20%23%20%22Tunables%22%20-%20tweak%20these%20and%20observe%20impact%20to%0A%20%20%20%20%20%20%20%20%23%20convergence%20time%2C%20retries%2C%20etc.%0A%20%20%20%20%20%20%20%20learning_rate%20%3D%200.3%0A%20%20%20%20%20%20%20%20epochs%20%3D%2010000%0A%20%20%20%20%20%20%20%20weights_range%20%20%3D%200.5%0A%20%20%20%20%20%20%20%20bias_range%20%3D%200.1%0A%20%20%20%20%20%20%20%20convergence_threshold%20%3D%205e-3%0A%0A%20%20%20%20%20%20%20%20net%20%3D%20Network(weights_range%2C%20bias_range)%0A%20%20%20%20%20%20%20%20if%20tries%20%3E%2030%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(%22Unable%20to%20converge%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20plot_loss(losses%2C%20good_predictions)%20%20%20%0A%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20%20%20%20%20tries%20%2B%3D1%0A%0A%20%20%20%20%20%20%20%20losses%2C%20good_predictions%20%3D%20train(net%2C%20xor_dataset%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20epochs%2C%20learning_rate%2C%20convergence_threshold)%0A%0A%20%20%20%20%20%20%20%20if%20losses%5B-1%5D%20%3C%20convergence_threshold%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Converged%20after%20%7Btries%7D%20tries%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20plot_loss(losses%2C%20good_predictions)%20%20%20%20%0A%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20return%20good_predictions%2C%20losses%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A