| { | |
| "best_metric": 0.5722422003746033, | |
| "best_model_checkpoint": "miner_id_24/checkpoint-150", | |
| "epoch": 0.07116593523899893, | |
| "eval_steps": 50, | |
| "global_step": 150, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.0004744395682599929, | |
| "grad_norm": 1.1011534929275513, | |
| "learning_rate": 3.3333333333333335e-07, | |
| "loss": 0.7751, | |
| "step": 1 | |
| }, | |
| { | |
| "epoch": 0.0004744395682599929, | |
| "eval_loss": 0.9001743793487549, | |
| "eval_runtime": 843.3508, | |
| "eval_samples_per_second": 8.419, | |
| "eval_steps_per_second": 2.105, | |
| "step": 1 | |
| }, | |
| { | |
| "epoch": 0.0009488791365199858, | |
| "grad_norm": 1.3106392621994019, | |
| "learning_rate": 6.666666666666667e-07, | |
| "loss": 0.8164, | |
| "step": 2 | |
| }, | |
| { | |
| "epoch": 0.0014233187047799788, | |
| "grad_norm": 1.1848171949386597, | |
| "learning_rate": 1.0000000000000002e-06, | |
| "loss": 0.834, | |
| "step": 3 | |
| }, | |
| { | |
| "epoch": 0.0018977582730399715, | |
| "grad_norm": 1.3275964260101318, | |
| "learning_rate": 1.3333333333333334e-06, | |
| "loss": 0.874, | |
| "step": 4 | |
| }, | |
| { | |
| "epoch": 0.0023721978412999645, | |
| "grad_norm": 1.3640103340148926, | |
| "learning_rate": 1.6666666666666667e-06, | |
| "loss": 0.8872, | |
| "step": 5 | |
| }, | |
| { | |
| "epoch": 0.0028466374095599575, | |
| "grad_norm": 1.7666573524475098, | |
| "learning_rate": 2.0000000000000003e-06, | |
| "loss": 0.9615, | |
| "step": 6 | |
| }, | |
| { | |
| "epoch": 0.00332107697781995, | |
| "grad_norm": 1.5754951238632202, | |
| "learning_rate": 2.3333333333333336e-06, | |
| "loss": 0.9396, | |
| "step": 7 | |
| }, | |
| { | |
| "epoch": 0.003795516546079943, | |
| "grad_norm": 1.599647879600525, | |
| "learning_rate": 2.666666666666667e-06, | |
| "loss": 0.9529, | |
| "step": 8 | |
| }, | |
| { | |
| "epoch": 0.004269956114339936, | |
| "grad_norm": 1.6514160633087158, | |
| "learning_rate": 3e-06, | |
| "loss": 0.9763, | |
| "step": 9 | |
| }, | |
| { | |
| "epoch": 0.004744395682599929, | |
| "grad_norm": 1.4871176481246948, | |
| "learning_rate": 3.3333333333333333e-06, | |
| "loss": 0.954, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.005218835250859922, | |
| "grad_norm": 1.6975586414337158, | |
| "learning_rate": 3.666666666666667e-06, | |
| "loss": 0.9514, | |
| "step": 11 | |
| }, | |
| { | |
| "epoch": 0.005693274819119915, | |
| "grad_norm": 1.614019513130188, | |
| "learning_rate": 4.000000000000001e-06, | |
| "loss": 0.9722, | |
| "step": 12 | |
| }, | |
| { | |
| "epoch": 0.006167714387379907, | |
| "grad_norm": 1.4458463191986084, | |
| "learning_rate": 4.333333333333334e-06, | |
| "loss": 0.9372, | |
| "step": 13 | |
| }, | |
| { | |
| "epoch": 0.0066421539556399, | |
| "grad_norm": 1.5191285610198975, | |
| "learning_rate": 4.666666666666667e-06, | |
| "loss": 0.9822, | |
| "step": 14 | |
| }, | |
| { | |
| "epoch": 0.007116593523899893, | |
| "grad_norm": 1.5517295598983765, | |
| "learning_rate": 5e-06, | |
| "loss": 0.9747, | |
| "step": 15 | |
| }, | |
| { | |
| "epoch": 0.007591033092159886, | |
| "grad_norm": 1.5122692584991455, | |
| "learning_rate": 5.333333333333334e-06, | |
| "loss": 0.9531, | |
| "step": 16 | |
| }, | |
| { | |
| "epoch": 0.008065472660419879, | |
| "grad_norm": 1.5926417112350464, | |
| "learning_rate": 5.666666666666667e-06, | |
| "loss": 0.9896, | |
| "step": 17 | |
| }, | |
| { | |
| "epoch": 0.008539912228679872, | |
| "grad_norm": 1.5614891052246094, | |
| "learning_rate": 6e-06, | |
| "loss": 1.0201, | |
| "step": 18 | |
| }, | |
| { | |
| "epoch": 0.009014351796939865, | |
| "grad_norm": 1.648463487625122, | |
| "learning_rate": 6.333333333333334e-06, | |
| "loss": 1.0783, | |
| "step": 19 | |
| }, | |
| { | |
| "epoch": 0.009488791365199858, | |
| "grad_norm": 1.677830696105957, | |
| "learning_rate": 6.666666666666667e-06, | |
| "loss": 1.0911, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.009963230933459851, | |
| "grad_norm": 1.4554977416992188, | |
| "learning_rate": 7.000000000000001e-06, | |
| "loss": 1.0418, | |
| "step": 21 | |
| }, | |
| { | |
| "epoch": 0.010437670501719844, | |
| "grad_norm": 1.5130020380020142, | |
| "learning_rate": 7.333333333333334e-06, | |
| "loss": 1.0849, | |
| "step": 22 | |
| }, | |
| { | |
| "epoch": 0.010912110069979837, | |
| "grad_norm": 1.5033063888549805, | |
| "learning_rate": 7.666666666666667e-06, | |
| "loss": 1.0362, | |
| "step": 23 | |
| }, | |
| { | |
| "epoch": 0.01138654963823983, | |
| "grad_norm": 1.1862666606903076, | |
| "learning_rate": 8.000000000000001e-06, | |
| "loss": 0.9098, | |
| "step": 24 | |
| }, | |
| { | |
| "epoch": 0.011860989206499821, | |
| "grad_norm": 1.6206886768341064, | |
| "learning_rate": 8.333333333333334e-06, | |
| "loss": 1.0731, | |
| "step": 25 | |
| }, | |
| { | |
| "epoch": 0.012335428774759814, | |
| "grad_norm": 1.4080322980880737, | |
| "learning_rate": 8.666666666666668e-06, | |
| "loss": 1.0661, | |
| "step": 26 | |
| }, | |
| { | |
| "epoch": 0.012809868343019807, | |
| "grad_norm": 1.200601577758789, | |
| "learning_rate": 9e-06, | |
| "loss": 0.9338, | |
| "step": 27 | |
| }, | |
| { | |
| "epoch": 0.0132843079112798, | |
| "grad_norm": 1.1154807806015015, | |
| "learning_rate": 9.333333333333334e-06, | |
| "loss": 0.8724, | |
| "step": 28 | |
| }, | |
| { | |
| "epoch": 0.013758747479539793, | |
| "grad_norm": 1.0023611783981323, | |
| "learning_rate": 9.666666666666667e-06, | |
| "loss": 0.8245, | |
| "step": 29 | |
| }, | |
| { | |
| "epoch": 0.014233187047799786, | |
| "grad_norm": 0.8822727799415588, | |
| "learning_rate": 1e-05, | |
| "loss": 0.6384, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.01470762661605978, | |
| "grad_norm": 1.0753445625305176, | |
| "learning_rate": 1.0333333333333333e-05, | |
| "loss": 0.6262, | |
| "step": 31 | |
| }, | |
| { | |
| "epoch": 0.015182066184319772, | |
| "grad_norm": 1.0272926092147827, | |
| "learning_rate": 1.0666666666666667e-05, | |
| "loss": 0.637, | |
| "step": 32 | |
| }, | |
| { | |
| "epoch": 0.015656505752579764, | |
| "grad_norm": 1.097462773323059, | |
| "learning_rate": 1.1000000000000001e-05, | |
| "loss": 0.6295, | |
| "step": 33 | |
| }, | |
| { | |
| "epoch": 0.016130945320839758, | |
| "grad_norm": 0.9121147394180298, | |
| "learning_rate": 1.1333333333333334e-05, | |
| "loss": 0.5959, | |
| "step": 34 | |
| }, | |
| { | |
| "epoch": 0.01660538488909975, | |
| "grad_norm": 0.9392078518867493, | |
| "learning_rate": 1.1666666666666668e-05, | |
| "loss": 0.6206, | |
| "step": 35 | |
| }, | |
| { | |
| "epoch": 0.017079824457359744, | |
| "grad_norm": 0.9847398400306702, | |
| "learning_rate": 1.2e-05, | |
| "loss": 0.6635, | |
| "step": 36 | |
| }, | |
| { | |
| "epoch": 0.017554264025619735, | |
| "grad_norm": 0.9751656651496887, | |
| "learning_rate": 1.2333333333333334e-05, | |
| "loss": 0.584, | |
| "step": 37 | |
| }, | |
| { | |
| "epoch": 0.01802870359387973, | |
| "grad_norm": 0.9086722731590271, | |
| "learning_rate": 1.2666666666666668e-05, | |
| "loss": 0.6111, | |
| "step": 38 | |
| }, | |
| { | |
| "epoch": 0.01850314316213972, | |
| "grad_norm": 0.8567488789558411, | |
| "learning_rate": 1.3000000000000001e-05, | |
| "loss": 0.5712, | |
| "step": 39 | |
| }, | |
| { | |
| "epoch": 0.018977582730399716, | |
| "grad_norm": 0.7811497449874878, | |
| "learning_rate": 1.3333333333333333e-05, | |
| "loss": 0.5872, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.019452022298659707, | |
| "grad_norm": 0.8421127796173096, | |
| "learning_rate": 1.3666666666666666e-05, | |
| "loss": 0.5367, | |
| "step": 41 | |
| }, | |
| { | |
| "epoch": 0.019926461866919702, | |
| "grad_norm": 0.8142737746238708, | |
| "learning_rate": 1.4000000000000001e-05, | |
| "loss": 0.5787, | |
| "step": 42 | |
| }, | |
| { | |
| "epoch": 0.020400901435179693, | |
| "grad_norm": 0.8048014640808105, | |
| "learning_rate": 1.4333333333333334e-05, | |
| "loss": 0.5632, | |
| "step": 43 | |
| }, | |
| { | |
| "epoch": 0.020875341003439688, | |
| "grad_norm": 0.863360583782196, | |
| "learning_rate": 1.4666666666666668e-05, | |
| "loss": 0.5754, | |
| "step": 44 | |
| }, | |
| { | |
| "epoch": 0.02134978057169968, | |
| "grad_norm": 0.8289929032325745, | |
| "learning_rate": 1.5e-05, | |
| "loss": 0.5561, | |
| "step": 45 | |
| }, | |
| { | |
| "epoch": 0.021824220139959674, | |
| "grad_norm": 0.85724937915802, | |
| "learning_rate": 1.5333333333333334e-05, | |
| "loss": 0.5622, | |
| "step": 46 | |
| }, | |
| { | |
| "epoch": 0.022298659708219665, | |
| "grad_norm": 0.8593965172767639, | |
| "learning_rate": 1.5666666666666667e-05, | |
| "loss": 0.5511, | |
| "step": 47 | |
| }, | |
| { | |
| "epoch": 0.02277309927647966, | |
| "grad_norm": 1.0296480655670166, | |
| "learning_rate": 1.6000000000000003e-05, | |
| "loss": 0.5909, | |
| "step": 48 | |
| }, | |
| { | |
| "epoch": 0.02324753884473965, | |
| "grad_norm": 0.7865881323814392, | |
| "learning_rate": 1.6333333333333335e-05, | |
| "loss": 0.5336, | |
| "step": 49 | |
| }, | |
| { | |
| "epoch": 0.023721978412999643, | |
| "grad_norm": 0.9496569633483887, | |
| "learning_rate": 1.6666666666666667e-05, | |
| "loss": 0.5838, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.023721978412999643, | |
| "eval_loss": 0.6891337037086487, | |
| "eval_runtime": 847.2128, | |
| "eval_samples_per_second": 8.38, | |
| "eval_steps_per_second": 2.095, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.024196417981259637, | |
| "grad_norm": 0.8724004626274109, | |
| "learning_rate": 1.7000000000000003e-05, | |
| "loss": 0.6618, | |
| "step": 51 | |
| }, | |
| { | |
| "epoch": 0.02467085754951963, | |
| "grad_norm": 1.0227757692337036, | |
| "learning_rate": 1.7333333333333336e-05, | |
| "loss": 0.6868, | |
| "step": 52 | |
| }, | |
| { | |
| "epoch": 0.025145297117779623, | |
| "grad_norm": 1.042378544807434, | |
| "learning_rate": 1.7666666666666668e-05, | |
| "loss": 0.7535, | |
| "step": 53 | |
| }, | |
| { | |
| "epoch": 0.025619736686039615, | |
| "grad_norm": 1.0859417915344238, | |
| "learning_rate": 1.8e-05, | |
| "loss": 0.7201, | |
| "step": 54 | |
| }, | |
| { | |
| "epoch": 0.02609417625429961, | |
| "grad_norm": 0.9193178415298462, | |
| "learning_rate": 1.8333333333333333e-05, | |
| "loss": 0.6989, | |
| "step": 55 | |
| }, | |
| { | |
| "epoch": 0.0265686158225596, | |
| "grad_norm": 0.9652199149131775, | |
| "learning_rate": 1.866666666666667e-05, | |
| "loss": 0.7242, | |
| "step": 56 | |
| }, | |
| { | |
| "epoch": 0.027043055390819595, | |
| "grad_norm": 0.9476621150970459, | |
| "learning_rate": 1.9e-05, | |
| "loss": 0.7294, | |
| "step": 57 | |
| }, | |
| { | |
| "epoch": 0.027517494959079587, | |
| "grad_norm": 0.8135749101638794, | |
| "learning_rate": 1.9333333333333333e-05, | |
| "loss": 0.6931, | |
| "step": 58 | |
| }, | |
| { | |
| "epoch": 0.02799193452733958, | |
| "grad_norm": 0.8867154717445374, | |
| "learning_rate": 1.9666666666666666e-05, | |
| "loss": 0.7151, | |
| "step": 59 | |
| }, | |
| { | |
| "epoch": 0.028466374095599573, | |
| "grad_norm": 0.8246985673904419, | |
| "learning_rate": 2e-05, | |
| "loss": 0.6985, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.028940813663859567, | |
| "grad_norm": 0.9400069117546082, | |
| "learning_rate": 2.0333333333333334e-05, | |
| "loss": 0.7583, | |
| "step": 61 | |
| }, | |
| { | |
| "epoch": 0.02941525323211956, | |
| "grad_norm": 0.9306464791297913, | |
| "learning_rate": 2.0666666666666666e-05, | |
| "loss": 0.7102, | |
| "step": 62 | |
| }, | |
| { | |
| "epoch": 0.029889692800379553, | |
| "grad_norm": 0.9207206964492798, | |
| "learning_rate": 2.1e-05, | |
| "loss": 0.7491, | |
| "step": 63 | |
| }, | |
| { | |
| "epoch": 0.030364132368639545, | |
| "grad_norm": 0.894155740737915, | |
| "learning_rate": 2.1333333333333335e-05, | |
| "loss": 0.7253, | |
| "step": 64 | |
| }, | |
| { | |
| "epoch": 0.030838571936899536, | |
| "grad_norm": 0.9724550843238831, | |
| "learning_rate": 2.1666666666666667e-05, | |
| "loss": 0.6927, | |
| "step": 65 | |
| }, | |
| { | |
| "epoch": 0.03131301150515953, | |
| "grad_norm": 1.022789716720581, | |
| "learning_rate": 2.2000000000000003e-05, | |
| "loss": 0.6891, | |
| "step": 66 | |
| }, | |
| { | |
| "epoch": 0.03178745107341952, | |
| "grad_norm": 1.0346360206604004, | |
| "learning_rate": 2.2333333333333335e-05, | |
| "loss": 0.6819, | |
| "step": 67 | |
| }, | |
| { | |
| "epoch": 0.032261890641679516, | |
| "grad_norm": 1.0943830013275146, | |
| "learning_rate": 2.2666666666666668e-05, | |
| "loss": 0.649, | |
| "step": 68 | |
| }, | |
| { | |
| "epoch": 0.03273633020993951, | |
| "grad_norm": 1.4495000839233398, | |
| "learning_rate": 2.3000000000000003e-05, | |
| "loss": 0.7443, | |
| "step": 69 | |
| }, | |
| { | |
| "epoch": 0.0332107697781995, | |
| "grad_norm": 1.4373321533203125, | |
| "learning_rate": 2.3333333333333336e-05, | |
| "loss": 0.695, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.033685209346459494, | |
| "grad_norm": 1.4558850526809692, | |
| "learning_rate": 2.3666666666666668e-05, | |
| "loss": 0.7146, | |
| "step": 71 | |
| }, | |
| { | |
| "epoch": 0.03415964891471949, | |
| "grad_norm": 1.4145175218582153, | |
| "learning_rate": 2.4e-05, | |
| "loss": 0.7443, | |
| "step": 72 | |
| }, | |
| { | |
| "epoch": 0.03463408848297948, | |
| "grad_norm": 1.4205809831619263, | |
| "learning_rate": 2.4333333333333336e-05, | |
| "loss": 0.6662, | |
| "step": 73 | |
| }, | |
| { | |
| "epoch": 0.03510852805123947, | |
| "grad_norm": 1.290022850036621, | |
| "learning_rate": 2.466666666666667e-05, | |
| "loss": 0.7065, | |
| "step": 74 | |
| }, | |
| { | |
| "epoch": 0.035582967619499466, | |
| "grad_norm": 1.149020791053772, | |
| "learning_rate": 2.5e-05, | |
| "loss": 0.6644, | |
| "step": 75 | |
| }, | |
| { | |
| "epoch": 0.03605740718775946, | |
| "grad_norm": 1.2090888023376465, | |
| "learning_rate": 2.5333333333333337e-05, | |
| "loss": 0.7048, | |
| "step": 76 | |
| }, | |
| { | |
| "epoch": 0.036531846756019455, | |
| "grad_norm": 1.0506725311279297, | |
| "learning_rate": 2.5666666666666666e-05, | |
| "loss": 0.6499, | |
| "step": 77 | |
| }, | |
| { | |
| "epoch": 0.03700628632427944, | |
| "grad_norm": 0.9727707505226135, | |
| "learning_rate": 2.6000000000000002e-05, | |
| "loss": 0.6037, | |
| "step": 78 | |
| }, | |
| { | |
| "epoch": 0.03748072589253944, | |
| "grad_norm": 0.9653875231742859, | |
| "learning_rate": 2.633333333333333e-05, | |
| "loss": 0.5309, | |
| "step": 79 | |
| }, | |
| { | |
| "epoch": 0.03795516546079943, | |
| "grad_norm": 0.9321266412734985, | |
| "learning_rate": 2.6666666666666667e-05, | |
| "loss": 0.52, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.03842960502905942, | |
| "grad_norm": 0.9468806385993958, | |
| "learning_rate": 2.7000000000000002e-05, | |
| "loss": 0.5323, | |
| "step": 81 | |
| }, | |
| { | |
| "epoch": 0.038904044597319415, | |
| "grad_norm": 0.8491917848587036, | |
| "learning_rate": 2.733333333333333e-05, | |
| "loss": 0.5106, | |
| "step": 82 | |
| }, | |
| { | |
| "epoch": 0.03937848416557941, | |
| "grad_norm": 0.7738452553749084, | |
| "learning_rate": 2.7666666666666667e-05, | |
| "loss": 0.5023, | |
| "step": 83 | |
| }, | |
| { | |
| "epoch": 0.039852923733839404, | |
| "grad_norm": 0.8697175979614258, | |
| "learning_rate": 2.8000000000000003e-05, | |
| "loss": 0.5128, | |
| "step": 84 | |
| }, | |
| { | |
| "epoch": 0.04032736330209939, | |
| "grad_norm": 0.8305590748786926, | |
| "learning_rate": 2.8333333333333335e-05, | |
| "loss": 0.5268, | |
| "step": 85 | |
| }, | |
| { | |
| "epoch": 0.04080180287035939, | |
| "grad_norm": 0.7482445240020752, | |
| "learning_rate": 2.8666666666666668e-05, | |
| "loss": 0.5031, | |
| "step": 86 | |
| }, | |
| { | |
| "epoch": 0.04127624243861938, | |
| "grad_norm": 0.7649620175361633, | |
| "learning_rate": 2.9e-05, | |
| "loss": 0.5165, | |
| "step": 87 | |
| }, | |
| { | |
| "epoch": 0.041750682006879376, | |
| "grad_norm": 0.7447785139083862, | |
| "learning_rate": 2.9333333333333336e-05, | |
| "loss": 0.5376, | |
| "step": 88 | |
| }, | |
| { | |
| "epoch": 0.042225121575139364, | |
| "grad_norm": 0.6879016160964966, | |
| "learning_rate": 2.9666666666666672e-05, | |
| "loss": 0.497, | |
| "step": 89 | |
| }, | |
| { | |
| "epoch": 0.04269956114339936, | |
| "grad_norm": 0.6963317394256592, | |
| "learning_rate": 3e-05, | |
| "loss": 0.459, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.043174000711659354, | |
| "grad_norm": 0.8578452467918396, | |
| "learning_rate": 3.0333333333333337e-05, | |
| "loss": 0.5259, | |
| "step": 91 | |
| }, | |
| { | |
| "epoch": 0.04364844027991935, | |
| "grad_norm": 0.8178767561912537, | |
| "learning_rate": 3.066666666666667e-05, | |
| "loss": 0.5095, | |
| "step": 92 | |
| }, | |
| { | |
| "epoch": 0.044122879848179336, | |
| "grad_norm": 0.7515349388122559, | |
| "learning_rate": 3.1e-05, | |
| "loss": 0.5328, | |
| "step": 93 | |
| }, | |
| { | |
| "epoch": 0.04459731941643933, | |
| "grad_norm": 0.8614064455032349, | |
| "learning_rate": 3.1333333333333334e-05, | |
| "loss": 0.5261, | |
| "step": 94 | |
| }, | |
| { | |
| "epoch": 0.045071758984699326, | |
| "grad_norm": 0.743465781211853, | |
| "learning_rate": 3.1666666666666666e-05, | |
| "loss": 0.5333, | |
| "step": 95 | |
| }, | |
| { | |
| "epoch": 0.04554619855295932, | |
| "grad_norm": 0.6975815296173096, | |
| "learning_rate": 3.2000000000000005e-05, | |
| "loss": 0.5108, | |
| "step": 96 | |
| }, | |
| { | |
| "epoch": 0.04602063812121931, | |
| "grad_norm": 0.7408277988433838, | |
| "learning_rate": 3.233333333333333e-05, | |
| "loss": 0.5115, | |
| "step": 97 | |
| }, | |
| { | |
| "epoch": 0.0464950776894793, | |
| "grad_norm": 0.6896212697029114, | |
| "learning_rate": 3.266666666666667e-05, | |
| "loss": 0.5285, | |
| "step": 98 | |
| }, | |
| { | |
| "epoch": 0.0469695172577393, | |
| "grad_norm": 0.6541280746459961, | |
| "learning_rate": 3.3e-05, | |
| "loss": 0.5029, | |
| "step": 99 | |
| }, | |
| { | |
| "epoch": 0.047443956825999285, | |
| "grad_norm": 0.774246335029602, | |
| "learning_rate": 3.3333333333333335e-05, | |
| "loss": 0.5129, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.047443956825999285, | |
| "eval_loss": 0.6152984499931335, | |
| "eval_runtime": 848.275, | |
| "eval_samples_per_second": 8.37, | |
| "eval_steps_per_second": 2.092, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.04791839639425928, | |
| "grad_norm": 0.7622676491737366, | |
| "learning_rate": 3.366666666666667e-05, | |
| "loss": 0.606, | |
| "step": 101 | |
| }, | |
| { | |
| "epoch": 0.048392835962519275, | |
| "grad_norm": 0.7645723819732666, | |
| "learning_rate": 3.4000000000000007e-05, | |
| "loss": 0.6439, | |
| "step": 102 | |
| }, | |
| { | |
| "epoch": 0.04886727553077927, | |
| "grad_norm": 0.794933557510376, | |
| "learning_rate": 3.433333333333333e-05, | |
| "loss": 0.6248, | |
| "step": 103 | |
| }, | |
| { | |
| "epoch": 0.04934171509903926, | |
| "grad_norm": 0.8379741311073303, | |
| "learning_rate": 3.466666666666667e-05, | |
| "loss": 0.6828, | |
| "step": 104 | |
| }, | |
| { | |
| "epoch": 0.04981615466729925, | |
| "grad_norm": 0.7191290259361267, | |
| "learning_rate": 3.5e-05, | |
| "loss": 0.6195, | |
| "step": 105 | |
| }, | |
| { | |
| "epoch": 0.05029059423555925, | |
| "grad_norm": 0.7295191287994385, | |
| "learning_rate": 3.5333333333333336e-05, | |
| "loss": 0.6372, | |
| "step": 106 | |
| }, | |
| { | |
| "epoch": 0.05076503380381924, | |
| "grad_norm": 0.8286232948303223, | |
| "learning_rate": 3.566666666666667e-05, | |
| "loss": 0.6116, | |
| "step": 107 | |
| }, | |
| { | |
| "epoch": 0.05123947337207923, | |
| "grad_norm": 0.7905992865562439, | |
| "learning_rate": 3.6e-05, | |
| "loss": 0.5729, | |
| "step": 108 | |
| }, | |
| { | |
| "epoch": 0.051713912940339224, | |
| "grad_norm": 0.7963486313819885, | |
| "learning_rate": 3.633333333333333e-05, | |
| "loss": 0.5936, | |
| "step": 109 | |
| }, | |
| { | |
| "epoch": 0.05218835250859922, | |
| "grad_norm": 0.7339712977409363, | |
| "learning_rate": 3.6666666666666666e-05, | |
| "loss": 0.5722, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 0.05266279207685921, | |
| "grad_norm": 0.796782910823822, | |
| "learning_rate": 3.7e-05, | |
| "loss": 0.5644, | |
| "step": 111 | |
| }, | |
| { | |
| "epoch": 0.0531372316451192, | |
| "grad_norm": 0.9761651754379272, | |
| "learning_rate": 3.733333333333334e-05, | |
| "loss": 0.6047, | |
| "step": 112 | |
| }, | |
| { | |
| "epoch": 0.053611671213379196, | |
| "grad_norm": 1.0321804285049438, | |
| "learning_rate": 3.766666666666667e-05, | |
| "loss": 0.5908, | |
| "step": 113 | |
| }, | |
| { | |
| "epoch": 0.05408611078163919, | |
| "grad_norm": 1.0944875478744507, | |
| "learning_rate": 3.8e-05, | |
| "loss": 0.609, | |
| "step": 114 | |
| }, | |
| { | |
| "epoch": 0.05456055034989918, | |
| "grad_norm": 0.9031066298484802, | |
| "learning_rate": 3.8333333333333334e-05, | |
| "loss": 0.5865, | |
| "step": 115 | |
| }, | |
| { | |
| "epoch": 0.05503498991815917, | |
| "grad_norm": 0.9918826222419739, | |
| "learning_rate": 3.866666666666667e-05, | |
| "loss": 0.6191, | |
| "step": 116 | |
| }, | |
| { | |
| "epoch": 0.05550942948641917, | |
| "grad_norm": 0.935981273651123, | |
| "learning_rate": 3.9000000000000006e-05, | |
| "loss": 0.5879, | |
| "step": 117 | |
| }, | |
| { | |
| "epoch": 0.05598386905467916, | |
| "grad_norm": 1.0208978652954102, | |
| "learning_rate": 3.933333333333333e-05, | |
| "loss": 0.6392, | |
| "step": 118 | |
| }, | |
| { | |
| "epoch": 0.05645830862293915, | |
| "grad_norm": 0.9402481913566589, | |
| "learning_rate": 3.966666666666667e-05, | |
| "loss": 0.6081, | |
| "step": 119 | |
| }, | |
| { | |
| "epoch": 0.056932748191199145, | |
| "grad_norm": 0.9677188396453857, | |
| "learning_rate": 4e-05, | |
| "loss": 0.6061, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.05740718775945914, | |
| "grad_norm": 0.9563785791397095, | |
| "learning_rate": 4.0333333333333336e-05, | |
| "loss": 0.6148, | |
| "step": 121 | |
| }, | |
| { | |
| "epoch": 0.057881627327719135, | |
| "grad_norm": 0.9848144054412842, | |
| "learning_rate": 4.066666666666667e-05, | |
| "loss": 0.5913, | |
| "step": 122 | |
| }, | |
| { | |
| "epoch": 0.05835606689597912, | |
| "grad_norm": 1.0895841121673584, | |
| "learning_rate": 4.1e-05, | |
| "loss": 0.6033, | |
| "step": 123 | |
| }, | |
| { | |
| "epoch": 0.05883050646423912, | |
| "grad_norm": 0.9529857635498047, | |
| "learning_rate": 4.133333333333333e-05, | |
| "loss": 0.6168, | |
| "step": 124 | |
| }, | |
| { | |
| "epoch": 0.05930494603249911, | |
| "grad_norm": 0.9967851638793945, | |
| "learning_rate": 4.166666666666667e-05, | |
| "loss": 0.6192, | |
| "step": 125 | |
| }, | |
| { | |
| "epoch": 0.059779385600759107, | |
| "grad_norm": 1.0510427951812744, | |
| "learning_rate": 4.2e-05, | |
| "loss": 0.6253, | |
| "step": 126 | |
| }, | |
| { | |
| "epoch": 0.060253825169019094, | |
| "grad_norm": 1.0621651411056519, | |
| "learning_rate": 4.233333333333334e-05, | |
| "loss": 0.6501, | |
| "step": 127 | |
| }, | |
| { | |
| "epoch": 0.06072826473727909, | |
| "grad_norm": 0.95118647813797, | |
| "learning_rate": 4.266666666666667e-05, | |
| "loss": 0.5404, | |
| "step": 128 | |
| }, | |
| { | |
| "epoch": 0.061202704305539084, | |
| "grad_norm": 0.9522389769554138, | |
| "learning_rate": 4.3e-05, | |
| "loss": 0.5584, | |
| "step": 129 | |
| }, | |
| { | |
| "epoch": 0.06167714387379907, | |
| "grad_norm": 0.9012666940689087, | |
| "learning_rate": 4.3333333333333334e-05, | |
| "loss": 0.5293, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 0.062151583442059066, | |
| "grad_norm": 0.7849039435386658, | |
| "learning_rate": 4.3666666666666666e-05, | |
| "loss": 0.5287, | |
| "step": 131 | |
| }, | |
| { | |
| "epoch": 0.06262602301031905, | |
| "grad_norm": 0.7727446556091309, | |
| "learning_rate": 4.4000000000000006e-05, | |
| "loss": 0.4966, | |
| "step": 132 | |
| }, | |
| { | |
| "epoch": 0.06310046257857906, | |
| "grad_norm": 0.7492961883544922, | |
| "learning_rate": 4.433333333333334e-05, | |
| "loss": 0.5113, | |
| "step": 133 | |
| }, | |
| { | |
| "epoch": 0.06357490214683904, | |
| "grad_norm": 0.851240873336792, | |
| "learning_rate": 4.466666666666667e-05, | |
| "loss": 0.4814, | |
| "step": 134 | |
| }, | |
| { | |
| "epoch": 0.06404934171509905, | |
| "grad_norm": 0.696323573589325, | |
| "learning_rate": 4.5e-05, | |
| "loss": 0.4951, | |
| "step": 135 | |
| }, | |
| { | |
| "epoch": 0.06452378128335903, | |
| "grad_norm": 0.712622880935669, | |
| "learning_rate": 4.5333333333333335e-05, | |
| "loss": 0.4679, | |
| "step": 136 | |
| }, | |
| { | |
| "epoch": 0.06499822085161902, | |
| "grad_norm": 0.6531604528427124, | |
| "learning_rate": 4.566666666666667e-05, | |
| "loss": 0.4736, | |
| "step": 137 | |
| }, | |
| { | |
| "epoch": 0.06547266041987902, | |
| "grad_norm": 0.6559727787971497, | |
| "learning_rate": 4.600000000000001e-05, | |
| "loss": 0.4663, | |
| "step": 138 | |
| }, | |
| { | |
| "epoch": 0.06594709998813901, | |
| "grad_norm": 0.7849781513214111, | |
| "learning_rate": 4.633333333333333e-05, | |
| "loss": 0.4749, | |
| "step": 139 | |
| }, | |
| { | |
| "epoch": 0.066421539556399, | |
| "grad_norm": 0.6514148116111755, | |
| "learning_rate": 4.666666666666667e-05, | |
| "loss": 0.4433, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.066895979124659, | |
| "grad_norm": 0.7218091487884521, | |
| "learning_rate": 4.7e-05, | |
| "loss": 0.4618, | |
| "step": 141 | |
| }, | |
| { | |
| "epoch": 0.06737041869291899, | |
| "grad_norm": 0.8696113228797913, | |
| "learning_rate": 4.7333333333333336e-05, | |
| "loss": 0.5214, | |
| "step": 142 | |
| }, | |
| { | |
| "epoch": 0.06784485826117899, | |
| "grad_norm": 0.6764204502105713, | |
| "learning_rate": 4.766666666666667e-05, | |
| "loss": 0.4632, | |
| "step": 143 | |
| }, | |
| { | |
| "epoch": 0.06831929782943898, | |
| "grad_norm": 0.6929240226745605, | |
| "learning_rate": 4.8e-05, | |
| "loss": 0.4505, | |
| "step": 144 | |
| }, | |
| { | |
| "epoch": 0.06879373739769896, | |
| "grad_norm": 0.7792762517929077, | |
| "learning_rate": 4.8333333333333334e-05, | |
| "loss": 0.515, | |
| "step": 145 | |
| }, | |
| { | |
| "epoch": 0.06926817696595897, | |
| "grad_norm": 0.7740099430084229, | |
| "learning_rate": 4.866666666666667e-05, | |
| "loss": 0.52, | |
| "step": 146 | |
| }, | |
| { | |
| "epoch": 0.06974261653421895, | |
| "grad_norm": 0.6254486441612244, | |
| "learning_rate": 4.9e-05, | |
| "loss": 0.4599, | |
| "step": 147 | |
| }, | |
| { | |
| "epoch": 0.07021705610247894, | |
| "grad_norm": 0.6425098776817322, | |
| "learning_rate": 4.933333333333334e-05, | |
| "loss": 0.4807, | |
| "step": 148 | |
| }, | |
| { | |
| "epoch": 0.07069149567073894, | |
| "grad_norm": 0.6772657036781311, | |
| "learning_rate": 4.966666666666667e-05, | |
| "loss": 0.4762, | |
| "step": 149 | |
| }, | |
| { | |
| "epoch": 0.07116593523899893, | |
| "grad_norm": 0.6634912490844727, | |
| "learning_rate": 5e-05, | |
| "loss": 0.476, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 0.07116593523899893, | |
| "eval_loss": 0.5722422003746033, | |
| "eval_runtime": 847.2641, | |
| "eval_samples_per_second": 8.38, | |
| "eval_steps_per_second": 2.095, | |
| "step": 150 | |
| } | |
| ], | |
| "logging_steps": 1, | |
| "max_steps": 200, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 1, | |
| "save_steps": 50, | |
| "stateful_callbacks": { | |
| "EarlyStoppingCallback": { | |
| "args": { | |
| "early_stopping_patience": 4, | |
| "early_stopping_threshold": 0.0 | |
| }, | |
| "attributes": { | |
| "early_stopping_patience_counter": 0 | |
| } | |
| }, | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": false | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 7.139320027215299e+17, | |
| "train_batch_size": 8, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |