ofs | hex dump | ascii |
---|
0000 | 42 0d 0d 0a 00 00 00 00 77 86 7e 5c 5d 31 00 00 e3 00 00 00 00 00 00 00 00 00 00 00 00 04 00 00 | B.......w.~\]1.................. |
0020 | 00 40 00 00 00 73 ce 00 00 00 64 00 5a 00 64 01 64 02 6c 01 6d 02 5a 02 01 00 64 01 64 03 6c 01 | .@...s....d.Z.d.d.l.m.Z...d.d.l. |
0040 | 6d 03 5a 03 01 00 64 01 64 04 6c 01 6d 04 5a 04 01 00 64 01 64 05 6c 05 6d 06 5a 06 01 00 64 01 | m.Z...d.d.l.m.Z...d.d.l.m.Z...d. |
0060 | 64 06 6c 05 6d 07 5a 07 01 00 64 01 64 07 6c 05 6d 08 5a 08 01 00 64 01 64 08 6c 05 6d 09 5a 09 | d.l.m.Z...d.d.l.m.Z...d.d.l.m.Z. |
0080 | 01 00 64 01 64 09 6c 0a 6d 0b 5a 0b 01 00 64 01 64 0a 6c 0a 6d 0c 5a 0c 01 00 64 01 64 0b 6c 0a | ..d.d.l.m.Z...d.d.l.m.Z...d.d.l. |
00a0 | 6d 0d 5a 0d 01 00 64 01 64 0c 6c 0a 6d 0e 5a 0e 01 00 64 01 64 0d 6c 0a 6d 0f 5a 0f 01 00 64 0e | m.Z...d.d.l.m.Z...d.d.l.m.Z...d. |
00c0 | 67 01 5a 10 64 0f 64 10 84 00 5a 11 64 11 64 12 84 00 5a 12 64 13 64 14 84 00 5a 13 64 15 64 16 | g.Z.d.d...Z.d.d...Z.d.d...Z.d.d. |
00e0 | 84 00 5a 14 47 00 64 17 64 0e 84 00 64 0e 65 15 83 03 5a 16 64 18 53 00 29 19 61 2f 01 00 00 56 | ..Z.G.d.d...d.e...Z.d.S.).a/...V |
0100 | 69 72 74 75 61 6c 20 62 61 74 63 68 20 6e 6f 72 6d 61 6c 69 7a 61 74 69 6f 6e 2e 0a 0a 54 68 69 | irtual.batch.normalization...Thi |
0120 | 73 20 74 65 63 68 6e 69 71 75 65 20 77 61 73 20 66 69 72 73 74 20 69 6e 74 72 6f 64 75 63 65 64 | s.technique.was.first.introduced |
0140 | 20 69 6e 20 60 49 6d 70 72 6f 76 65 64 20 54 65 63 68 6e 69 71 75 65 73 20 66 6f 72 20 54 72 61 | .in.`Improved.Techniques.for.Tra |
0160 | 69 6e 69 6e 67 20 47 41 4e 73 60 0a 28 53 61 6c 69 6d 61 6e 73 20 65 74 20 61 6c 2c 20 68 74 74 | ining.GANs`.(Salimans.et.al,.htt |
0180 | 70 73 3a 2f 2f 61 72 78 69 76 2e 6f 72 67 2f 61 62 73 2f 31 36 30 36 2e 30 33 34 39 38 29 2e 20 | ps://arxiv.org/abs/1606.03498).. |
01a0 | 49 6e 73 74 65 61 64 20 6f 66 20 75 73 69 6e 67 20 62 61 74 63 68 0a 6e 6f 72 6d 61 6c 69 7a 61 | Instead.of.using.batch.normaliza |
01c0 | 74 69 6f 6e 20 6f 6e 20 61 20 6d 69 6e 69 62 61 74 63 68 2c 20 69 74 20 66 69 78 65 73 20 61 20 | tion.on.a.minibatch,.it.fixes.a. |
01e0 | 72 65 66 65 72 65 6e 63 65 20 73 75 62 73 65 74 20 6f 66 20 74 68 65 20 64 61 74 61 20 74 6f 20 | reference.subset.of.the.data.to. |
0200 | 75 73 65 20 66 6f 72 0a 63 61 6c 63 75 6c 61 74 69 6e 67 20 6e 6f 72 6d 61 6c 69 7a 61 74 69 6f | use.for.calculating.normalizatio |
0220 | 6e 20 73 74 61 74 69 73 74 69 63 73 2e 0a e9 00 00 00 00 29 01 da 0f 61 62 73 6f 6c 75 74 65 5f | n.statistics.......)...absolute_ |
0240 | 69 6d 70 6f 72 74 29 01 da 08 64 69 76 69 73 69 6f 6e 29 01 da 0e 70 72 69 6e 74 5f 66 75 6e 63 | import)...division)...print_func |
0260 | 74 69 6f 6e 29 01 da 06 64 74 79 70 65 73 29 01 da 03 6f 70 73 29 01 da 0c 74 65 6e 73 6f 72 5f | tion)...dtypes)...ops)...tensor_ |
0280 | 73 68 61 70 65 29 01 da 0b 74 65 6e 73 6f 72 5f 75 74 69 6c 29 01 da 09 61 72 72 61 79 5f 6f 70 | shape)...tensor_util)...array_op |
02a0 | 73 29 01 da 08 69 6e 69 74 5f 6f 70 73 29 01 da 08 6d 61 74 68 5f 6f 70 73 29 01 da 02 6e 6e 29 | s)...init_ops)...math_ops)...nn) |
02c0 | 01 da 0e 76 61 72 69 61 62 6c 65 5f 73 63 6f 70 65 da 03 56 42 4e 63 02 00 00 00 00 00 00 00 04 | ...variable_scope..VBNc......... |
02e0 | 00 00 00 03 00 00 00 43 00 00 00 73 20 00 00 00 74 00 a0 01 7c 00 a1 01 7c 01 19 00 7d 02 74 02 | .......C...s....t...|...|...}.t. |
0300 | a0 03 7c 02 a1 01 7d 03 7c 03 70 1e 7c 02 53 00 29 01 7a 29 52 65 74 75 72 6e 73 20 74 68 65 20 | ..|...}.|.p.|.S.).z)Returns.the. |
0320 | 73 74 61 74 69 63 20 6f 72 20 64 79 6e 61 6d 69 63 20 62 61 74 63 68 20 73 69 7a 65 2e 29 04 72 | static.or.dynamic.batch.size.).r |
0340 | 09 00 00 00 da 05 73 68 61 70 65 72 08 00 00 00 da 0e 63 6f 6e 73 74 61 6e 74 5f 76 61 6c 75 65 | ......shaper......constant_value |
0360 | 29 04 da 06 74 65 6e 73 6f 72 da 0a 62 61 74 63 68 5f 61 78 69 73 da 0a 62 61 74 63 68 5f 73 69 | )...tensor..batch_axis..batch_si |
0380 | 7a 65 da 11 73 74 61 74 69 63 5f 62 61 74 63 68 5f 73 69 7a 65 a9 00 72 15 00 00 00 fa 2e 2f 68 | ze..static_batch_size..r....../h |
03a0 | 6f 6d 65 2f 76 73 7a 2f 65 34 2d 67 61 6e 2f 6c 69 62 2f 76 69 72 74 75 61 6c 5f 62 61 74 63 68 | ome/vsz/e4-gan/lib/virtual_batch |
03c0 | 6e 6f 72 6d 5f 69 6d 70 6c 2e 70 79 da 1d 5f 73 74 61 74 69 63 5f 6f 72 5f 64 79 6e 61 6d 69 63 | norm_impl.py.._static_or_dynamic |
03e0 | 5f 62 61 74 63 68 5f 73 69 7a 65 29 00 00 00 73 06 00 00 00 00 02 0e 01 0a 01 72 17 00 00 00 63 | _batch_size)...s..........r....c |
0400 | 02 00 00 00 00 00 00 00 07 00 00 00 07 00 00 00 43 00 00 00 73 b2 00 00 00 7c 00 6a 00 74 01 6a | ................C...s....|.j.t.j |
0420 | 02 6b 02 72 1a 74 03 a0 04 7c 00 74 01 6a 05 a1 02 6e 02 7c 00 7d 02 74 06 a0 07 74 03 6a 08 7c | .k.r.t...|.t.j...n.|.}.t...t.j.| |
0440 | 02 7c 01 64 01 64 02 8d 03 a1 01 7d 03 74 03 6a 08 7c 02 7c 03 18 00 7c 01 64 01 64 02 8d 03 7d | .|.d.d.....}.t.j.|.|...|.d.d...} |
0460 | 04 7c 04 7c 03 17 00 7d 05 74 03 6a 08 74 03 a0 09 7c 02 a1 01 7c 01 64 01 64 02 8d 03 7d 06 74 | .|.|...}.t.j.t...|...|.d.d...}.t |
0480 | 06 a0 0a 7c 05 7c 01 a1 02 7d 05 74 06 a0 0a 7c 06 7c 01 a1 02 7d 06 7c 00 6a 00 74 01 6a 02 6b | ...|.|...}.t...|.|...}.|.j.t.j.k |
04a0 | 02 72 a6 74 03 a0 04 7c 05 74 01 6a 02 a1 02 74 03 a0 04 7c 06 74 01 6a 02 a1 02 66 02 53 00 7c | .r.t...|.t.j...t...|.t.j...f.S.| |
04c0 | 05 7c 06 66 02 53 00 64 03 53 00 29 04 61 10 01 00 00 43 61 6c 63 75 6c 61 74 65 20 74 68 65 20 | .|.f.S.d.S.).a....Calculate.the. |
04e0 | 6d 65 61 6e 20 61 6e 64 20 6d 65 61 6e 20 73 71 75 61 72 65 20 6f 66 20 60 78 60 2e 0a 0a 20 20 | mean.and.mean.square.of.`x`..... |
0500 | 4d 6f 64 69 66 69 65 64 20 66 72 6f 6d 20 74 68 65 20 69 6d 70 6c 65 6d 65 6e 74 61 74 69 6f 6e | Modified.from.the.implementation |
0520 | 20 6f 66 20 60 74 66 2e 6e 6e 2e 6d 6f 6d 65 6e 74 73 60 2e 0a 0a 20 20 41 72 67 73 3a 0a 20 20 | .of.`tf.nn.moments`.....Args:... |
0540 | 20 20 78 3a 20 41 20 60 54 65 6e 73 6f 72 60 2e 0a 20 20 20 20 61 78 65 73 3a 20 41 72 72 61 79 | ..x:.A.`Tensor`......axes:.Array |
0560 | 20 6f 66 20 69 6e 74 73 2e 20 20 41 78 65 73 20 61 6c 6f 6e 67 20 77 68 69 63 68 20 74 6f 20 63 | .of.ints...Axes.along.which.to.c |
0580 | 6f 6d 70 75 74 65 20 6d 65 61 6e 20 61 6e 64 0a 20 20 20 20 20 20 76 61 72 69 61 6e 63 65 2e 0a | ompute.mean.and.......variance.. |
05a0 | 0a 20 20 52 65 74 75 72 6e 73 3a 0a 20 20 20 20 54 77 6f 20 60 54 65 6e 73 6f 72 60 20 6f 62 6a | ...Returns:.....Two.`Tensor`.obj |
05c0 | 65 63 74 73 3a 20 60 6d 65 61 6e 60 20 61 6e 64 20 60 73 71 75 61 72 65 20 6d 65 61 6e 60 2e 0a | ects:.`mean`.and.`square.mean`.. |
05e0 | 20 20 54 29 01 da 08 6b 65 65 70 64 69 6d 73 4e 29 0b da 05 64 74 79 70 65 72 05 00 00 00 da 07 | ..T)...keepdimsN)...dtyper...... |
0600 | 66 6c 6f 61 74 31 36 72 0b 00 00 00 da 04 63 61 73 74 da 07 66 6c 6f 61 74 33 32 72 09 00 00 00 | float16r......cast..float32r.... |
0620 | da 0d 73 74 6f 70 5f 67 72 61 64 69 65 6e 74 da 0b 72 65 64 75 63 65 5f 6d 65 61 6e da 06 73 71 | ..stop_gradient..reduce_mean..sq |
0640 | 75 61 72 65 da 07 73 71 75 65 65 7a 65 29 07 da 01 78 da 04 61 78 65 73 da 01 79 da 05 73 68 69 | uare..squeeze)...x..axes..y..shi |
0660 | 66 74 da 0c 73 68 69 66 74 65 64 5f 6d 65 61 6e da 04 6d 65 61 6e 5a 0c 6d 65 61 6e 5f 73 71 75 | ft..shifted_mean..meanZ.mean_squ |
0680 | 61 72 65 64 72 15 00 00 00 72 15 00 00 00 72 16 00 00 00 da 0b 5f 73 74 61 74 69 73 74 69 63 73 | aredr....r....r......_statistics |
06a0 | 30 00 00 00 73 16 00 00 00 00 10 1e 03 16 02 14 01 08 01 16 02 0c 01 0c 01 0c 01 0c 01 10 02 72 | 0...s..........................r |
06c0 | 27 00 00 00 63 02 00 00 00 00 00 00 00 04 00 00 00 04 00 00 00 43 00 00 00 73 62 00 00 00 7c 00 | '...c................C...sb...|. |
06e0 | 6a 00 6a 01 64 01 6b 08 72 14 74 02 64 02 83 01 82 01 7c 00 6a 00 6a 01 7d 02 7c 01 64 03 6b 00 | j.j.d.k.r.t.d.....|.j.j.}.|.d.k. |
0700 | 72 2e 7c 02 7c 01 17 00 7d 03 6e 04 7c 01 7d 03 7c 03 64 03 6b 00 73 42 7c 03 7c 02 6b 05 72 5e | r.|.|...}.n.|.}.|.d.k.sB|.|.k.r^ |
0720 | 74 02 64 04 74 03 7c 03 83 01 17 00 64 05 17 00 74 03 7c 02 83 01 17 00 83 01 82 01 7c 03 53 00 | t.d.t.|.....d...t.|.........|.S. |
0740 | 29 06 7a 2e 56 61 6c 69 64 61 74 65 20 69 6e 70 75 74 20 61 6e 64 20 72 65 74 75 72 6e 20 74 68 | ).z.Validate.input.and.return.th |
0760 | 65 20 75 73 65 64 20 61 78 69 73 20 76 61 6c 75 65 2e 4e 7a 29 60 72 65 66 65 72 65 6e 63 65 5f | e.used.axis.value.Nz)`reference_ |
0780 | 62 61 74 63 68 60 20 68 61 73 20 75 6e 6b 6e 6f 77 6e 20 64 69 6d 65 6e 73 69 6f 6e 73 2e 72 01 | batch`.has.unknown.dimensions.r. |
07a0 | 00 00 00 7a 19 56 61 6c 75 65 20 6f 66 20 60 61 78 69 73 60 20 61 72 67 75 6d 65 6e 74 20 7a 25 | ...z.Value.of.`axis`.argument.z% |
07c0 | 20 69 73 20 6f 75 74 20 6f 66 20 72 61 6e 67 65 20 66 6f 72 20 69 6e 70 75 74 20 77 69 74 68 20 | .is.out.of.range.for.input.with. |
07e0 | 72 61 6e 6b 20 29 04 72 0f 00 00 00 da 05 6e 64 69 6d 73 da 0a 56 61 6c 75 65 45 72 72 6f 72 da | rank.).r......ndims..ValueError. |
0800 | 03 73 74 72 29 04 da 0f 72 65 66 65 72 65 6e 63 65 5f 62 61 74 63 68 da 04 61 78 69 73 72 28 00 | .str)...reference_batch..axisr(. |
0820 | 00 00 5a 09 75 73 65 64 5f 61 78 69 73 72 15 00 00 00 72 15 00 00 00 72 16 00 00 00 da 21 5f 76 | ..Z.used_axisr....r....r.....!_v |
0840 | 61 6c 69 64 61 74 65 5f 69 6e 69 74 5f 69 6e 70 75 74 5f 61 6e 64 5f 67 65 74 5f 61 78 69 73 52 | alidate_init_input_and_get_axisR |
0860 | 00 00 00 73 14 00 00 00 00 02 0c 01 08 02 08 01 08 01 0a 02 04 01 10 01 02 01 1a 01 72 2d 00 00 | ...s........................r-.. |
0880 | 00 63 02 00 00 00 00 00 00 00 05 00 00 00 05 00 00 00 03 00 00 00 73 3e 00 00 00 87 00 66 01 64 | .c....................s>.....f.d |
08a0 | 01 64 02 84 08 7d 02 74 00 a0 01 7c 02 7c 00 64 03 19 00 83 01 a1 01 7d 03 78 1a 7c 00 44 00 5d | .d...}.t...|.|.d.......}.x.|.D.] |
08c0 | 12 7d 04 7c 03 a0 02 7c 02 7c 04 83 01 a1 01 01 00 71 24 57 00 64 04 53 00 29 05 7a 43 56 65 72 | .}.|...|.|.......q$W.d.S.).zCVer |
08e0 | 69 66 69 65 73 20 74 68 61 74 20 74 65 6e 73 6f 72 20 73 68 61 70 65 73 20 61 72 65 20 63 6f 6d | ifies.that.tensor.shapes.are.com |
0900 | 70 61 74 69 62 6c 65 2c 20 65 78 63 65 70 74 20 66 6f 72 20 60 62 61 74 63 68 5f 64 69 6d 60 2e | patible,.except.for.`batch_dim`. |
0920 | 63 01 00 00 00 00 00 00 00 02 00 00 00 02 00 00 00 13 00 00 00 73 14 00 00 00 7c 00 6a 00 a0 01 | c....................s....|.j... |
0940 | a1 00 7d 01 7c 01 88 00 3d 00 7c 01 53 00 29 01 4e 29 02 72 0f 00 00 00 da 07 61 73 5f 6c 69 73 | ..}.|...=.|.S.).N).r......as_lis |
0960 | 74 29 02 72 11 00 00 00 72 0f 00 00 00 29 01 da 09 62 61 74 63 68 5f 64 69 6d 72 15 00 00 00 72 | t).r....r....)...batch_dimr....r |
0980 | 16 00 00 00 da 0a 5f 67 65 74 5f 73 68 61 70 65 64 00 00 00 73 06 00 00 00 00 01 0a 01 06 01 7a | ......_get_shaped...s..........z |
09a0 | 28 5f 76 61 6c 69 64 61 74 65 5f 63 61 6c 6c 5f 69 6e 70 75 74 2e 3c 6c 6f 63 61 6c 73 3e 2e 5f | (_validate_call_input.<locals>._ |
09c0 | 67 65 74 5f 73 68 61 70 65 72 01 00 00 00 4e 29 03 72 07 00 00 00 da 0b 54 65 6e 73 6f 72 53 68 | get_shaper....N).r......TensorSh |
09e0 | 61 70 65 da 19 61 73 73 65 72 74 5f 69 73 5f 63 6f 6d 70 61 74 69 62 6c 65 5f 77 69 74 68 29 05 | ape..assert_is_compatible_with). |
0a00 | da 0b 74 65 6e 73 6f 72 5f 6c 69 73 74 72 2f 00 00 00 72 30 00 00 00 5a 0a 62 61 73 65 5f 73 68 | ..tensor_listr/...r0...Z.base_sh |
0a20 | 61 70 65 72 11 00 00 00 72 15 00 00 00 29 01 72 2f 00 00 00 72 16 00 00 00 da 14 5f 76 61 6c 69 | aper....r....).r/...r......_vali |
0a40 | 64 61 74 65 5f 63 61 6c 6c 5f 69 6e 70 75 74 62 00 00 00 73 08 00 00 00 00 02 0c 04 12 01 0a 01 | date_call_inputb...s............ |
0a60 | 72 34 00 00 00 63 00 00 00 00 00 00 00 00 00 00 00 00 0b 00 00 00 40 00 00 00 73 5a 00 00 00 65 | r4...c................@...sZ...e |
0a80 | 00 5a 01 64 00 5a 02 64 01 5a 03 64 02 64 03 64 04 64 04 65 04 a0 05 a1 00 65 04 a0 06 a1 00 64 | .Z.d.Z.d.Z.d.d.d.d.e.....e.....d |
0aa0 | 05 64 05 64 04 64 05 64 06 66 0b 64 07 64 08 84 01 5a 07 64 09 64 0a 84 00 5a 08 64 11 64 0b 64 | .d.d.d.d.f.d.d...Z.d.d...Z.d.d.d |
0ac0 | 0c 84 01 5a 09 64 0d 64 0e 84 00 5a 0a 64 0f 64 10 84 00 5a 0b 64 05 53 00 29 12 72 0e 00 00 00 | ...Z.d.d...Z.d.d...Z.d.S.).r.... |
0ae0 | 61 d4 02 00 00 41 20 63 6c 61 73 73 20 74 6f 20 70 65 72 66 6f 72 6d 20 76 69 72 74 75 61 6c 20 | a....A.class.to.perform.virtual. |
0b00 | 62 61 74 63 68 20 6e 6f 72 6d 61 6c 69 7a 61 74 69 6f 6e 2e 0a 0a 20 20 54 68 69 73 20 74 65 63 | batch.normalization.....This.tec |
0b20 | 68 6e 69 71 75 65 20 77 61 73 20 66 69 72 73 74 20 69 6e 74 72 6f 64 75 63 65 64 20 69 6e 20 60 | hnique.was.first.introduced.in.` |
0b40 | 49 6d 70 72 6f 76 65 64 20 54 65 63 68 6e 69 71 75 65 73 20 66 6f 72 20 54 72 61 69 6e 69 6e 67 | Improved.Techniques.for.Training |
0b60 | 20 47 41 4e 73 60 0a 20 20 28 53 61 6c 69 6d 61 6e 73 20 65 74 20 61 6c 2c 20 68 74 74 70 73 3a | .GANs`...(Salimans.et.al,.https: |
0b80 | 2f 2f 61 72 78 69 76 2e 6f 72 67 2f 61 62 73 2f 31 36 30 36 2e 30 33 34 39 38 29 2e 20 49 6e 73 | //arxiv.org/abs/1606.03498)..Ins |
0ba0 | 74 65 61 64 20 6f 66 20 75 73 69 6e 67 20 62 61 74 63 68 0a 20 20 6e 6f 72 6d 61 6c 69 7a 61 74 | tead.of.using.batch...normalizat |
0bc0 | 69 6f 6e 20 6f 6e 20 61 20 6d 69 6e 69 62 61 74 63 68 2c 20 69 74 20 66 69 78 65 73 20 61 20 72 | ion.on.a.minibatch,.it.fixes.a.r |
0be0 | 65 66 65 72 65 6e 63 65 20 73 75 62 73 65 74 20 6f 66 20 74 68 65 20 64 61 74 61 20 74 6f 20 75 | eference.subset.of.the.data.to.u |
0c00 | 73 65 0a 20 20 66 6f 72 20 63 61 6c 63 75 6c 61 74 69 6e 67 20 6e 6f 72 6d 61 6c 69 7a 61 74 69 | se...for.calculating.normalizati |
0c20 | 6f 6e 20 73 74 61 74 69 73 74 69 63 73 2e 0a 0a 20 20 54 6f 20 64 6f 20 74 68 69 73 2c 20 77 65 | on.statistics.....To.do.this,.we |
0c40 | 20 63 61 6c 63 75 6c 61 74 65 20 74 68 65 20 72 65 66 65 72 65 6e 63 65 20 62 61 74 63 68 20 6d | .calculate.the.reference.batch.m |
0c60 | 65 61 6e 20 61 6e 64 20 6d 65 61 6e 20 73 71 75 61 72 65 2c 20 61 6e 64 20 6d 6f 64 69 66 79 0a | ean.and.mean.square,.and.modify. |
0c80 | 20 20 74 68 6f 73 65 20 73 74 61 74 69 73 74 69 63 73 20 66 6f 72 20 65 61 63 68 20 65 78 61 6d | ..those.statistics.for.each.exam |
0ca0 | 70 6c 65 2e 20 57 65 20 75 73 65 20 6d 65 61 6e 20 73 71 75 61 72 65 20 69 6e 73 74 65 61 64 20 | ple..We.use.mean.square.instead. |
0cc0 | 6f 66 20 76 61 72 69 61 6e 63 65 2c 0a 20 20 73 69 6e 63 65 20 69 74 20 69 73 20 6c 69 6e 65 61 | of.variance,...since.it.is.linea |
0ce0 | 72 2e 0a 0a 20 20 4e 6f 74 65 20 74 68 61 74 20 69 66 20 60 63 65 6e 74 65 72 60 20 6f 72 20 60 | r.....Note.that.if.`center`.or.` |
0d00 | 73 63 61 6c 65 60 20 76 61 72 69 61 62 6c 65 73 20 61 72 65 20 63 72 65 61 74 65 64 2c 20 74 68 | scale`.variables.are.created,.th |
0d20 | 65 79 20 61 72 65 20 73 68 61 72 65 64 0a 20 20 62 65 74 77 65 65 6e 20 61 6c 6c 20 63 61 6c 6c | ey.are.shared...between.all.call |
0d40 | 73 20 74 6f 20 74 68 69 73 20 6f 62 6a 65 63 74 2e 0a 0a 20 20 54 68 65 20 60 5f 5f 69 6e 69 74 | s.to.this.object.....The.`__init |
0d60 | 5f 5f 60 20 41 50 49 20 69 73 20 69 6e 74 65 6e 64 65 64 20 74 6f 20 6d 69 6d 69 63 20 60 74 66 | __`.API.is.intended.to.mimic.`tf |
0d80 | 2e 6c 61 79 65 72 73 2e 62 61 74 63 68 5f 6e 6f 72 6d 61 6c 69 7a 61 74 69 6f 6e 60 20 61 73 0a | .layers.batch_normalization`.as. |
0da0 | 20 20 63 6c 6f 73 65 6c 79 20 61 73 20 70 6f 73 73 69 62 6c 65 2e 0a 20 20 e9 ff ff ff ff 67 fc | ..closely.as.possible.........g. |
0dc0 | a9 f1 d2 4d 62 50 3f 54 4e 72 01 00 00 00 63 0d 00 00 00 00 00 00 00 12 00 00 00 09 00 00 00 43 | ...MbP?TNr....c................C |
0de0 | 00 00 00 73 92 01 00 00 74 00 7c 01 7c 02 83 02 7d 02 7c 03 7c 00 5f 01 64 01 7c 00 5f 02 64 02 | ...s....t.|.|...}.|.|._.d.|._.d. |
0e00 | 7c 00 5f 03 74 00 7c 01 7c 0c 83 02 7c 00 5f 04 7c 02 7c 00 6a 04 6b 02 72 3a 74 05 64 03 83 01 | |._.t.|.|...|._.|.|.j.k.r:t.d... |
0e20 | 82 01 74 06 6a 06 7c 0b 64 04 7c 01 67 01 64 05 8d 03 90 01 8f 3a 7c 00 5f 07 7c 01 7c 00 5f 08 | ..t.j.|.d.|.g.d......:|._.|.|._. |
0e40 | 7c 00 6a 08 6a 09 7d 0d 7c 0d 6a 0a 7d 0e 74 0b 74 0c 7c 0e 83 01 83 01 7d 0f 7c 0f 7c 02 3d 00 | |.j.j.}.|.j.}.t.t.|.....}.|.|.=. |
0e60 | 64 02 67 01 74 0d 7c 0d 83 01 14 00 7c 00 5f 0e 7c 0d 7c 02 19 00 6a 0f 7c 00 6a 0e 7c 02 3c 00 | d.g.t.|.....|._.|.|...j.|.j.|.<. |
0e80 | 74 0b 74 0c 7c 0e 83 01 83 01 7c 00 5f 10 7c 00 6a 10 74 11 7c 02 7c 00 6a 04 83 02 3d 00 7c 00 | t.t.|.....|._.|.j.t.|.|.j...=.|. |
0ea0 | 6a 10 74 12 7c 02 7c 00 6a 04 83 02 3d 00 7c 00 6a 08 6a 09 7c 02 19 00 7d 10 74 13 7c 00 6a 10 | j.t.|.|.j...=.|.j.j.|...}.t.|.j. |
0ec0 | 83 01 74 0b 74 0c 7c 0e 83 01 83 01 64 06 64 07 85 02 19 00 6b 03 7c 00 5f 14 74 15 7c 00 6a 08 | ..t.t.|.....d.d.....k.|._.t.|.j. |
0ee0 | 7c 0f 83 02 5c 02 7c 00 5f 16 7c 00 5f 17 7c 00 6a 17 74 18 a0 19 7c 00 6a 16 a1 01 18 00 7c 00 | |...\.|._.|._.|.j.t...|.j.....|. |
0f00 | 5f 1a 74 1b 7c 00 6a 08 7c 00 6a 04 83 02 7d 11 64 08 74 18 a0 1c 7c 11 a1 01 64 08 17 00 1b 00 | _.t.|.j.|.j...}.d.t...|...d..... |
0f20 | 7c 00 5f 1d 64 08 7c 00 6a 1d 18 00 7c 00 5f 1e 7c 04 90 01 72 66 74 06 6a 1f 64 09 7c 10 66 01 | |._.d.|.j...|._.|...rft.j.d.|.f. |
0f40 | 7c 06 7c 08 7c 0a 64 0a 8d 05 7c 00 5f 02 7c 05 90 01 72 84 74 06 6a 1f 64 0b 7c 10 66 01 7c 07 | |.|.|.d...|._.|...r.t.j.d.|.f.|. |
0f60 | 7c 09 7c 0a 64 0a 8d 05 7c 00 5f 03 57 00 64 06 51 00 52 00 58 00 64 06 53 00 29 0c 61 ab 07 00 | |.|.d...|._.W.d.Q.R.X.d.S.).a... |
0f80 | 00 49 6e 69 74 69 61 6c 69 7a 65 20 76 69 72 74 75 61 6c 20 62 61 74 63 68 20 6e 6f 72 6d 61 6c | .Initialize.virtual.batch.normal |
0fa0 | 69 7a 61 74 69 6f 6e 20 6f 62 6a 65 63 74 2e 0a 0a 20 20 20 20 57 65 20 70 72 65 63 6f 6d 70 75 | ization.object.......We.precompu |
0fc0 | 74 65 20 74 68 65 20 27 6d 65 61 6e 27 20 61 6e 64 20 27 6d 65 61 6e 20 73 71 75 61 72 65 64 27 | te.the.'mean'.and.'mean.squared' |
0fe0 | 20 6f 66 20 74 68 65 20 72 65 66 65 72 65 6e 63 65 20 62 61 74 63 68 2c 20 73 6f 20 74 68 61 74 | .of.the.reference.batch,.so.that |
1000 | 0a 20 20 20 20 60 5f 5f 63 61 6c 6c 5f 5f 60 20 69 73 20 65 66 66 69 63 69 65 6e 74 2e 20 54 68 | .....`__call__`.is.efficient..Th |
1020 | 69 73 20 6d 65 61 6e 73 20 74 68 61 74 20 74 68 65 20 61 78 69 73 20 6d 75 73 74 20 62 65 20 73 | is.means.that.the.axis.must.be.s |
1040 | 75 70 70 6c 69 65 64 20 77 68 65 6e 20 74 68 65 0a 20 20 20 20 6f 62 6a 65 63 74 20 69 73 20 63 | upplied.when.the.....object.is.c |
1060 | 72 65 61 74 65 64 2c 20 6e 6f 74 20 77 68 65 6e 20 69 74 20 69 73 20 63 61 6c 6c 65 64 2e 0a 0a | reated,.not.when.it.is.called... |
1080 | 20 20 20 20 57 65 20 70 72 65 63 6f 6d 70 75 74 65 20 27 73 71 75 61 72 65 20 6d 65 61 6e 27 20 | ....We.precompute.'square.mean'. |
10a0 | 69 6e 73 74 65 61 64 20 6f 66 20 27 76 61 72 69 61 6e 63 65 27 2c 20 62 65 63 61 75 73 65 20 74 | instead.of.'variance',.because.t |
10c0 | 68 65 20 73 71 75 61 72 65 20 6d 65 61 6e 0a 20 20 20 20 63 61 6e 20 62 65 20 65 61 73 69 6c 79 | he.square.mean.....can.be.easily |
10e0 | 20 61 64 6a 75 73 74 65 64 20 6f 6e 20 61 20 70 65 72 2d 65 78 61 6d 70 6c 65 20 62 61 73 69 73 | .adjusted.on.a.per-example.basis |
1100 | 2e 0a 0a 20 20 20 20 41 72 67 73 3a 0a 20 20 20 20 20 20 72 65 66 65 72 65 6e 63 65 5f 62 61 74 | .......Args:.......reference_bat |
1120 | 63 68 3a 20 41 20 6d 69 6e 69 62 61 74 63 68 20 74 65 6e 73 6f 72 73 2e 20 54 68 69 73 20 77 69 | ch:.A.minibatch.tensors..This.wi |
1140 | 6c 6c 20 66 6f 72 6d 20 74 68 65 20 72 65 66 65 72 65 6e 63 65 20 64 61 74 61 0a 20 20 20 20 20 | ll.form.the.reference.data...... |
1160 | 20 20 20 66 72 6f 6d 20 77 68 69 63 68 20 74 68 65 20 6e 6f 72 6d 61 6c 69 7a 61 74 69 6f 6e 20 | ...from.which.the.normalization. |
1180 | 73 74 61 74 69 73 74 69 63 73 20 61 72 65 20 63 61 6c 63 75 6c 61 74 65 64 2e 20 53 65 65 0a 20 | statistics.are.calculated..See.. |
11a0 | 20 20 20 20 20 20 20 68 74 74 70 73 3a 2f 2f 61 72 78 69 76 2e 6f 72 67 2f 61 62 73 2f 31 36 30 | .......https://arxiv.org/abs/160 |
11c0 | 36 2e 30 33 34 39 38 20 66 6f 72 20 6d 6f 72 65 20 64 65 74 61 69 6c 73 2e 0a 20 20 20 20 20 20 | 6.03498.for.more.details........ |
11e0 | 61 78 69 73 3a 20 49 6e 74 65 67 65 72 2c 20 74 68 65 20 61 78 69 73 20 74 68 61 74 20 73 68 6f | axis:.Integer,.the.axis.that.sho |
1200 | 75 6c 64 20 62 65 20 6e 6f 72 6d 61 6c 69 7a 65 64 20 28 74 79 70 69 63 61 6c 6c 79 20 74 68 65 | uld.be.normalized.(typically.the |
1220 | 20 66 65 61 74 75 72 65 73 0a 20 20 20 20 20 20 20 20 61 78 69 73 29 2e 20 46 6f 72 20 69 6e 73 | .features.........axis)..For.ins |
1240 | 74 61 6e 63 65 2c 20 61 66 74 65 72 20 61 20 60 43 6f 6e 76 6f 6c 75 74 69 6f 6e 32 44 60 20 6c | tance,.after.a.`Convolution2D`.l |
1260 | 61 79 65 72 20 77 69 74 68 0a 20 20 20 20 20 20 20 20 60 64 61 74 61 5f 66 6f 72 6d 61 74 3d 22 | ayer.with.........`data_format=" |
1280 | 63 68 61 6e 6e 65 6c 73 5f 66 69 72 73 74 22 60 2c 20 73 65 74 20 60 61 78 69 73 3d 31 60 20 69 | channels_first"`,.set.`axis=1`.i |
12a0 | 6e 20 60 42 61 74 63 68 4e 6f 72 6d 61 6c 69 7a 61 74 69 6f 6e 60 2e 0a 20 20 20 20 20 20 65 70 | n.`BatchNormalization`........ep |
12c0 | 73 69 6c 6f 6e 3a 20 53 6d 61 6c 6c 20 66 6c 6f 61 74 20 61 64 64 65 64 20 74 6f 20 76 61 72 69 | silon:.Small.float.added.to.vari |
12e0 | 61 6e 63 65 20 74 6f 20 61 76 6f 69 64 20 64 69 76 69 64 69 6e 67 20 62 79 20 7a 65 72 6f 2e 0a | ance.to.avoid.dividing.by.zero.. |
1300 | 20 20 20 20 20 20 63 65 6e 74 65 72 3a 20 49 66 20 54 72 75 65 2c 20 61 64 64 20 6f 66 66 73 65 | ......center:.If.True,.add.offse |
1320 | 74 20 6f 66 20 60 62 65 74 61 60 20 74 6f 20 6e 6f 72 6d 61 6c 69 7a 65 64 20 74 65 6e 73 6f 72 | t.of.`beta`.to.normalized.tensor |
1340 | 2e 20 49 66 20 46 61 6c 73 65 2c 0a 20 20 20 20 20 20 20 20 60 62 65 74 61 60 20 69 73 20 69 67 | ..If.False,.........`beta`.is.ig |
1360 | 6e 6f 72 65 64 2e 0a 20 20 20 20 20 20 73 63 61 6c 65 3a 20 49 66 20 54 72 75 65 2c 20 6d 75 6c | nored........scale:.If.True,.mul |
1380 | 74 69 70 6c 79 20 62 79 20 60 67 61 6d 6d 61 60 2e 20 49 66 20 46 61 6c 73 65 2c 20 60 67 61 6d | tiply.by.`gamma`..If.False,.`gam |
13a0 | 6d 61 60 20 69 73 0a 20 20 20 20 20 20 20 20 6e 6f 74 20 75 73 65 64 2e 20 57 68 65 6e 20 74 68 | ma`.is.........not.used..When.th |
13c0 | 65 20 6e 65 78 74 20 6c 61 79 65 72 20 69 73 20 6c 69 6e 65 61 72 20 28 61 6c 73 6f 20 65 2e 67 | e.next.layer.is.linear.(also.e.g |
13e0 | 2e 20 60 6e 6e 2e 72 65 6c 75 60 29 2c 20 74 68 69 73 20 63 61 6e 0a 20 20 20 20 20 20 20 20 62 | ..`nn.relu`),.this.can.........b |
1400 | 65 20 64 69 73 61 62 6c 65 64 20 73 69 6e 63 65 20 74 68 65 20 73 63 61 6c 69 6e 67 20 63 61 6e | e.disabled.since.the.scaling.can |
1420 | 20 62 65 20 64 6f 6e 65 20 62 79 20 74 68 65 20 6e 65 78 74 20 6c 61 79 65 72 2e 0a 20 20 20 20 | .be.done.by.the.next.layer...... |
1440 | 20 20 62 65 74 61 5f 69 6e 69 74 69 61 6c 69 7a 65 72 3a 20 49 6e 69 74 69 61 6c 69 7a 65 72 20 | ..beta_initializer:.Initializer. |
1460 | 66 6f 72 20 74 68 65 20 62 65 74 61 20 77 65 69 67 68 74 2e 0a 20 20 20 20 20 20 67 61 6d 6d 61 | for.the.beta.weight........gamma |
1480 | 5f 69 6e 69 74 69 61 6c 69 7a 65 72 3a 20 49 6e 69 74 69 61 6c 69 7a 65 72 20 66 6f 72 20 74 68 | _initializer:.Initializer.for.th |
14a0 | 65 20 67 61 6d 6d 61 20 77 65 69 67 68 74 2e 0a 20 20 20 20 20 20 62 65 74 61 5f 72 65 67 75 6c | e.gamma.weight........beta_regul |
14c0 | 61 72 69 7a 65 72 3a 20 4f 70 74 69 6f 6e 61 6c 20 72 65 67 75 6c 61 72 69 7a 65 72 20 66 6f 72 | arizer:.Optional.regularizer.for |
14e0 | 20 74 68 65 20 62 65 74 61 20 77 65 69 67 68 74 2e 0a 20 20 20 20 20 20 67 61 6d 6d 61 5f 72 65 | .the.beta.weight........gamma_re |
1500 | 67 75 6c 61 72 69 7a 65 72 3a 20 4f 70 74 69 6f 6e 61 6c 20 72 65 67 75 6c 61 72 69 7a 65 72 20 | gularizer:.Optional.regularizer. |
1520 | 66 6f 72 20 74 68 65 20 67 61 6d 6d 61 20 77 65 69 67 68 74 2e 0a 20 20 20 20 20 20 74 72 61 69 | for.the.gamma.weight........trai |
1540 | 6e 61 62 6c 65 3a 20 42 6f 6f 6c 65 61 6e 2c 20 69 66 20 60 54 72 75 65 60 20 61 6c 73 6f 20 61 | nable:.Boolean,.if.`True`.also.a |
1560 | 64 64 20 76 61 72 69 61 62 6c 65 73 20 74 6f 20 74 68 65 20 67 72 61 70 68 20 63 6f 6c 6c 65 63 | dd.variables.to.the.graph.collec |
1580 | 74 69 6f 6e 0a 20 20 20 20 20 20 20 20 60 47 72 61 70 68 4b 65 79 73 2e 54 52 41 49 4e 41 42 4c | tion.........`GraphKeys.TRAINABL |
15a0 | 45 5f 56 41 52 49 41 42 4c 45 53 60 20 28 73 65 65 20 74 66 2e 56 61 72 69 61 62 6c 65 29 2e 0a | E_VARIABLES`.(see.tf.Variable).. |
15c0 | 20 20 20 20 20 20 6e 61 6d 65 3a 20 53 74 72 69 6e 67 2c 20 74 68 65 20 6e 61 6d 65 20 6f 66 20 | ......name:.String,.the.name.of. |
15e0 | 74 68 65 20 6f 70 73 2e 0a 20 20 20 20 20 20 62 61 74 63 68 5f 61 78 69 73 3a 20 54 68 65 20 61 | the.ops........batch_axis:.The.a |
1600 | 78 69 73 20 6f 66 20 74 68 65 20 62 61 74 63 68 20 64 69 6d 65 6e 73 69 6f 6e 2e 20 54 68 69 73 | xis.of.the.batch.dimension..This |
1620 | 20 64 69 6d 65 6e 73 69 6f 6e 20 69 73 20 74 72 65 61 74 65 64 0a 20 20 20 20 20 20 20 20 64 69 | .dimension.is.treated.........di |
1640 | 66 66 65 72 65 6e 74 6c 79 20 69 6e 20 60 76 69 72 74 75 61 6c 20 62 61 74 63 68 20 6e 6f 72 6d | fferently.in.`virtual.batch.norm |
1660 | 61 6c 69 7a 61 74 69 6f 6e 60 20 76 73 20 60 62 61 74 63 68 20 6e 6f 72 6d 61 6c 69 7a 61 74 69 | alization`.vs.`batch.normalizati |
1680 | 6f 6e 60 2e 0a 0a 20 20 20 20 52 61 69 73 65 73 3a 0a 20 20 20 20 20 20 56 61 6c 75 65 45 72 72 | on`.......Raises:.......ValueErr |
16a0 | 6f 72 3a 20 49 66 20 60 72 65 66 65 72 65 6e 63 65 5f 62 61 74 63 68 60 20 68 61 73 20 75 6e 6b | or:.If.`reference_batch`.has.unk |
16c0 | 6e 6f 77 6e 20 64 69 6d 65 6e 73 69 6f 6e 73 20 61 74 20 67 72 61 70 68 0a 20 20 20 20 20 20 20 | nown.dimensions.at.graph........ |
16e0 | 20 63 6f 6e 73 74 72 75 63 74 69 6f 6e 2e 0a 20 20 20 20 20 20 56 61 6c 75 65 45 72 72 6f 72 3a | .construction........ValueError: |
1700 | 20 49 66 20 60 62 61 74 63 68 5f 61 78 69 73 60 20 69 73 20 74 68 65 20 73 61 6d 65 20 61 73 20 | .If.`batch_axis`.is.the.same.as. |
1720 | 60 61 78 69 73 60 2e 0a 20 20 20 20 72 01 00 00 00 e9 01 00 00 00 7a 2b 60 61 78 69 73 60 20 61 | `axis`......r.........z+`axis`.a |
1740 | 6e 64 20 60 62 61 74 63 68 5f 61 78 69 73 60 20 63 61 6e 6e 6f 74 20 62 65 20 74 68 65 20 73 61 | nd.`batch_axis`.cannot.be.the.sa |
1760 | 6d 65 2e 72 0e 00 00 00 29 01 da 06 76 61 6c 75 65 73 4e e9 fe ff ff ff 67 00 00 00 00 00 00 f0 | me.r....)...valuesN.....g....... |
1780 | 3f da 04 62 65 74 61 29 05 da 04 6e 61 6d 65 72 0f 00 00 00 da 0b 69 6e 69 74 69 61 6c 69 7a 65 | ?..beta)...namer......initialize |
17a0 | 72 da 0b 72 65 67 75 6c 61 72 69 7a 65 72 da 09 74 72 61 69 6e 61 62 6c 65 da 05 67 61 6d 6d 61 | r..regularizer..trainable..gamma |
17c0 | 29 20 72 2d 00 00 00 da 08 5f 65 70 73 69 6c 6f 6e da 05 5f 62 65 74 61 da 06 5f 67 61 6d 6d 61 | ).r-....._epsilon.._beta.._gamma |
17e0 | da 0b 5f 62 61 74 63 68 5f 61 78 69 73 72 29 00 00 00 72 0d 00 00 00 da 03 5f 76 73 da 10 5f 72 | .._batch_axisr)...r......_vs.._r |
1800 | 65 66 65 72 65 6e 63 65 5f 62 61 74 63 68 72 0f 00 00 00 72 28 00 00 00 da 04 6c 69 73 74 da 05 | eference_batchr....r(.....list.. |
1820 | 72 61 6e 67 65 da 03 6c 65 6e da 10 5f 62 72 6f 61 64 63 61 73 74 5f 73 68 61 70 65 da 05 76 61 | range..len.._broadcast_shape..va |
1840 | 6c 75 65 da 17 5f 65 78 61 6d 70 6c 65 5f 72 65 64 75 63 74 69 6f 6e 5f 61 78 65 73 da 03 6d 61 | lue.._example_reduction_axes..ma |
1860 | 78 da 03 6d 69 6e da 06 73 6f 72 74 65 64 da 13 5f 6e 65 65 64 73 5f 62 72 6f 61 64 63 61 73 74 | x..min..sorted.._needs_broadcast |
1880 | 69 6e 67 72 27 00 00 00 da 09 5f 72 65 66 5f 6d 65 61 6e da 11 5f 72 65 66 5f 6d 65 61 6e 5f 73 | ingr'....._ref_mean.._ref_mean_s |
18a0 | 71 75 61 72 65 73 72 0b 00 00 00 72 1f 00 00 00 da 0d 5f 72 65 66 5f 76 61 72 69 61 6e 63 65 72 | quaresr....r......_ref_variancer |
18c0 | 17 00 00 00 da 08 74 6f 5f 66 6c 6f 61 74 da 0f 5f 65 78 61 6d 70 6c 65 5f 77 65 69 67 68 74 da | ......to_float.._example_weight. |
18e0 | 0b 5f 72 65 66 5f 77 65 69 67 68 74 da 0c 67 65 74 5f 76 61 72 69 61 62 6c 65 29 12 da 04 73 65 | ._ref_weight..get_variable)...se |
1900 | 6c 66 72 2b 00 00 00 72 2c 00 00 00 da 07 65 70 73 69 6c 6f 6e da 06 63 65 6e 74 65 72 da 05 73 | lfr+...r,.....epsilon..center..s |
1920 | 63 61 6c 65 da 10 62 65 74 61 5f 69 6e 69 74 69 61 6c 69 7a 65 72 da 11 67 61 6d 6d 61 5f 69 6e | cale..beta_initializer..gamma_in |
1940 | 69 74 69 61 6c 69 7a 65 72 da 10 62 65 74 61 5f 72 65 67 75 6c 61 72 69 7a 65 72 da 11 67 61 6d | itializer..beta_regularizer..gam |
1960 | 6d 61 5f 72 65 67 75 6c 61 72 69 7a 65 72 72 3d 00 00 00 72 3a 00 00 00 72 12 00 00 00 da 0b 69 | ma_regularizerr=...r:...r......i |
1980 | 6e 70 75 74 5f 73 68 61 70 65 72 28 00 00 00 da 0e 72 65 64 75 63 74 69 6f 6e 5f 61 78 65 73 da | nput_shaper(.....reduction_axes. |
19a0 | 0c 70 61 72 61 6d 73 5f 73 68 61 70 65 5a 0e 72 65 66 5f 62 61 74 63 68 5f 73 69 7a 65 72 15 00 | .params_shapeZ.ref_batch_sizer.. |
19c0 | 00 00 72 15 00 00 00 72 16 00 00 00 da 08 5f 5f 69 6e 69 74 5f 5f 80 00 00 00 73 58 00 00 00 00 | ..r....r......__init__....sX.... |
19e0 | 32 0a 01 06 01 06 01 06 01 02 01 0a 02 0a 01 08 02 08 01 10 01 06 07 08 01 06 01 0c 01 06 02 10 | 2............................... |
1a00 | 01 10 02 0e 01 10 01 10 02 0c 05 20 04 02 01 12 01 04 01 10 04 02 01 0c 01 14 01 0c 03 06 01 04 | ................................ |
1a20 | 01 02 01 04 01 02 01 02 01 0a 01 06 01 04 01 02 01 04 01 02 01 02 01 7a 0c 56 42 4e 2e 5f 5f 69 | .......................z.VBN.__i |
1a40 | 6e 69 74 5f 5f 63 03 00 00 00 00 00 00 00 07 00 00 00 03 00 00 00 43 00 00 00 73 42 00 00 00 74 | nit__c................C...sB...t |
1a60 | 00 7c 01 7c 02 83 02 5c 02 7d 03 7d 04 7c 00 6a 01 7c 03 14 00 7c 00 6a 02 7c 00 6a 03 14 00 17 | .|.|...\.}.}.|.j.|...|.j.|.j.... |
1a80 | 00 7d 05 7c 00 6a 01 7c 04 14 00 7c 00 6a 02 7c 00 6a 04 14 00 17 00 7d 06 7c 05 7c 06 66 02 53 | .}.|.j.|...|.j.|.j.....}.|.|.f.S |
1aa0 | 00 29 01 7a 3e 43 6f 6d 70 75 74 65 20 74 68 65 20 73 74 61 74 69 73 74 69 63 73 20 6e 65 65 64 | .).z>Compute.the.statistics.need |
1ac0 | 65 64 20 66 6f 72 20 76 69 72 74 75 61 6c 20 62 61 74 63 68 20 6e 6f 72 6d 61 6c 69 7a 61 74 69 | ed.for.virtual.batch.normalizati |
1ae0 | 6f 6e 2e 29 05 72 27 00 00 00 72 53 00 00 00 72 54 00 00 00 72 4f 00 00 00 72 50 00 00 00 29 07 | on.).r'...rS...rT...rO...rP...). |
1b00 | 72 56 00 00 00 da 06 69 6e 70 75 74 73 72 5f 00 00 00 5a 08 63 75 72 5f 6d 65 61 6e 5a 0b 63 75 | rV.....inputsr_...Z.cur_meanZ.cu |
1b20 | 72 5f 6d 65 61 6e 5f 73 71 da 07 76 62 5f 6d 65 61 6e da 0a 76 62 5f 6d 65 61 6e 5f 73 71 72 15 | r_mean_sq..vb_mean..vb_mean_sqr. |
1b40 | 00 00 00 72 15 00 00 00 72 16 00 00 00 da 13 5f 76 69 72 74 75 61 6c 5f 73 74 61 74 69 73 74 69 | ...r....r......_virtual_statisti |
1b60 | 63 73 f6 00 00 00 73 0c 00 00 00 00 02 0e 01 08 01 0e 01 08 01 0e 01 7a 17 56 42 4e 2e 5f 76 69 | cs....s................z.VBN._vi |
1b80 | 72 74 75 61 6c 5f 73 74 61 74 69 73 74 69 63 73 63 03 00 00 00 00 00 00 00 04 00 00 00 04 00 00 | rtual_statisticsc............... |
1ba0 | 00 43 00 00 00 73 28 00 00 00 7c 02 70 08 7c 00 6a 00 7d 03 7c 00 6a 01 72 24 7c 01 64 00 6b 09 | .C...s(...|.p.|.j.}.|.j.r$|.d.k. |
1bc0 | 72 24 74 02 a0 03 7c 01 7c 03 a1 02 53 00 7c 01 53 00 29 01 4e 29 04 72 48 00 00 00 72 4e 00 00 | r$t...|.|...S.|.S.).N).rH...rN.. |
1be0 | 00 72 09 00 00 00 da 07 72 65 73 68 61 70 65 29 04 72 56 00 00 00 da 01 76 da 0f 62 72 6f 61 64 | .r......reshape).rV.....v..broad |
1c00 | 63 61 73 74 5f 73 68 61 70 65 da 07 62 5f 73 68 61 70 65 72 15 00 00 00 72 15 00 00 00 72 16 00 | cast_shape..b_shaper....r....r.. |
1c20 | 00 00 da 0a 5f 62 72 6f 61 64 63 61 73 74 ff 00 00 00 73 08 00 00 00 00 04 0a 01 0e 01 0c 01 7a | ...._broadcast....s............z |
1c40 | 0e 56 42 4e 2e 5f 62 72 6f 61 64 63 61 73 74 63 01 00 00 00 00 00 00 00 01 00 00 00 0a 00 00 00 | .VBN._broadcastc................ |
1c60 | 43 00 00 00 73 52 00 00 00 74 00 a0 01 7c 00 6a 02 6a 03 a1 01 8f 3a 01 00 74 04 a0 05 7c 00 6a | C...sR...t...|.j.j....:..t...|.j |
1c80 | 06 7c 00 a0 07 7c 00 6a 08 a1 01 7c 00 a0 07 7c 00 6a 09 a1 01 7c 00 a0 07 7c 00 6a 0a a1 01 7c | .|...|.j...|...|.j...|...|.j...| |
1ca0 | 00 a0 07 7c 00 6a 0b a1 01 7c 00 6a 0c a1 06 53 00 51 00 52 00 58 00 64 01 53 00 29 02 7a 31 52 | ...|.j...|.j...S.Q.R.X.d.S.).z1R |
1cc0 | 65 74 75 72 6e 20 74 68 65 20 72 65 66 65 72 65 6e 63 65 20 62 61 74 63 68 2c 20 62 75 74 20 62 | eturn.the.reference.batch,.but.b |
1ce0 | 61 74 63 68 20 6e 6f 72 6d 61 6c 69 7a 65 64 2e 4e 29 0d 72 06 00 00 00 da 0a 6e 61 6d 65 5f 73 | atch.normalized.N).r......name_s |
1d00 | 63 6f 70 65 72 43 00 00 00 72 3a 00 00 00 72 0c 00 00 00 da 13 62 61 74 63 68 5f 6e 6f 72 6d 61 | coperC...r:...r......batch_norma |
1d20 | 6c 69 7a 61 74 69 6f 6e 72 44 00 00 00 72 6a 00 00 00 72 4f 00 00 00 72 51 00 00 00 72 40 00 00 | lizationrD...rj...rO...rQ...r@.. |
1d40 | 00 72 41 00 00 00 72 3f 00 00 00 29 01 72 56 00 00 00 72 15 00 00 00 72 15 00 00 00 72 16 00 00 | .rA...r?...).rV...r....r....r... |
1d60 | 00 da 1d 72 65 66 65 72 65 6e 63 65 5f 62 61 74 63 68 5f 6e 6f 72 6d 61 6c 69 7a 61 74 69 6f 6e | ...reference_batch_normalization |
1d80 | 08 01 00 00 73 0e 00 00 00 00 02 10 01 08 01 0a 01 0a 01 0a 01 0a 01 7a 21 56 42 4e 2e 72 65 66 | ....s..................z!VBN.ref |
1da0 | 65 72 65 6e 63 65 5f 62 61 74 63 68 5f 6e 6f 72 6d 61 6c 69 7a 61 74 69 6f 6e 63 02 00 00 00 00 | erence_batch_normalizationc..... |
1dc0 | 00 00 00 06 00 00 00 0b 00 00 00 43 00 00 00 73 b4 00 00 00 74 00 7c 01 7c 00 6a 01 67 02 7c 00 | ...........C...s....t.|.|.j.g.|. |
1de0 | 6a 02 83 02 01 00 74 03 6a 04 7c 00 6a 05 6a 06 7c 01 7c 00 6a 01 67 02 64 01 8d 02 8f 80 01 00 | j.....t.j.|.j.j.|.|.j.g.d....... |
1e00 | 7c 00 a0 07 7c 01 7c 00 6a 08 a1 02 5c 02 7d 02 7d 03 7c 03 74 09 a0 0a 7c 02 a1 01 18 00 7d 04 | |...|.|.j...\.}.}.|.t...|.....}. |
1e20 | 7c 00 6a 0b 64 02 64 02 85 02 19 00 7d 05 74 0c 7c 01 7c 00 6a 02 83 02 7c 05 7c 00 6a 02 3c 00 | |.j.d.d.....}.t.|.|.j...|.|.j.<. |
1e40 | 74 0d a0 0e 7c 01 7c 00 a0 0f 7c 02 7c 05 a1 02 7c 00 a0 0f 7c 04 7c 05 a1 02 7c 00 a0 0f 7c 00 | t...|.|...|.|...|...|.|...|...|. |
1e60 | 6a 10 7c 00 6a 0b a1 02 7c 00 a0 0f 7c 00 6a 11 7c 00 6a 0b a1 02 7c 00 6a 12 a1 06 53 00 51 00 | j.|.j...|...|.j.|.j...|.j...S.Q. |
1e80 | 52 00 58 00 64 02 53 00 29 03 7a f8 52 75 6e 20 76 69 72 74 75 61 6c 20 62 61 74 63 68 20 6e 6f | R.X.d.S.).z.Run.virtual.batch.no |
1ea0 | 72 6d 61 6c 69 7a 61 74 69 6f 6e 20 6f 6e 20 69 6e 70 75 74 73 2e 0a 0a 20 20 20 20 41 72 67 73 | rmalization.on.inputs.......Args |
1ec0 | 3a 0a 20 20 20 20 20 20 69 6e 70 75 74 73 3a 20 54 65 6e 73 6f 72 20 69 6e 70 75 74 2e 0a 0a 20 | :.......inputs:.Tensor.input.... |
1ee0 | 20 20 20 52 65 74 75 72 6e 73 3a 0a 20 20 20 20 20 20 20 41 20 76 69 72 74 75 61 6c 20 62 61 74 | ...Returns:........A.virtual.bat |
1f00 | 63 68 20 6e 6f 72 6d 61 6c 69 7a 65 64 20 76 65 72 73 69 6f 6e 20 6f 66 20 60 69 6e 70 75 74 73 | ch.normalized.version.of.`inputs |
1f20 | 60 2e 0a 0a 20 20 20 20 52 61 69 73 65 73 3a 0a 20 20 20 20 20 20 20 56 61 6c 75 65 45 72 72 6f | `.......Raises:........ValueErro |
1f40 | 72 3a 20 49 66 20 60 69 6e 70 75 74 73 60 20 73 68 61 70 65 20 69 73 6e 27 74 20 63 6f 6d 70 61 | r:.If.`inputs`.shape.isn't.compa |
1f60 | 74 69 62 6c 65 20 77 69 74 68 20 74 68 65 20 72 65 66 65 72 65 6e 63 65 20 62 61 74 63 68 2e 0a | tible.with.the.reference.batch.. |
1f80 | 20 20 20 20 29 01 72 37 00 00 00 4e 29 13 72 34 00 00 00 72 44 00 00 00 72 42 00 00 00 72 06 00 | ....).r7...N).r4...rD...rB...r.. |
1fa0 | 00 00 72 6b 00 00 00 72 43 00 00 00 72 3a 00 00 00 72 65 00 00 00 72 4a 00 00 00 72 0b 00 00 00 | ..rk...rC...r:...re...rJ...r.... |
1fc0 | 72 1f 00 00 00 72 48 00 00 00 72 17 00 00 00 72 0c 00 00 00 72 6c 00 00 00 72 6a 00 00 00 72 40 | r....rH...r....r....rl...rj...r@ |
1fe0 | 00 00 00 72 41 00 00 00 72 3f 00 00 00 29 06 72 56 00 00 00 72 62 00 00 00 72 63 00 00 00 72 64 | ...rA...r?...).rV...rb...rc...rd |
2000 | 00 00 00 5a 0b 76 62 5f 76 61 72 69 61 6e 63 65 72 69 00 00 00 72 15 00 00 00 72 15 00 00 00 72 | ...Z.vb_varianceri...r....r....r |
2020 | 16 00 00 00 da 08 5f 5f 63 61 6c 6c 5f 5f 12 01 00 00 73 1e 00 00 00 00 0c 12 02 1a 02 04 01 0e | ......__call__....s............. |
2040 | 01 0e 05 0e 01 02 01 10 01 04 01 02 01 0a 01 0a 01 0e 01 0e 01 7a 0c 56 42 4e 2e 5f 5f 63 61 6c | .....................z.VBN.__cal |
2060 | 6c 5f 5f 29 01 4e 29 0c da 08 5f 5f 6e 61 6d 65 5f 5f da 0a 5f 5f 6d 6f 64 75 6c 65 5f 5f da 0c | l__).N)...__name__..__module__.. |
2080 | 5f 5f 71 75 61 6c 6e 61 6d 65 5f 5f da 07 5f 5f 64 6f 63 5f 5f 72 0a 00 00 00 da 11 7a 65 72 6f | __qualname__..__doc__r......zero |
20a0 | 73 5f 69 6e 69 74 69 61 6c 69 7a 65 72 da 10 6f 6e 65 73 5f 69 6e 69 74 69 61 6c 69 7a 65 72 72 | s_initializer..ones_initializerr |
20c0 | 61 00 00 00 72 65 00 00 00 72 6a 00 00 00 72 6d 00 00 00 72 6e 00 00 00 72 15 00 00 00 72 15 00 | a...re...rj...rm...rn...r....r.. |
20e0 | 00 00 72 15 00 00 00 72 16 00 00 00 72 0e 00 00 00 6d 00 00 00 73 20 00 00 00 08 11 04 04 02 01 | ..r....r....r....m...s.......... |
2100 | 02 01 02 01 02 01 06 01 06 01 02 01 02 01 02 01 02 01 0c 6a 08 09 0a 09 08 0a 4e 29 17 72 72 00 | ...................j......N).rr. |
2120 | 00 00 da 0a 5f 5f 66 75 74 75 72 65 5f 5f 72 02 00 00 00 72 03 00 00 00 72 04 00 00 00 da 1b 74 | ....__future__r....r....r......t |
2140 | 65 6e 73 6f 72 66 6c 6f 77 2e 70 79 74 68 6f 6e 2e 66 72 61 6d 65 77 6f 72 6b 72 05 00 00 00 72 | ensorflow.python.frameworkr....r |
2160 | 06 00 00 00 72 07 00 00 00 72 08 00 00 00 da 15 74 65 6e 73 6f 72 66 6c 6f 77 2e 70 79 74 68 6f | ....r....r......tensorflow.pytho |
2180 | 6e 2e 6f 70 73 72 09 00 00 00 72 0a 00 00 00 72 0b 00 00 00 72 0c 00 00 00 72 0d 00 00 00 da 07 | n.opsr....r....r....r....r...... |
21a0 | 5f 5f 61 6c 6c 5f 5f 72 17 00 00 00 72 27 00 00 00 72 2d 00 00 00 72 34 00 00 00 da 06 6f 62 6a | __all__r....r'...r-...r4.....obj |
21c0 | 65 63 74 72 0e 00 00 00 72 15 00 00 00 72 15 00 00 00 72 15 00 00 00 72 16 00 00 00 da 08 3c 6d | ectr....r....r....r....r......<m |
21e0 | 6f 64 75 6c 65 3e 15 00 00 00 73 24 00 00 00 04 01 0c 01 0c 01 0c 02 0c 01 0c 01 0c 01 0c 01 0c | odule>....s$.................... |
2200 | 01 0c 01 0c 01 0c 01 0c 03 06 04 08 07 08 22 08 10 08 0b | ..............".... |