blob: 1d41d7ff329f2f26416478a78d447604b673a8cd (plain)

ofs	hex dump	ascii
0000	42 0d 0d 0a 00 00 00 00 77 86 7e 5c 5d 31 00 00 e3 00 00 00 00 00 00 00 00 00 00 00 00 04 00 00	B.......w.~\]1..................
0020	00 40 00 00 00 73 ce 00 00 00 64 00 5a 00 64 01 64 02 6c 01 6d 02 5a 02 01 00 64 01 64 03 6c 01	.@...s....d.Z.d.d.l.m.Z...d.d.l.
0040	6d 03 5a 03 01 00 64 01 64 04 6c 01 6d 04 5a 04 01 00 64 01 64 05 6c 05 6d 06 5a 06 01 00 64 01	m.Z...d.d.l.m.Z...d.d.l.m.Z...d.
0060	64 06 6c 05 6d 07 5a 07 01 00 64 01 64 07 6c 05 6d 08 5a 08 01 00 64 01 64 08 6c 05 6d 09 5a 09	d.l.m.Z...d.d.l.m.Z...d.d.l.m.Z.
0080	01 00 64 01 64 09 6c 0a 6d 0b 5a 0b 01 00 64 01 64 0a 6c 0a 6d 0c 5a 0c 01 00 64 01 64 0b 6c 0a	..d.d.l.m.Z...d.d.l.m.Z...d.d.l.
00a0	6d 0d 5a 0d 01 00 64 01 64 0c 6c 0a 6d 0e 5a 0e 01 00 64 01 64 0d 6c 0a 6d 0f 5a 0f 01 00 64 0e	m.Z...d.d.l.m.Z...d.d.l.m.Z...d.
00c0	67 01 5a 10 64 0f 64 10 84 00 5a 11 64 11 64 12 84 00 5a 12 64 13 64 14 84 00 5a 13 64 15 64 16	g.Z.d.d...Z.d.d...Z.d.d...Z.d.d.
00e0	84 00 5a 14 47 00 64 17 64 0e 84 00 64 0e 65 15 83 03 5a 16 64 18 53 00 29 19 61 2f 01 00 00 56	..Z.G.d.d...d.e...Z.d.S.).a/...V
0100	69 72 74 75 61 6c 20 62 61 74 63 68 20 6e 6f 72 6d 61 6c 69 7a 61 74 69 6f 6e 2e 0a 0a 54 68 69	irtual.batch.normalization...Thi
0120	73 20 74 65 63 68 6e 69 71 75 65 20 77 61 73 20 66 69 72 73 74 20 69 6e 74 72 6f 64 75 63 65 64	s.technique.was.first.introduced
0140	20 69 6e 20 60 49 6d 70 72 6f 76 65 64 20 54 65 63 68 6e 69 71 75 65 73 20 66 6f 72 20 54 72 61	.in.`Improved.Techniques.for.Tra
0160	69 6e 69 6e 67 20 47 41 4e 73 60 0a 28 53 61 6c 69 6d 61 6e 73 20 65 74 20 61 6c 2c 20 68 74 74	ining.GANs`.(Salimans.et.al,.htt
0180	70 73 3a 2f 2f 61 72 78 69 76 2e 6f 72 67 2f 61 62 73 2f 31 36 30 36 2e 30 33 34 39 38 29 2e 20	ps://arxiv.org/abs/1606.03498)..
01a0	49 6e 73 74 65 61 64 20 6f 66 20 75 73 69 6e 67 20 62 61 74 63 68 0a 6e 6f 72 6d 61 6c 69 7a 61	Instead.of.using.batch.normaliza
01c0	74 69 6f 6e 20 6f 6e 20 61 20 6d 69 6e 69 62 61 74 63 68 2c 20 69 74 20 66 69 78 65 73 20 61 20	tion.on.a.minibatch,.it.fixes.a.
01e0	72 65 66 65 72 65 6e 63 65 20 73 75 62 73 65 74 20 6f 66 20 74 68 65 20 64 61 74 61 20 74 6f 20	reference.subset.of.the.data.to.
0200	75 73 65 20 66 6f 72 0a 63 61 6c 63 75 6c 61 74 69 6e 67 20 6e 6f 72 6d 61 6c 69 7a 61 74 69 6f	use.for.calculating.normalizatio
0220	6e 20 73 74 61 74 69 73 74 69 63 73 2e 0a e9 00 00 00 00 29 01 da 0f 61 62 73 6f 6c 75 74 65 5f	n.statistics.......)...absolute_
0240	69 6d 70 6f 72 74 29 01 da 08 64 69 76 69 73 69 6f 6e 29 01 da 0e 70 72 69 6e 74 5f 66 75 6e 63	import)...division)...print_func
0260	74 69 6f 6e 29 01 da 06 64 74 79 70 65 73 29 01 da 03 6f 70 73 29 01 da 0c 74 65 6e 73 6f 72 5f	tion)...dtypes)...ops)...tensor_
0280	73 68 61 70 65 29 01 da 0b 74 65 6e 73 6f 72 5f 75 74 69 6c 29 01 da 09 61 72 72 61 79 5f 6f 70	shape)...tensor_util)...array_op
02a0	73 29 01 da 08 69 6e 69 74 5f 6f 70 73 29 01 da 08 6d 61 74 68 5f 6f 70 73 29 01 da 02 6e 6e 29	s)...init_ops)...math_ops)...nn)
02c0	01 da 0e 76 61 72 69 61 62 6c 65 5f 73 63 6f 70 65 da 03 56 42 4e 63 02 00 00 00 00 00 00 00 04	...variable_scope..VBNc.........
02e0	00 00 00 03 00 00 00 43 00 00 00 73 20 00 00 00 74 00 a0 01 7c 00 a1 01 7c 01 19 00 7d 02 74 02	.......C...s....t...|...|...}.t.
0300	a0 03 7c 02 a1 01 7d 03 7c 03 70 1e 7c 02 53 00 29 01 7a 29 52 65 74 75 72 6e 73 20 74 68 65 20	..|...}.|.p.|.S.).z)Returns.the.
0320	73 74 61 74 69 63 20 6f 72 20 64 79 6e 61 6d 69 63 20 62 61 74 63 68 20 73 69 7a 65 2e 29 04 72	static.or.dynamic.batch.size.).r
0340	09 00 00 00 da 05 73 68 61 70 65 72 08 00 00 00 da 0e 63 6f 6e 73 74 61 6e 74 5f 76 61 6c 75 65	......shaper......constant_value
0360	29 04 da 06 74 65 6e 73 6f 72 da 0a 62 61 74 63 68 5f 61 78 69 73 da 0a 62 61 74 63 68 5f 73 69	)...tensor..batch_axis..batch_si
0380	7a 65 da 11 73 74 61 74 69 63 5f 62 61 74 63 68 5f 73 69 7a 65 a9 00 72 15 00 00 00 fa 2e 2f 68	ze..static_batch_size..r....../h
03a0	6f 6d 65 2f 76 73 7a 2f 65 34 2d 67 61 6e 2f 6c 69 62 2f 76 69 72 74 75 61 6c 5f 62 61 74 63 68	ome/vsz/e4-gan/lib/virtual_batch
03c0	6e 6f 72 6d 5f 69 6d 70 6c 2e 70 79 da 1d 5f 73 74 61 74 69 63 5f 6f 72 5f 64 79 6e 61 6d 69 63	norm_impl.py.._static_or_dynamic
03e0	5f 62 61 74 63 68 5f 73 69 7a 65 29 00 00 00 73 06 00 00 00 00 02 0e 01 0a 01 72 17 00 00 00 63	_batch_size)...s..........r....c
0400	02 00 00 00 00 00 00 00 07 00 00 00 07 00 00 00 43 00 00 00 73 b2 00 00 00 7c 00 6a 00 74 01 6a	................C...s....|.j.t.j
0420	02 6b 02 72 1a 74 03 a0 04 7c 00 74 01 6a 05 a1 02 6e 02 7c 00 7d 02 74 06 a0 07 74 03 6a 08 7c	.k.r.t...|.t.j...n.|.}.t...t.j.|
0440	02 7c 01 64 01 64 02 8d 03 a1 01 7d 03 74 03 6a 08 7c 02 7c 03 18 00 7c 01 64 01 64 02 8d 03 7d	.|.d.d.....}.t.j.|.|...|.d.d...}
0460	04 7c 04 7c 03 17 00 7d 05 74 03 6a 08 74 03 a0 09 7c 02 a1 01 7c 01 64 01 64 02 8d 03 7d 06 74	.|.|...}.t.j.t...|...|.d.d...}.t
0480	06 a0 0a 7c 05 7c 01 a1 02 7d 05 74 06 a0 0a 7c 06 7c 01 a1 02 7d 06 7c 00 6a 00 74 01 6a 02 6b	...|.|...}.t...|.|...}.|.j.t.j.k
04a0	02 72 a6 74 03 a0 04 7c 05 74 01 6a 02 a1 02 74 03 a0 04 7c 06 74 01 6a 02 a1 02 66 02 53 00 7c	.r.t...|.t.j...t...|.t.j...f.S.|
04c0	05 7c 06 66 02 53 00 64 03 53 00 29 04 61 10 01 00 00 43 61 6c 63 75 6c 61 74 65 20 74 68 65 20	.|.f.S.d.S.).a....Calculate.the.
04e0	6d 65 61 6e 20 61 6e 64 20 6d 65 61 6e 20 73 71 75 61 72 65 20 6f 66 20 60 78 60 2e 0a 0a 20 20	mean.and.mean.square.of.`x`.....
0500	4d 6f 64 69 66 69 65 64 20 66 72 6f 6d 20 74 68 65 20 69 6d 70 6c 65 6d 65 6e 74 61 74 69 6f 6e	Modified.from.the.implementation
0520	20 6f 66 20 60 74 66 2e 6e 6e 2e 6d 6f 6d 65 6e 74 73 60 2e 0a 0a 20 20 41 72 67 73 3a 0a 20 20	.of.`tf.nn.moments`.....Args:...
0540	20 20 78 3a 20 41 20 60 54 65 6e 73 6f 72 60 2e 0a 20 20 20 20 61 78 65 73 3a 20 41 72 72 61 79	..x:.A.`Tensor`......axes:.Array
0560	20 6f 66 20 69 6e 74 73 2e 20 20 41 78 65 73 20 61 6c 6f 6e 67 20 77 68 69 63 68 20 74 6f 20 63	.of.ints...Axes.along.which.to.c
0580	6f 6d 70 75 74 65 20 6d 65 61 6e 20 61 6e 64 0a 20 20 20 20 20 20 76 61 72 69 61 6e 63 65 2e 0a	ompute.mean.and.......variance..
05a0	0a 20 20 52 65 74 75 72 6e 73 3a 0a 20 20 20 20 54 77 6f 20 60 54 65 6e 73 6f 72 60 20 6f 62 6a	...Returns:.....Two.`Tensor`.obj
05c0	65 63 74 73 3a 20 60 6d 65 61 6e 60 20 61 6e 64 20 60 73 71 75 61 72 65 20 6d 65 61 6e 60 2e 0a	ects:.`mean`.and.`square.mean`..
05e0	20 20 54 29 01 da 08 6b 65 65 70 64 69 6d 73 4e 29 0b da 05 64 74 79 70 65 72 05 00 00 00 da 07	..T)...keepdimsN)...dtyper......
0600	66 6c 6f 61 74 31 36 72 0b 00 00 00 da 04 63 61 73 74 da 07 66 6c 6f 61 74 33 32 72 09 00 00 00	float16r......cast..float32r....
0620	da 0d 73 74 6f 70 5f 67 72 61 64 69 65 6e 74 da 0b 72 65 64 75 63 65 5f 6d 65 61 6e da 06 73 71	..stop_gradient..reduce_mean..sq
0640	75 61 72 65 da 07 73 71 75 65 65 7a 65 29 07 da 01 78 da 04 61 78 65 73 da 01 79 da 05 73 68 69	uare..squeeze)...x..axes..y..shi
0660	66 74 da 0c 73 68 69 66 74 65 64 5f 6d 65 61 6e da 04 6d 65 61 6e 5a 0c 6d 65 61 6e 5f 73 71 75	ft..shifted_mean..meanZ.mean_squ
0680	61 72 65 64 72 15 00 00 00 72 15 00 00 00 72 16 00 00 00 da 0b 5f 73 74 61 74 69 73 74 69 63 73	aredr....r....r......_statistics
06a0	30 00 00 00 73 16 00 00 00 00 10 1e 03 16 02 14 01 08 01 16 02 0c 01 0c 01 0c 01 0c 01 10 02 72	0...s..........................r
06c0	27 00 00 00 63 02 00 00 00 00 00 00 00 04 00 00 00 04 00 00 00 43 00 00 00 73 62 00 00 00 7c 00	'...c................C...sb...|.
06e0	6a 00 6a 01 64 01 6b 08 72 14 74 02 64 02 83 01 82 01 7c 00 6a 00 6a 01 7d 02 7c 01 64 03 6b 00	j.j.d.k.r.t.d.....|.j.j.}.|.d.k.
0700	72 2e 7c 02 7c 01 17 00 7d 03 6e 04 7c 01 7d 03 7c 03 64 03 6b 00 73 42 7c 03 7c 02 6b 05 72 5e	r.|.|...}.n.|.}.|.d.k.sB|.|.k.r^
0720	74 02 64 04 74 03 7c 03 83 01 17 00 64 05 17 00 74 03 7c 02 83 01 17 00 83 01 82 01 7c 03 53 00	t.d.t.|.....d...t.|.........|.S.
0740	29 06 7a 2e 56 61 6c 69 64 61 74 65 20 69 6e 70 75 74 20 61 6e 64 20 72 65 74 75 72 6e 20 74 68	).z.Validate.input.and.return.th
0760	65 20 75 73 65 64 20 61 78 69 73 20 76 61 6c 75 65 2e 4e 7a 29 60 72 65 66 65 72 65 6e 63 65 5f	e.used.axis.value.Nz)`reference_
0780	62 61 74 63 68 60 20 68 61 73 20 75 6e 6b 6e 6f 77 6e 20 64 69 6d 65 6e 73 69 6f 6e 73 2e 72 01	batch`.has.unknown.dimensions.r.
07a0	00 00 00 7a 19 56 61 6c 75 65 20 6f 66 20 60 61 78 69 73 60 20 61 72 67 75 6d 65 6e 74 20 7a 25	...z.Value.of.`axis`.argument.z%
07c0	20 69 73 20 6f 75 74 20 6f 66 20 72 61 6e 67 65 20 66 6f 72 20 69 6e 70 75 74 20 77 69 74 68 20	.is.out.of.range.for.input.with.
07e0	72 61 6e 6b 20 29 04 72 0f 00 00 00 da 05 6e 64 69 6d 73 da 0a 56 61 6c 75 65 45 72 72 6f 72 da	rank.).r......ndims..ValueError.
0800	03 73 74 72 29 04 da 0f 72 65 66 65 72 65 6e 63 65 5f 62 61 74 63 68 da 04 61 78 69 73 72 28 00	.str)...reference_batch..axisr(.
0820	00 00 5a 09 75 73 65 64 5f 61 78 69 73 72 15 00 00 00 72 15 00 00 00 72 16 00 00 00 da 21 5f 76	..Z.used_axisr....r....r.....!_v
0840	61 6c 69 64 61 74 65 5f 69 6e 69 74 5f 69 6e 70 75 74 5f 61 6e 64 5f 67 65 74 5f 61 78 69 73 52	alidate_init_input_and_get_axisR
0860	00 00 00 73 14 00 00 00 00 02 0c 01 08 02 08 01 08 01 0a 02 04 01 10 01 02 01 1a 01 72 2d 00 00	...s........................r-..
0880	00 63 02 00 00 00 00 00 00 00 05 00 00 00 05 00 00 00 03 00 00 00 73 3e 00 00 00 87 00 66 01 64	.c....................s>.....f.d
08a0	01 64 02 84 08 7d 02 74 00 a0 01 7c 02 7c 00 64 03 19 00 83 01 a1 01 7d 03 78 1a 7c 00 44 00 5d	.d...}.t...|.|.d.......}.x.|.D.]
08c0	12 7d 04 7c 03 a0 02 7c 02 7c 04 83 01 a1 01 01 00 71 24 57 00 64 04 53 00 29 05 7a 43 56 65 72	.}.|...|.|.......q$W.d.S.).zCVer
08e0	69 66 69 65 73 20 74 68 61 74 20 74 65 6e 73 6f 72 20 73 68 61 70 65 73 20 61 72 65 20 63 6f 6d	ifies.that.tensor.shapes.are.com
0900	70 61 74 69 62 6c 65 2c 20 65 78 63 65 70 74 20 66 6f 72 20 60 62 61 74 63 68 5f 64 69 6d 60 2e	patible,.except.for.`batch_dim`.
0920	63 01 00 00 00 00 00 00 00 02 00 00 00 02 00 00 00 13 00 00 00 73 14 00 00 00 7c 00 6a 00 a0 01	c....................s....|.j...
0940	a1 00 7d 01 7c 01 88 00 3d 00 7c 01 53 00 29 01 4e 29 02 72 0f 00 00 00 da 07 61 73 5f 6c 69 73	..}.|...=.|.S.).N).r......as_lis
0960	74 29 02 72 11 00 00 00 72 0f 00 00 00 29 01 da 09 62 61 74 63 68 5f 64 69 6d 72 15 00 00 00 72	t).r....r....)...batch_dimr....r
0980	16 00 00 00 da 0a 5f 67 65 74 5f 73 68 61 70 65 64 00 00 00 73 06 00 00 00 00 01 0a 01 06 01 7a	......_get_shaped...s..........z
09a0	28 5f 76 61 6c 69 64 61 74 65 5f 63 61 6c 6c 5f 69 6e 70 75 74 2e 3c 6c 6f 63 61 6c 73 3e 2e 5f	(_validate_call_input.<locals>._
09c0	67 65 74 5f 73 68 61 70 65 72 01 00 00 00 4e 29 03 72 07 00 00 00 da 0b 54 65 6e 73 6f 72 53 68	get_shaper....N).r......TensorSh
09e0	61 70 65 da 19 61 73 73 65 72 74 5f 69 73 5f 63 6f 6d 70 61 74 69 62 6c 65 5f 77 69 74 68 29 05	ape..assert_is_compatible_with).
0a00	da 0b 74 65 6e 73 6f 72 5f 6c 69 73 74 72 2f 00 00 00 72 30 00 00 00 5a 0a 62 61 73 65 5f 73 68	..tensor_listr/...r0...Z.base_sh
0a20	61 70 65 72 11 00 00 00 72 15 00 00 00 29 01 72 2f 00 00 00 72 16 00 00 00 da 14 5f 76 61 6c 69	aper....r....).r/...r......_vali
0a40	64 61 74 65 5f 63 61 6c 6c 5f 69 6e 70 75 74 62 00 00 00 73 08 00 00 00 00 02 0c 04 12 01 0a 01	date_call_inputb...s............
0a60	72 34 00 00 00 63 00 00 00 00 00 00 00 00 00 00 00 00 0b 00 00 00 40 00 00 00 73 5a 00 00 00 65	r4...c................@...sZ...e
0a80	00 5a 01 64 00 5a 02 64 01 5a 03 64 02 64 03 64 04 64 04 65 04 a0 05 a1 00 65 04 a0 06 a1 00 64	.Z.d.Z.d.Z.d.d.d.d.e.....e.....d
0aa0	05 64 05 64 04 64 05 64 06 66 0b 64 07 64 08 84 01 5a 07 64 09 64 0a 84 00 5a 08 64 11 64 0b 64	.d.d.d.d.f.d.d...Z.d.d...Z.d.d.d
0ac0	0c 84 01 5a 09 64 0d 64 0e 84 00 5a 0a 64 0f 64 10 84 00 5a 0b 64 05 53 00 29 12 72 0e 00 00 00	...Z.d.d...Z.d.d...Z.d.S.).r....
0ae0	61 d4 02 00 00 41 20 63 6c 61 73 73 20 74 6f 20 70 65 72 66 6f 72 6d 20 76 69 72 74 75 61 6c 20	a....A.class.to.perform.virtual.
0b00	62 61 74 63 68 20 6e 6f 72 6d 61 6c 69 7a 61 74 69 6f 6e 2e 0a 0a 20 20 54 68 69 73 20 74 65 63	batch.normalization.....This.tec
0b20	68 6e 69 71 75 65 20 77 61 73 20 66 69 72 73 74 20 69 6e 74 72 6f 64 75 63 65 64 20 69 6e 20 60	hnique.was.first.introduced.in.`
0b40	49 6d 70 72 6f 76 65 64 20 54 65 63 68 6e 69 71 75 65 73 20 66 6f 72 20 54 72 61 69 6e 69 6e 67	Improved.Techniques.for.Training
0b60	20 47 41 4e 73 60 0a 20 20 28 53 61 6c 69 6d 61 6e 73 20 65 74 20 61 6c 2c 20 68 74 74 70 73 3a	.GANs`...(Salimans.et.al,.https:
0b80	2f 2f 61 72 78 69 76 2e 6f 72 67 2f 61 62 73 2f 31 36 30 36 2e 30 33 34 39 38 29 2e 20 49 6e 73	//arxiv.org/abs/1606.03498)..Ins
0ba0	74 65 61 64 20 6f 66 20 75 73 69 6e 67 20 62 61 74 63 68 0a 20 20 6e 6f 72 6d 61 6c 69 7a 61 74	tead.of.using.batch...normalizat
0bc0	69 6f 6e 20 6f 6e 20 61 20 6d 69 6e 69 62 61 74 63 68 2c 20 69 74 20 66 69 78 65 73 20 61 20 72	ion.on.a.minibatch,.it.fixes.a.r
0be0	65 66 65 72 65 6e 63 65 20 73 75 62 73 65 74 20 6f 66 20 74 68 65 20 64 61 74 61 20 74 6f 20 75	eference.subset.of.the.data.to.u
0c00	73 65 0a 20 20 66 6f 72 20 63 61 6c 63 75 6c 61 74 69 6e 67 20 6e 6f 72 6d 61 6c 69 7a 61 74 69	se...for.calculating.normalizati
0c20	6f 6e 20 73 74 61 74 69 73 74 69 63 73 2e 0a 0a 20 20 54 6f 20 64 6f 20 74 68 69 73 2c 20 77 65	on.statistics.....To.do.this,.we
0c40	20 63 61 6c 63 75 6c 61 74 65 20 74 68 65 20 72 65 66 65 72 65 6e 63 65 20 62 61 74 63 68 20 6d	.calculate.the.reference.batch.m
0c60	65 61 6e 20 61 6e 64 20 6d 65 61 6e 20 73 71 75 61 72 65 2c 20 61 6e 64 20 6d 6f 64 69 66 79 0a	ean.and.mean.square,.and.modify.
0c80	20 20 74 68 6f 73 65 20 73 74 61 74 69 73 74 69 63 73 20 66 6f 72 20 65 61 63 68 20 65 78 61 6d	..those.statistics.for.each.exam
0ca0	70 6c 65 2e 20 57 65 20 75 73 65 20 6d 65 61 6e 20 73 71 75 61 72 65 20 69 6e 73 74 65 61 64 20	ple..We.use.mean.square.instead.
0cc0	6f 66 20 76 61 72 69 61 6e 63 65 2c 0a 20 20 73 69 6e 63 65 20 69 74 20 69 73 20 6c 69 6e 65 61	of.variance,...since.it.is.linea
0ce0	72 2e 0a 0a 20 20 4e 6f 74 65 20 74 68 61 74 20 69 66 20 60 63 65 6e 74 65 72 60 20 6f 72 20 60	r.....Note.that.if.`center`.or.`
0d00	73 63 61 6c 65 60 20 76 61 72 69 61 62 6c 65 73 20 61 72 65 20 63 72 65 61 74 65 64 2c 20 74 68	scale`.variables.are.created,.th
0d20	65 79 20 61 72 65 20 73 68 61 72 65 64 0a 20 20 62 65 74 77 65 65 6e 20 61 6c 6c 20 63 61 6c 6c	ey.are.shared...between.all.call
0d40	73 20 74 6f 20 74 68 69 73 20 6f 62 6a 65 63 74 2e 0a 0a 20 20 54 68 65 20 60 5f 5f 69 6e 69 74	s.to.this.object.....The.`__init
0d60	5f 5f 60 20 41 50 49 20 69 73 20 69 6e 74 65 6e 64 65 64 20 74 6f 20 6d 69 6d 69 63 20 60 74 66	__`.API.is.intended.to.mimic.`tf
0d80	2e 6c 61 79 65 72 73 2e 62 61 74 63 68 5f 6e 6f 72 6d 61 6c 69 7a 61 74 69 6f 6e 60 20 61 73 0a	.layers.batch_normalization`.as.
0da0	20 20 63 6c 6f 73 65 6c 79 20 61 73 20 70 6f 73 73 69 62 6c 65 2e 0a 20 20 e9 ff ff ff ff 67 fc	..closely.as.possible.........g.
0dc0	a9 f1 d2 4d 62 50 3f 54 4e 72 01 00 00 00 63 0d 00 00 00 00 00 00 00 12 00 00 00 09 00 00 00 43	...MbP?TNr....c................C
0de0	00 00 00 73 92 01 00 00 74 00 7c 01 7c 02 83 02 7d 02 7c 03 7c 00 5f 01 64 01 7c 00 5f 02 64 02	...s....t.|.|...}.|.|._.d.|._.d.
0e00	7c 00 5f 03 74 00 7c 01 7c 0c 83 02 7c 00 5f 04 7c 02 7c 00 6a 04 6b 02 72 3a 74 05 64 03 83 01	|._.t.|.|...|._.|.|.j.k.r:t.d...
0e20	82 01 74 06 6a 06 7c 0b 64 04 7c 01 67 01 64 05 8d 03 90 01 8f 3a 7c 00 5f 07 7c 01 7c 00 5f 08	..t.j.|.d.|.g.d......:|._.|.|._.
0e40	7c 00 6a 08 6a 09 7d 0d 7c 0d 6a 0a 7d 0e 74 0b 74 0c 7c 0e 83 01 83 01 7d 0f 7c 0f 7c 02 3d 00	|.j.j.}.|.j.}.t.t.|.....}.|.|.=.
0e60	64 02 67 01 74 0d 7c 0d 83 01 14 00 7c 00 5f 0e 7c 0d 7c 02 19 00 6a 0f 7c 00 6a 0e 7c 02 3c 00	d.g.t.|.....|._.|.|...j.|.j.|.<.
0e80	74 0b 74 0c 7c 0e 83 01 83 01 7c 00 5f 10 7c 00 6a 10 74 11 7c 02 7c 00 6a 04 83 02 3d 00 7c 00	t.t.|.....|._.|.j.t.|.|.j...=.|.
0ea0	6a 10 74 12 7c 02 7c 00 6a 04 83 02 3d 00 7c 00 6a 08 6a 09 7c 02 19 00 7d 10 74 13 7c 00 6a 10	j.t.|.|.j...=.|.j.j.|...}.t.|.j.
0ec0	83 01 74 0b 74 0c 7c 0e 83 01 83 01 64 06 64 07 85 02 19 00 6b 03 7c 00 5f 14 74 15 7c 00 6a 08	..t.t.|.....d.d.....k.|._.t.|.j.
0ee0	7c 0f 83 02 5c 02 7c 00 5f 16 7c 00 5f 17 7c 00 6a 17 74 18 a0 19 7c 00 6a 16 a1 01 18 00 7c 00	|...\.|._.|._.|.j.t...|.j.....|.
0f00	5f 1a 74 1b 7c 00 6a 08 7c 00 6a 04 83 02 7d 11 64 08 74 18 a0 1c 7c 11 a1 01 64 08 17 00 1b 00	_.t.|.j.|.j...}.d.t...|...d.....
0f20	7c 00 5f 1d 64 08 7c 00 6a 1d 18 00 7c 00 5f 1e 7c 04 90 01 72 66 74 06 6a 1f 64 09 7c 10 66 01	|._.d.|.j...|._.|...rft.j.d.|.f.
0f40	7c 06 7c 08 7c 0a 64 0a 8d 05 7c 00 5f 02 7c 05 90 01 72 84 74 06 6a 1f 64 0b 7c 10 66 01 7c 07	|.|.|.d...|._.|...r.t.j.d.|.f.|.
0f60	7c 09 7c 0a 64 0a 8d 05 7c 00 5f 03 57 00 64 06 51 00 52 00 58 00 64 06 53 00 29 0c 61 ab 07 00	|.|.d...|._.W.d.Q.R.X.d.S.).a...
0f80	00 49 6e 69 74 69 61 6c 69 7a 65 20 76 69 72 74 75 61 6c 20 62 61 74 63 68 20 6e 6f 72 6d 61 6c	.Initialize.virtual.batch.normal
0fa0	69 7a 61 74 69 6f 6e 20 6f 62 6a 65 63 74 2e 0a 0a 20 20 20 20 57 65 20 70 72 65 63 6f 6d 70 75	ization.object.......We.precompu
0fc0	74 65 20 74 68 65 20 27 6d 65 61 6e 27 20 61 6e 64 20 27 6d 65 61 6e 20 73 71 75 61 72 65 64 27	te.the.'mean'.and.'mean.squared'
0fe0	20 6f 66 20 74 68 65 20 72 65 66 65 72 65 6e 63 65 20 62 61 74 63 68 2c 20 73 6f 20 74 68 61 74	.of.the.reference.batch,.so.that
1000	0a 20 20 20 20 60 5f 5f 63 61 6c 6c 5f 5f 60 20 69 73 20 65 66 66 69 63 69 65 6e 74 2e 20 54 68	.....`__call__`.is.efficient..Th
1020	69 73 20 6d 65 61 6e 73 20 74 68 61 74 20 74 68 65 20 61 78 69 73 20 6d 75 73 74 20 62 65 20 73	is.means.that.the.axis.must.be.s
1040	75 70 70 6c 69 65 64 20 77 68 65 6e 20 74 68 65 0a 20 20 20 20 6f 62 6a 65 63 74 20 69 73 20 63	upplied.when.the.....object.is.c
1060	72 65 61 74 65 64 2c 20 6e 6f 74 20 77 68 65 6e 20 69 74 20 69 73 20 63 61 6c 6c 65 64 2e 0a 0a	reated,.not.when.it.is.called...
1080	20 20 20 20 57 65 20 70 72 65 63 6f 6d 70 75 74 65 20 27 73 71 75 61 72 65 20 6d 65 61 6e 27 20	....We.precompute.'square.mean'.
10a0	69 6e 73 74 65 61 64 20 6f 66 20 27 76 61 72 69 61 6e 63 65 27 2c 20 62 65 63 61 75 73 65 20 74	instead.of.'variance',.because.t
10c0	68 65 20 73 71 75 61 72 65 20 6d 65 61 6e 0a 20 20 20 20 63 61 6e 20 62 65 20 65 61 73 69 6c 79	he.square.mean.....can.be.easily
10e0	20 61 64 6a 75 73 74 65 64 20 6f 6e 20 61 20 70 65 72 2d 65 78 61 6d 70 6c 65 20 62 61 73 69 73	.adjusted.on.a.per-example.basis
1100	2e 0a 0a 20 20 20 20 41 72 67 73 3a 0a 20 20 20 20 20 20 72 65 66 65 72 65 6e 63 65 5f 62 61 74	.......Args:.......reference_bat
1120	63 68 3a 20 41 20 6d 69 6e 69 62 61 74 63 68 20 74 65 6e 73 6f 72 73 2e 20 54 68 69 73 20 77 69	ch:.A.minibatch.tensors..This.wi
1140	6c 6c 20 66 6f 72 6d 20 74 68 65 20 72 65 66 65 72 65 6e 63 65 20 64 61 74 61 0a 20 20 20 20 20	ll.form.the.reference.data......
1160	20 20 20 66 72 6f 6d 20 77 68 69 63 68 20 74 68 65 20 6e 6f 72 6d 61 6c 69 7a 61 74 69 6f 6e 20	...from.which.the.normalization.
1180	73 74 61 74 69 73 74 69 63 73 20 61 72 65 20 63 61 6c 63 75 6c 61 74 65 64 2e 20 53 65 65 0a 20	statistics.are.calculated..See..
11a0	20 20 20 20 20 20 20 68 74 74 70 73 3a 2f 2f 61 72 78 69 76 2e 6f 72 67 2f 61 62 73 2f 31 36 30	.......https://arxiv.org/abs/160
11c0	36 2e 30 33 34 39 38 20 66 6f 72 20 6d 6f 72 65 20 64 65 74 61 69 6c 73 2e 0a 20 20 20 20 20 20	6.03498.for.more.details........
11e0	61 78 69 73 3a 20 49 6e 74 65 67 65 72 2c 20 74 68 65 20 61 78 69 73 20 74 68 61 74 20 73 68 6f	axis:.Integer,.the.axis.that.sho
1200	75 6c 64 20 62 65 20 6e 6f 72 6d 61 6c 69 7a 65 64 20 28 74 79 70 69 63 61 6c 6c 79 20 74 68 65	uld.be.normalized.(typically.the
1220	20 66 65 61 74 75 72 65 73 0a 20 20 20 20 20 20 20 20 61 78 69 73 29 2e 20 46 6f 72 20 69 6e 73	.features.........axis)..For.ins
1240	74 61 6e 63 65 2c 20 61 66 74 65 72 20 61 20 60 43 6f 6e 76 6f 6c 75 74 69 6f 6e 32 44 60 20 6c	tance,.after.a.`Convolution2D`.l
1260	61 79 65 72 20 77 69 74 68 0a 20 20 20 20 20 20 20 20 60 64 61 74 61 5f 66 6f 72 6d 61 74 3d 22	ayer.with.........`data_format="
1280	63 68 61 6e 6e 65 6c 73 5f 66 69 72 73 74 22 60 2c 20 73 65 74 20 60 61 78 69 73 3d 31 60 20 69	channels_first"`,.set.`axis=1`.i
12a0	6e 20 60 42 61 74 63 68 4e 6f 72 6d 61 6c 69 7a 61 74 69 6f 6e 60 2e 0a 20 20 20 20 20 20 65 70	n.`BatchNormalization`........ep
12c0	73 69 6c 6f 6e 3a 20 53 6d 61 6c 6c 20 66 6c 6f 61 74 20 61 64 64 65 64 20 74 6f 20 76 61 72 69	silon:.Small.float.added.to.vari
12e0	61 6e 63 65 20 74 6f 20 61 76 6f 69 64 20 64 69 76 69 64 69 6e 67 20 62 79 20 7a 65 72 6f 2e 0a	ance.to.avoid.dividing.by.zero..
1300	20 20 20 20 20 20 63 65 6e 74 65 72 3a 20 49 66 20 54 72 75 65 2c 20 61 64 64 20 6f 66 66 73 65	......center:.If.True,.add.offse
1320	74 20 6f 66 20 60 62 65 74 61 60 20 74 6f 20 6e 6f 72 6d 61 6c 69 7a 65 64 20 74 65 6e 73 6f 72	t.of.`beta`.to.normalized.tensor
1340	2e 20 49 66 20 46 61 6c 73 65 2c 0a 20 20 20 20 20 20 20 20 60 62 65 74 61 60 20 69 73 20 69 67	..If.False,.........`beta`.is.ig
1360	6e 6f 72 65 64 2e 0a 20 20 20 20 20 20 73 63 61 6c 65 3a 20 49 66 20 54 72 75 65 2c 20 6d 75 6c	nored........scale:.If.True,.mul
1380	74 69 70 6c 79 20 62 79 20 60 67 61 6d 6d 61 60 2e 20 49 66 20 46 61 6c 73 65 2c 20 60 67 61 6d	tiply.by.`gamma`..If.False,.`gam
13a0	6d 61 60 20 69 73 0a 20 20 20 20 20 20 20 20 6e 6f 74 20 75 73 65 64 2e 20 57 68 65 6e 20 74 68	ma`.is.........not.used..When.th
13c0	65 20 6e 65 78 74 20 6c 61 79 65 72 20 69 73 20 6c 69 6e 65 61 72 20 28 61 6c 73 6f 20 65 2e 67	e.next.layer.is.linear.(also.e.g
13e0	2e 20 60 6e 6e 2e 72 65 6c 75 60 29 2c 20 74 68 69 73 20 63 61 6e 0a 20 20 20 20 20 20 20 20 62	..`nn.relu`),.this.can.........b
1400	65 20 64 69 73 61 62 6c 65 64 20 73 69 6e 63 65 20 74 68 65 20 73 63 61 6c 69 6e 67 20 63 61 6e	e.disabled.since.the.scaling.can
1420	20 62 65 20 64 6f 6e 65 20 62 79 20 74 68 65 20 6e 65 78 74 20 6c 61 79 65 72 2e 0a 20 20 20 20	.be.done.by.the.next.layer......
1440	20 20 62 65 74 61 5f 69 6e 69 74 69 61 6c 69 7a 65 72 3a 20 49 6e 69 74 69 61 6c 69 7a 65 72 20	..beta_initializer:.Initializer.
1460	66 6f 72 20 74 68 65 20 62 65 74 61 20 77 65 69 67 68 74 2e 0a 20 20 20 20 20 20 67 61 6d 6d 61	for.the.beta.weight........gamma
1480	5f 69 6e 69 74 69 61 6c 69 7a 65 72 3a 20 49 6e 69 74 69 61 6c 69 7a 65 72 20 66 6f 72 20 74 68	_initializer:.Initializer.for.th
14a0	65 20 67 61 6d 6d 61 20 77 65 69 67 68 74 2e 0a 20 20 20 20 20 20 62 65 74 61 5f 72 65 67 75 6c	e.gamma.weight........beta_regul
14c0	61 72 69 7a 65 72 3a 20 4f 70 74 69 6f 6e 61 6c 20 72 65 67 75 6c 61 72 69 7a 65 72 20 66 6f 72	arizer:.Optional.regularizer.for
14e0	20 74 68 65 20 62 65 74 61 20 77 65 69 67 68 74 2e 0a 20 20 20 20 20 20 67 61 6d 6d 61 5f 72 65	.the.beta.weight........gamma_re
1500	67 75 6c 61 72 69 7a 65 72 3a 20 4f 70 74 69 6f 6e 61 6c 20 72 65 67 75 6c 61 72 69 7a 65 72 20	gularizer:.Optional.regularizer.
1520	66 6f 72 20 74 68 65 20 67 61 6d 6d 61 20 77 65 69 67 68 74 2e 0a 20 20 20 20 20 20 74 72 61 69	for.the.gamma.weight........trai
1540	6e 61 62 6c 65 3a 20 42 6f 6f 6c 65 61 6e 2c 20 69 66 20 60 54 72 75 65 60 20 61 6c 73 6f 20 61	nable:.Boolean,.if.`True`.also.a
1560	64 64 20 76 61 72 69 61 62 6c 65 73 20 74 6f 20 74 68 65 20 67 72 61 70 68 20 63 6f 6c 6c 65 63	dd.variables.to.the.graph.collec
1580	74 69 6f 6e 0a 20 20 20 20 20 20 20 20 60 47 72 61 70 68 4b 65 79 73 2e 54 52 41 49 4e 41 42 4c	tion.........`GraphKeys.TRAINABL
15a0	45 5f 56 41 52 49 41 42 4c 45 53 60 20 28 73 65 65 20 74 66 2e 56 61 72 69 61 62 6c 65 29 2e 0a	E_VARIABLES`.(see.tf.Variable)..
15c0	20 20 20 20 20 20 6e 61 6d 65 3a 20 53 74 72 69 6e 67 2c 20 74 68 65 20 6e 61 6d 65 20 6f 66 20	......name:.String,.the.name.of.
15e0	74 68 65 20 6f 70 73 2e 0a 20 20 20 20 20 20 62 61 74 63 68 5f 61 78 69 73 3a 20 54 68 65 20 61	the.ops........batch_axis:.The.a
1600	78 69 73 20 6f 66 20 74 68 65 20 62 61 74 63 68 20 64 69 6d 65 6e 73 69 6f 6e 2e 20 54 68 69 73	xis.of.the.batch.dimension..This
1620	20 64 69 6d 65 6e 73 69 6f 6e 20 69 73 20 74 72 65 61 74 65 64 0a 20 20 20 20 20 20 20 20 64 69	.dimension.is.treated.........di
1640	66 66 65 72 65 6e 74 6c 79 20 69 6e 20 60 76 69 72 74 75 61 6c 20 62 61 74 63 68 20 6e 6f 72 6d	fferently.in.`virtual.batch.norm
1660	61 6c 69 7a 61 74 69 6f 6e 60 20 76 73 20 60 62 61 74 63 68 20 6e 6f 72 6d 61 6c 69 7a 61 74 69	alization`.vs.`batch.normalizati
1680	6f 6e 60 2e 0a 0a 20 20 20 20 52 61 69 73 65 73 3a 0a 20 20 20 20 20 20 56 61 6c 75 65 45 72 72	on`.......Raises:.......ValueErr
16a0	6f 72 3a 20 49 66 20 60 72 65 66 65 72 65 6e 63 65 5f 62 61 74 63 68 60 20 68 61 73 20 75 6e 6b	or:.If.`reference_batch`.has.unk
16c0	6e 6f 77 6e 20 64 69 6d 65 6e 73 69 6f 6e 73 20 61 74 20 67 72 61 70 68 0a 20 20 20 20 20 20 20	nown.dimensions.at.graph........
16e0	20 63 6f 6e 73 74 72 75 63 74 69 6f 6e 2e 0a 20 20 20 20 20 20 56 61 6c 75 65 45 72 72 6f 72 3a	.construction........ValueError:
1700	20 49 66 20 60 62 61 74 63 68 5f 61 78 69 73 60 20 69 73 20 74 68 65 20 73 61 6d 65 20 61 73 20	.If.`batch_axis`.is.the.same.as.
1720	60 61 78 69 73 60 2e 0a 20 20 20 20 72 01 00 00 00 e9 01 00 00 00 7a 2b 60 61 78 69 73 60 20 61	`axis`......r.........z+`axis`.a
1740	6e 64 20 60 62 61 74 63 68 5f 61 78 69 73 60 20 63 61 6e 6e 6f 74 20 62 65 20 74 68 65 20 73 61	nd.`batch_axis`.cannot.be.the.sa
1760	6d 65 2e 72 0e 00 00 00 29 01 da 06 76 61 6c 75 65 73 4e e9 fe ff ff ff 67 00 00 00 00 00 00 f0	me.r....)...valuesN.....g.......
1780	3f da 04 62 65 74 61 29 05 da 04 6e 61 6d 65 72 0f 00 00 00 da 0b 69 6e 69 74 69 61 6c 69 7a 65	?..beta)...namer......initialize
17a0	72 da 0b 72 65 67 75 6c 61 72 69 7a 65 72 da 09 74 72 61 69 6e 61 62 6c 65 da 05 67 61 6d 6d 61	r..regularizer..trainable..gamma
17c0	29 20 72 2d 00 00 00 da 08 5f 65 70 73 69 6c 6f 6e da 05 5f 62 65 74 61 da 06 5f 67 61 6d 6d 61	).r-....._epsilon.._beta.._gamma
17e0	da 0b 5f 62 61 74 63 68 5f 61 78 69 73 72 29 00 00 00 72 0d 00 00 00 da 03 5f 76 73 da 10 5f 72	.._batch_axisr)...r......_vs.._r
1800	65 66 65 72 65 6e 63 65 5f 62 61 74 63 68 72 0f 00 00 00 72 28 00 00 00 da 04 6c 69 73 74 da 05	eference_batchr....r(.....list..
1820	72 61 6e 67 65 da 03 6c 65 6e da 10 5f 62 72 6f 61 64 63 61 73 74 5f 73 68 61 70 65 da 05 76 61	range..len.._broadcast_shape..va
1840	6c 75 65 da 17 5f 65 78 61 6d 70 6c 65 5f 72 65 64 75 63 74 69 6f 6e 5f 61 78 65 73 da 03 6d 61	lue.._example_reduction_axes..ma
1860	78 da 03 6d 69 6e da 06 73 6f 72 74 65 64 da 13 5f 6e 65 65 64 73 5f 62 72 6f 61 64 63 61 73 74	x..min..sorted.._needs_broadcast
1880	69 6e 67 72 27 00 00 00 da 09 5f 72 65 66 5f 6d 65 61 6e da 11 5f 72 65 66 5f 6d 65 61 6e 5f 73	ingr'....._ref_mean.._ref_mean_s
18a0	71 75 61 72 65 73 72 0b 00 00 00 72 1f 00 00 00 da 0d 5f 72 65 66 5f 76 61 72 69 61 6e 63 65 72	quaresr....r......_ref_variancer
18c0	17 00 00 00 da 08 74 6f 5f 66 6c 6f 61 74 da 0f 5f 65 78 61 6d 70 6c 65 5f 77 65 69 67 68 74 da	......to_float.._example_weight.
18e0	0b 5f 72 65 66 5f 77 65 69 67 68 74 da 0c 67 65 74 5f 76 61 72 69 61 62 6c 65 29 12 da 04 73 65	._ref_weight..get_variable)...se
1900	6c 66 72 2b 00 00 00 72 2c 00 00 00 da 07 65 70 73 69 6c 6f 6e da 06 63 65 6e 74 65 72 da 05 73	lfr+...r,.....epsilon..center..s
1920	63 61 6c 65 da 10 62 65 74 61 5f 69 6e 69 74 69 61 6c 69 7a 65 72 da 11 67 61 6d 6d 61 5f 69 6e	cale..beta_initializer..gamma_in
1940	69 74 69 61 6c 69 7a 65 72 da 10 62 65 74 61 5f 72 65 67 75 6c 61 72 69 7a 65 72 da 11 67 61 6d	itializer..beta_regularizer..gam
1960	6d 61 5f 72 65 67 75 6c 61 72 69 7a 65 72 72 3d 00 00 00 72 3a 00 00 00 72 12 00 00 00 da 0b 69	ma_regularizerr=...r:...r......i
1980	6e 70 75 74 5f 73 68 61 70 65 72 28 00 00 00 da 0e 72 65 64 75 63 74 69 6f 6e 5f 61 78 65 73 da	nput_shaper(.....reduction_axes.
19a0	0c 70 61 72 61 6d 73 5f 73 68 61 70 65 5a 0e 72 65 66 5f 62 61 74 63 68 5f 73 69 7a 65 72 15 00	.params_shapeZ.ref_batch_sizer..
19c0	00 00 72 15 00 00 00 72 16 00 00 00 da 08 5f 5f 69 6e 69 74 5f 5f 80 00 00 00 73 58 00 00 00 00	..r....r......__init__....sX....
19e0	32 0a 01 06 01 06 01 06 01 02 01 0a 02 0a 01 08 02 08 01 10 01 06 07 08 01 06 01 0c 01 06 02 10	2...............................
1a00	01 10 02 0e 01 10 01 10 02 0c 05 20 04 02 01 12 01 04 01 10 04 02 01 0c 01 14 01 0c 03 06 01 04	................................
1a20	01 02 01 04 01 02 01 02 01 0a 01 06 01 04 01 02 01 04 01 02 01 02 01 7a 0c 56 42 4e 2e 5f 5f 69	.......................z.VBN.__i
1a40	6e 69 74 5f 5f 63 03 00 00 00 00 00 00 00 07 00 00 00 03 00 00 00 43 00 00 00 73 42 00 00 00 74	nit__c................C...sB...t
1a60	00 7c 01 7c 02 83 02 5c 02 7d 03 7d 04 7c 00 6a 01 7c 03 14 00 7c 00 6a 02 7c 00 6a 03 14 00 17	.|.|...\.}.}.|.j.|...|.j.|.j....
1a80	00 7d 05 7c 00 6a 01 7c 04 14 00 7c 00 6a 02 7c 00 6a 04 14 00 17 00 7d 06 7c 05 7c 06 66 02 53	.}.|.j.|...|.j.|.j.....}.|.|.f.S
1aa0	00 29 01 7a 3e 43 6f 6d 70 75 74 65 20 74 68 65 20 73 74 61 74 69 73 74 69 63 73 20 6e 65 65 64	.).z>Compute.the.statistics.need
1ac0	65 64 20 66 6f 72 20 76 69 72 74 75 61 6c 20 62 61 74 63 68 20 6e 6f 72 6d 61 6c 69 7a 61 74 69	ed.for.virtual.batch.normalizati
1ae0	6f 6e 2e 29 05 72 27 00 00 00 72 53 00 00 00 72 54 00 00 00 72 4f 00 00 00 72 50 00 00 00 29 07	on.).r'...rS...rT...rO...rP...).
1b00	72 56 00 00 00 da 06 69 6e 70 75 74 73 72 5f 00 00 00 5a 08 63 75 72 5f 6d 65 61 6e 5a 0b 63 75	rV.....inputsr_...Z.cur_meanZ.cu
1b20	72 5f 6d 65 61 6e 5f 73 71 da 07 76 62 5f 6d 65 61 6e da 0a 76 62 5f 6d 65 61 6e 5f 73 71 72 15	r_mean_sq..vb_mean..vb_mean_sqr.
1b40	00 00 00 72 15 00 00 00 72 16 00 00 00 da 13 5f 76 69 72 74 75 61 6c 5f 73 74 61 74 69 73 74 69	...r....r......_virtual_statisti
1b60	63 73 f6 00 00 00 73 0c 00 00 00 00 02 0e 01 08 01 0e 01 08 01 0e 01 7a 17 56 42 4e 2e 5f 76 69	cs....s................z.VBN._vi
1b80	72 74 75 61 6c 5f 73 74 61 74 69 73 74 69 63 73 63 03 00 00 00 00 00 00 00 04 00 00 00 04 00 00	rtual_statisticsc...............
1ba0	00 43 00 00 00 73 28 00 00 00 7c 02 70 08 7c 00 6a 00 7d 03 7c 00 6a 01 72 24 7c 01 64 00 6b 09	.C...s(...|.p.|.j.}.|.j.r$|.d.k.
1bc0	72 24 74 02 a0 03 7c 01 7c 03 a1 02 53 00 7c 01 53 00 29 01 4e 29 04 72 48 00 00 00 72 4e 00 00	r$t...|.|...S.|.S.).N).rH...rN..
1be0	00 72 09 00 00 00 da 07 72 65 73 68 61 70 65 29 04 72 56 00 00 00 da 01 76 da 0f 62 72 6f 61 64	.r......reshape).rV.....v..broad
1c00	63 61 73 74 5f 73 68 61 70 65 da 07 62 5f 73 68 61 70 65 72 15 00 00 00 72 15 00 00 00 72 16 00	cast_shape..b_shaper....r....r..
1c20	00 00 da 0a 5f 62 72 6f 61 64 63 61 73 74 ff 00 00 00 73 08 00 00 00 00 04 0a 01 0e 01 0c 01 7a	...._broadcast....s............z
1c40	0e 56 42 4e 2e 5f 62 72 6f 61 64 63 61 73 74 63 01 00 00 00 00 00 00 00 01 00 00 00 0a 00 00 00	.VBN._broadcastc................
1c60	43 00 00 00 73 52 00 00 00 74 00 a0 01 7c 00 6a 02 6a 03 a1 01 8f 3a 01 00 74 04 a0 05 7c 00 6a	C...sR...t...|.j.j....:..t...|.j
1c80	06 7c 00 a0 07 7c 00 6a 08 a1 01 7c 00 a0 07 7c 00 6a 09 a1 01 7c 00 a0 07 7c 00 6a 0a a1 01 7c	.|...|.j...|...|.j...|...|.j...|
1ca0	00 a0 07 7c 00 6a 0b a1 01 7c 00 6a 0c a1 06 53 00 51 00 52 00 58 00 64 01 53 00 29 02 7a 31 52	...|.j...|.j...S.Q.R.X.d.S.).z1R
1cc0	65 74 75 72 6e 20 74 68 65 20 72 65 66 65 72 65 6e 63 65 20 62 61 74 63 68 2c 20 62 75 74 20 62	eturn.the.reference.batch,.but.b
1ce0	61 74 63 68 20 6e 6f 72 6d 61 6c 69 7a 65 64 2e 4e 29 0d 72 06 00 00 00 da 0a 6e 61 6d 65 5f 73	atch.normalized.N).r......name_s
1d00	63 6f 70 65 72 43 00 00 00 72 3a 00 00 00 72 0c 00 00 00 da 13 62 61 74 63 68 5f 6e 6f 72 6d 61	coperC...r:...r......batch_norma
1d20	6c 69 7a 61 74 69 6f 6e 72 44 00 00 00 72 6a 00 00 00 72 4f 00 00 00 72 51 00 00 00 72 40 00 00	lizationrD...rj...rO...rQ...r@..
1d40	00 72 41 00 00 00 72 3f 00 00 00 29 01 72 56 00 00 00 72 15 00 00 00 72 15 00 00 00 72 16 00 00	.rA...r?...).rV...r....r....r...
1d60	00 da 1d 72 65 66 65 72 65 6e 63 65 5f 62 61 74 63 68 5f 6e 6f 72 6d 61 6c 69 7a 61 74 69 6f 6e	...reference_batch_normalization
1d80	08 01 00 00 73 0e 00 00 00 00 02 10 01 08 01 0a 01 0a 01 0a 01 0a 01 7a 21 56 42 4e 2e 72 65 66	....s..................z!VBN.ref
1da0	65 72 65 6e 63 65 5f 62 61 74 63 68 5f 6e 6f 72 6d 61 6c 69 7a 61 74 69 6f 6e 63 02 00 00 00 00	erence_batch_normalizationc.....
1dc0	00 00 00 06 00 00 00 0b 00 00 00 43 00 00 00 73 b4 00 00 00 74 00 7c 01 7c 00 6a 01 67 02 7c 00	...........C...s....t.|.|.j.g.|.
1de0	6a 02 83 02 01 00 74 03 6a 04 7c 00 6a 05 6a 06 7c 01 7c 00 6a 01 67 02 64 01 8d 02 8f 80 01 00	j.....t.j.|.j.j.|.|.j.g.d.......
1e00	7c 00 a0 07 7c 01 7c 00 6a 08 a1 02 5c 02 7d 02 7d 03 7c 03 74 09 a0 0a 7c 02 a1 01 18 00 7d 04	|...|.|.j...\.}.}.|.t...|.....}.
1e20	7c 00 6a 0b 64 02 64 02 85 02 19 00 7d 05 74 0c 7c 01 7c 00 6a 02 83 02 7c 05 7c 00 6a 02 3c 00	|.j.d.d.....}.t.|.|.j...|.|.j.<.
1e40	74 0d a0 0e 7c 01 7c 00 a0 0f 7c 02 7c 05 a1 02 7c 00 a0 0f 7c 04 7c 05 a1 02 7c 00 a0 0f 7c 00	t...|.|...|.|...|...|.|...|...|.
1e60	6a 10 7c 00 6a 0b a1 02 7c 00 a0 0f 7c 00 6a 11 7c 00 6a 0b a1 02 7c 00 6a 12 a1 06 53 00 51 00	j.|.j...|...|.j.|.j...|.j...S.Q.
1e80	52 00 58 00 64 02 53 00 29 03 7a f8 52 75 6e 20 76 69 72 74 75 61 6c 20 62 61 74 63 68 20 6e 6f	R.X.d.S.).z.Run.virtual.batch.no
1ea0	72 6d 61 6c 69 7a 61 74 69 6f 6e 20 6f 6e 20 69 6e 70 75 74 73 2e 0a 0a 20 20 20 20 41 72 67 73	rmalization.on.inputs.......Args
1ec0	3a 0a 20 20 20 20 20 20 69 6e 70 75 74 73 3a 20 54 65 6e 73 6f 72 20 69 6e 70 75 74 2e 0a 0a 20	:.......inputs:.Tensor.input....
1ee0	20 20 20 52 65 74 75 72 6e 73 3a 0a 20 20 20 20 20 20 20 41 20 76 69 72 74 75 61 6c 20 62 61 74	...Returns:........A.virtual.bat
1f00	63 68 20 6e 6f 72 6d 61 6c 69 7a 65 64 20 76 65 72 73 69 6f 6e 20 6f 66 20 60 69 6e 70 75 74 73	ch.normalized.version.of.`inputs
1f20	60 2e 0a 0a 20 20 20 20 52 61 69 73 65 73 3a 0a 20 20 20 20 20 20 20 56 61 6c 75 65 45 72 72 6f	`.......Raises:........ValueErro
1f40	72 3a 20 49 66 20 60 69 6e 70 75 74 73 60 20 73 68 61 70 65 20 69 73 6e 27 74 20 63 6f 6d 70 61	r:.If.`inputs`.shape.isn't.compa
1f60	74 69 62 6c 65 20 77 69 74 68 20 74 68 65 20 72 65 66 65 72 65 6e 63 65 20 62 61 74 63 68 2e 0a	tible.with.the.reference.batch..
1f80	20 20 20 20 29 01 72 37 00 00 00 4e 29 13 72 34 00 00 00 72 44 00 00 00 72 42 00 00 00 72 06 00	....).r7...N).r4...rD...rB...r..
1fa0	00 00 72 6b 00 00 00 72 43 00 00 00 72 3a 00 00 00 72 65 00 00 00 72 4a 00 00 00 72 0b 00 00 00	..rk...rC...r:...re...rJ...r....
1fc0	72 1f 00 00 00 72 48 00 00 00 72 17 00 00 00 72 0c 00 00 00 72 6c 00 00 00 72 6a 00 00 00 72 40	r....rH...r....r....rl...rj...r@
1fe0	00 00 00 72 41 00 00 00 72 3f 00 00 00 29 06 72 56 00 00 00 72 62 00 00 00 72 63 00 00 00 72 64	...rA...r?...).rV...rb...rc...rd
2000	00 00 00 5a 0b 76 62 5f 76 61 72 69 61 6e 63 65 72 69 00 00 00 72 15 00 00 00 72 15 00 00 00 72	...Z.vb_varianceri...r....r....r
2020	16 00 00 00 da 08 5f 5f 63 61 6c 6c 5f 5f 12 01 00 00 73 1e 00 00 00 00 0c 12 02 1a 02 04 01 0e	......__call__....s.............
2040	01 0e 05 0e 01 02 01 10 01 04 01 02 01 0a 01 0a 01 0e 01 0e 01 7a 0c 56 42 4e 2e 5f 5f 63 61 6c	.....................z.VBN.__cal
2060	6c 5f 5f 29 01 4e 29 0c da 08 5f 5f 6e 61 6d 65 5f 5f da 0a 5f 5f 6d 6f 64 75 6c 65 5f 5f da 0c	l__).N)...__name__..__module__..
2080	5f 5f 71 75 61 6c 6e 61 6d 65 5f 5f da 07 5f 5f 64 6f 63 5f 5f 72 0a 00 00 00 da 11 7a 65 72 6f	__qualname__..__doc__r......zero
20a0	73 5f 69 6e 69 74 69 61 6c 69 7a 65 72 da 10 6f 6e 65 73 5f 69 6e 69 74 69 61 6c 69 7a 65 72 72	s_initializer..ones_initializerr
20c0	61 00 00 00 72 65 00 00 00 72 6a 00 00 00 72 6d 00 00 00 72 6e 00 00 00 72 15 00 00 00 72 15 00	a...re...rj...rm...rn...r....r..
20e0	00 00 72 15 00 00 00 72 16 00 00 00 72 0e 00 00 00 6d 00 00 00 73 20 00 00 00 08 11 04 04 02 01	..r....r....r....m...s..........
2100	02 01 02 01 02 01 06 01 06 01 02 01 02 01 02 01 02 01 0c 6a 08 09 0a 09 08 0a 4e 29 17 72 72 00	...................j......N).rr.
2120	00 00 da 0a 5f 5f 66 75 74 75 72 65 5f 5f 72 02 00 00 00 72 03 00 00 00 72 04 00 00 00 da 1b 74	....__future__r....r....r......t
2140	65 6e 73 6f 72 66 6c 6f 77 2e 70 79 74 68 6f 6e 2e 66 72 61 6d 65 77 6f 72 6b 72 05 00 00 00 72	ensorflow.python.frameworkr....r
2160	06 00 00 00 72 07 00 00 00 72 08 00 00 00 da 15 74 65 6e 73 6f 72 66 6c 6f 77 2e 70 79 74 68 6f	....r....r......tensorflow.pytho
2180	6e 2e 6f 70 73 72 09 00 00 00 72 0a 00 00 00 72 0b 00 00 00 72 0c 00 00 00 72 0d 00 00 00 da 07	n.opsr....r....r....r....r......
21a0	5f 5f 61 6c 6c 5f 5f 72 17 00 00 00 72 27 00 00 00 72 2d 00 00 00 72 34 00 00 00 da 06 6f 62 6a	__all__r....r'...r-...r4.....obj
21c0	65 63 74 72 0e 00 00 00 72 15 00 00 00 72 15 00 00 00 72 15 00 00 00 72 16 00 00 00 da 08 3c 6d	ectr....r....r....r....r......<m
21e0	6f 64 75 6c 65 3e 15 00 00 00 73 24 00 00 00 04 01 0c 01 0c 01 0c 02 0c 01 0c 01 0c 01 0c 01 0c	odule>....s$....................
2200	01 0c 01 0c 01 0c 01 0c 03 06 04 08 07 08 22 08 10 08 0b	.............."....