Posterior
q(z|o,a)
(1) Latent Rollouts From Posterior
Encoder
z
1
z
1
1
z
2
z
1
2
z
3
z
1
3
z
4
z
1
4
z
5
z
1
5
eos
eos
z
1
z
2
1
z
2
z
2
2
eos
eos
z
1
z
3
1
z
2
z
3
2
z
3
z
3
3
z
4
z
3
4
eos
eos
Decoder
(2) Model Update
Prior
p(z|o)
max
−
D
KL
(
q
(
z
|
o
,
a
)
∥
p
(
z
|
o
)
)
+
𝔼
q
[
log
p
(
a
|
o
,
z
)
]