Preview only show first 10 pages with watermark. For full document please download

Train Ai 2018 Andrej Karpathy Tesla

TRAIN AI 2018 Andrej Karpathy Tesla

   EMBED


Share

Transcript

!"#$%#&' )*+ ,-.)/01+ 234 ,)056  7&%1+8 901:0)*; !"# %&' (&%)  <= ;+01> 0'- N&'#&++1#&'O 0::1-05* D; %+5-E:->#)#-& <3 23 F3 I3  7P, >)056 C%+&)# C%+&)#.; .; 0 :1-D$+ :1-D$+E E !1+06 %-/& 0 D#' :1-D$+E )- >E0$$+1 :1-D$+E> G+>#'& 0$'-1#)*E> .-1 +05* #&%#H#%"0$ :1-D$+E @-E:->+ >-$")#-&> #&)- 0 >;>)+E J'+) 0 K>)056LM ?@ABCA >)056  7&%1-#% >-.)/01+ >)056 >)056 P+ '-) >"1:1#>#&'$; .01333 P*0) #> )*+ K1+5-'&#)#-& >)056LQ K50)L S#>"0$ T+5-'&#)#-&O "0$ T+5-'&#)#-&O W51#D#&' H01#-"> #E0'+ >)0)#>)#5> !""" &"ED+1>R #&%#50)#&' 5$0>> >5-1+> )10#&#&' @-E:")+1  S#>#-& #"!! @-E:")+1  S#>#-& #"!! @-E:")+1  S#>#-& #"!! [ 5-%+ 5-E:$+Y# 5-E:$+Y#); ); OJ H+5)-1 %+>51#D#&' H01#-"> #E0'+ >)0)#>)#5> X+0)"1+ NY)105)#-& .  !""" &"ED+1>R #&%#50)#&' 5$0>> >5-1+> )10#&#&' .  !""" &"ED+1>R #&%#50)#&' 5$0>> >5-1+> )10#&#&' K\N]T7^ 7T@_C?N@?]TN ,N7T@_ PC?_ TNC\X`T@N=N\? ^N7T\C\aLR b-:* c ^+ C& @-E:")+1 S#>#-&333 >50$+O G0)0>+)> c @-E:")+ ?-: :+1.-1E#&' E-%+$> a--'$+BX! CE0'+> -& )*+ /+D JW<4dU[ #E0'+>M b-&+ -. K&-) '-#&' )- *0::+&3L CE0'+\+) JW<4de #E0'+>M 2450$ S`@ 24M @0$)+5* <4< JW<4dI #E0'+>M ^+&0 J<4d4g >#&'$+ #E0'+M _01% @-%+% CE0'+ X+0)"1+> @-&H\+)> @-%+a+& J+%'+ %+)+5)#-& +)53 J,CX? +)53R $+01&#&' $#&+01 J$+01& )*+ .+0)"1+>R J$+01& )*+ /+#'*)> E-%+$> ,-.)/01+ <34 P1#))+& #& 5-%+ J@[[R iM T+j"#1+> %-E0#& +Y:+1)#>+ <3 G+5-E:->+ )*+ :1-D$+E 23 G+>#'& 0$'-1#)*E> F3 @-E:->+ @-E:->+ #&)#&)- 0 >;>)+E >;>)+E ,-.)/01+ 234 KX#$$ #& )*+ D$0&6> :1-'10EE#&'L T+j"#1+> E"5* $+>> %-E0#& +Y:+1)#>+ <3 G+>#'& 0 K5-%+ >6+$+)-&L J0")-E0)+M 23 =+0>"1+ :+1.-1E0&5+ A1-'10E >:05+ ,-.)/01+ <34 A1-'10E >:05+ ,-.)/01+ <34 ,-.)/01+ 234 A1-'10E >:05+ ,-.)/01+ <34 ,-.)/01+ 234 $%&' )*+', -* .'/0& -1'2 3,,4 *+,-./0 1230/ ,+ 45",-03 62-67550-4/# 2- 81".0904' 17/4,:/0 45"-+/"4,24"+;+' ,1".0 6":4,2-,-. <=>=> 3"4"+04?' " +:006@ 5062.-,4,2- 625:7+' "-3 "- A-./,+@ :"5+,-. 4"+;B  J&- &++% .-1 %0)0>+)> &+5+>>01#$;M &+5+>>01#$;M `)*+1 +Y0E:$+ E+ED+1> -. )*+ )10&>#)#-&333 ,?`@_7,?C@ AT`aT7= `A?C=Cb7?C`\ X`T YVe eI !C\7TCN, A*G )*+>#> -. N1#5 ,5*6".k0R 24 24 &-) '-#&' 0&;/*+1+333 234 P <34 ,-.)/01+ <34 #> &-) '-#&' 0&;/*+1+333 %+:$-;E+&) :0560'+ 234 P P ?*+ D+&+.#)> -. ,-.)/01+ 234 @-E:")0)#-&0$$; *-E-'+&+-"> _01%/01+Z.1#+&%$; @-&>)0&) 1"&&#&' )#E+ 0&% E+E-1; ">+ H>3  7'#$+ KCm% $#6+ 5-%+ /#)* )*+ >0E+ ."&5)#-&0$#); D") Cm% $#6+ #) )1"& .0>)+1R +H+& #. #) E+0&> >$#'*)$; /-1>+ 1+>"$)>L H>3 X#&+)"&#&' H>3 C) /-16> H+1; /+$$3 G^ J>$#%+ .1-E 90#E#&' _+m> 1+5+&) :1+>+&)0)#-&M ^01'+>) %+:$-;E+&) -. 1-D-)> #& )*+ /-1$% J432h=M =06+ )*+E 0")-&-E-">3 >)++1#&' c 055+$+10)#-& <34 5-%+ 234 5-%+ V 50E+10> 10%01  >)++1#&' c 055+$+10)#-& V 50E+10> 10%01  >)++1#&' c 055+$+10)#-& V 50E+10> 10%01  NY0E:$+O :016+% 501> 501  501  501  501  5/06'+ 789 ?1056+% D-"&%#&' D-Y %-+> &-) E-H+ E-1+ )*0& 24 :#Y+$> -H+1 $0>) F >+5-&%> 7\G #> #& 0 &+#'*D-1#&' $0&+R 7\G333 NY0E:$+O :016+% 501> 501  501  501  @01  :016+%3 501  5/06'+ 789 5/06'+ 789 ?1056+% D-"&%#&' D-Y %-+> &-) E-H+ E-1+ )*0& 24 :#Y+$> -H+1 $0>) F >+5-&%> 7\G #> #& 0 &+#'*D-1#&' $0&+R 7\G333 \+"10$ &+)/-16 >0;> >-R D0>+% -& 0 $-) -. $0D+$+% %0)03 A1-'10EE#&' /#)* )*+ 234 >)056 C. -:)#E#k0)#-& #> %-#&' E->) -. )*+ 5-%#&'R /*0) 01+ )*+ *"E0&> %-#&'Q Z Z G+>#'& 0&% %+H+ G+>#'& %+H+$-: $-: 5--$ 0$'0$'-1#)*E 1#)*E> > 7&0$;k 7&0 $;k+ + 1"& 1"&&#& &#&' ' )#E )#E+> +> C. -:)#E#k0)#-& #> %-#&' E->) -. )*+ 5-%#&'R /*0) 01+ )*+ *"E0&> %-#&'Q Z Z G+>#'& 0&% %+H+ G+>#'& %+H+$-: $-: 5--$ 0$'0$'-1#)*E 1#)*E> > 7&0$;k 7&0 $;k+ + 1"& 1"&&#& &#&' ' )#E )#E+> +> <3 ^0D+$ C. -:)#E#k0)#-& #> %-#&' E->) -. )*+ 5-%#&'R /*0) 01+ )*+ *"E0&> %-#&'Q Z Z G+>#'& 0&% %+H+ G+>#'& %+H+$-: $-: 5--$ 0$'0$'-1#)*E 1#)*E> > 7&0$;k 7&0 $;k+ + 1"& 1"&&#& &#&' ' )#E )#E+> +> <3 ^0D+$ 23 =0#&)0#& >"11-"&%#&' K%0)0>+) #&.10>)1"5)"1+L Z Z Z X$0' $0D+ $0D+$+1 $+1 %#>0' %#>0'1++E 1++E+&)>R +&)>R 6++: >)0)> -& $0D+$+1>R K+>50$0)#-&L .+0)"1+> C%+&)#.; C%+&) #.; K#&)+ K#&)+1+>)# 1+>)#&'L &'L %0)0 )- $0D+ $0D+$$ @$+0 @$ +0& & +Y +Y#> #>)# )#&' &' %0 %0)0 )0  7E-"&) -. $->) >$++: -H+1333 A*G ?+>$0 ^+>>-& $+01&+% )*+ *01% /0; n *#'*$; &-&Z)1#H#0$ K^0D+$ $0&+ $#&+>L K^0D+$ $0&+ $#&+>L K^0D+$ $0&+ $#&+>L JA*#$->-:*#50$ 5-&"&%1"E>M _-/ %- ;-" 0&&-)0)+ $0&+ $#&+> /*+& )*+; %- )*#> )*#>Q Q K^0D+$ $0&+ $#&+>L K^0D+$ $0&+ $#&+>L JA*#$->-:*#50$ 5-&"&%1"E>M KC> )*0) -&+ 501R .-"1 501>R )/501>QL JA*#$->-:*#50$ 5-&"&%1"E>M JA*#$->-:*#50$ 5-&"&%1"E>M ^+>>-& $+01&+% )*+ *01% /0; n2O @*0>#&' ^0D+$BG0)0 CED0$0&5+> #> &-&Z)1#H#0$ 501 90% of all vehicles )1-$$+; 1e-3% of all vehicles <4o -. 0$$ >#'&> <+ZIo -. 0$$ >#'&> T#'*) D$#&6+1 -& `10&'+ )10..#5 $#'*) U4o[ -. %0)0 <+ZFo -. %0)0 <+ZFo -. %0)0 ^+>>-& $+01&+% )*+ *01% /0; nFO ^0D+$#&' #> 0& #)+10)#H+ :1-5+>> NY0E:$+O 7")-/#:+1  <3 @-$$+5) @-$$+5) $0D+$> $0D+$> 23 ?10#& 0 E-%+$ F3 G+:$-; G+:$-; )*+ E-%+$ E-%+$ NY0E:$+O 7")-/#:+1  <3 @-$$+5) @-$$+5) $0D+$> $0D+$> 23 ?10#& 0 E-%+$ F3 G+:$-; G+:$-; )*+ E-%+$ E-%+$ ^+>>-& $+01&+% )*+ *01% /0; -H+10$$O ?*+ )--$5*0#& .-1 )*+ 234 >)056 %-+> &-) ;+) +Y#>)3 J0&% .+/ :+-:$+ 1+0$#k+ #)m> 0 )*#&'M <34 CGN> 234 CGN> QQQ 234 CGN> Z ,*-/ 0 ."$$ #&H+&)-1; #&H+&)-1;B>)0) B>)0)> > -. )*+ 5"11+&) 5"11+&) %0)0>+) %0)0>+) Z @1+0)+ @1+0)+ B +%#) +%#) 0&&-)0)#-& 0&&-)0)#-& $0;+1> $0;+1> .-1 0&; %0)0:-#&) %0)0:-#&) Z X$0'R X$0'R +>50$ +>50$0)+ 0)+ c 1+>-$H 1+>-$H+ + %#>51 %#>51+:0& +:0&5#+> 5#+> #& E"$)#:$+ E"$)#:$+ $0D+$> $0D+$> Z X$0' c +>50$ +>50$0)+ 0)+ %0)0:-#&)> %0)0:-#&)> )*0) 01+ $#6+$; $#6+$; )- D+ D+ E#>$0D E#>$0D+$+% +$+% Z G#>:$0; G#>:$0; :1+%#5)#-& :1+%#5)#-&> > -& -& 0& 0& 01D#)10 01D#)101; 1; >+) -. )+>) )+>) %0)0:-#&)> %0)0:-#&)> Z 7")->"''+ 7")->"''+>) >) %0)0:-#&) %0)0:-#&)> > )*0) >*-"$% >*-"$% D+ $0D+$+% $0D+$+% Z 333 ?*+ >6;p> )*+ $#E#) ?*0&6 ;-"q