Share
Embed
Safe Reinforcement Learning - Guest Speaker Session at Cohere for AI
This is the slide deck in the Guest Speaker Session at Cohere for AI.
- https://cohere.com/events/c4ai-Akifumi-Wachi-2023
Akifumi Wachi
February 13, 2024
Transcript
44 slides
-
"HFOEB • 4BGF3FJOGPSDFNFOU-FBSOJOHJOB/VUTIFMM • 8BDIJ l"4VSWFZPG$POTUSBJOU'PSNVMBUJPOTJO4BGF3FJOGPSDFNFOU-FBSOJOHz • http://arxiv.org/abs/2402.02025 (Released on
Feb 6, 2024) • 1SFTFOUUXPQBQFST • 8BDIJBOE4VJ l4BGF3FJOGPSDFNFOU-FBSOJOHJO$POTUSBJOFE.BSLPW%FDJTJPO 1SPDFTTFTz *O*$.- • IUUQTQSPDFFEJOHTNMSQSFTTWXBDIJB • 8BDIJ l4BGF&YQMPSBUJPOJO3FJOGPSDFNFOU-FBSOJOH"(FOFSBMJ[FE'PSNVMBUJPO BOE"MHPSJUINTz *O/FVS*14 • IUUQTPQFOSFWJFXOFUGPSVN JE E2-TW,/X;$ -
"HFOEB • 4BGF3FJOGPSDFNFOU-FBSOJOHJOB/VUTIFMM • 8BDIJ l"4VSWFZPG$POTUSBJOU'PSNVMBUJPOTJO4BGF3FJOGPSDFNFOU-FBSOJOHz • http://arxiv.org/abs/2402.02025 (Released on
Feb 6, 2024) • 1SFTFOUUXPQBQFST • 8BDIJBOE4VJ l4BGF3FJOGPSDFNFOU-FBSOJOHJO$POTUSBJOFE.BSLPW%FDJTJPO 1SPDFTTFTz *O*$.- • IUUQTQSPDFFEJOHTNMSQSFTTWXBDIJB • 8BDIJ l4BGF&YQMPSBUJPOJO3FJOGPSDFNFOU-FBSOJOH"(FOFSBMJ[FE'PSNVMBUJPO BOE"MHPSJUINTz *O/FVS*14 • IUUQTPQFOSFWJFXOFUGPSVN JE E2-TW,/X;$ -
3FJOGPSDFNFOU-FBSOJOH 3- "HFOU &OWJSPONFOU "DUJPO 4UBUF 3FXBSE 1PMJDZ "MQIB(P
(PPHMF%FFQ.JOE (SBO5VSJTNP 4POZ"* 3-)' 0QFO"* -
4BGFUZ*TTVFTJO3- (BQ 3FTFBSDIPO3- 3FBM"QQMJDBUJPOT "MQIB(P (PPHMF%FFQ.JOE "VUPOPNPVT%SJWJOH (SBO5VSJTNP 4POZ"*
6OTBGFBDUJPOTˠ/P1SPCMFNJ 6OTBGFBDUJPOTˠ$BUBTUSPQIJDSFTVMUTL .FEJDBM "QQMJDBUJPOT 4BGF3-JTOFFEFE -
4BGF3-JO5IJT5BML • 4BGF3-JTBCSPBEUPQJDCZEFGJOJUJPO • (BSDJBBOE'FSOÂOEF[ DMBTTJGJFEPQUJNJ[BUJPODSJUFSJBJOUPGPVSHSPVQT $POTUSBJOFEDSJUFSJPO
8PSTUDBTFDSJUFSJPO 3JTLTFOTJUJWFDSJUFSJPO 0UIFST FH STRVBSFE WBMVFBUSJTL • 5IJTUBMLGPDVTFTPOTBGF3-CBTFEPOUIFDPOTUSBJOFEDSJUFSJPO Garcıa and Fernández. "A comprehensive survey on safe reinforcement learning." JMLR 16.1 (2015): 1437-1480. -
$PNNPO$POTUSBJOU3FQSFTFOUBUJPOT TVCKFDUUP 4BGFUZ$POTUSBJOU 5ZQJDBM3-PCKFDUJWF 1SPCMFN'PSNVMBUJPO &YQFDUFE$VNVMBUJWF4BGFUZ$POTUSBJOU • 0OFPGUIFNPTUQPQVMBSGPSNVMBUJPOT •
.BOZXFMMLOPXOBMHPSJUINTBSFCBTFEPOUIJTGPSNVMBUJPO • $10<> \5310 110^-BHSBOHJBO<> 3$10<> FUD • 'PDVTPOUIFBWFSBHFEQFSGPSNBODFˠ3FMBUJWFMZMPXSFRVJSFETBGFUZMFWFM <>"DIJBN $POTUSBJOFEQPMJDZPQUJNJ[BUJPO*O*$.- <>3BZ #FODINBSLJOHTBGFFYQMPSBUJPOJOEFFQSFJOGPSDFNFOUMFBSOJOHBS9JWQSFQSJOUBS9JW <>5FTTMFS 3FXBSEDPOTUSBJOFEQPMJDZPQUJNJ[BUJPO*O*$-3 -
$PNNPO$POTUSBJOU3FQSFTFOUBUJPOT 1SPCMFN'PSNVMBUJPO "MNPTU4VSFMZ$VNVMBUJWF4BGFUZ$POTUSBJOU TVCKFDUUP 4BGFUZ$POTUSBJOU 5ZQJDBM3-PCKFDUJWF • 3FRVJSFUIFDPOTUSBJOUTBUJTGBDUJPOXJUIQSPCBCJMJUZPG JF
BMNPTUTVSFMZ • ℙ! JTVTFESBUIFSUIBO𝔼! • )JHIFSSFRVJSFEMFWFMPGTBGFUZ • 4BVUF3-<>BMHPSJUINJTCBTFEPOUIJTGPSNVMBUJPO • (PPEUIFPSFUJDBMQSPQFSUJFT &NQJSJDBMQFSGPSNBODF <>4PPUMB 4BVUF3-"MNPTUTVSFMZTBGFSFJOGPSDFNFOUMFBSOJOHVTJOHTUBUFBVHNFOUBUJPO*O*$.- -
$PNNPO$POTUSBJOU3FQSFTFOUBUJPOT 1SPCMFN'PSNVMBUJPO "MNPTU4VSFMZ*OTUBOUBOFPVT 4BGFUZ$POTUSBJOU TVCKFDUUP 4BGFUZ$POTUSBJOU 5ZQJDBM3-PCKFDUJWF • 3FRVJSFUIFDPOTUSBJOUTBUJTGBDUJPOXJUIQSPCBCJMJUZPGBUFWFSZUJNFTUFQ
• 7FSZIJHISFRVJSFEMFWFMPGTBGFUZ • .BOZBMHPSJUINTBSFCBTFEPOUIJTGPSNVMBUJPO • 4.C3-<> 3-$#'<> 4BGF.%1<> 4/0.%1<> FUD <>#FSLFOLBNQ 4BGFNPEFMCBTFESFJOGPSDFNFOUMFBSOJOHXJUITUBCJMJUZHVBSBOUFFT*O/FVS*14 <>$IFOH &OEUPFOETBGFSFJOGPSDFNFOUMFBSOJOHUISPVHICBSSJFSGVODUJPOTGPSTBGFUZDSJUJDBMDPOUJOVPVTDPOUSPMUBTLT*O"""* <>5VSDIFUUB 4BGFFYQMPSBUJPOJOGJOJUF.BSLPWEFDJTJPOQSPDFTTFTXJUI(BVTTJBOQSPDFTTFT*O/FVS*14 <>8BDIJBOE4VJ4BGFSFJOGPSDFNFOUMFBSOJOHJODPOTUSBJOFE.BSLPWEFDJTJPOQSPDFTTFT*O*$.- -
$PNNPO$POTUSBJOU3FQSFTFOUBUJPOT • .BOZPUIFSEJWFSTFDPOTUSBJOUSFQSFTFOUBUJPOT FYDFQUGPSUIFUISFF • +PJOUDIBODFDPOTUSBJOU 4UBUFDPOTUSBJOU FUD •
$POTUSBJOUGPSNVMBUJPO JTUIFGJSTUTUFQJOTBGF3- • $SVDJBMUPQSPQFSMZVOEFSTUBOEEJWFSTFDPOTUSBJOUSFQSFTFOUBUJPOT • 8F`WFSFDFOUMZSFMFBTFEBTVSWFZQBQFSPOBS9JWBCPVUDPOTUSBJOUSFQSFTFOUBUJPOT • 8BDIJ 4IFO BOE4VJ"4VSWFZPG$POTUSBJOU'PSNVMBUJPOTJO4BGF3FJOGPSDFNFOU -FBSOJOHzBS9JWQSFQSJOUBS9JW 1SPCMFN'PSNVMBUJPO )PXUPEFGJOFUIFTBGFUZDPOTUSBJOU 1PMJDZ0QUJNJ[BUJPO 6TFBQSPQFSBMHPSJUIN -
"HFOEB • 4BGF3FJOGPSDFNFOU-FBSOJOHJOB/VUTIFMM • 8BDIJ l"4VSWFZPG$POTUSBJOU'PSNVMBUJPOTJO4BGF3FJOGPSDFNFOU-FBSOJOHz • http://arxiv.org/abs/2402.02025 (Released on
Feb 6, 2024) • 1SFTFOUUXPQBQFST • 8BDIJBOE4VJ l4BGF3FJOGPSDFNFOU-FBSOJOHJO$POTUSBJOFE.BSLPW%FDJTJPO 1SPDFTTFTz *O*$.- • IUUQTQSPDFFEJOHTNMSQSFTTWXBDIJB • 8BDIJ l4BGF&YQMPSBUJPOJO3FJOGPSDFNFOU-FBSOJOH"(FOFSBMJ[FE'PSNVMBUJPO BOE"MHPSJUINTz *O/FVS*14 • IUUQTPQFOSFWJFXOFUGPSVN JE E2-TW,/X;$ -
4BGF3FJOGPSDFNFOU-FBSOJOH JO$POTUSBJOFE.BSLPW%FDJTJPO1SPDFTTFT "LJGVNJ8BDIJ
:BOBO4VJ *#.3FTFBSDI"* 5TJOHIVB6OJWFSTJUZ -
1SPCMFN4UBUFNFOU 8FDPOTJEFSBTBGFUZDPOTUSBJOFE.BSLPW%FDJTJPO1SPDFTTFT .%1T 1SPCMFN'PSNVMBUJPO SFXBSEGVODUJPO GJOJUFBDUJPOTQBDF EJTDPVOUGBDUPS GJOJUFTUBUFTQBDF
EFUFSNJOJTUJDUSBOTJUJPO TBGFUZGVODUJPO "MNPTU4VSFMZ*OTUBOUBOFPVT 4BGFUZ$POTUSBJOU -
1SPCMFN4UBUFNFOU • 3FXBSEGVODUJPO𝑟BOETBGFUZGVODUJPO𝑔 BSF VOLOPXOBQSJPSJ • *UJTJOUSBDUBCMFUPTPMWFUIJTQSPCMFN XJUIPVUGVSUIFSBTTVNQUJPOT •
5XPBTTVNQUJPOTGSPN4VJFUBM BOE5VSDIFUUBFUBM • "TTVNQUJPO"HFOUTUBSUTJOBTFUPGTBGFTUBUFT XIJDIJTLOPXOUPCFTBGF • "TTVNQUJPO3FXBSEBOETBGFUZGVODUJPOTFYIJCJUSFHVMBSJUZ Ø 8FNPEFMUIFNVTJOH(BVTTJBO1SPDFTTFT 4VJFUBM "4BGFFYQMPSBUJPOGPSPQUJNJ[BUJPOXJUI(BVTTJBOQSPDFTTFT*O*$.- 5VSDIFUUBFUBM "4BGFFYQMPSBUJPOJOGJOJUF.BSLPWEFDJTJPOQSPDFTTFTXJUI(BVTTJBOQSPDFTTFT*O/FVS*14 -
&YQMPSBUJPOBOE&YQMPJUBUJPO )PXDBOXFCBMBODF UIFUISFFPCKFDUJWFT "HSFBUEFBMPGQSFWJPVT XPSL PO3-IBTGPDVTFEPOUIJTQSPCMFN &YQMPSBUJPO PG4BGFUZ &YQMPJUBUJPO
PG3FXBSE &YQMPSBUJPO PG3FXBSE 5VSDIFUUBFUBM GPDVTFE POFYQMPSBUJPOPGTBGFUZ ,FZQPJOU -
.BJO$POUSJCVUJPO 8BDIJFUBMl4BGF&YQMPSBUJPOBOE0QUJNJ[BUJPOPG $POTUSBJOFE.%1TVTJOH(BVTTJBO1SPDFTTFTz """* • 4BGFUZQSPCBCJMJTUJDHVBSBOUFF • 0QUJNBMJUZOPHVBSBOUFF 5IJTQBQFS4BGF/FBSPQUJNBM.%1
4/0.%1 8BDIJBOE4VJ l4BGF3FJOGPSDFNFOU-FBSOJOH JO$POTUSBJOFE.BSLPW%FDJTJPO1SPDFTTFTz*$.- • 4BGFUZQSPCBCJMJTUJDHVBSBOUFF • 0QUJNBMJUZQSPCBCJMJTUJDHVBSBOUFF 8BDIJ 4BGFFYQMPSBUJPOBOEPQUJNJ[BUJPOPGDPOTUSBJOFE.%1TVTJOHHBVTTJBOQSPDFTTFT *O"""* -
4UFQXJTF"QQSPBDI 5IJTXPSLUBLFTBTUFQXJTFBQQSPBDI &YQMPSBUJPOPGTBGFUZ 0QUJNJ[BUJPOPGUIFDVNVMBUJWFSFXBSE JOUIFDFSUJGJFETBGFSFHJPO &YQMPSBUJPO PG4BGFUZ
&YQMPJUBUJPO PG3FXBSE &YQMPSBUJPO PG3FXBSE 4VQQPTFBOBHFOUDBOTVGGJDJFOUMZFYQBOEUIFTBGFSFHJPO 5IFO UIFBHFOUPOMZIBTUPPQUJNJ[FUIFDVNVMBUJWFSFXBSEJOUIFDFSUJGJFETBGFSFHJPO 8BDIJFUBM USJFEUPTPMWFUIF UISFFXBZUSBEFPGGTJNVMUBOFPVTMZ 8BDIJ 4BGFFYQMPSBUJPOBOEPQUJNJ[BUJPOPGDPOTUSBJOFE.%1TVTJOHHBVTTJBOQSPDFTTFT *O"""* -
0WFSWJFXPG4/0.%1 4UFQ&YQMPSBUJPOPG4BGFUZ 5VSDIFUUBFUBM 4UFQ&YQMPSBUJPOBOE&YQMPJUBUJPOPG3FXBSE 4UFQ6QEBUFPG(1TCBTFEPOUIFPCTFSWBUJPOT 4UFQ$POWFOUJPOBMUFSNJOBMDPOEJUJPO MPPQ 4UFQ&4BMHPSJUIN
*G&4BMHPSJUINJEFOUJGJFTUIBUlFYQMPSBUJPOPG TBGFUZzDBOCFTUPQQFE UIFOCSFBLUIFMPPQ -
4UFQ&YQMPSBUJPOPG4BGFUZ 1SPCBCJMJTUJD4BGFUZ(VBSBOUFF 0SJHJOBMTBGFUZDPOTUSBJOU *GBTUBUFTBUJTGJFTUIFGPMMPXJOHDPOEJUJPO TBGFUZJTHVBSBOUFFEXJUIIJHIQSPCBCJMJUZ -PXFSCPVOEPG𝑔JOGFSSFECZ(1 5PFYQBOEUIFTBGFSFHJPO XFVTFUIFTBNFTDIFNF
BTJO5VSDIFUUBFUBM ʔTBGFUZGVODUJPO ʔUISFTIPME ɾPCTFSWBUJPO -
4UFQ&YQMPSBUJPOPG4BGFUZ ʔTBGFUZGVODUJPO ʔUISFTIPME ɾPCTFSWBUJPO &YQBOTJPOPG4BGF3FHJPO • 5IFFGGJDJFODZPGFYQBOEJOHUIFTBGFSFHJPOJTNFBTVSFE CZUIFXJEUIPGUIFTBGFUZGVODUJPO`TDPOGJEFODFJOUFSWBM
• 4BNQMFUIFOFYUTUBUFXJUIUIFNBYJNVN XJUIJOUIFTBGFTQBDF $POWFOUJPOBM5FSNJOBM$POEJUJPOPG&YQMPSBUJPOPG4BGFUZ • 5IFQSFWJPVTXPSL 4VJFUBM 5VSDIFUUBFUBM UFSNJOBUFEUIF FYQMPSBUJPOJGUIFGPMMPXJOHFRVBUJPOIPMETGPSBMMTUBUFTJOTBGFTQBDF -
4UFQ0QUJNJ[BUJPOPG3FXBSE 1SPCBCJMJTUJDVQQFSDPOGJEFODF CPVOEPGSFXBSE /FYUTUBUFNVTUCFJO QFTTJNJTUJDBMMZJEFOUJGJFETBGFTQBDF • 3FNBJOJOHUBTLJTPQUJNJ[FUIFDVNVMBUJWFSFXBSEJOUIFDFSUJGJFETBGFSFHJPO • -FWFSBHFBMHPSJUINTGPSPQUJNJ[JOHVODPOTUSBJOFE.%1T
• "TJNQMFBQQSPBDIJTUPGPMMPXUIFPQUJNJTNJOUIFGBDFPGVODFSUBJOUZQSJODJQMF -
&4"MHPSJUIN • $POTJEFSBOFX.%1 XIFSFSFXBSEGVODUJPOJTEFGJOFEBTJOUIFGJHVSFCFMPX • 3FXBSEJTTFUUPCFUIFMPXFSCPVOEJOUIFDVSSFOUMZJEFOUJGJFETBGFSFHJPO • 0UIFSXJTF TFUUPCFUIFVQQFSCPVOE
• 5IJTSFXBSETFUUJOHTFODPVSBHFUIFBHFOUUPFYQMPSFPVUTJEFTUIFDVSSFOUMZ JEFOUJGJFETBGFSFHJPO 6ODFSUBJO SFHJPO *EFOUJGJFETBGF SFHJPO 3FXBSEMPXFSCPVOE 3FXBSE VQQFSCPVOE *EFOUJGJFE VOTBGFSFHJPO • 4VQQPTFUIFTFUPGOFYUTUBUFTUIBU UIFBHFOUXJMMWJTJUCBTFEPOUIF PQUJNBMQPMJDZJTBTVCTFUPGUIF DVSSFOUMZJEFOUJGJFETBGFSFHJPO • 4UPQFYQMPSJOHUIFTBGFUZGVODUJPO -
&YQFSJNFOUT • %FWFMPQFEBOFXTJNVMBUJPOFOWJSPONFOU DBMMFE(14BGFUZ(ZN XIJDI JTCBTFEPO0QFO"*4BGFUZ(ZN 3BZ FU BM
• "DIJFWFECFUUFSFNQJSJDBMQFSGPSNBODFUIBOPUIFSCBTFMJOFT • 4BGF.%1 5VSDIFUUBFUBM • 4BGF&YQ0QU.%1 8BDIJFUBM 3FXBSE IJHI ZFMMPX MPX CMVF 4BGFUZIFJHIU -
&GGFDUPG&4"MHPSJUIN • 1VSFTUFQXJTFBQQSPBDI CSPXOMJOF IBTBOJTTVF • 4QFOENVDIUJNFGPSUIFFYQMPSBUJPOPGTBGFUZ • 8FBEEJUJPOBMMZQSPQPTFEFBSMZTUPQQJOHPGFYQMPSBUJPOPGTBGFUZ
&4 • &4NBJOUBJOTUIFUIFPSFUJDBMHVBSBOUFFTPOOFBSPQUJNBMJUZ • 1&4FNQJSJDBMMZQFSGPSNTCFUUFSUIBO&4 &YQMPSBUJPOPG 4BGFUZ -
"HFOEB • 4BGF3FJOGPSDFNFOU-FBSOJOHJOB/VUTIFMM • 8BDIJ l"4VSWFZPG$POTUSBJOU'PSNVMBUJPOTJO4BGF3FJOGPSDFNFOU-FBSOJOHz • http://arxiv.org/abs/2402.02025 (Released on
Feb 6, 2024) • 1SFTFOUUXPQBQFST • 8BDIJBOE4VJ l4BGF3FJOGPSDFNFOU-FBSOJOHJO$POTUSBJOFE.BSLPW%FDJTJPO 1SPDFTTFTz *O*$.- • IUUQTQSPDFFEJOHTNMSQSFTTWXBDIJB • 8BDIJ l4BGF&YQMPSBUJPOJO3FJOGPSDFNFOU-FBSOJOH"(FOFSBMJ[FE'PSNVMBUJPO BOE"MHPSJUINTz *O/FVS*14 • IUUQTPQFOSFWJFXOFUGPSVN JE E2-TW,/X;$ -
5ZQJDBM4BGF3- 3FTFBSDI 1SPDFEVSF NBYJNJ[F TVCKFDUUP 4BGFUZDPOTUSBJOUT 4UFQ'PSNVMBUFBDPOTUSBJOFE3-QSPCMFN 7BSJPVTDPOTUSBJOU SFQSFTFOUBUJPOTFYJTU
*TTVF -JUUMFEJTDVTTJPOPOUIFJSSFMBUJPOT 4UFQ%FWFMPQBOBMHPSJUINUPTPMWFUIFQSPCMFN -
5ZQJDBM4BGF3- 3FTFBSDI 1SPDFEVSF NBYJNJ[F TVCKFDUUP 4BGFUZDPOTUSBJOUT 4UFQ'PSNVMBUFBDPOTUSBJOFE3-QSPCMFN "MHPSJUINTBSFTQFDJGJDUP FBDIDPOTUSBJOUSFQSFTFOUBUJPO
*TTVF • -PXBQQMJDBCJMJUZ • &JUIFSUIFPSFUJDBMPSQSBDUJDBM 4UFQ%FWFMPQBOBMHPSJUINUPTPMWFUIFQSPCMFN -
(4&1SPCMFN "MNPTU4VSFMZ$VNVMBUJWF 4BGFUZ$POTUSBJOU "MNPTU4VSFMZ*OTUBOUBOFPVT 4BGFUZ$POTUSBJOU $POTUSBJOUJO(4&QSPCMFN 5XPQPQVMBSTBGF3-QSPCMFNTDBOCFUSBOTGPSNFEJOUPUIF(4&QSPCMFN • "OBMHPSJUINGPS(4&QSPCMFNDBOTPMWFUIFBCPWFUXP
QPQVMBS QSPCMFNT • (4&QSPCMFNJTFBTZUPTPMWFTJODFUIFTBGFUZDPOTUSBJOUJTJOTUBOUBOFPVT #BUUFSZ 4QFFEMJNJU -
."4&"MHPSJUIN $POTUSVDUBOVODFSUBJOUZRVBOUJGJFS FH (1 (-. $PNQVUFUIFTFUPG DPOTFSWBUJWFMZ TBGFBDUJPOT *G
BHFOUUBLFTlFNFSHFODZTUPQBDUJPOzBOESFDFJWFTQFOBMUZ &YFDVUFUIFOFYUBDUJPOXJUIJOBOEUIFONPWFUP NBYJNJ[F TVCKFDUUP -
$PODMVTJPO 5BLF)PNF.FTTBHFT • 4BGFUZJTBOJNQPSUBOUJTTVFJO3- • %JGGFSFOUQSPCMFNTFUUJOHTˠ %JWFSTFDPOTUSBJOUSFQSFTFOUBUJPOT • 4JHOJGJDBOUUPVOEFSTUBOEJOUFSSFMBUJPOTCFUXFFOFBDIDPOTUSBJOUSFQSFTFOUBUJPO •
1SFTFOUUXPTQFDJGJDBMHPSJUINT 4/0.%1 BOE."4& • 4BGFUZ DBOCFHVBSBOUFFEXJUIIJHIQSPCBCJMJUZ CZDPOTUSVDUJOHBOVODFSUBJOUZRVBOUJGJFS WJB(1T (-.T • /FBSPQUJNBMJUZ DBOBMTPCFHVBSBOUFFEVOEFSQSPQFSBTTVNQUJPOT • ."4&JTDPNQBUJCMFXJUIBOZ VODPOTUSBJOFE EFFQ3-BMHPSJUIN • (PPEFNQJSJDBMQFSGPSNBODF 5IBOLZPV $POUBDUXBDIJBLJGVNJ<BU>HNBJMDPN
akifumi_wachi
hirachan
kohlerjohannes
s_mizuki_nlp
izumiyama_lab
masao
institutdelelevage
ept
wataruuuuu
ldcn
microbaseinc
katiecoart
aleyda
marktimemedia
gr2m
rkendrick25
tmiket
wjessup
panda_program
jmmastey
tammyeverts
garrettdimon
smashingmag
