A　Surface　Light　Field　(SLF)　is　a　function　that　assigns　a　color　to　each　ray　originating　on　a　surface,　it　reveals　light　information　surrounding　a　scene　or　object.　This　paper　presents　a　framework　for　capturing　SLF　for　gestures　with　sparse　multi-view　videos.　Captured　SLF　is　saved　in　discrete　SLF　matrix　sequence,　and　it　can　be　used　for　rendering　images　for　new　view　point　and　moment.　In　order　to　process　dynamics　of　gesture　light　field,　a　prior　geometry　model　and　related　shape　deforming　are　introduced　into　the　frame,　which　relaxes　requirement　for　accuracy　of　the　prior　shape　model　and　make　the　light　field　available　for　scenes　with　complex　self-occlusion　such　as　sign　language　words.　Also　because　the　dynamic　SLF　sequence　has　same　geometry　topological　structure,　it　is　convenient　for　interpolation　such　as　what　is　used　in　sign　language　synthesis.　1548-7741/Copyright　©　2014　Binary　Information　Press.