İnsan davranışının tanınması video verilerine dayanır. Video verileri yalnızca uzamsal boyut bilgilerini değil,aynı zamanda zaman boyutu bilgilerini de içerir. Davranış analizi genel görüntülemeden farklı olduğu için, yalnızcaaynı anda uzay-zaman bilgisini çıkarmakla kalmaz, aynı zamanda karmaşıklığı da önler. Sahnenin davranış üzerindeki gürültü etkisi. Bu nedenle, bu makalebir veri sistemi kullanarak birden çok girdinin kullanılmasını önermektedir .Üç yöntemin veri türleri Şekil 4-5'te gösterilmektedir. İlk olarak, RGB verileri,platform ve görünüm gibi bilgileri çıkarmak için kullanılır . RGB verileri aynı anda iki boyutlu sinir sistemi ve üç boyutlu sinir sisteminin girdisi olarak kullanılacaktır.