Johnnie Talker

Download page

->Magyarul...

Click on Johnnie to download the demo. Unzip and launch. If nothing happens check your microphone settings, and try again.

Johnnie is an MPEG-4 talking head which is intended for deaf people to understand voice signals via lipreading. This version is trained on an only 3 min long recording in Hungarian by female speaker.

Publications:

2005Bárdi T., Feldhoffer G., Harczos T., Srancsik B., Szabó G. D: Audiovizuális beszéd-adatbázis és alkalmazásai, Híradástechnika 2005/10 (pdf)
2005Feldhoffer G., Bárdi T., Jung G., Hegedűs I. M.: Mobiltelefon alkalmazások siket felhasználóknak, Híradástechnika 2005/10. (pdf)
2006Takács György, Tihanyi Attila, Bárdi Tamás, Feldhoffer Gergely, Srancsik Bálint: Beszédjel átalakítása mozgó száj képévé siketek kommunikációjának segítésére, Híradástechnika 3. (pdf)
2006Takács György, Tihanyi Attila, Bárdi Tamás, Feldhoffer Gergely, Srancsik Bálint: MPEG-4 modell alkalmazása szájmozgás megjelenítésére, Híradástechnika 8. (pdf)
2006Gyorgy Takacs, Attila Tihanyi, Tamas Bardi, Gergo Feldhoffer, Balint Srancsik: Database Construction for Speech to Lip-readable Animation Conversion, PROCEEDINGS 48th International Symposium ELMAR, Zadar, 2006 (pdf)
2006G. Takács, A. Tihanyi, T. Bárdi, G. Feldhoffer, B. Srancsik: Signal Conversion from Natural Audio Speech to Synthetic Visible Speech, Int. Conf. on Signals and Electronic Systems, Lodz, Poland, September 2006 (pdf)
2006G. Takács, A. Tihanyi, T. Bárdi, G. Feldhoffer, B. Srancsik: Speech to facial animation conversion for deaf applications, 14th European Signal Processing Conf., Florence, Italy, September 2006. (pdf)
2006Takács György: Természetes beszédjelből szintetikus arc, PKI Tudományos Napok 2006.
2006Feldhoffer Gergely, Bárdi Tamás: Látható beszéd: beszédhang alapú fejmodell animáció siketeknek, IV. Magyar Számítógépes Nyelvészeti Konferencia, Szeged, 2006. (pdf)
2007Takács György: Látható beszéd, IT-Business 9.szám
2007Takács György, Tihanyi Attila, Bárdi Tamás, Feldhoffer Gergely,: Feasibility of Face Animation on Mobile Phones for Deaf Users, Proceedings of the 16st IST Mobile and Wireless Communication Summit, Budapest (pdf)
2007Gergely Feldhoffer, Balázs Oroszi, György Takács, Attila Tihanyi, Tamás Bárdi: Inter-speaker Synchronization in Audiovisual Database for Lip-readable Speech to Animation Conversion, 10th International Conference on Text, Speech and Dialogue, Plzen (pdf)
2007Gergely Feldhoffer, Tamás Bárdi, György Takács and Attila Tihanyi: Temporal Asymmetry in Relations of Acoustic and Visual Features of Speech, 15th European Signal Processing Conf., Poznan, Poland, September 2007 (pdf)
2007Takács, György; Tihanyi, Attila; Feldhoffer, Gergely; Bárdi, Tamás; Oroszi Balázs: Synchronization of acoustic speech data for machine learning based audio to visual conversion , 19th INTERNATIONAL CONGRESS ON ACOUSTICS MADRID, 2-7 SEPTEMBER 2007 (pdf)
2007Attila Tihanyi: Mobile Multimedia Application for Deaf Users, PROCEEDINGS 49th International Symposium ELMAR, Zadar, 2007. (pdf)
2007Gergely Feldhoffer: Speaker Independent Continuous Voice to Facial Animation on Mobile Platforms, PROCEEDINGS 49th International Symposium ELMAR, Zadar, 2007. (pdf)
2007Feldhoffer Gergely, Bárdi Tamás: Conversion of continuous speech sound to articulation animation as an application of visual coarticulation modeling, Acta Cybernetica (accepted)