Möglich? Ja
Geeignet? Nicht wirklich bzw. kommt drauf an.
Xuggle bietet auch einen Videoplayer auf Basis von ffmpeg an.
Viele der Java-Lösungen haben Abhängigkeiten zu vielen Drittbibliotheken oder sogar zu nativen Libraries. Häufig hat man dann eine Lösung, die mehrere Megabyte gross ist oder die man erst noch installieren muss, bevor man sie nutzen kann. Mit jedem neuen zu unterstützenden Format wird es schwieriger.
Außerdem sind MP4, Quicktime/MOV nur Container-Formate. Die tatsächlich verwendeten Audioformate/Videoformat (also die Codecs) unterscheiden sich stark. Sollen "die gängigsten Formate" unterstützt werden, müssen also genug Codecs zur Verfügung stehen, damit diese auch abgespielt werden können.
Für einen Videoplayer würde ich eher Adobe Flash empfehlen, wenn es sich um eine Webbasierte Lösung handeln soll, anstatt Java Applets.