Storyteller est maintenant un vaste écosystème de logiciels, avec une application web complète, des applications natives pour Android et iOS, des plugins KOReader, et des applications à venir pour macOS, watchOS et tvOS. Nous effectuons actuellement des tests alpha et bêta des versions v3 de tout cela, qui apporteront des interfaces mises à jour, un vaste ensemble de nouvelles fonctionnalités de gestion de bibliothèque et plus encore. Nous sommes vraiment excités de vous montrer ce sur quoi nous avons travaillé ! Mais au cœur de Storyteller se trouve son algorithme d'alignement.

Storyteller peut prendre un livre électronique et un livre audio que vous lui fournissez et les aligner, en trouvant où chaque mot du livre électronique est prononcé dans le livre audio. Il le fait automatiquement, sans aucune entrée de votre part. Ensuite, il utilise le système de synchronisation audio intégré à la spécification EPUB, appelé Media Overlays, pour intégrer l'audio et les informations de synchronisation dans le EPUB.

Cela vous permet de lire votre livre de manière immersive, avec votre application de lecture qui met en évidence chaque phrase lorsqu'elle est lue par le narrateur, tout comme dans la démo ci-dessus (qui utilise des alignements réels de Storyteller !). Initialement, c'est tout ce que était Storyteller : un seul script Python. Il prenait un fichier audio-livre et un fichier livre électronique, et produisait un nouveau fichier de livre électronique avec des métadonnées de synchronisation audio. À l'époque, il y avait très peu d'applications de lecture de livres électroniques (et zéro appareils de lecture de livres électroniques) capables de consommer ces fichiers, qui utilisaient la spécification EPUB Media Overlay pour leur fonctionnalité.

Je lançais le script sur mon ordinateur, copiais le fichier EPUB résultant sur mon téléphone, puis utilisais le support initial des Media Overlays de Book Fusion pour lire et écouter mes livres.