HeadlinesBriefing favicon HeadlinesBriefing.com

Алгоритм принудительного выравнивания Storyteller

Hacker News •
×

Storyteller теперь является обширной экосистемой программного обеспечения, включающей полноценное веб-приложение, нативные приложения для Android и iOS, плагины для KOReader и предстоящие приложения для macOS, watchOS и tvOS. Мы сейчас проводим альфа- и бета-тестирование версий v3 перечисленного выше, которые принесут обновленный интерфейс, огромный набор новых функций управления библиотекой и многое другое. Мы с нетерпением ждём, чтобы показать вам, над чем мы работали! Но в основе Storyteller лежит его алгоритм выравнивания. Storyteller может взять электронную книгу и аудиокнигу, которые вы ему предоставляете, и выровнять их, найдя, где каждое слово электронной книги произносится в аудиокниге. Он делает это автоматически, без какого-либо ввода с вашей стороны. Затем он использует встроенную в спецификацию EPUB систему аудиосинхронизации, называемую Media Overlays, чтобы встроить аудио и информацию о синхронизации в EPUB. Это позволяет вам читать свою книгу погружённо, с вашим приложением для чтения, которое выделяет каждое предложение, пока его читает рассказчик, точно так же, как в демонстрации выше (которая использует реальные выравнивания Storyteller!). Изначально, вот и был весь Storyteller: один скрипт на Python. Он принимал один файл аудиокниги и один файл электронной книги и выводил новый файл электронной книги с метаданными аудиосинхронизации. В то время существовало очень мало приложений для чтения электронных книг (и ни одного устройства для чтения электронных книг), которые могли бы потребить эти файлы, использующие спецификацию EPUB Media Overlay для своей функциональности. Я запускал скрипт на своём компьютере, копировал полученный EPUB на свой телефон, а затем использовал начальную поддержку Media Overlay от Book Fusion, чтобы читать и слушать свои книги.