HeadlinesBriefing favicon HeadlinesBriefing.com

ストーリーテラーのフォースドアライメントアルゴリズム

Hacker News •
×

ストーリーテラーは今、完全なスタックのウェブアプリケーション、AndroidおよびiOS向けのネイティブアプリ、KOReaderプラグイン、および今後のmacOS、watchOS、およびtvOSアプリを含む、広大なソフトウェアエコシステムになりました。私たちは、上記のv3リリースのアルファおよびベータテストを行っており、これにより更新されたUI、新しい図書館管理機能の膨大なスイート、その他さまざまな機能が提供されます。私たちは、これまで取り組んできたことをお見せできることを非常に楽しみにしています!しかし、ストーリーテラーの核心はそのアライメントアルゴリズムにあります。ストーリーテラーは、あなたが提供する電子書籍とオーディオブックを受け取り、それらを整列させ、電子書籍の各単語がオーディオブックの中でどこで発音されるかを見つけ出します。これは自動的に行われ、あなたからの入力は一切必要ありません。その後、EPUB仕様の組み込みオーディオ同期システムであるMedia Overlaysを使用して、オーディオと同期情報をEPUBに埋め込みます。これにより、あなたは、リーダーアプリがナレーターが読み上げると同に、各文をハイライトしながら、本を没入感深く読むことができます。これは、上記のデモ(実際のストーリーテラーのアライメントを使用しています!)と同じです。最初に、ストーリーテラーはこれだけでした:1つのPythonスクリプト。それは1つのオーディオブックファイルと1つの電子書籍ファイルを受け取り、オーディオ同期メタデータを含む新しい電子書籍ファイルを出力しました。当時、これらのファイルを消費できる電子書籍リーダーアプリは非常に少なく(電子書籍リーダーのデバイスはゼロでした)、これらはEPUB Media Overlay仕様を使用してその機能を実装していました。私はスクリプトを自分のコンピュータで実行し、結果として得られるEPUBを携帯電話にコピーし、その後Book Fusionの初期のMedia Overlayサポートを使用して本を読み、聞いていました。