LazyCut

トーク動画を引き締まった縦型ショートに仕上げるには、時間と技術が必要です。無音部分を削り、フィラーや言い間違えたテイクを切り、9:16に構図を合わせ、字幕を付ける。これまでの選択肢は、自分で編集するか、編集者にお金を払うかでした。課題は、素材からの最初の編集をすべてAIに任せつつ、AIの判断をすべてレンダリング前に確認・調整できるようにすることでした。

中心にあるのはEDL(Edit Decision List)という、唯一の正となるJSONドキュメントです。AIがそこに編集を提案し、ユーザーが調整し、レンダラーが同じファイルを読み込みます。

1. 1. ポート&アダプター構成

   編集ロジックはすべてインフラに依存しない共有パッケージにあり、外部サービスはすべて差し替え可能なアダプターの向こうにあります。WebアプリはVercel上のNext.js、処理はDigitalOceanのワーカーで動き、PostgresとDrizzle、メディア用のSpaces、RedisとBullMQのジョブキューを使います。

2. 2. 自動編集パイプライン

   ワーカーはFFmpegで音声を抽出し、タイミング付きで単語単位に文字起こしし、無音とフィラーを見つけ、LLM(Claude、GPT、Gemini)にカットを計画させます。カット位置は単語の境界に合わせるので、人名が途中で切れることはありません。続いてキーワードに絵文字、カットのつなぎ目に効果音、1〜2か所にミームを、毎回同じ結果になる形で、削除可能に配置します。

3. 3. 確認してから切るスタジオ

   CapCut風のブラウザエディターはまず全テイクを開きます。AIが提案するカットはタイムライン上でハイライトされ、テイクごとに残すかカットするかを選べます。字幕リストは区間ごとに分かれ、良いテイク、悪いテイク、無音、フィラーといったラベルが付き、クリックするとプレビューのその位置に移動します。マルチトラックのタイムラインでは、位置と大きさを調整できるBロールを重ねられます。

4. 4. 見たとおりにレンダリング

   Remotionがエディターのプレビューと同じコンポーネントから1080×1920の動画をワーカー上でレンダリングし、カットをフレーム単位で正確につないでカット間の1フレームのちらつきを防ぎ、書き出しにIBM Plex Sans Thaiを読み込みます。

5. 5. 検証されていないものは有効にしない

   自動リフレーム(Auto-reframe)の工程はパイプラインに組み込み済みですが、顔追跡が実際のレンダリングテストに合格するまでオフのままです。クレジットと課金のエンジンも構築済みですが、まだ有効化していません。

Webスタジオと処理用ワーカーは本番環境で稼働しています。

• 素材から最初のカットを

  トーク動画、ポッドキャスト、画面収録をアップロードすると、AIが一度に文字起こし、カットの提案、字幕付けを行います。

• AIの変更はすべて編集可能

  カット、字幕、絵文字、効果音、ミームはスタジオで調整・削除でき、ユーザーが承認するまで何もカットされません。

• 単語ごとに動く字幕

  字幕は発話に合わせて単語ごとに表示され、5つのスタイルから選べ、フォントと位置も調整でき、書き出しでもタイ語が正しく表示されます。

• 縦型フィードにそのまま

  TikTok、Reels、Shorts向けに1080×1920の縦型動画を書き出します。