ローカルLLMを活用して無料で音声入力できるアプリを個人開発します！AIでアプリ開発をフルで実演します

▶ 元動画を見る

概要

ローカルLLMを使い、完全無料の音声入力ソフト(タイプレスやアクアボイスのような自作アプリ)をAIコーディングでフル実演する回。要件定義→技術リサーチ→実装までを、CodexとClaude Codeの2ツールで並走させながら進め、音声認識モデルと後処理の最適な組み合わせを検証していく。

主なポイント

• 高精度な音声入力は「ASR(音声認識)層 → LLM整形層 → UX(ホットキー即時挿入)層」の三層パイプラインで決まる。
• 音声認識モデル候補: Apple SpeechAnalyzer(macOS 26搭載・爆速だが固有名詞やカタカナに弱い)、Qwen3-ASR(0.6B/1.7B、日本語精度が高いが遅い)、Whisper Large V3、NVIDIA Nemotron 3.5 ASR Streaming(2026年6月公開)。
• Qwen3-ASR には日本語ファインチューニング版「Qwen3-ASR-1.7B-JA」が無償公開されており、英語・漢字変換の精度が高い。
• 精度指標は CER(Character Error Rate=文字誤り率)。低いほど良い。SpeechAnalyzer単体は0.44だが、辞書+LLM後処理を加えると0.005まで劇的に改善した。
• 後処理はルールベース(プログラム変換)ではなくLLMによる整形の方が精度が高い。フィラー除去・言い直し整形・カタカナ→英語変換などはASR単体では解けず整形層で吸収する。
• 速度重視なら Apple SpeechAnalyzer + 辞書 + LLM後処理、品質重視なら Qwen3-ASR、という2候補をハイブリッドで残す設計に。
• デスクトップアプリの技術は Swift(Appleネイティブ)/ Tauri(軽量高速)/ Electron(重い) から、軽量高速重視で選定。まずPythonでモデル部分を検証してからアプリに組み込む2段階方式。
• AI開発は最初の7〜8割はそれっぽく進むが、残り2割のチューニングに全体の8割の時間がかかる(プロンプト・辞書の作り込みが肝)。
• Qwen3-ASRはローカルLLMなのでOS非依存、Windowsでも動作環境さえあれば同等のものが作れる。

実践に使えること

• 自作の音声入力・音声認識ツールを作るなら、まず作りたいイメージに近い既存サービス名(タイプレス等)をAIに伝えて仕組みをリサーチさせ、技術スタックを選定する。
• 自分のPC環境(OS・メモリ・ストレージ)を必ずAIに伝える。メモリ容量に合ったモデルを選ばないと動かない/遅くなる。
• 音声認識の精度が足りない場合、モデルを上げるより「軽量ASR + 辞書登録 + LLM後処理」で挽回する構成を検討する。
• モデル比較はアプリ化前にPythonの評価ハーネスで CER などの指標を出してから、最適な組み合わせをアプリに組み込む。