음성 인식(STT), 음성 합성(TTS), 음성 입력 앱, Apple Speech API 관련 노트 모음


화면 녹화·영상 편집

노트설명
[[summaries/2026-09-04-github-kajisho5-ffmpeg-skill2026-09-04-github-kajisho5-ffmpeg-skill]]
2026-08-05-sechak-ag-capptivo멀티플랫폼 Tauri 화면 녹화·편집 앱 — ScreenCaptureKit/Windows.Graphics.Capture/PipeWire, 자막·줌·export
2026-08-09-github-microsoft-zoomitformacmacOS 메뉴 막대형 ZoomIt — 화면 확대·주석·OCR·MP4 녹화·웹캠 PIP·스크롤 파노라마
2026-11-03-github-che0dan-recap-shorts-automation디시·블라인드 인기글 하나를 8단계(캡처→대본→TTS→렌더)로 30~40초 한국어 쇼츠 mp4로 만드는 Windows 앱(Gemini, MIT)

음성 입력 앱 (macOS)

노트설명
2026-04-04-whispree-korean-stt-llm-voice-input한국어 개발자용 STT + LLM 교정 음성 입력 (Groq/Codex)
2026-04-04-vvrite-on-device-voice-typingQwen3-ASR 온디바이스 음성 타이핑 (한국어 우수)
2026-04-04-freeflow-voice-dictationGroq 기반 무료 음성 받아쓰기 (컨텍스트 인식)
2026-08-08-wispr-flow-vs-handy-korean-sttWispr Flow와 Handy/Qwen3-ASR 1.7B의 한국어·로컬 처리·비용·성능 근거 비교

Apple Speech API

노트설명
2026-04-04-apple-speech-api-whisper-alternativeSpeechAnalyzer/SpeechTranscriber — Whisper 대비 2.2배 빠른 전사

음성 인식 모델

노트설명
2026-10-11-local-korean-stt-models한국어 지원 로컬 STT 15종(Qwen3-ASR·VibeVoice-ASR·Voxtral Realtime·Nemotron 3.5 등) 정확도·라이선스·맥 실행 비교
[[summaries/2026-05-27-whisper-diarization2026-05-27-whisper-diarization]]
2026-04-04-apfel-mac-builtin-aiMac 내장 Apple 온디바이스 LLM 활용 도구 (FoundationModels.framework)

음성 합성 모델

TTS 노트 전체 목록은 moc-tts를 본다.

노트설명
2026-08-08-github-kyutai-labs-pocket-ttsKyutai의 100M 파라미터 CPU 중심 TTS — 24kHz streaming, voice state 재사용·cloning, Python API/CLI/FastAPI
2026-08-13-github-openbmb-voxcpmOpenBMB VoxCPM2 — tokenizer-free 30개 언어·48kHz TTS, voice design·cloning·streaming·LoRA
[[summaries/2026-08-15-x-gas1688-voxcpm22026-08-15-x-gas1688-voxcpm2]]
2026-10-02-elevenlabs-eleven-v4ElevenLabs Eleven v4·v4 Turbo — 공식 사양과 무료 요금제 후기 주장을 교차 검증(출시일·클로닝·지연·상업 이용 주의)
2026-10-03-fish-audio-s2-proFish Audio S2 Pro — 5B Dual-AR TTS, 한국어 WER 1.18%(자체 측정), 연구·비상업 라이선스, 대형 GPU 필요
2026-10-03-supertonic-3Supertone Supertonic 3 — 99M ONNX 온디바이스 TTS, 31개 언어, 한국어 CER 3.26, 저장소 아카이브·클로닝 없음

외부 큐레이션·커뮤니티

노트설명
[[summaries/2026-08-05-hada-32125-krafton-ax-k2-raon-speech2026-08-05-hada-32125-krafton-ax-k2-raon-speech]]

비디오·미디어 다운로드

노트설명
2026-04-05-open-source-video-download-extensionsVDH 대안 — Media Downloader Unleashed, Turbo DM, VidBee 등
2026-05-07-react-video-asciiWebGL2로 비디오를 ASCII 문자로 렌더링하는 React 컴포넌트
2026-08-08-github-oso95-scroll-world프레임 고정형 dive/connector 영상과 vanilla-JS scroll scrub engine을 묶은 3D landing page 스킬
2026-11-03-x-999toba-omniget-downloader-cautionOmniGet “무엇이든 다운로드” 홍보 — 봇 댓글 정황과 복제본·악성코드 의심 경고

YouTube 대체 프런트엔드

노트설명
2026-10-11-github-iv-org-invidiousInvidious — 광고·추적·JS 없는 오픈소스 YouTube 프런트엔드(AGPL-3.0), 셀프 호스팅엔 invidious-companion 필수, YouTube 차단 대응 안내
2026-10-11-github-iv-org-invidious-companioninvidious-companion — Invidious에서 떼어 낸 YouTube 스트림 수급·PO 토큰 생성 Deno 서비스, 다른 클라이언트용 HTTP API, Google 계정 로그인은 작동 안 함
2026-11-16-github-grapedjuice-ytm-rsytm-rs — Rust·egui·rodio 네이티브 YouTube Music 데스크톱 앱(비공식, GPL-3.0), 재생 중 약 130MB, 가라오케 가사·테마 30종·함께 듣기

오디오-비주얼 생성

노트설명
2026-08-15-github-starknightt-night-streetThree.js + R3F로 빌드한 Golden Hour 도시 거리 — 모든 텍스처·메시·조명·사운드가 코드로 생성된 프로시저럴 3D 렌더링. Web Audio 합성 DSP 포함.
[[summaries/2026-07-12-pytorchkr-topic-11207-joyai-echo-long-audio-visual-generation2026-07-12-pytorchkr-topic-11207-joyai-echo-long-audio-visual-generation]]
2026-08-15-x-owenyuwono-poseidonThree.js WebGPU/TSL로 GPU에서 FFT·파도 스펙트럼·거품을 계산하는 실시간 해양 시뮬레이션 — X 티저와 저장소 심층 정리
2026-09-27-github-feitangyuan-onetake컷 없이 이어지는 제품 런칭 필름 Claude Agent Skill — 경계마다 무언가 이어지는 연속성을 오라클로 수치 검증

음성 입력 앱 비교

앱모델한국어네트워크후처리비고
WhispreeGroq/Codex + LLM우수 (교정)필요LLM 교정Structured Mode, Visual Context
vvriteQwen3-ASR우수불필요없음온디바이스 전용
FreeFlowGroq + LLM보통필요LLM 후처리컨텍스트 인식
Wispr Flowcloud ensemble지원필요filler/formatting/context100+ 언어, 비영어 정확도 한계 명시
HandyQwen3-ASR 1.7B 등 선택지원불필요(core)optional post-processingMIT, 로컬·오프라인; Qwen 1.7B catalog 확인
Apple Speech APISpeechAnalyzer미확인불필요없음34분 영상 45초 처리

2026-07-18 신규 유입 (고아 정리)

노트설명
2026-07-25-local-open-tts-modelsQwen-Audio-3.0-TTS 대신 로컬에서 돌릴 수 있는 오픈소스 TTS(Kokoro·GPT-SoVITS·XTTS-v2 등) 비교.
2026-04-19-local-korean-xtts-engine한국어 숏츠 내레이션을 위한 로컬 one-take XTTS-v2 엔진.
2026-07-10-snapotterSnapOtter는 이미지, 영상, 오디오, PDF, 일반 파일 작업을 자체 서버에서 처리하는 셀프호스팅 도구 모음이다.
2026-07-07-openvoice-instant-voice-cloning짧은 참조 오디오만으로 화자 음색을 복제하고 감정·억양·언어를 별도 제어하는 feed-forward 구조의 오픈소스 Zero-shot TTS, MyShell.ai가 실서비스에 적용.
2026-07-11-vibevoice-microsoft-asr-ttsQwen2.5 기반의 7.5Hz 초저프레임 음성 토크나이저로 60분 ASR, 90분 다화자 TTS, 300ms 초저지연 스트리밍 TTS를 통합 제공하는 Microsoft 오픈소스 모델군.

2026-09-28 신규 유입 (YouTube)

노트설명
2026-09-28-ai-frontier-ep116-creative-aiOpus 5.5가 에셋 없이 코드만으로 만든 모션 그래픽·화풍 재현·게임·PCM 음악 데모와 크리에이티브 코딩 진영의 반응.

2026-10-04 신규 유입 (텔레그램 저장 메시지)

노트설명
2026-09-22-github-revfactory-qwen-image-studioQwen-Image-2.1을 Mac에서 ComfyUI GGUF·mflux·Next.js 웹 앱으로 로컬 생성하는 스튜디오와 M4 Max 실측
2026-08-24-github-jkf87-murmurwhisper-small-mlx로 마이크·시스템 오디오를 실시간 전사하고 NLLB로 오프라인 번역하는 맥 앱
2026-10-04-threads-kalavinka-generative-bgm시드·규칙 기반으로 작업용 BGM을 브라우저에서 무한 생성하는 Kalavinka
2026-08-10-github-mintdotgg-bookshelfSide One — Three.js LP 선반·턴테이블 연출의 로컬 음악 플레이어 (Mint, 라이선스 없음)
2026-10-04-github-heygen-com-hyperframesHTML로 쓰고 결정론적 MP4로 렌더하는 HeyGen의 에이전트용 영상 프레임워크, 21개 스킬
2026-07-25-github-wjb127-codex-imageCodex CLI OAuth로 API 키 없이 gpt-image-2 이미지를 만드는 Claude Code 스킬
2026-10-03-news-hada-34682-audionautMCP로 에이전트가 편집하는 C++/JUCE 멀티트랙 오디오 편집기, 음원 분리·CLI 자동화
2026-08-04-pytorchkr-topic-11500-image-blaster-3d-claude이미지 한 장으로 3D 월드·효과음을 만드는 Claude 스킬셋 image-blaster

2026-10-11 신규 유입 (X 북마크)

노트설명
2026-10-10-x-0xmovez-adobe-creative-cloud-rust-cloneAdobe 앱 7종을 Rust 오픈소스로 재구현했다는 화제와 HarmonyOS 포팅, 주장 미확인
2026-10-09-x-dhh-rawmakaseLightroom 카탈로그·프리셋을 그대로 쓰는 Rust RAW 현상기 RAWmakase, 내장 MCP 서버
2026-10-09-x-laobaishare-claude-motion-video-reposClaude로 영상을 만드는 스킬·렌더링 엔진(HyperFrames·Remotion) 저장소 20선
2026-10-09-x-ybouane-imageflow-relightImageFlow Relight — 조명을 태양으로 바꾸고 야자잎·블라인드 그림자를 사진에 드리우는 브라우저 도구
2026-09-28-x-lucian-opus-5-5-cosmic-scale-motion-graphics지구에서 관측 가능한 우주까지 1분 줌아웃 모션 그래픽을 Opus 5.5와 2시간에 제작
2026-09-22-x-yulmu-coffee-qwen-image-2-1-uncensored-ggufQwen-Image-2.1 무검열 로컬 판 — GGUF 양자화별 크기·VRAM, GPU 세대별 Heretic 인코더 조합, 비상업 라이선스

2026-10-11 신규 유입 (Threads 저장)

노트설명
2026-10-05-threads-choi-openai-whistle-sttWhistle — CPU에서 도는 16.9MB STT, Whisper base보다 약 9배 작고 6배 빠름, 7개 언어
2026-09-25-threads-imhealingmachine-midjourney-retro-anime-srefMidjourney v8.2 sref·profile 조합으로 90년대 레트로 애니메이션풍 캐릭터 뽑기(스레드 2/6만 수집)
2026-09-24-threads-choi-openai-opus-5-5-12h-music-videoOpus 5.5에 5분 음성 지시 한 번, 12시간 자율 작업으로 뮤직비디오 제작(SD2.5·ElevenLabs)

2026-10-23 신규 유입 (YouTube)

노트설명
2026-10-23-ai-frontier-ep119-video-as-codeLLM이 코드로 모션 그래픽을 짜는 Video as Code 실험(SudoCut 채널 성과·모델/도구 비교)과 bytebeat를 거듭 잘못 읽는 ‘생성형 오독’ 퍼포먼스.

2026-10-25 신규 유입 (X 북마크)

노트설명
2026-10-24-x-block-dessa-full-duplex-speech-modelBlock의 전이중 음성 모델 Dessa — 감정·쉼까지 자연스러운 대화, M4 Max Mac 로컬 실행
2026-10-24-block-dessaDessa 공식 소개 — 텍스트·사전학습 없이 대화 음성만으로 처음부터 학습, GB200 NVL72 한 대로 훈련

2026-10-31 신규 유입 (GitHub)

노트설명
2026-10-31-github-tejashmakwana-motionmaxxing사이트 URL로 브랜드 영상을 만들고 프로 모션 53장면 측정값·검사 스크립트로 결과를 확인하는 영상 에이전트 스킬, 한계 정리

2026-11-01 신규 유입 (X 북마크)

노트설명
2026-10-31-x-bibae151968-ai-song-youtube-revenue-factcheckAI 음원 머무르 「꿈꾸던 어른이 되었나요?」 유튜브 수익 주장 팩트 체크 — Suno 보컬, 저작권료 미정산
2026-10-31-x-donbaek2-ai-drama-youtube-revenue-factcheckAI 드라마 채널 「초능력소녀 세아」 수익 인증 팩트 체크 — 쇼츠 연재+롱폼 묶음, Higgsfield·CapCut CPP
2026-10-31-x-balsamicroket-overseas-shorts-export-factcheck남의 인기 쇼츠에 AI 해설·일본어 더빙을 입혀 재업하는 ‘해외 수출’ 부업 팩트 체크 — 재사용 콘텐츠·저작권·자동 더빙
2026-11-01-x-magic-ai-skill-ai-longform-channelsAI 롱폼 채널 만일의 연구소(재난 시나리오)·unlock_kr(실화 미스터리) 200만 회 사례 조사 — 포맷 반복과 정책 위험
2026-11-01-x-magic-ai-skill-ai-longform-8-channelsAI 롱폼 150만 회 국내 영상 8편(역사·경제·야담·공포) 공개 데이터 대조 — 채널별 중앙값과 야담 줄거리 복제
2026-10-31-threads-binx-lab-ai-dog-cartoon-441m-views15초 AI 강아지 만화 90일 441만 조회 사례 — Nano Banana·Seedance·CapCut 편당 30분, 원문 대조

2026-11-01 신규 유입 (GitHub)

노트설명
2026-11-01-github-biolend83-tubehausTubeHaus — Invidious 위 YouTube 동일 UI 서버판(WARP 경유·라이브 자막·차분 모드)과 기기 직접 통신 네이티브 앱판, AGPL-3.0
2026-11-01-github-lemomo-ai-lemo-opuscarLemo-Opuscar — 영상 모델 없이 코드로 연출·작화·작곡·믹싱하는 화풍 66종 단편 영화 Claude Code 플러그인, Opus 5.5 전용

2026-11-03 신규 유입 (GitHub)

노트설명
2026-11-03-github-hypit-ai-hypitHypit — 바이럴 영상을 단어 기준 마크업(SVML) 워크플로로 복제해 변형 100개를 만드는 에이전트용 영상 시스템, 독자 라이선스

2026-11-04 신규 유입 (Threads 저장)

노트설명
2026-11-04-threads-dhdbtkd-claude-animated-shortsthree.js·Remotion 코드로 1분 안팎 3D 마을·2D 캐릭터 쇼츠를 렌더링하는 무료 Claude 스킬(cartoon-3d-short, MIT) — Remotion 라이선스·내레이션 직접 준비
2026-11-03-threads-mori-mement0-claude-animated-shorts같은 스킬(claude-animated-shorts)의 다른 소개 — 사실 조사·카메라 설계·음향 믹싱·프레임 검수까지 6단계 로컬 워크플로

2026-11-14 조사 (Claude Code 쇼츠)

노트설명
2026-11-14-claude-code-shorts-cases-methodsClaude Code로 만든 쇼츠 사례 8건을 사용 근거·형식·성과 출처로 판정하고, 4가지 제작 방식·반복된 교훈·리스크를 정리
2026-11-14-claude-code-video-tools-landscapeClaude Code 영상 제작 오픈소스 지도 — 렌더 엔진 스킬·제작 툴킷·편집 스킬·맥 데스크톱 앱(Palmier Pro·OpenChatCut·Remocn Studio)

2026-11-15 신규 유입 (X 북마크)

노트설명
2026-11-01-x-ohbr17198-ai-video-editing-stackAI 에이전트 영상 편집 5단 조합 — Claude 지휘, 로컬 편집 엔진·Whisper·HyperFrames, 스타일 가이드

2026-11-16 신규 유입 (X 북마크)

노트설명
2026-11-01-x-lucas-flatwhite-karpathy-hackertubeHackerTube — Karpathy가 HN 댓글 추천 영상 6,454개로 2시간 만에 만든 YouTube 복제, 50% 지점 썸네일
2026-10-31-x-tm-uchal-higgsfield-elements-face-consistencyHiggsfield 엘리먼트(정면 얼굴+앞·뒤 전신)로 얼굴은 유지하고 씬마다 옷만 바꾸는 일관성 팁

2026-11-16 신규 유입 (Threads)

노트설명
2026-11-15-threads-vibe-itji-rea-videorea-video — 영상을 샷마다 실사·AI·코드로 판정하고 카메라·조명·자막·BPM·리메이크 계획을 보고서로 내는 오픈소스(Claude Code·Codex)

2026-11-16 신규 유입 (GitHub)

노트설명
2026-11-16-github-underleveledbuilder-awesome-short-drama-skillsAI 숏드라마·만극용 에이전트 스킬 86개 목록 — 대본·콘티·Seedance/MiniMax/Kling 프롬프트, 블라인드 비교 결과

2026-11-18 신규 유입 (X 북마크)

노트설명
2026-10-14-x-roundtablespace-concat-video-editorConcat — CapCut 대체 오픈소스 편집기, 로컬 자막·TTS·음성 복제·배경 제거(베타)

2026-11-19 신규 유입 (X 북마크)

노트설명
2026-10-13-x-saboo-shubham-embeddinggemma-2-sttEmbeddingGemma 2를 STT로 — M3 Air에서 1시간 음성 13초(288배속) 온디바이스 전사

관련 MOC