원문: block.xyz/dessa · 작성: Ragavan Thurairatnam(Dessa 리드) · 수집일: 2026-10-25

개요

Dessa는 Block 안의 작은 AI 연구실이 만든 음성 모델이다. 핵심은 학습 데이터다. 텍스트도, 사전학습된 모델도 쓰지 않고 사람끼리 나눈 대화 음성만으로 처음부터 학습했다. 연구실은 이것이 사람의 음성만으로 학습해 실시간 대화가 되는 세계 최초의 AI라고 주장한다(자체 주장).

공개 첫날 X에서 돈 반응은 2026-10-24-x-block-dessa-full-duplex-speech-model에, GeekNews 소개는 2026-10-25-geeknews-digest에 있다.

모델이 하는 일

  • Speech-to-speech: 음성이 들어가고 음성이 나온다. 중간에 텍스트로 바꾸는 단계가 없다.
  • 전이중(full-duplex): 듣는 동시에 말한다. 실제 대화에서 배웠기 때문에 언제 끼어들지, 언제 “yeah!”, “got it!” 같은 맞장구를 칠지 안다.
  • 감정을 그대로 듣고 말한다: 빈정거림·웃음·답답한 한숨·슬퍼서 갈라지는 목소리를 직접 다룬다. 음성을 텍스트로 거치면 이런 정보가 사라진다는 것이 기존 음성 AI에 대한 이 팀의 비판이다.
  • 속도와 장비: 추론이 실시간보다 빨라 대답을 기다릴 필요가 없고, MacBook Pro M4 Max 이상에서 로컬로 돈다.

공개된 시연 클립에서는 문장 중간에 웃고, “크게 말해 달라”는 요청에 목소리를 키우고, 상대가 떠올리지 못한 영화 제목을 대신 말해 준다. ChatGPT Live와 대화하는 클립도 있다. 클립은 모두 개입 없이 녹음했고 자막만 나중에 붙였다고 한다.

학습에 대한 주장

  • LLM보다 수백 배 적은 단어로 언어를 배웠다.
  • 음성은 같은 문장을 두 번 말해도 데이터가 달라지고, 단어 하나가 텍스트보다 수천 배 많은 바이트를 차지한다. 그래서 텍스트 없이 학습하기가 훨씬 어렵다고 설명한다.
  • 그런데도 NVIDIA GB200 NVL72 한 대로 학습했다.

모델 크기·라이선스·벤치마크·가중치 공개 여부는 페이지에 없다. 위 수치도 모두 팀의 자체 주장이고 외부 검증은 아직 없다(confidence: medium).

왜 만들었나

팀이 든 이유는 세 가지다.

  1. 호기심: 아기가 글자를 보지 않고 말을 배우듯 모델도 그럴 수 있는지 보고 싶었다.
  2. 더 나은 인터페이스: 지금의 음성 AI는 말을 텍스트로 납작하게 만들고 사람의 대화 타이밍을 따라가지 못한다.
  3. 안전: AI가 사용자의 목소리에 담긴 고통을 알아채지 못하는 것 자체가 안전 문제라고 본다. 그래서 AI 안전 연구자 소수에게 조기 접근을 주고 위험을 찾아 달라고 요청한다.

누가 만들었나

토론토의 딥러닝 스타트업 Dessa 출신이 Block 안에 세운 소규모 연구실이다. 2012년부터 딥러닝 모델을, 8년 넘게 생성형 음성 모델을 만들어 왔고 잭 도시에게 직접 보고한다. 연구원 6명과 인턴 3명이 페이지에 이름을 올렸다.

메모

  • 음성 AI 대부분은 STT → LLM → TTS를 잇는 구조다(moc-tts, 2026-10-05-threads-choi-openai-whistle-stt). Dessa는 대화 전체를 한 모델이 처리하고, 텍스트를 아예 거치지 않는다는 점이 다르다.
  • 텍스트 없이 배운 모델이 사실 지식을 얼마나 효율적으로 익히는지, 새 언어는 얼마나 빨리 배우는지, in-context learning이 되는지는 팀도 열린 질문으로 남겨 두었다.

관련 노트