←
Otake701 posts
Otake avatar

Otake

@LangProc

CEO @HigurashiAI / Scaling Speech AI / higurashi.ai

◷ Joined October 2022▧ 44 Photos and videos
Otake avatar
Otake@LangProc·Nov 17

Speech-to-Speech Full-duplexと、Speech-to-Speech Half-Duplexでは、ユーザーの体験は全く異なるものになります Full-duplexはまだ知性や安定性に課題がありますが、いずれこのモデルが社会で最も使われるモデルになると考えています

Here's the difference between speech-to-speech (S2S), cascaded, half-duplex, and full-duplex Voice AI models, and why the configurations matter.

Post attachment
Curiosity avatar
⟳ Otake retweeted
Curiosity@Curiosi46542428·Nov 15

higurashi: Haru 4B Launch Meetup に参加を申し込みました! connpass.com/event/412879/?u… #音声AI

GIGAZINE(ギガジン) avatar
⟳ Otake retweeted
GIGAZINE(ギガジン)@gigazine·Nov 16

日本語でリアルタイム会話可能なAI「Haru-4B」がオープンモデルとして公開される、電話で話せるデモもあり

Post attachment
higurashi avatar
⟳ Otake retweeted
higurashi@HigurashiAI·Nov 15

Haru-4B just hit #1 on Hugging Face’s Audio-to-Audio trending list. 🥇 Appreciate all the love. Give it a spin 🤗 huggingface.co/higurashi-ai/…

Post attachment

We’ve open-sourced our 4B full-duplex speech model under Apache 2.0 !! Our model was trained on 40M hours and uses continuous tokens. Full-duplex AI for "Human like AI" is still largely unexplored. Let’s push the boundaries together! Check out our demos! 🚀 Website: higurashi.ai/haru4b/ Code: github.com/higurashi-ai/Haru Model: huggingface.co/higurashi-ai/… Technical blog: blog.higurashi.ai/melte/haru…

1:07
松本拓樹 | CaseMatch avatar
⟳ Otake retweeted
松本拓樹 | CaseMatch@hirokima2moto·Nov 14

4Bでこれできてるのすごい

4B Full-duplex baseモデルをapache 2.0で公開しました! 日英を中心に9か国語で話すことができます。 キャラクターやオペレーターなど、是非チューニングして遊んでいただければと思います!! blog: higurashi.ai/ja/haru4b/ Tech blog: blog.higurashi.ai/melte/haru… huggingface: huggingface.co/higurashi-ai/…

Otake avatar
Otake@LangProc·Nov 13

full-duplexモデルの評価、とても大変でとても苦しいです…

みんなフルヅプレクス対話モデル作ってるけど、結局一番すごいのはどれなの?

PlotttttA! avatar
⟳ Otake retweeted
PlotttttA!@PlotttttA·Nov 13

電話したらすごく自然で、こっちが途中で「あっ、もしかして電話番号間違えてマジ人間喋ってたりします…?」ってなった。

Haru 4Bは9言語に対応し、テキストと音声によるモデルの人物/声色設定が可能です また、以下の電話番号に電話いただくことで、Haru 4Bと会話することができます ・050-5444-3154 (日本語: 男性) ・050-5444-3155 (日本語: 女性) ファインチューニング前の不安定なモデルですが、full-duplexならではの「人間らしい対話」を体験いただけます 是非「自己紹介をお願いします」から始めて色々質問してみてください

1:07
Yojiro Yamamoto |Coreline Ventures avatar
⟳ Otake retweeted
Yojiro Yamamoto |Coreline Ventures@yojiro_yamamoto·Nov 13

higurashiの4Bモデルで、彼女との寝落ち電話を再現した このリアルな間とか空気感を実現してくれるのは、Audio nativeなFull duplex modelでしかできないと思う... 「付き合って半年の恋人同士。毎晩寝る前に電話している。」という設定

1:27
かず avatar
⟳ Otake retweeted
かず@kazu5075t·Nov 13

今日公開された全二重の音声対話AI「Haru-4B」を、さっそくGPUを1ドル分借りて動かしてみました。@HigurashiAI 相手が話している最中にも「はい」「うん」と相槌を打つ。日本語の口語もかなり自然です。 声は自分の声を25秒録って参照させています。 実測の数字と所感を記事にしました👇 cogproject.jp/?p=696

2:00
Otake avatar
Otake@LangProc·Nov 13

シングルチャネルの音声データから、2チャネルの対話音声データを高速に生成する音声分離・復元モデル「FastDialogueSidon」も公開していますので是非!

Full-duplex 2話者データの音声分離・復元モデル「DialogueSidon」の高速版「FastDialogueSidon」を公開しました! 1ステップ推論+軽量デコーダで、DialogueSidon公式実装比で約100倍の高速化と同等の性能を実現しています(H100上で計測) GitHub:github.com/higurashi-ai/Fast… Huggingface:huggingface.co/higurashi-ai/…

Otake avatar
Otake@LangProc·Nov 13

今回はベースモデルを公開しました。 皆さんお持ちの(??) 2話者間の対話データで、ファインチューニングを試してみてください。話者を固定するようなチューニングをするとだいぶ安定すると思います 対話データは持っていない方、ファインチューニングに興味があるという方、ぜひお話ししましょう! 魅力的な対話とは何か。可愛い対話とは何か。私たちはどこまでも探求する必要があります.....

動詞 avatar
⟳ Otake retweeted
動詞@IMG_5955·Nov 13

凄すぎ!!!!!!!!!!!

【人間のように、自然に笑い、相槌を打つ「人間らしいAI」】 4BのFull-duplex音声対話モデルを4,000万時間の日本語、英語を含む多言語データで事前学習し、オープンウェイトで公開しました! 弊社のオープンモデルを用いて、開発者の方々と一緒に未来を切り開ければと思います

1:44