←
ぬるっぽ9,844 posts
ぬるっぽ avatar

ぬるっぽ

@PcotNullpo

翻訳支援ツールPCOTを公開しています。 PCOTの開発は(多分)ひと段落したので、しばらく好き勝手遊びたいと思います。PCOTの使用方法や不具合報告については随時受け付けていますので、お気軽にお問い合わせください。PCOTが皆様のお役に立てば幸いです。

◷ Joined July 2020▧ 1,242 Photos and videos
ぬるっぽ avatar
ぬるっぽ@PcotNullpo·Aug 14

PCOTの更新がゲームニュースで取り上げられ、二つの記事が二つとも1位を獲るという驚異の二冠を達成しました! 他の記事を見ると分かる通り、個人製作のフリーソフトとしては、異例の注目度を誇ると言えるでしょう! 今後も便利そうな機能を積極的に組み込んでいくので、是非お付き合いください!

Post attachmentPost attachment
でくのぼう avatar
⟳ ぬるっぽ retweeted
でくのぼう@T_decoy·16h

US版GTA6を買った人へ PCOTをPS5のリモートプレイにオーバーレイとして乗せると日本語に翻訳された海外版GTA6が遊べますよ!!!!!

心のサイレント声: PCOTを使って日本語未翻訳ゲームを遊びたい silentzzvoice.blogspot.com/2… 書きました。 これからバリバリ洋ゲー遊べちゃうもんね! 画像はPCOTを使うきっかけになった奇跡のゲームです

Post attachment
ぬるっぽ avatar
ぬるっぽ@PcotNullpo·Nov 17

PCOTの開発終了を宣言した手前、本当にプレイヤーが自分自身でゲームの日本語化パッチを作れるのかを(PCOTの改修そっちのけでw)検証してみた。 結論は・・・やれなくはないけど、まだかなり大変だということが分かったw でも、実際こうしてゲーム上で日本語が表示されると嬉しいな。

Post attachment
ぬるっぽ avatar
ぬるっぽ@PcotNullpo·Nov 15

この辺の構想も、今後の技術革新で一瞬で陳腐化するかもしれませんが「PCOT開発終了を告知する直前まで裏でこんな事を考えてたんだな」と興味深く見て頂けたら幸いです。 もちろん構想を独占するつもりは毛頭ないので、使えると思ったら存分に使ってくださいw それでは、洋ゲーの未来に乾杯!

ぬるっぽ avatar
ぬるっぽ@PcotNullpo·Nov 15

以上が、6年以上に亘ってOCR翻訳に関わり続けて蓄えたドメイン知識を総動員した技術検証の骨子です。 個人的には、文字位置を意味ブロック単位に成形する部分と、訳文を意味ブロック単位に再分配するところが鬼門(抽象度が高い!w)で、引用元では、実現可能性は「五分五分」と評価しましたw

ぬるっぽ avatar
ぬるっぽ@PcotNullpo·Nov 15

余談だけど、VLMは重いため、秒間何回も呼び出すという狂気の仕様にしたくなかったので、TextDetectAIはVLM実行のトリガー制御にも使う予定だった。 つまり、行の個数、座標、サイズが変わったらVLMを実行させ、出力内容次第で再レンダリングの実行可否を決定するイメージ。

ぬるっぽ avatar
ぬるっぽ@PcotNullpo·Nov 15

VLMがより軽量に、そしてより賢く動作するようになれば、この辺の問題は一気に解決すると思う。 VLMがマルチモーダルAIを名乗るなら、文字の位置情報と意味理解をセットで持って欲しいと願わずには居られないw まぁでも、俺程度が望むということは、恐らく近いうちに出てくるんじゃないかな?と予想。

ぬるっぽ avatar
ぬるっぽ@PcotNullpo·Nov 15

ただ、課題もある。 TextDetectAI(ppocrv5_det.onnx)は、行単位で文字を検出するので、意味単位のブロックに成形(行結合)させるのをルールベースでやるか、VLMに投げて判断させるかだ。 次世代PCOTは、ルールベースとAI判断でクロスチェックさせるハイブリッド構成でやる予定だった。

ぬるっぽ avatar
ぬるっぽ@PcotNullpo·Nov 15

ここで、次世代PCOTは発想を転換することにした。 OCRが不完全な文字を抽出するのであれば、OCRを捨てて、「何て書いてあるか分からないけど、何処にあるかは分かる」と「何処に書いてあるか分からないけど何て書いてあるかは分かる」を組み合わせてやればいいと考えた。

ぬるっぽ avatar
ぬるっぽ@PcotNullpo·Nov 15

今出ている(凡そ全ての)リアルタイム翻訳ツールは「精度の上限 = OCRの精度」という問題を孕んでいる。 つまり、どれだけ翻訳精度の高いAIを利用しても、OCRがダメだと訳が盛大にバグる。 ゲームの場合、これはかなり高頻度で発生する。 何故ならOCRは「文書を読むのを前提とした技術」だからだ。

ぬるっぽ avatar
ぬるっぽ@PcotNullpo·Nov 15

供養のために技術検証の方向性を書くと、次世代PCOTの精度面でのアプローチは、一言で言えば「OCRを捨てて、文字位置だけを軽いローカルAIで高精度に検知させ、意味理解はVLMに全部丸投げし、VLMの出力を検出した文字位置に再分配してマッピングさせる」というもの。(続く)

Post attachment

今となっては皮肉な話だが、PCOT開発終了の告知の直前まで技術検証していた内容が「次世代PCOT」だったというオチw 構想自体の筋は良かったけど、実現可能性としては五分五分だったかなぁ・・・

Post attachment
ぬるっぽ avatar
ぬるっぽ@PcotNullpo·Nov 14

今となっては皮肉な話だが、PCOT開発終了の告知の直前まで技術検証していた内容が「次世代PCOT」だったというオチw 構想自体の筋は良かったけど、実現可能性としては五分五分だったかなぁ・・・

Post attachment
ぬるっぽ avatar
ぬるっぽ@PcotNullpo·Nov 13

その後も色んな方々からギフトを頂きました! 訳あって詳細は伏せますが、最高に嬉しいです! ギフトを贈って頂いた方々に、この場を借りてお礼させて頂きます! 本当にありがとうございました! 残る更新も頑張って実装して、最高のものにしたいと思います!

すみません、引用元のポストをした後寝落ちしたら、その後1時間位でギフトが殺到し、4人くらい?バッティングして、誰が誰だか追えない状況です。 というわけで、この場でお礼させてください。 PCOTへの感謝の気持ち、とても嬉しかったです。 直接話したい方はDMを頂けると助かります。

ぬるっぽ avatar
ぬるっぽ@PcotNullpo·Nov 12

先程のポストの件は、作成者様との連絡が取れましたので、削除しました。 必要な協議を行って、PCOTもPLaMo3 Translateもより便利にしていく所存ですので、どうかご期待ください!

ぬるっぽ avatar
ぬるっぽ@PcotNullpo·Nov 11

すみません、引用元のポストをした後寝落ちしたら、その後1時間位でギフトが殺到し、4人くらい?バッティングして、誰が誰だか追えない状況です。 というわけで、この場でお礼させてください。 PCOTへの感謝の気持ち、とても嬉しかったです。 直接話したい方はDMを頂けると助かります。

まだタスクは残ってますが、開発終了記念?にSteamのWishListを公開します。 これまでPCOTに助けられた方、感謝の気持ちを伝えたいという方が居られましたら、是非ご支援ください。 長年の間、本当にお世話になりました。 フレンドコード:110908032 store.steampowered.com/wishl…

ぬるっぽ avatar
ぬるっぽ@PcotNullpo·Nov 11

自分の開発したソフトの開発終了の告知が、自分のスマホのニュース通知に届いて滅茶苦茶ビックリしたw

Post attachment