騰訊發布了 Youtu-Parsing-Omni，這是一個參數規模為 5B 的緊湊型全模態解析模型。該模型能夠接收單一輸入（包括文件頁面、自然圖像、圖表/流程圖、幾何圖形、音訊片段或音訊視覺影片），並生成一個涵蓋「感知」（版面元素、文字、表格、公式、邊界框、時間戳、語音識別、光學字元識別、聲學事件、相機運動）與「認知」（標題、敘述、報告）的統一結構化 JSON 信封。輸出類型由任務提示（task prompt）決定。

該模型支援八種解析任務類別： 1. 文件頁面：提取版面元素與邊界框、文字、LaTeX/OTSL 表格、Markdown 圖表、Mermaid 流程圖及閱讀順序。 2. 自然圖像：識別實體與文字邊界框、標籤、標題及全局描述。 3. 圖表：生成包含 Markdown 表格、註釋及標題的單一圖表元素。 4. 流程圖：生成包含 Mermaid 語法及標題的單一流程圖元素。 5. 幾何圖形：提取點、線、弧、形狀、幾何關係及測量數據。 6. 音訊：識別人聲/非人聲片段時間戳、說話者、語音識別、音色/場景標題及聲學事件。 7. 自然影片：識別時間片段中的視覺元素、動作、互動、相機運動及音軌。 8. 文字豐富影片：結合 OCR 與語音識別，生成整個影片的 Markdown 結構化報告。

在性能方面，Youtu-Parsing-Omni 在 OmniDocBench v1.6 上取得了 96.96 的總分，達到最先進（SOTA）水平；在 OmniParsingBench 上以 75.08 的平均分成為最佳開源權重模型，僅次於 Gemini-3-Pro。此外，它在化學結構識別（ChemOCR）和樂譜識別（PDMX-Synth）等專用任務上也表現出與專用模型相當的競爭力。該模型採用統一架構，整合了圖像、音訊及交錯音訊視覺影片（幀+音軌）的編碼器，並提供了 vLLM 插件、固定的服務設置及推理範例以簡化部署。

事件背景

Youtu-Parsing-Omni 是一個全模態（Omni-modal）解析模型，意味著它能在單一模型架構內處理圖像、音訊及交錯的音訊視覺影片輸入。該模型通過任務提示（--task 參數）來切換不同的解析模式，輸出對應的 JSON 結構。

社群觀察

社群用戶對該模型表達了正面評價。用戶 takoulseum 表示：「哇，一個統一的解析器，我喜歡這個想法。」用戶 JLeonsarmiento 評論道：「噢天哪。這很穩健。」用戶 caphohotain 則詢問：「授權條款是什麼意思？」