[Feature]: PPT & PDF 等文件中增加对于图片，表格，公式等的处理

[Ussrmby]

Problem Statement

OpenViking 存储PDF，PPT等格式的文件时，文件中的图片并没有解析和处理。同时表格处理时，仅提取文字，丢失了格式和前后文关系。

图片问题：

原文

解析并存储后

公式问题：

原文

解析并存储后

表格问题：

原文

解析并存储后

• PPT & PPTX中的图片完全没有处理

Proposed Solution

1. PPT & PPTX & PDF等格式文件中可以将图片，表格等内容正确存储
2. 检索知识库时，可以针对图片内容进行检索，并返回对应的图片
3. 表格类型的数据存储为json格式，保持格式和上下文不变

Alternatives Considered

https://github.com/microsoft/markitdown 可参考Microsoft .md转换项目

Feature Area

Storage/VectorDB

Use Case

将OpenViking 搭建为远程服务，作为团队的知识库

Example API (Optional)

Additional Context

[实验存储的论文：]

2603.10087v1_engram_cxl.pdf

[OpenViking存储后的文档：]

2603.10087v1_engram_cxl.zip

Contribution

• I am willing to contribute to implementing this feature

[zzjin]

补充一下针对 PDF 图片丢失 的根因定位 —— 这一项其实不是 missing feature,是现有 _extract_image_from_page 里的一个 silent bug,在带嵌入位图的 PDF 上 100% 触发丢图。

Root cause

openviking/parse/parsers/pdf.py:609-639

def _extract_image_from_page(self, page, img_info: dict) -> Optional[bytes]:
    try:
        if hasattr(page, "page_obj") and hasattr(page.page_obj, "resources"):
            resources = page.page_obj.resources
            if resources and "XObject" in resources:
                xobjects = resources["XObject"]
                for obj_name in xobjects:
                    obj = xobjects[obj_name]
                    if hasattr(obj, "resolve"):
                        resolved = obj.resolve()
                        if resolved.get("Subtype") and resolved["Subtype"].name == "Image":
                            data = resolved.get("stream")   # ← 这里永远 None
                            if data:
                                return data.get_data()
        return None
    except Exception as e:
        logger.debug(f"Image extraction error: {e}")
        return None

obj.resolve() 返回的 resolved 本身就是 PDFStream 对象,字节通过 resolved.get_data() 直接取。PDFStream 没有 "stream" 子键,所以 resolved.get("stream") 一直返 None,if data: 永远 False,函数返回 None,外层把这次抽取当作失败丢掉。但因为只用了 logger.debug + 没有计数,日志静默,images_extracted 永远停在 0。

Reproduction

附件中作者贴的论文 PDF (2603.10087v1_engram_cxl.pdf) 同样能复现。下面是本地任意嵌图 PDF 的最小验证(pdfplumber 1.10.x、pdfminer.six 20231228):

import pdfplumber

with pdfplumber.open("any.pdf") as pdf:
    page = pdf.pages[0]
    xobjects = page.page_obj.resources["XObject"]
    for name, obj in xobjects.items():
        resolved = obj.resolve()                                # PDFStream
        print(type(resolved).__name__,
              resolved.get("Subtype").name,                     # 'Image'
              resolved.get("stream"),                           # None  ← OV 取这个
              len(resolved.get_data()))                         # 实际字节数 ← 应该取这个

输出:

PDFStream Image None 72984
PDFStream Image None 12296

Suggested fix

最小改动,把 resolved.get("stream").get_data() 换成 resolved.get_data():

if resolved.get("Subtype") and resolved["Subtype"].name == "Image":
    if hasattr(resolved, "get_data"):
        return resolved.get_data()

另外两点连带问题

1. 同页多图错配: 当前 for obj_name in xobjects 不按 img_info["name"] 匹配,只要 page 有多张图,每个 page.images 条目都会返回第一个被命中 XObject 的字节,导致同页所有图变成同一张。建议加 if obj_name != img_info.get("name"): continue。

2. 错误等级: _extract_image_from_page 内的异常用 logger.debug,外层 except 用 logger.warning。配合 images_extracted 计数器在 meta 里能透出来,但 meta 没有失败计数,导致用户/运维看不到任何"抽图失败"信号。建议 fail 时也累计到一个 images_failed 字段或至少升到 logger.info,方便排查。

范围说明

修了这条后 PDF 嵌入的光栅图(JPEG/PNG XObject)能正常落到 storage.save_image() 并在 markdown 里插入 ![](path),后续走 ImageParser + VLM + 多模态 embedding 链路就通了。矢量图/扫描整页/公式仍需要 MinerU 或类似服务,跟本 issue 的 #1 项一致。