Как исправить ошибку Docling при конвертации PDF

Ошибка RuntimeError: filename does not exists: C:\Users\Макс\Desktop\VS Code Projects\RAG\.venv\Lib\site-packages\docling_parse\pdf_resources_v2/glyphs//standard/additional.dat при использовании Docling для конвертации PDF является распространенной проблемой, связанной с отсутствием необходимых ресурсов модели. Эта ошибка возникает, когда Docling пытается загрузить или найти требуемые файлы для обработки PDF, но они отсутствуют в системе.

Содержание

• Основные причины ошибки
• Способы решения проблемы
• Проверка и обновление зависимостей
• Настройка офлайн-режима работы
• Альтернативные подходы к конвертации
• Проверка совместимости версий
• Заключение

Основные причины ошибки

Ошибка возникает из-за отсутствия необходимых файлов ресурсов в директории pdf_resources_v2. Согласно исследованиям, основные причины включают:

1. Неполная установка модели: Docling требует загрузки дополнительных ресурсов при первом запуске, но процесс может прерваться из-за сетевых проблем или ограничений.

2. Ограничения доступа: В некоторых корпоративных сетях или на серверах с ограниченным интернет-доступом может блокироваться загрузка моделей из Hugging Face Hub.

3. Конфликт версий: Несовместимость между версиями Docling, docling-parse и другими зависимостями может приводить к проблемам с загрузкой ресурсов.

4. Проблемы с правами доступа: Файлы ресурсов могут отсутствовать из-за проблем с правами записи в директорию установки.

Способы решения проблемы

1. Ручная загрузка моделей

Самый надежный способ - вручную скачать необходимые модели:

import os
from pathlib import Path

# Создайте директорию для моделей, если она не существует
models_dir = Path.home() / ".cache" / "docling" / "models"
models_dir.mkdir(parents=True, exist_ok=True)

# Установите переменную окружения для использования локальных моделей
os.environ["DOCLING_MODELS_PATH"] = str(models_dir)

Затем используйте команду для скачивания моделей:

docling-tools models download rapidocr

2. Переустановка Docling с очисткой

Полная переустановка с очисткой кэша может решить проблему:

# Удалите существующую установку
pip uninstall docling docling-parse -y

# Очистите кэш
pip cache purge

# Установите последнюю версию
pip install docling[rapidocr]

3. Использование альтернативного бэкенда

Попробуйте использовать другой бэкенд обработки PDF:

from docling.document_converter import DocumentConverter
from docling.pipeline import PdfPipeline

# Используйте стандартный бэкенд вместо VLM
converter = DocumentConverter(
    pipeline=PdfPipeline(
        ocr=...,  # настройки OCR
        backend="standard"  # вместо VLM
    )
)

source = "https://arxiv.org/pdf/2408.09869"
result = converter.convert(source)
print(result.document.export_to_markdown())

Проверка и обновление зависимостей

Убедитесь, что все зависимости обновлены до совместимых версий:

pip list | grep -E "(docling|torch|numpy)"

# Обновите основные зависимости
pip install --upgrade torch numpy
pip install --upgrade docling docling-parse

Важно: Как указано в исследованиях, существуют проблемы совместимости между версиями PyTorch и NumPy. Убедитесь, что у вас установлена совместимая комбинация.

Настройка офлайн-режима работы

Если вы работаете в среде без доступа к интернету, вам нужно заранее скачать все необходимые модели:

1. Скачайте модели на машине с интернетом:

# Создайте временную директорию для моделей
mkdir -p ~/docling_models_offline
export DOCLING_MODELS_PATH=~/docling_models_offline

# Скачайте все необходимые модели
docling-tools models download rapidocr
docling-tools models download docling-parse

2. Перенесите модели на целевую машину и установите переменную окружения:

import os
os.environ["DOCLING_MODELS_PATH"] = "/path/to/your/models"

3. Запустите Docling с правильно настроенным путем к моделям.

Альтернативные подходы к конвертации

1. Использование Docker-контейнера

Docker-контейнер может решить проблемы с зависимостями и путями к моделям:

# Создайте Dockerfile
FROM python:3.11-slim

# Установите Docling и скачайте модели
RUN pip install docling[rapidocr] && \
    docling-tools models download rapidocr

# Запустите конвертацию
RUN python -c "
from docling.document_converter import DocumentConverter
converter = DocumentConverter()
result = converter.convert('https://arxiv.org/pdf/2408.09869')
print(result.document.export_to_markdown())
"

2. Конвертация через CLI

Попробуйте использовать Command Line Interface:

docling convert https://arxiv.org/pdf/2408.09869 output.md

3. Использование альтернативных библиотек

Если проблема не решается, рассмотрите альтернативные подходы:

# Альтернатива: pdf2image + OCR
from pdf2image import convert_from_path
import pytesseract

# Конвертируем PDF в изображения
images = convert_from_path("document.pdf")

# Обрабатываем каждое изображение
for i, image in enumerate(images):
    text = pytesseract.image_to_string(image, lang='rus+eng')
    print(f"Страница {i+1}: {text}")

Проверка совместимости версий

Проверьте совместимость версий компонентов:

Чтобы проверить совместимость, выполните:

import sys
import pkg_resources

# Проверка совместимости версий
required_packages = [
    'docling>=2.3',
    'docling-parse>=1.0',
    'torch>=2.0',
    'numpy>=1.21'
]

for package in required_packages:
    try:
        pkg_resources.require(package)
        print(f"✓ {package} установлен")
    except pkg_resources.DistributionNotFound:
        print(f"✗ {package} не найден")
    except pkg_resources.VersionConflict:
        print(f"✗ Конфликт версий для {package}")

Заключение

Ошибка RuntimeError: filename does not exists в Docling обычно связана с отсутствием необходимых ресурсов модели. Основные решения включают:

1. Ручную загрузку моделей с помощью docling-tools models download
2. Полную переустановку с очисткой кэша
3. Настройку офлайн-режима для работы без интернета
4. Использование альтернативных бэкендов или подходов
5. Проверку совместимости версий всех зависимостей

Поскольку код успешно работает на одном компьютере, но не на другом, наиболее вероятной причиной являются различия в среде установки - либо неполная загрузка моделей, либо конфликты версий зависимостей. Рекомендуется начать с ручной загрузки моделей и проверки совместимости версий.

Источники

1. Running docling offline with pre-downloaded models - GitHub Issue #232
2. Installation - Docling Documentation
3. Manual download of default models - GitHub Discussion #2089
4. docling-tools models download rapidocr not actually being used by default DocumentConverter - Issue #2500
5. FAQ - Docling Documentation