cURL тайминг: измерение времени запроса и ответа

cURL предоставляет встроенные параметры тайминга, которые позволяют измерять различные фазы цикла запрос-ответ отдельно. Вместо того чтобы полагаться на команду Linux time, вы можете использовать флаг -w (write-out) cURL с определенными переменными формата для получения детальных метрик тайминга для ваших POST-запросов с данными JSON.

Содержание

• Понимание переменных тайминга cURL
• Измерение времени запроса
• Измерение времени ответа
• Полный пример тайминга POST-запроса
• Продвинутые техники тайминга
• Практический пример POST с JSON
• Автоматизированные скрипты тайминга

Понимание переменных тайминга cURL

cURL предоставляет несколько переменных тайминга, которые помогают разбить общее время выполнения на различные фазы:

• time_namelookup: Время разрешения имени хоста в IP-адрес (DNS-запрос)
• time_connect: Время установления соединения с сервером
• time_appconnect: Время рукопожатия SSL/TLS (при использовании HTTPS)
• time_pretransfer: Время до начала передачи первого байта
• time_starttransfer: Время до получения первого байта (Time To First Byte - TTFB)
• time_total: Общее время всего цикла запрос-ответ

Переменная time_starttransfer особенно важна, так как она представляет время от начала до получения первого байта от сервера, что эффективно измеряет время ответа сервера.

Измерение времени запроса

Время запроса — это время, необходимое для отправки вашего запроса на сервер. Это включает в себя разрешение DNS, установление соединения и отправку данных запроса:

curl -w "Время запроса DNS: %{time_namelookup}s\n" \
     -w "Время запроса Connect: %{time_connect}s\n" \
     -w "Время запроса Pre-transfer: %{time_pretransfer}s\n" \
     -o /dev/null -s \
     -X POST -H "Content-Type: application/json" \
     -d '{"key": "value"}' \
     server:port

Компоненты времени запроса:

• Разрешение DNS (time_namelookup)
• Настройка соединения (time_connect)
• Рукопожатие SSL (если применимо, time_appconnect)
• Подготовка запроса (time_pretransfer)

Измерение времени ответа

Время ответа в основном измеряется с помощью time_starttransfer, что указывает, когда сервер начинает отправлять данные обратно:

curl -w "Время ответа TTFB: %{time_starttransfer}s\n" \
     -w "Время ответа Total: %{time_total}s\n" \
     -o /dev/null -s \
     -X POST -H "Content-Type: application/json" \
     -d '{"key": "value"}' \
     server:port

Объяснение времени ответа:

• time_starttransfer: Время до получения первого байта (время обработки сервером)
• time_total: Общее время от начала до конца (включает время запроса и ответа)

Полный пример тайминга POST-запроса

Вот комплексный пример, показывающий все метрики тайминга для JSON POST-запроса:

curl -w "
Запрос DNS: %{time_namelookup}s
Запрос Connect: %{time_connect}s
Запрос SSL: %{time_appconnect}s
Запрос Pre-transfer: %{time_pretransfer}s
Ответ TTFB: %{time_starttransfer}s
Общее время: %{time_total}s
" \
-o /dev/null -s \
-X POST -H "Content-Type: application/json" \
-d '{"username": "test", "data": "example"}' \
https://api.example.com/endpoint

Пример вывода:

Запрос DNS: 0.023s
Запрос Connect: 0.041s
Запрос SSL: 0.156s
Запрос Pre-transfer: 0.157s
Ответ TTFB: 0.234s
Общее время: 0.523s

Продвинутые техники тайминга

Использование файла формата для повторного использования

Создайте файл формата тайминга для последовательных измерений:

# Создание файла формата тайминга
cat > curl-format.txt <<EOF
     time_namelookup:  %{time_namelookup}s
        time_connect:  %{time_connect}s
     time_appconnect:  %{time_appconnect}s
    time_pretransfer:  %{time_pretransfer}s
   time_starttransfer:  %{time_starttransfer}s
                     ----------\n
        time_total:  %{time_total}s
EOF

# Использование файла формата
curl -w "@curl-format.txt" -o /dev/null -s \
-X POST -H "Content-Type: application/json" \
-d '{"key": "value"}' \
server:port

Расчет чистого времени обработки

Чтобы получить фактическое время обработки сервера, вычтите время подготовки запроса из общего времени:

curl -w "
Время обработки сервера: $(echo '%{time_total} - %{time_pretransfer}' | bc -l)s
" \
-o /dev/null -s \
-X POST -H "Content-Type: application/json" \
-d '{"key": "value"}' \
server:port

Практический пример POST с JSON

Вот полный пример для измерения тайминга при отправке JSON-данных в веб-сервис:

#!/bin/bash

# Определение JSON-данных
JSON_DATA='{"user": "testuser", "action": "process", "timestamp": "'$(date -Iseconds)'"}'

# Отправка POST-запроса с измерениями тайминга
curl -w "
Подготовка запроса:   %{time_pretransfer}s
Время ответа сервера: %{time_starttransfer}s
Общее время:          %{time_total}s
" \
-o /dev/null -s \
-X POST \
-H "Content-Type: application/json" \
-H "Accept: application/json" \
-H "Authorization: Bearer your-token-here" \
-d "$JSON_DATA" \
https://your-web-service.com/api/endpoint

Ключевые инсайты тайминга:

• Время подготовки запроса: Сколько времени требуется для установления соединения и отправки заголовков
• Время ответа сервера: Сколько времени серверу требуется для обработки и начала ответа
• Общее время: Комбинированное время запроса и ответа

Автоматизированные скрипты тайминга

Скрипт тайминга для нескольких запросов

Для более точных измерений выполняйте несколько запросов и рассчитывайте средние значения:

#!/bin/bash
REQUESTS=10
URL="https://your-web-service.com/api/endpoint"
JSON_DATA='{"data": "test"}'

echo "Запуск $REQUESTS запросов для измерения тайминга..."

# Инициализация счетчиков
total_time=0
ttfb_sum=0
pretransfer_sum=0

for i in $(seq 1 $REQUESTS); do
    # Получение метрик тайминга
    timing=$(curl -w "%{time_pretransfer} %{time_starttransfer} %{time_total}" \
                  -o /dev/null -s \
                  -X POST -H "Content-Type: application/json" \
                  -d "$JSON_DATA" \
                  $URL)
    
    # Парсинг и накопление
    pretransfer=$(echo $timing | awk '{print $1}')
    ttfb=$(echo $timing | awk '{print $2}')
    total=$(echo $timing | awk '{print $3}')
    
    pretransfer_sum=$(echo "$pretransfer_sum + $pretransfer" | bc -l)
    ttfb_sum=$(echo "$ttfb_sum + $ttfb" | bc -l)
    total_time=$(echo "$total_time + $total" | bc -l)
    
    echo "Запрос $i: Total=$total, TTFB=$ttfb, Pre-transfer=$pretransfer"
done

# Расчет средних значений
avg_pretransfer=$(echo "scale=3; $pretransfer_sum / $REQUESTS" | bc -l)
avg_ttfb=$(echo "scale=3; $ttfb_sum / $REQUESTS" | bc -l)
avg_total=$(echo "scale=3; $total_time / $REQUESTS" | bc -l)

echo -e "\n=== СРЕДНИЕ ЗНАЧЕНИЯ ==="
echo "Среднее время подготовки запроса: $avg_pretransfer секунд"
echo "Среднее время ответа сервера (TTFB): $avg_ttfb секунд"
echo "Среднее общее время: $avg_total секунд"
echo "Среднее время обработки сервером: $(echo "scale=3; $avg_ttfb - $avg_pretransfer" | bc -l) секунд"

JSON вывод с timecurl

Для структурированного JSON-вывода рассмотрите использование инструмента timecurl:

# Установка timecurl (если недоступен)
# npm install -g timecurl

# Использование timecurl для JSON-вывода
timecurl -X POST -H "Content-Type: application/json" \
-d '{"key": "value"}' \
https://your-web-service.com/api/endpoint

Это предоставляет информацию о тайминге в структурированном JSON-формате, который легко парсить и анализировать программно.

Заключение

Измерение времени запроса, ответа и общего времени отдельно с помощью cURL является простым процессом с использованием встроенных переменных тайминга. Вот основные выводы:

1. Используйте флаг -w с конкретными переменными тайминга, такими как time_pretransfer, time_starttransfer и time_total
2. Время запроса включает разрешение DNS, установление соединения и подготовку запроса (до time_pretransfer)
3. Время ответа в основном измеряется с помощью time_starttransfer, что указывает, когда сервер начинает отвечать
4. Для POST-запросов с JSON объединяйте -X POST, -H "Content-Type: application/json" и -d с параметрами тайминга
5. Множественные измерения предоставляют более точные данные о производительности, чем одиночные запросы
6. Автоматизированные скрипты могут рассчитывать средние значения и предоставлять комплексный анализ тайминга

Реализуя эти техники, вы можете получить детальные сведения о характеристиках производительности вашего веб-сервиса, помогая выявлять узкие места как в фазе запроса, так и в фазе ответа.

Источники

1. How do I measure request and response times at once using cURL? - Stack Overflow
2. Timing Page Responses With Curl - #! code
3. How to measure request timing with cURL - Simplified Guide
4. Measuring HTTP response times with cURL - ops.tips
5. Measuring Request and Response Time with cURL - Yusuf Sezer
6. A Question of Timing - Cloudflare Blog
7. GitHub - josefhammer/timecurl: Measures HTTP request/response times using Curl. JSON output