Как получить список статей HTTP 451 на Хабре

# Пример использования curl для проверки из разных точек
curl -I -H "X-Forwarded-For: 185.207.96.180" https://habr.com/ru/post/123456/  # Москва
curl -I -H "X-Forwarded-For: 5.61.25.201" https://habr.com/ru/post/123456/    # Берлин
curl -I -H "X-Forwarded-For: 104.16.122.96" https://habr.com/ru/post/123456/   # Сан-Франциско

HTTP/1.1 451 Unavailable For Legal Reasons
Content-Type: text/html; charset=UTF-8

import requests

proxies = {
    'usa': {'http': 'http://us-proxy.example.com:8080'},
    'germany': {'http': 'http://de-proxy.example.com:8080'},
    'russia': {'http': 'http://ru-proxy.example.com:8080'}
}

def check_article_from_location(url, proxy_location):
    try:
        response = requests.get(url, proxies=proxies[proxy_location])
        return response.status_code, response.text
    except Exception as e:
        return None, str(e)

// Пример скрипта для проверки доступности статей из разных регионов
const regions = ['US', 'DE', 'FR', 'RU', 'CN'];
const articleUrl = 'https://habr.com/ru/post/123456/';

async function checkGeoRestrictions() {
    const results = {};
    
    for (const region of regions) {
        try {
            const response = await fetch(articleUrl, {
                headers: {
                    'CF-IPCountry': region,
                    'X-Forwarded-For': getIPForRegion(region)
                }
            });
            
            results[region] = {
                status: response.status,
                accessible: response.status !== 451,
                content: await response.text()
            };
        } catch (error) {
            results[region] = { error: error.message };
        }
    }
    
    return results;
}

# Запуск Tor через командную строку
torify curl -I https://habr.com/ru/post/123456/

import requests

proxies = {
    'http': 'http://185.220.101.38:3128',
    'https': 'http://185.220.101.38:3128'
}

response = requests.get('https://habr.com/ru/post/123456/', proxies=proxies)
print(response.status_code)

pip install requests beautifulsoup4 selenium

import requests
from bs4 import BeautifulSoup
import json
from fake_useragent import UserAgent

class HabrGeoAnalyzer:
    def __init__(self):
        self.ua = UserAgent()
        self.session = requests.Session()
        
    def get_articles_from_region(self, region_url, max_pages=5):
        """Получает список статей из указанного региона"""
        articles = []
        
        for page in range(1, max_pages + 1):
            url = f"{region_url}/page{page}/"
            headers = {'User-Agent': self.ua.random}
            
            try:
                response = self.session.get(url, headers=headers)
                if response.status_code == 200:
                    soup = BeautifulSoup(response.text, 'html.parser')
                    page_articles = self._parse_articles(soup)
                    articles.extend(page_articles)
            except Exception as e:
                print(f"Ошибка при обработке страницы {page}: {e}")
                
        return articles
    
    def _parse_articles(self, soup):
        """Извлекает информацию о статьях со страницы"""
        articles = []
        article_elements = soup.find_all('article', class_='tm-article-snippet')
        
        for article in article_elements:
            try:
                title = article.find('h2').text.strip()
                link = article.find('a')['href']
                author = article.find('a', class_='tm-user-info__username').text
                date = article.find('time')['datetime']
                
                articles.append({
                    'title': title,
                    'link': f"https://habr.com{link}",
                    'author': author,
                    'date': date
                })
            except Exception as e:
                print(f"Ошибка при парсинге статьи: {e}")
                
        return articles
    
    def check_article_access(self, article_url, proxy=None):
        """Проверяет доступность статьи из разных регионов"""
        headers = {'User-Agent': self.ua.random}
        
        try:
            if proxy:
                proxies = {'http': proxy, 'https': proxy}
                response = self.session.get(article_url, headers=headers, proxies=proxies)
            else:
                response = self.session.get(article_url, headers=headers)
                
            return {
                'url': article_url,
                'status_code': response.status_code,
                'accessible': response.status_code != 451,
                'content_length': len(response.text)
            }
        except Exception as e:
            return {
                'url': article_url,
                'error': str(e)
            }

# Использование анализатора
analyzer = HabrGeoAnalyzer()

# Получаем статьи из разных регионов
russia_articles = analyzer.get_articles_from_region('https://habr.com/ru')
usa_articles = analyzer.get_articles_from_region('https://habr.com/en')

# Находим уникальные статьи для каждого региона
unique_russia = set([art['link'] for art in russia_articles])
unique_usa = set([art['link'] for art in usa_articles])

geo_restricted_russia = unique_russia - unique_usa
geo_restricted_usa = unique_usa - unique_russia

print(f"Статьи, доступные только в России: {len(geo_restricted_russia)}")
print(f"Статьи, доступные только в США: {len(geo_restricted_usa)}")

def analyze_geo_restrictions(articles_list, proxy_list):
    """Проверяет доступность статей через разные прокси"""
    results = []
    
    for article in articles_list:
        article_results = {'url': article['link'], 'checks': []}
        
        for proxy in proxy_list:
            result = analyzer.check_article_access(article['link'], proxy)
            article_results['checks'].append({
                'proxy': proxy,
                'result': result
            })
            
        results.append(article_results)
        
    return results

# Пример использования
proxy_list = [
    'http://185.220.101.38:3128',  # Германия
    'http://45.77.39.204:3128',    # США
    'http://195.154.220.231:3128'  # Франция
]

geo_analysis = analyze_geo_restrictions(russia_articles[:10], proxy_list)

import feedparser

def get_habr_rss(feed_url='https://habr.com/ru/rss/'):
    feed = feedparser.parse(feed_url)
    articles = []
    
    for entry in feed.entries:
        articles.append({
            'title': entry.title,
            'link': entry.link,
            'summary': entry.summary,
            'published': entry.published
        })
    
    return articles