Добавил:
omninoy
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:ЛР-8 / lab8_tokens
.py"""Несколько GitHub-токенов: при лимите переключение на следующий."""
from __future__ import annotations
import os
from pathlib import Path
from openai import OpenAI
ENDPOINT = "https://models.github.ai/inference"
TOKENS_FILE = Path(__file__).resolve().parent / "github_tokens.txt"
def load_tokens() -> list[str]:
tokens: list[str] = []
multi = os.environ.get("GITHUB_TOKENS", "").strip()
if multi:
for part in multi.replace("\n", ",").split(","):
t = part.strip()
if t:
tokens.append(t)
if TOKENS_FILE.exists():
for line in TOKENS_FILE.read_text(encoding="utf-8").splitlines():
line = line.strip()
if line and not line.startswith("#"):
tokens.append(line)
single = os.environ.get("GITHUB_TOKEN", "").strip()
if single and single not in tokens:
tokens.insert(0, single)
# убрать дубликаты, сохранить порядок
seen: set[str] = set()
unique: list[str] = []
for t in tokens:
if t not in seen:
seen.add(t)
unique.append(t)
return unique
class TokenPool:
def __init__(self) -> None:
self._tokens = load_tokens()
if not self._tokens:
raise RuntimeError(
"Нет токенов. Задайте GITHUB_TOKEN или файл github_tokens.txt "
"(один токен на строку)."
)
self._index = 0
self._limit_rotations = 0
self._client = self._make_client(self._tokens[0])
@property
def client(self) -> OpenAI:
return self._client
@property
def count(self) -> int:
return len(self._tokens)
@property
def current_index(self) -> int:
return self._index + 1
@staticmethod
def _make_client(token: str) -> OpenAI:
return OpenAI(base_url=ENDPOINT, api_key=token)
def rotate(self) -> bool:
"""Следующий токен. False — круг замкнулся, новых нет."""
if len(self._tokens) <= 1:
return False
next_i = (self._index + 1) % len(self._tokens)
if next_i == 0 and self._index != 0:
return False
self._index = next_i
self._client = self._make_client(self._tokens[self._index])
print(
f" переключение на токен {self._index + 1}/{len(self._tokens)} "
f"(…{self._tokens[self._index][-6:]})"
)
return True
def mark_success(self) -> None:
self._limit_rotations = 0
def rotate_on_limit(self) -> bool:
"""При 429: следующий ключ. Если все ключи уже пробовали — False (нужна пауза)."""
if len(self._tokens) <= 1:
return False
self._limit_rotations += 1
if self._limit_rotations >= len(self._tokens):
self._limit_rotations = 0
return False
self._index = (self._index + 1) % len(self._tokens)
self._client = self._make_client(self._tokens[self._index])
print(
f" лимит → токен {self._index + 1}/{len(self._tokens)} "
f"(…{self._tokens[self._index][-6:]})"
)
return True
Соседние файлы в папке ЛР-8
