Hugging Face's logo

Croc-Prog-HF
/
LoreWeaver-2-LoRA_PREVIEW

Text Generation
Transformers
Safetensors
role-play
RP
roleplay
decoder-only
kv-cache
context-aware
sentencepiece
rope
rmsnorm
swiglu
flash-attention
bf16
fp16
curriculum-learning
unsloth
lora
gpt_neox
PEFT
LoreWeaver-2
Eval Results (legacy)
Model card Files
xet
 Community

LoreWeaver-2-LoRA_PREVIEW

Modello LLM creato da EleutherAI/pythia-2.8b, specializzato per il RolePlay a turni brevi o di media lunghezza. I migliori casi d'uso per questo modello sono(oltre al RolePlay): Recitazione, scrittura di personaggi basandosi su loro interazioni con contesti(anche ben strutturati e complessi), sperimentazione dinamiche di evoluzione di un personaggio immaginario in nel mondo reale.

Attenzione: Questo modello è solo una anteprima di LoreWeaver-2 e potrebbe non essere completamente coerente, allineato o efficente. Fai inferenza con cautela. Non basarti su questo modello per creare finetunes o ricerche, per via della sua instabilità.

Altre versioni della famiglia LoreWeaver-2:

Tutti i modelli della famiglia LoreWeaver-2, si trovano in questa Raccolta

Architettura

  • Backbone: EleutherAI/pythia-2.8b
  • Hidden size: ~3200
  • Layers: 26–32
  • Heads: 32
  • Rotary Embeddings (RoPE)
  • RMSNorm
  • SwiGLU
  • KV-cache

Tokenizer (BPE GPT-Neo)

  • Normalizzazione Unicode (NFKC)
  • Vocab size (prevista): 50k–65k
  • Lingue supportate: Inglese, Italiano, Francese, Tedesco, Spagnolo

Datasets utilizzati

Dataset di linguaggio Tedesco Inglese Francese Italiano Spagnolo
HuggingFaceFW/fineweb-edu ☑️
BramVanroy/CommonCrawl-CreativeCommons-fine ☑️ ☑️ ☑️ ☑️ ☑️
OpenLLM-France/wikipedia ☑️ ☑️ ☑️ ☑️

Tecnologie di ottimizzazione dell'addestramento

Ottimizzazioni di memoria (VRAM)

  • Gradient Checkpointing
  • Mixed Precision: bf16/fp16 (rilevato automaticamente durante l'addestramento)
  • Gradient Accumulation
  • Ottimizzazione del'uso diretto della VRAM con Unsloth.
    • Unsloth FastLanguageModel, UnslothTrainer

Ottimizzazioni di attenzione

  • FlashAttention 2
  • TF32 (solo su Ampere+)
  • AdamW fused (se disponibile)
  • Weight decay selettivo

Ottimizzazioni del learning rate

  • Cosine LR Scheduler
  • Warmup lungo

Ottimizzazioni sul dataset

  • Curriculum Learning (soft)
  • Turn-aware training

Ottimizzazioni Semantiche

  • Tone tokens
  • Safe-stop token

Deep learning (Contextual Learning)

Contextual Learning permette al modello di non cambiare i pesi e ricodificare il contesto a ogni turno.

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
Text Generation
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Datasets used to train Croc-Prog-HF/LoreWeaver-2-LoRA_PREVIEW

Collection including Croc-Prog-HF/LoreWeaver-2-LoRA_PREVIEW

Evaluation results

  • Intended Use
    self-reported
    Single-turn role-play dialogue generation with contextual awareness.
  • Context Handling
    self-reported
    Attention-based contextual learning using structured prompts and KV cache.
  • Response Length
    self-reported
    Optimized for short, single-utterance replies per turn.
  • Memory Mechanism
    self-reported
    Text-based memory handled through prompt context (no weight updates at inference).