LLM Alchemy Chamber 🧙‍♂️✨

Welcome to a friendly neighborhood repository featuring diverse experiments and adventures in the world of LLMs. This collection is no ordinary repository; it's an alchemical blend of scripts, notebooks, and experiments dedicated to the mystical realm of Language Models (LLMs).

Alchemical Scripts

Repo Structure

├── DataPrep (Notebook to generate synthetic data)
│   ├── dataset_prep.ipynb
│   └── ...
├── Deployment (TGI/VLLM scripts for testing)
│   └── ...
├── Finetuning (Finalized Finetuning Scripts)
│   ├── Gemma_finetuning_notebook.ipynb
│   ├── Llama2_finetuning_notebook.ipynb
│   ├── Mistral_finetuning_notebook.ipynb
│   ├── Mixtral_finetuning_notebook.ipynb
│   └── ...
├── LLMS (LLM experiments)
│   ├── ambari
│   │   └── ...
│   ├── CodeLLama
│   │   └── ...
│   ├── Gemma
│   │   ├── finetune-gemma.ipynb
│   │   └── gemma-sft.py
│   ├── Llama2
│   │   └── ...
│   ├── Mistral-7b
│   │   └── ...
│   └── Mixtral
│       └── ...
├── Projects (Upcoming ideas to explore)
│   └── YT_Clones
│       ├── Fireship_clone.ipynb
│       ├── youtube_channel_scraper.py
│       └── ...
├── Quantization
│   └── ...
├── utils
│   └── streaming_inference_hf.ipynb
└── RAG (Retrieval Augmented Generation)
    ├── 1_Naive_RAG.ipynb
    ├── 2_Semantic_Chunking_RAG.ipynb
    ├── 3_Sentence_Window_Retrieval_RAG.ipynb
    ├── 4_Auto_Merging_Retrieval_RAG.ipynb
    ├── 5_Agentic_RAG.ipynb
    └── 6_Visual_RAG.ipynb