Монгол LLM — Уулзалтын Танилцуулга

01 / Үндсэн сорилт

Яагаад хэцүү вэ?

📊

Бага нөөцтэй хэл

Монгол хэл нь GPT, Llama зэрэг томоохон загваруудад маш бага төлөөллөтэй. Синтакс даалгавар дээр гүйцэтгэл сайн байдаг ч семантик ойлголт сул хэвээр байна.

~1–5B токен

✍️

Хос бичгийн систем

Монгол улс кирилл үсгийг, Өвөр Монгол уламжлалт монгол бичгийг хэрэглэдэг. Аль алиных нь өгөгдлийг цуглуулж, хуваарилах шаардлагатай.

2 бичиг

🔤

Токенчлолын асуудал

Ихэнх суурь загварууд монгол кирилл үсгийг хэтэрхий жижиг хэсгүүдэд хуваадаг. Ингэснээр дараалал урт болж, сургалтын хугацаа нэмэгддэг.

3–5× урт

🖥️

Тоног төхөөрөмжийн хандалт

Egune AI Берлин хүрч тоглоомын GPU худалдаж авдаг — экспортын хязгаарлалтаас болж NVIDIA H100 авахад хүндрэлтэй.

128 GPU

02 / Сургалтын өгөгдөл

Монгол өгөгдлийн эх үүсвэр

Эх үүсвэр	Хэмжээ	Чанар	Байршил	Тэмдэглэл
CC100-Монгол	~397M токен	Дунд	HuggingFace	2018 CommonCrawl-ээс боловсруулсан
Монгол Wikipedia	~30M токен	Сайн	Нээлттэй	Цэвэр, жижиг
Мэдээний корпус	~50M токен	Сайн	tugstugi/mongolian-nlp	75K нийтлэл, 9 ангилал
Засгийн газрын баримт	~20M токен	Сайн	11-11.mn	80K өргөдөл, гомдол
Их дээлхийн ном, текст	~100M токен	Сайн	Дотоод цуглуулга	Egune AI-ийн арга
Нийлмэл өгөгдөл	Хувьсах	Дунд	Үүсгэсэн	Дутуу хэсгийг нөхөх
Яриа дуу хоолой	500 цаг	Сайн	MCVSD	Дуу таних сургалтанд

Гол дүгнэлт: Монгол хэлний цэвэрлэгдэх боломжтой нийт текст 5–10 тэрбум токен орчим байна. Энэ нь 1–3 тэрбум параметр бүхий загварыг эхнээс нь сургахад хангалттай. 7B+ загварт нийлмэл өгөгдөл эсвэл олон хэлний холимог шаардлагатай.

03 / Зардлын шинжилгээ

Хэчнээн мөнгө шаардлагатай вэ?

Туршилтын түвшин

$100–500

Нийт зардал

7B загварыг нарийн тааруулах
LoRA / QLoRA арга
1× T4 GPU
7–12 цаг
Баталгаажуулалтын зориулалт

Үйлдвэрлэлийн түвшин

$5K–50K

Нийт зардал

Qwen2 эсвэл Llama 70B
LoRA нарийн тааруулалт
8× A100 GPU
5–14 хоног
Бодит хэрэглэгчдэд зориулсан

Үндэсний түвшин

$500K+

Нийт зардал

Эхнээс нь урьдчилан сургах
Egune AI загвар
128+ GPU
2–4 сар
Засгийн газрын хэмжээний

Загварын хэмжээ	GPU	Тооцоолох зардал	Хугацаа	Арга
1B парам, 2B токен	8× A100	$3K–8K	3–5 хоног	Эхнээс нь сургах
3B парам, 5B токен	16× A100	$15K–40K	1–2 долоо хоног	Эхнээс нь сургах
7B парам, 10B токен	32× A100	$50K–150K	2–4 долоо хоног	Эхнээс нь сургах
70B парам (Egune)	128 GPU	$1M–5M	2–4 сар	Эхнээс нь сургах
7B нарийн тааруулалт	1× T4	$50–500	7–12 цаг	Нарийн тааруулалт

04 / Эхнээс нь урьдчилан сургах

Бүрэн дамжлага

Өгөгдөл цуглуулах

CC100, Wikipedia, мэдээний корпус, засгийн газрын баримт, их дээлхийн ном, нийлмэл өгөгдөл. Монголын хувьд 1–5B токен цуглуулж болно. Энэ бол хамгийн том саад.

⏱ 2–4 долоо хоног

$ Хамгийн өндөр нуугдмал зардал

Цэвэрлэх ба давхардал арилгах

Unicode нормчлол, кирилл/уламжлалт бичгийн холимог, мэдээллийн давхардал арилгах, орос/хятад хэлний нэвтрэлт шүүх, чанарын оноолт.

⏱ 1–3 долоо хоног

$ Инженерийн цаг

Токенчлогч сургах

Монгол корпус дээр BPE эсвэл SentencePiece токенчлогч эхнээс нь сургах. Англи токенчлогч ашиглах нь монгол үгийн дараалалыг 3–5 дахин уртасгадаг тул заавал шинэ токенчлогч хэрэгтэй.

⏱ 2–5 хоног

$ Бага зардал

Загварын архитектур

LLaMA эсвэл Mistral хэлбэрийн декодер архитектур. Монголын өгөгдлийн хэмжээнд тохируулан 1–7B параметр зөвлөмжтэй. Хэмжээлэх хуулийн дагуу: нэг параметрт 20 токен шаардлагатай.

⏱ 1 долоо хоног

$ Зөвхөн инженер

Урьдчилан сургах ажиллагаа

Дараагийн токен таамаглах бие даасан сургалт. 7B загварт 32× A100 дээр 2–4 долоо хоног. Checkpointing, алдааг сэргээн засах, CPU/GPU дамжуулалт оновчлол чухал.

⏱ 3 хоног–4 сар

$ $3K–$5M+

Зааврын нарийн тааруулалт (SFT)

Урьдчилан сургасан загварыг монгол хэлний асуулт-хариулт хосоор нарийн тааруулах. Хэдхэн хоногт хийж болно.

⏱ 1–3 хоног

$ $500–$5K

Үнэлгээ (MM-Eval)

MM-Eval тест даалгаврууд: 569 синтакс, 677 семантик, 344 мэдлэг, 250 логик сэтгэлгээний даалгавар. Эдгээрийг ашиглан загварын гүйцэтгэлийг хэмжих.

⏱ Тасралтгүй

$ Бага зардал

Нийцэл тохируулга (RLHF / DPO)

Хүний хариу урвалаас суралцах аргыг ашиглан загварыг монгол хэрэглэгчийн хэрэгцээнд нийцүүлэх. Хамгийн их хугацаа шаарддаг дамжлага.

⏱ 1–4 долоо хоног

$ $5K–$50K

05 / Хугацааны төлөвлөгөө

7B загварын бодит хугацаа

ДОЛОО ХОНОГ 1

Өгөгдөл цуглуулах, эх үүсвэр тодорхойлох

ДОЛОО ХОНОГ 2

Цэвэрлэх, давхардал арилгах

ДОЛОО ХОНОГ 3

Токенчлогч сургах, архитектур бэлтгэх

ДОЛОО ХОНОГ 4–6

Урьдчилан сургах ажиллагаа (үндсэн)

ДОЛОО ХОНОГ 7

SFT нарийн тааруулалт

ДОЛОО ХОНОГ 8

MM-Eval үнэлгээ, алдаа засах

ДОЛОО ХОНОГ 9–10

RLHF / DPO нийцэл тохируулга

ДОЛОО ХОНОГ 11–12

Ачааллын тест, гүйцэтгэлийн оновчлол

Нийт хугацаа: 7B монгол загварт зориулсан 10–12 долоо хоногийн бодит хугацааны төлөвлөгөө. Энэ нь өгөгдөл бэлтгэл, урьдчилан сургалт, тааруулалт, үнэлгээг бүгдийг хамарна. Эхнээс нь сургахын оронд нэмэлт урьдчилан сургалт ашиглавал хугацаа 2 дахин богиносно.

06 / Стратегийн зөвлөмж

Таны зорилгод тохирсон арга

Зорилго

Нотолгооны загвар

$100–$500

⏱ 1–2 долоо хоног

Llama 3 8B дээр LoRA нарийн тааруулалт. 1× T4 GPU. Монголын NLP даалгаврыг туршихад тохиромжтой.

Зорилго

Үйлдвэрлэлийн чат бот

$5K–$50K

⏱ 4–8 долоо хоног

Qwen2 70B нарийн тааруулалт (Кирилл дэмжлэгтэй). 8× A100. Бодит хэрэглэгчдэд зориулсан хамгийн оновчтой сонголт.

Зорилго

Үндэсний загвар

$500K–$5M

⏱ 6–12 сар

Egune AI загвараар эхнээс нь сургах. 128 GPU, 40 инженерийн баг. Засгийн газрын болон үндэсний хэрэглээнд зориулсан.

✦ Хамгийн оновчтой зам: Ихэнх төсөлд Qwen2 загварыг нарийн тааруулах нь зөвлөмжтэй — учир нь Qwen2 аль хэдийн Кирилл ба олон хэлний дэмжлэгтэй. Монгол өгөгдлийн дутагдлыг нийлмэл өгөгдлоор нөхөж, MM-Eval дээр үнэлж шалгах хэрэгтэй. Эхнээс нь сургах шаардлагатай бол нэмэлт урьдчилан сургалтыг (continual pretraining) авч үзэх нь зардлыг 2 дахин бууруулна.