NLP/NLG của I-Ching Vir: biểu diễn vector, học từ lịch sử và kiểm soát trả lời

Abstract

Bối cảnh: Câu hỏi gieo quẻ thường ngắn, thiếu ngữ cảnh hoặc có nhiều cách diễn đạt. Phương pháp: Ghi chú này mô tả đường xử lý đang triển khai của I-Ching Vir: vector số nguyên 64 chiều, trọng số theo corpus, so khớp prototype và sinh ngôn ngữ theo quy tắc. Lịch sử của backend Python được khử định danh, duyệt nhãn và chia nhóm để bổ sung 93 mẫu domain cùng 55 mẫu từ chối. Kết quả: Trong replay cố định, số domain đúng trên 59 câu validation tăng từ 23 lên 27; câu đã duyệt loại nhưng vẫn được trả lời trực tiếp giảm từ 23/143 xuống 4/143. Kết luận: Kết quả hỗ trợ việc bổ sung dữ liệu và kiểm soát trả lời trong phạm vi đã đo; chưa chứng minh khả năng tổng quát hóa rộng hay tính đúng của dự đoán Dịch học.

1 Phạm vi

Bài mô tả triển khai và phép đánh giá chốt ngày 23/10/2026, múi giờ Asia/Saigon. Đây là ghi chú kỹ thuật experimental, chưa qua phản biện độc lập. Phạm vi gồm NLP, kết nối scoring, điều kiện NLG và cập nhật corpus; không thiết lập quy tắc Dịch học mới hoặc đánh giá khả năng ứng nghiệm. ^{[1] [2]}

2 Nguồn tham chiếu

Căn cứ chính là bản kê mã nguồn và các symbol đã kiểm tra, kết quả replay tổng hợp, cùng biên bản kiểm tra triển khai. Các phụ lục công khai không chứa câu hỏi lịch sử hay thông tin nhận diện. Bài là mô tả thực thi; các điều kiện thuật toán ở phần 10 chỉ mô tả phiên bản được khảo sát, không ban hành tiêu chuẩn ngôn ngữ Vir. ^{[1] [2] [3]}

3 Thuật ngữ và định nghĩa

NLP đưa câu hỏi về lĩnh vực (domain), dạng câu hỏi (question type) và slot như đối tượng, sự việc, thời gian. Prototype là vector của câu mẫu có nhãn. Rejection bank là tập prototype của câu không thích hợp để kết luận trực tiếp. NLG chuyển dữ kiện có cấu trúc thành văn bản. Direct answer là nhánh được phép trả lời trực tiếp, không đồng nghĩa kết luận đã được chứng minh đúng.

4 Ký hiệu

$T$ là số token; $D=64$ là số chiều; $N$ là số văn bản prototype dùng để tính trọng số; $df_b$ là số văn bản có bucket $b$; $s=10$ là hệ số IDF hiện tại. $P$ là điểm positive cao nhất và $R$ là điểm rejection cao nhất. Điểm similarity nằm trong khoảng 0–100; đây không phải xác suất sự kiện xảy ra.

5 Quy ước và giả định

Tiếng Việt là bản chính; en và zht là bản dịch cùng phiên bản. Phân loại nhận thức được giữ riêng: nhận xét về mã là source statement; ngưỡng là convention của triển khai; số đếm replay là computed result; khả năng cải thiện trên dữ liệu mới là hypothesis chưa được xác nhận. Replay dùng cùng quẻ Càn và dữ kiện cố định để cô lập thay đổi ngôn ngữ, không mô phỏng toàn bộ phân bố quẻ.

6 Bối cảnh kiến trúc

I-Ching Engine là engine tổng thể, bao gồm Liuyao và Yingqi như các engine thành phần; NLP, scoring và NLG dùng chung thuộc cấp I-Ching.

Luồng thực thi là: câu hỏi → NLP → QueryContext; engine → dữ kiện quẻ; hai đầu vào này → scoring → điều kiện NLG → headline, body, caveat và mã bằng chứng. NLP nhận diện việc được hỏi, engine tính cấu trúc quẻ, scoring tổng hợp yếu tố và NLG diễn đạt. Tách trách nhiệm giúp phân biệt sai domain với sai dữ kiện quẻ hoặc sai cách viết. Phân tích ngôn ngữ không cung cấp entropy cho việc gieo. ^[1]

7 Nguồn dữ liệu

Ảnh chụp nguồn Python có 466 hàng lịch sử, gồm 13 hàng bị ẩn, và 753 snapshot. Sau điều kiện hiện/không rỗng và loại snapshot liên quan lịch sử ẩn, đọc 443 hàng lịch sử cùng 724 snapshot, tổng 1.167 hàng nguồn. Số hàng này bao gồm trùng lặp và không phải số mẫu đã học.

Sau khử định danh, loại dữ liệu đã có và gom câu mới, AI được người dùng cho phép duyệt 361 câu: 218 chấp nhận và 143 loại. Nhãn này là AI review kết hợp weak supervision trước đó, không phải gold do chuyên gia độc lập xác nhận. Không dùng kết luận gieo quẻ cũ làm nhãn kết quả thực tế. ^[2]

8 Phương pháp chuẩn bị và đánh giá

Các câu gần trùng được gom nhóm trước chia tập. Trong 218 câu chấp nhận mới, 163 thuộc train và 55 giữ riêng; các partition trước được bảo toàn. Có 144 đại diện nhóm train mới; bỏ dấu khử định danh và yêu cầu neo domain rõ còn 93 prototype được bật.

Trong 143 câu loại, 64 câu quá ngắn hoặc còn dấu khử định danh không vào phần học rejection. Phần còn lại gồm 61 train và 18 giữ riêng; 55 đại diện nhóm train tạo rejection bank. Không đưa câu gần mẫu hợp lệ vào bank này. Cập nhật chỉ kích hoạt head domain; seed question type mới chưa được bật.

Replay gồm 75 ca công khai, 180 train hợp lệ gồm dữ liệu cũ, 59 validation hợp lệ và 143 câu loại: tổng 457 ca. Vì các ứng viên và ngưỡng đã được so sánh trên các partition này, gọi chúng là validation trong quá trình phát triển, không phải blind test chưa từng quan sát. ^[2]

9 Mô hình biểu diễn vector

9.1 Token và vector xác định

Entry point chuyển chữ thường và trim. Tokenizer làm sạch, tách khoảng trắng và dùng heuristic byte cho CJK; không phải bộ phân tích ngữ pháp đầy đủ. Hàm hash duyệt từng byte UTF-8:

$$h_0=5381,\qquad h_{i+1}=(131h_i+u_i)\mathbin{&}2147483647.\tag{1}$$

Ký hiệu $&$ trong (1) là phép AND bit toán học. Token ID được đưa về 8.000 vị trí. Encoder đang tạo bảng weights rỗng, nên lấy nhánh sinh vector xác định với thành phần số nguyên từ −10 đến 10. Tên module subword không chứng minh có BPE: mã hiện ánh xạ hash từng token, không học phép gộp BPE. ^[1]

9.2 Trọng số và pooling

Thống kê tần suất tài liệu dùng 4.096 bucket hash. Với $N>0$ và $df_b>0$:

$$w_b=1+\left\lfloor\frac{(s-1)(N-df_b)}{N}\right\rfloor.\tag{2}$$

Bucket không xuất hiện giữ trọng số 1. Đây là biến thể tuyến tính số nguyên, không phải log-IDF chuẩn. Vector câu là tổng có trọng số:

$$q=\sum_{t=1}^{T}w_t e_t\in\mathbb{Z}^{64}.\tag{3}$$

Hàm pooling không chia tổng trọng số. Cosine dùng căn bậc hai nguyên, cắt điểm âm về 0 và chặn trên ở 100; vector chuẩn bằng 0 trả điểm 0. ^[1]

10 Thuật toán định tuyến và từ chối

Mỗi nhãn nhận điểm similarity cao nhất trong các prototype của nhãn đó. Domain được xét thêm ngưỡng tối thiểu và khoảng cách với ứng viên thứ hai. Rejection bank dùng cùng IDF với positive bank để đối chiếu điểm. Với cấu hình đã triển khai:

$$\operatorname{reject}(q)=(R\ge45)\land(R+5\ge P).\tag{4}$$

Khi (4) đúng, domain chuyển sang ID 99, tức mơ hồ. Corpus rejection cấu hình nhưng thiếu/rỗng hoặc ngưỡng không hợp lệ làm model không hợp lệ. Khi chưa cấu hình corpus này, giữ hành vi cũ. Điều kiện ở (4) bổ sung cho kiểm tra completeness, không thay toàn bộ cổng.

Cổng NLG trực tiếp kiểm tra:

$$\operatorname{direct}=(\operatorname{is_complete}=1)\land(\operatorname{confidence_overall}\ge60).\tag{5}$$

Completeness được NLP tính từ schema, trạng thái domain/question type và sự hiện diện target hoặc event. Confidence là chỉ số nội bộ, không được hiệu chỉnh thành xác suất. ^[1]

11 Triển khai bằng Vir và sinh ngôn ngữ

Native backend triển khai NLP, scoring và NLG bằng .vri, biên dịch Linux ARM64 với virc 2026.2.19. Các vector hiện được lưu trong Vec. Có file projection và khung thử nghiệm ML trong repo, nhưng encoder đang trả pooling trực tiếp; đợt cập nhật không chạy tensor autodiff, SGD, contrastive learning hoặc fine-tune LLM.

NLG dùng quy tắc, mẫu câu và thành phần lắp ghép theo slot/timing, có các đầu ra vi/en/zh/zht/ja/ko. Nó chọn cách viết từ dữ kiện quẻ, domain, question type, dải điểm và ngôn ngữ, đồng thời gắn mã bằng chứng như hex_1_judgment. Mã trích dẫn hỗ trợ truy vết, không chứng nhận suy luận đúng. Script Python điều phối dữ liệu và đánh giá; do đó native runtime bằng Vir không đồng nghĩa mọi thành phần hệ thống đều dùng Vir. ^[1]

12 Kiểm chứng và khả năng tái lập

Phụ lục gồm số liệu tổng hợp, hash binary/cấu hình, bản kê source và test vector tổng hợp không chứa dữ liệu người dùng. Script verify-artifacts.py kiểm tra lại công thức, biên từ chối và các quan hệ số đếm; không thay thế replay engine.

Để lặp lại toàn bộ replay cần quyền đọc corpus riêng tư đã khử định danh và đúng binary/cấu hình ghi hash. Corpus không phát hành công khai, nên khả năng tái lập của bên ngoài bị giới hạn. Deployment đã sao lưu binary/cấu hình, kiểm tra HTTP và reload riêng dịch vụ native; 8/8 canary NLG sau triển khai đạt. ^[3]

13 Kết quả

• Domain trên validation hợp lệ: 23/59 → 27/59, khoảng 39,0% → 45,8%, tăng khoảng 6,8 điểm phần trăm.
• Question type trên cùng tập: 35/59 → 35/59.
• Domain trên train: 80/180 → 136/180; không dùng kết quả train làm bằng chứng tổng quát hóa.
• Direct answer trên 143 câu đã loại: 23 → 4, không có ca mới mở direct so với baseline.
• Negative train: 19/61 → 0/61 direct; negative validation: 4/18 → 4/18 direct.
• 457/457 phản hồi ứng viên có các trường văn bản yêu cầu và mã trích dẫn kinh văn đã kiểm tra. Đây là tính toàn vẹn đầu ra.

75 ca công khai giữ chỉ số: domain 69/70 ca có nhãn, question type 70/70, completeness 74/75. Hồi quy không giảm không có nghĩa mọi câu đều đúng. Kiểm tra transport đạt 98 ca, locale đạt 18 ca, canary NLG đạt 8 ca; các tập có mục tiêu khác nhau và không được cộng thành accuracy AI. ^{[2] [3]}

14 Thảo luận

Kết quả cho thấy thêm prototype giúp định tuyến trong tập khảo sát, còn rejection giảm số direct không mong muốn chủ yếu trên train. Bốn ca negative validation vẫn tồn tại; chưa có cải thiện đếm được trên tập này. Sự thay đổi từ 23 lên 27 domain đúng còn nhỏ và độ đúng tuyệt đối còn thấp. Ưu tiên tiếp theo là nhãn độc lập, tập đánh giá mới chưa dùng chọn ngưỡng và tách đánh giá domain, intent, slot với chất lượng lập luận. Đây là đề xuất nghiên cứu, không phải kết quả đã có.

15 Giới hạn

Nhãn AI có thể sai; dữ liệu tập trung một số chủ đề và chủ yếu tiếng Việt. Benchmark công khai thiên yes/no; zht chỉ hai ca NLP. Replay cố định không bao phủ mọi quẻ, thời điểm hoặc trường phái. Hash và vector xác định không tự học quan hệ đồng nghĩa như embedding được huấn luyện; bucket có thể va chạm. Kiểm tra citation không đánh giá đầy đủ cách dùng nguồn. Chưa có benchmark độ trễ, RAM hoặc so sánh tốc độ Vir/Python trong ghi chú này. Không suy ra chứng nhận CSPRNG, tính đúng quy tắc Dịch học hay khả năng dự báo từ số liệu NLP.

16 Kết luận

I-Ching Vir hiện kết hợp định tuyến vector 64 chiều với NLG theo quy tắc và bằng chứng có cấu trúc. Cập nhật từ lịch sử Python bổ sung prototype domain, IDF tính lại và mẫu từ chối, với cải thiện hữu hạn trên validation domain và giảm direct không mong muốn trên các ca đã duyệt. NLG chưa được huấn luyện như mô hình ngôn ngữ; các giới hạn và lỗi còn lại cần được giữ cùng số liệu khi diễn giải kết quả.

Bibliography

• ^[1] Bản kê nguồn triển khai và các symbol đã đối chiếu, 23/10/2026.
• ^[2] Báo cáo replay tổng hợp và thống kê chuẩn bị corpus, 23/10/2026.
• ^[3] Hồ sơ kiểm tra và hash triển khai native, 23/10/2026.