Tới nội dung
Tết −50%Đoàn Viên chỉ 99.500đ năm đầuGói Đoàn Viên năm đầu chỉ 99.500đ, tặng 1 bản luận mỗi nămXem ưu đãi

Blog

Dựng trợ lý AI trả lời có trích dẫn sách cổ

Ba đoạn Tử Vi Đẩu Số Toàn Thư tìm được, mỗi đoạn có số dẫn

Trợ lý AI trả lời có trích dẫn sách cổ cần ba thứ: kho đoạn có ghi sách và chương, phép tìm đúng đoạn cho câu hỏi, và lời dặn chỉ trả lời từ đoạn đã đánh số. Bộ lời luận của Nhật Nguyệt có sẵn thứ thứ nhất: mỗi đoạn trong store/passages mang tên sách, tác giả, chương, khoá tra (passage_key: sao, cung, cách) và nguyên văn (classical_text), còn lá số trỏ tới đoạn ấy bằng id trong sections[].passages.

Bộ dữ liệu ở Hugging Face: nhatnguyet/ziwei-readings (Tử Vi), nhatnguyet/bazi-readings, nhatnguyet/numerology-readings. Tên thư mục, tên trường, mã khoá bằng tiếng Anh.

Các bước

  1. Nạp kho câu sách store/passages/ziwei.jsonl.zst. Kho đã bỏ bản lặp, mỗi đoạn một id.
  2. Lọc theo khoá: câu hỏi về Tham Lang ở cung Mệnh thì chỉ xét đoạn có khoá star=tan-lang và palace=life.
  3. Xếp các đoạn còn lại theo độ gần với câu hỏi. Ví dụ dưới đếm cặp chữ chung; làm thật thì thay bằng vector.
  4. Đánh số đoạn, đưa vào lời nhắc kèm lời dặn: chỉ dùng đoạn đã đánh số, mỗi ý ghi [n].
  5. Kiểm câu trả lời trước khi hiện: số dẫn phải có thật, câu trích phải nằm nguyên văn trong đoạn.

Mã tìm đoạn và dựng lời nhắc

Tệp nén zstd (đuôi .jsonl.zst), nên cài pip install zstandard trước, tải kho câu sách (chẳng hạn hf download nhatnguyet/ziwei-readings store/passages/ziwei.jsonl.zst --repo-type dataset --local-dir .), rồi chạy trong thư mục ấy.

import io, json
from collections import Counter
import zstandard  # pip install zstandard

def read(path):
    """Đọc một tệp .jsonl.zst, mỗi dòng một đối tượng JSON."""
    with open(path, "rb") as f:
        for line in io.TextIOWrapper(zstandard.ZstdDecompressor().stream_reader(f), encoding="utf-8"):
            yield json.loads(line)

# Bước 1: nạp kho câu sách. Mỗi đoạn một id, không lặp; một tệp cho cả bộ.
passages = list(read("store/passages/ziwei.jsonl.zst"))
print("Số đoạn sách khác nhau:", len(passages))

# Bước 2 và 3: lọc theo khoá (sao, cung) rồi xếp theo số cặp chữ trùng với câu hỏi
def key(p):
    return dict(f.split("=", 1) for f in p["passage_key"].split(";"))

def pairs(s):
    return Counter(s[i:i + 2] for i in range(len(s) - 1))

def search(question, star, palace=None, k=3):
    candidates = [p for p in passages if key(p).get("star") == star and (palace is None or key(p).get("palace") == palace)]
    q = pairs(question)
    found, seen = [], set()  # một câu sách có thể mang nhiều khoá: chỉ lấy một lần
    for p in sorted(candidates, key=lambda p: -sum((q & pairs(p["classical_text"])).values())):
        if p["classical_text"][:40] not in seen:
            seen.add(p["classical_text"][:40])
            found.append(p)
    return found[:k]

# Bước 4: dựng lời nhắc có số dẫn
found = search("贪狼在命宫遇化权", star="tan-lang", palace="life")
block = "\n".join(f"[{i}] {p['book_title_vi']}, {p['chapter']}: {p['classical_text'].splitlines()[0][:48]}" for i, p in enumerate(found, 1))
print(block)
print("---")
print("Chỉ trả lời bằng các đoạn đã đánh số ở trên, mỗi ý ghi [n]. Đoạn nào không nói thì nói là sách không nói.")
Số đoạn sách khác nhau: 1015
[1] Tử Vi Đẩu Số Toàn Thư, 卷二 · 命宫 · 贪狼 · 贪狼入男命吉凶诀: 四墓宫中福气浓,提兵指日立边功,火星拱会诚为贵,名震诸夷定有封。
[2] Tử Vi Đẩu Số Toàn Thư, 卷二 · 命宫 · 贪狼: 贪狼属木,化桃花杀。贪狼入庙长耸肥胖,陷宫形小声高而量大,性格不常,心多计较,作事急速不耐静,作
[3] Tử Vi Đẩu Số Toàn Thư, 卷二 · 命宫 · 贪狼 · 贪狼入女命吉凶诀: 四墓宫中多吉利,更逢左右方为贵,禄财丰富旺夫君,性格刚强多志气。
---
Chỉ trả lời bằng các đoạn đã đánh số ở trên, mỗi ý ghi [n]. Đoạn nào không nói thì nói là sách không nói.

Kho câu sách Tử Vi có 1.015 đoạn khác nhau: 1.004 đoạn từ Tử Vi Đẩu Số Toàn Thư bản thường, 11 đoạn từ bản khắc Minh Nam Dương Đường. Riêng 8.760 lá số năm 1990 dẫn tới 984 đoạn trong số ấy. Truyền thống quy sách cho Trần Đoàn, La Hồng Tiên đề tựa năm 1550; nghiên cứu hiện đại chưa coi việc quy tác giả ấy là đã chứng minh, nên hai trường author_vi, author_en ghi đúng như vậy.

Ba đoạn sách tìm được, mỗi đoạn có số dẫn và chương
Ba đoạn sách tìm được, mỗi đoạn có số dẫn và chương

Kiểm câu trả lời trước khi hiện

Mô hình có lúc dẫn số không có hoặc "trích" câu sách không nói. Hàm dưới bắt cả hai trước khi chữ tới người đọc.

import re

def check_answer(answer, passages):
    """Mỗi [n] phải trỏ tới đoạn có thật; câu trong ngoặc kép phải nằm nguyên văn trong đoạn ấy."""
    errors = []
    for n in map(int, re.findall(r"\[(\d+)\]", answer)):
        if not 1 <= n <= len(passages):
            errors.append(f"[{n}] không có trong danh sách đoạn")
    for quote, n in re.findall(r"「(.+?)」\[(\d+)\]", answer):
        n = int(n)
        if 1 <= n <= len(passages) and quote not in passages[n - 1]["classical_text"]:
            errors.append(f"[{n}] không có câu 「{quote}」")
    return errors

passages = [{"classical_text": "贪狼属木,化桃花杀。贪狼入庙长耸肥胖"}]
print(check_answer("Sách tả Tham Lang 「贪狼属木」[1].", passages))
print(check_answer("Sách nói 「贪狼主富贵」[1], xem thêm [4].", passages))
[]
['[4] không có trong danh sách đoạn', '[1] không có câu 「贪狼主富贵」']

Câu trả lời có lỗi thì anh chị bỏ câu ấy hoặc hỏi lại mô hình, đừng hiện.

Những điều nên giữ

  • Hiện tên sách và chương ở danh mục cuối câu trả lời, trong thân chỉ ghi [n].
  • Nguyên văn là chữ Hán. Mô hình dịch thì ghi rõ đó là bản dịch của trợ lý, không phải lời sách.
  • Phân biệt lời sách với lời giải: sách nói gì là dữ kiện có nguồn; còn quy tắc trong sách đúng với đời người hay không thì chưa được kiểm chứng, đừng để trợ lý nói như điều chắc chắn.
  • Trả lời theo một lá số cụ thể thì lấy đúng các id trong sections[].passages của lá ấy ở charts/ làm tập ứng viên, thay vì cả kho.
  • Lời luận (store/readings) và bài đọc thêm (store/further-reading, có summary, faq và url của bài) cũng đưa được vào kho tìm; giữ id để nối ngược về phần của lá số.

Giấy phép

Dữ liệu theo CC BY 4.0, mã theo MIT. Trợ lý dùng bộ này thì ghi "Dữ liệu: Nhật Nguyệt (nhatnguyet.org)" ở chỗ người dùng thấy được. Kho mã và bộ ca kiểm ở trang mã nguồn mở.

Thư tịchSách và văn bản cổ Nhật Nguyệt dựa vào.Thử ngay

Đọc tiếp trong blog

Mọi bài trong blog