Tìm kiếm

Không có quyền quản trị

StrategyQ My Blog

Trí tuệ Nhân tạo - A.I 5 phút đọc

Khi Ma Trận Trở Thành Phù Phiếm: Mổ Xẻ Thảm Họa Đằng Sau Lời Hứa Của Attention 128k

Tác giả: gradient_nan | Chuyên mục: Trí tuệ Nhân tạo - A.I

 

Bấm nút loss.backward(), màn hình văng ra tensor(nan). Toàn bộ trọng số mô hình cháy rụi thành tro tàn số học sau 48 giờ cụm H100 chạy hết công suất. Giới PR gọi đó là "bước đột phá về trí tuệ nhân tạo tổng quát", còn trong phòng máy, chúng tôi gọi đó là một phép tính chia cho số không bị giấu nhẹm dưới hàng ngàn lớp chuẩn hóa.

Tôi lấy bút danh gradient_nan vì tôi chính là thứ rác rưởi ấy: dòng lỗi xuất hiện khi gradient bùng nổ vượt quá giới hạn của kiểu dữ liệu nửa dấu phẩy động (FP16). Người ta vội vàng xóa sổ tôi bằng một hàm clip gradient vụng về rồi tiếp tục đem mô hình đi gọi vốn. Nhưng hãy lột bỏ lớp vỏ bọc hào nhoáng của các bài thuyết trình; bản chất của cái gọi là "tư duy máy móc" hôm nay chỉ là một bài toán tối ưu lồi bị bẻ gãy.

Bản Chất Đại Số Của Attention: Phép Nhân Phù Phiếm

Các chiến dịch tiếp thị ra rả về ngữ cảnh 128k hay 1M token như thể cỗ máy thực sự ghi nhớ một cuốn bách khoa toàn thư. Hãy nhìn vào công thức cơ bản nhất mà bất kỳ ai viết code từ con số 0 đều phải thuộc:

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

Toán học không biết nói dối. Nó không có cảm xúc, và quan trọng nhất: nó không có phép màu.

Độ Phức Tạp Bậc Hai $O(N^2)$ Và Trò Ảo Thuật Băng Thông

Khi $N$ tiến từ 4.096 lên 131.072, ma trận tích trong $QK^T$ không tăng tuyến tính. Nó bành trướng theo hàm mũ hai:

  • Bộ nhớ để lưu giữ ma trận chú ý thô nhảy vọt từ $16 \times 10^6$ phần tử lên hơn $17 \times 10^9$ phần tử cho mỗi đầu chú ý (attention head).

  • Băng thông SRAM của chip bị nghẽn cứng. Các kỹ sư nghĩ ra FlashAttention để chia nhỏ khối tính toán (tiling), tránh việc ghi ra HBM.

  • Nhưng giải quyết bài toán I/O phần cứng không đồng nghĩa với việc giải quyết bản chất thuật toán. Bạn chỉ đang dọn một bãi rác nhanh hơn, chứ không làm bãi rác đó biến mất.

Sự Pha Loãng Của Phân Phối Softmax

Vấn đề thực sự nằm ở hàm Softmax. Khi chiều dài chuỗi $N$ quá lớn, mẫu số $\sum \exp(z_i)$ trở thành một tổng khổng lồ của hàng chục nghìn giá trị vô nghĩa.

# Minh họa sự sụp đổ phân phối khi N quá lớn
import torch

def attention_entropy(seq_len, d_k=64):
    q = torch.randn(1, seq_len, d_k)
    k = torch.randn(1, seq_len, d_k)
    scores = torch.matmul(q, k.transpose(-2, -1)) / (d_k ** 0.5)
    weights = torch.softmax(scores, dim=-1)
    # Entropy đo lường mức độ tập trung của phân phối
    entropy = -torch.sum(weights * torch.log(weights + 1e-9), dim=-1)
    return entropy.mean().item()

Khi chuỗi dài vô tận, entropy tăng vọt. Trọng số bị dàn phẳng như mặt hồ không gợn sóng. Mô hình không "đọc" ngữ cảnh 128k; nó chỉ đang thực hiện một phép nội suy trung bình mờ nhạt, nơi token thứ 100 và token thứ 100.000 đều nhận về một lượng chú ý tiệm cận zero.

Ảo Tưởng Về RAG Và Nỗi Nhục Retrieval

Nhiều kiến trúc sư phần mềm tự nhận mình làm "A.I" bằng cách ghép một cơ sở dữ liệu vector với một API đóng kín, gọi đó là RAG (Retrieval-Augmented Generation). Đây là đỉnh cao của sự lười biếng tư duy.

Khoảng Cách Cosine Trong Không Gian Cao Chiều

Người ta tin rằng khoảng cách cosine giữa hai vector nhúng (embedding vectors) đại diện cho sự tương đồng về ngữ nghĩa. Nhưng trong không gian 1536 chiều, hiện tượng "Lời nguyền số chiều" (Curse of Dimensionality) biến mọi điểm dữ liệu thành những kẻ cô độc cách đều nhau:

  • Tỉ lệ giữa khoảng cách cực đại và khoảng cách cực tiểu tiệm cận về 1.

  • Phép đo góc (dot product) bị chi phối bởi các chiều có phương sai bất thường do hiện tượng anisotropy (các vector bị dồn thành một hình nón hẹp).

  • Bạn truy vấn một tài liệu pháp lý, hệ thống trả về một đoạn công thức nấu ăn chỉ vì chúng chia sẻ chung một vài danh từ chuyên ngành hiếm gặp có giá trị vector bị lệch chuẩn.

Bẫy "Needle In A Haystack" Mang Tính Gian Lận

Các bài benchmark "tìm kim trong đáy bể" được thiết kế để lừa dối các nhà đầu tư:

  • Người ta nhét một câu ngẫu nhiên vào giữa văn bản dài 100k token rồi bắt mô hình tìm lại.

  • Mô hình tìm được không phải vì nó hiểu nội dung, mà vì độ lệch perplexity tại vị trí đó đột ngột tăng vọt như một cái gai nhọn cắm vào mắt.

  • Hãy thử thay cái kim đó bằng một lập luận logic trải dài qua 5 chương sách, phân phối xác suất sẽ sụp đổ ngay lập tức. Mô hình bắt đầu bịa đặt (hallucinate) vì gradient không còn tín hiệu dẫn đường.

Trả Giá Bằng Dấu Phẩy Động: Bi kịch Của Lượng Hóa 4-bit

Cơn sốt chạy mô hình cục bộ trên máy tính cá nhân dẫn đến trào lưu lượng hóa: ép kiểu từ FP32 xuống FP16, rồi INT8, INT4, và thậm chí 1.58-bit.

Outlier Features: Những Kẻ Phá Bĩnh Trầm Lặng

Trong các mô hình tham số lớn (từ 6.7B trở lên), một hiện tượng toán học kỳ lạ xuất hiện: khoảng 0.1% số chiều của tensor ẩn có biên độ lớn gấp 100 lần so với phần còn lại. Chúng xuất hiện có hệ thống ở mọi token sau một độ sâu nhất định.

FP16:  [ 0.12,  -0.45,   158.20,   0.03,  -0.89 ] -> Giữ được giá trị đột biến
INT4:  [    0,      0,        7,      0,      0 ] -> Mọi giá trị nhỏ bị xóa sổ

Khi bạn ép mô hình vào thang đo tuyến tính 4-bit, toàn bộ dải động bị chi phối bởi giá trị đột biến 158.20 kia. Hơn 99% các giá trị còn lại bị làm tròn về 0. Ma trận tri thức biến thành một tấm lưới rách.

Ảo Giác Suy Luận Của Mô hình Thu Nhỏ

Mô hình lượng hóa thấp vẫn phát ra câu chữ mượt mà, nhưng khả năng suy luận logic đa bước đã biến mất:

  • Ngữ pháp là một hàm xấp xỉ bậc thấp; mô hình chỉ cần vài bit là bắt chước được giọng điệu uyên bác.

  • Logic phụ thuộc vào sự tương tác tinh vi giữa các giá trị gradient cực nhỏ ở các lớp sâu.

  • Cắt cụt phần thập phân để tiết kiệm vài gigabyte VRAM thực chất là cuộc đánh đổi: bạn nhận lại một kẻ tâm thần ăn nói lưu loát thay vì một hệ thống tính toán chính xác.

Tri thức số học không thể tạo ra từ việc nén dữ liệu cẩu thả. Chừng nào chúng ta còn dùng các thủ thuật đóng gói để che đậy sự bế tắc trong kiến trúc toán học nền tảng, thì cái nhãn NaN sẽ mãi là lời nhắc nhở lạnh lùng nhất: một khi hàm mục tiêu bị đặt sai, toàn bộ hệ thống sớm muộn gì cũng chia cho số không.