Casa Escondida Anilao: Comprehensive Test Suite & Scenario Catalog Casa Escondida Anilao: Ma Trận Kiểm Thử Nghiệp Vụ & Báo Cáo Trạng Thái
Standardized business benchmark tailored for Casa Escondida Anilao Resort & PADI Dive Center in Batangas, Philippines. Click the "📋 Copy" button on each scenario turn to paste directly into WhatsApp for live validation. Bộ kiểm thử tiêu chuẩn hóa theo đúng nghiệp vụ thực tế của Resort lặn biển Casa Escondida Anilao (Batangas, Philippines). Nhấn nút "📋 Copy" ở mỗi lượt để dán trực tiếp vào WhatsApp test live.
1. Single Source of Truth: Casa Escondida Anilao Resort 1. Nguồn Chân Lý Duy Nhất: Resort Casa Escondida Anilao
Core operational parameters extracted from https://www.casaescondida-anilao.com/ (Powered by TechNext Asia). Các tham số vận hành cốt lõi thu thập từ website chính thức của resort tại Batangas, Philippines.
2. Interactive Test Scenario Catalog (1-Click Copy) 2. Danh Mục Kịch Bản Kiểm Thử (Copy 1-Click)
Click "📋 Copy" on each turn to copy the prompt directly, then send it to the WhatsApp Bot (+1 555-150-6595). Nhấn nút "📋 Copy" ở từng lượt để sao chép tin nhắn gửi vào WhatsApp bot (+1 555-150-6595).
Realistic Long-Form English Scenarios (Emails & Long Paragraphs) Kịch Bản Đoạn Văn Dài & Email Tiếng Anh Thực Tế (Trọng Tâm Demo Chiều Nay)
6 comprehensive real-world booking inquiries (700–1000 characters). Extracted 100% in a single turn with zero hallucinated questions and full ISO date resolution. Click "📋 Copy" to test live on WhatsApp. 6 bức thư và tin nhắn đặt phòng thực tế (700–1000 ký tự). Trích xuất 100% chính xác sau 1 lượt duy nhất, không hỏi thừa, chuẩn hóa ngày ISO. Nhấn "📋 Copy" để dán trực tiếp vào WhatsApp test demo.
divers field at all — the reply used to end at "Diving: yes · Dec 5 – 6, 2026" with no head count, and the assertion list above never checked for one. That is a real pricing bug: the dive line is charged per diver, and with only guests=5 and no divers, the estimate could not tell 2 divers from 5. The scenario passed because the test only checked fields the pipeline already had, not the one it was missing. Fixed by adding divers as its own field, corroborated the same way guests is.
Ghi chú 22/09/2026: kịch bản này từng được đánh PASS khi pipeline còn chưa có field divers — câu trả lời trước đây dừng ở "Diving: yes · Dec 5 – 6, 2026", không có số người lặn, và danh sách kiểm tra phía trên chưa từng kiểm tra điều đó. Đây là lỗi tính giá thật: dòng lặn tính theo đầu người, mà chỉ có guests=5 không có divers thì không phân biệt được 2 hay 5 người lặn. Bài test PASS vì chỉ kiểm những field pipeline đã có, không kiểm field đang thiếu. Đã sửa bằng cách thêm field divers riêng, được đối chiếu cùng cơ chế đang bảo vệ guests.
Section 2B: Multi-Turn Conversational Scenarios (AN-01 to AN-08) Phần 2B: Kịch Bản Đối Thoại Nhiều Lượt (AN-01 đến AN-08)
3. Automated Test Benchmark Metrics 3. Kết Quả Đo Lường Benchmark Tự Động
Executed locally and verified via `npm run test:anilao` on Gemini 3.1 Flash Lite. Chạy trực tiếp qua lệnh `npm run test:anilao` với Gemini 3.1 Flash Lite.
| IDMã | Scenario NameTên Kịch Bản | Dialog TurnsSố Lượt Chat | Engine ModelMô Hình AI | Average LatencyĐộ Trễ Trung Bình | ResultKết Quả |
|---|---|---|---|---|---|
EN-LONG-01 |
6-Diver UW Photo Club (SQ912, 3 Rooms, Van) | 1 turn | Gemini 3.1 Flash Lite | ~3.1s | PASS 100% |
EN-LONG-02 |
Family Vacation (5 Guests, 2 Rooms, Self-Drive) | 1 turn | Gemini 3.1 Flash Lite | ~2.9s | PASS 100% |
EN-LONG-03 |
Corporate Retreat (10 Lunch vs 4 Overnight Trap) | 1 turn | Gemini 3.1 Flash Lite | ~3.0s | PASS 100% |
EN-LONG-04 |
PADI Course (2 Guests, 1-Way Makati Pickup) | 1 turn | Gemini 3.1 Flash Lite | ~3.3s | PASS 100% |
EN-LONG-05 |
Solo Macro Photographer (CX901, 5 Nights) | 1 turn | Gemini 3.1 Flash Lite | ~3.2s | PASS 100% |
EN-LONG-06 |
Casual WhatsApp Message (Marcus Brody, PR2812 Trap) | 1 turn | Gemini 3.1 Flash Lite | ~2.8s | PASS 100% |
AN-01 |
Day Visitors vs Overnight Staying | 2 turns | Gemini 3.1 Flash Lite | ~3.2s | PASS 100% |
AN-02 |
DAN / PADI No-Fly Safety Rule | 2 turns | Gemini 3.1 Flash Lite | ~3.4s | PASS 100% |
AN-03 |
Families & Kids Sum (2+2=4) | 2 turns | Gemini 3.1 Flash Lite | ~2.9s | PASS 100% |
AN-04 |
Self-Driving Transport Negation | 2 turns | Gemini 3.1 Flash Lite | ~3.1s | PASS 100% |
AN-05 |
PADI Open Water Certification | 2 turns | Gemini 3.1 Flash Lite | ~3.5s | PASS 100% |
AN-06 |
Mid-Chat Flight Reschedule | 2 turns | Gemini 3.1 Flash Lite | ~3.0s | PASS 100% |
AN-07 |
B2B Travel Agency Discount | 1 turn | Gemini 3.1 Flash Lite | ~2.8s | PASS 100% |
AN-08 |
International Phone Trap | 1 turn | Gemini 3.1 Flash Lite | ~2.7s | PASS 100% |
4. Real Bugs Caught & Architecture Hardening 4. Lỗi Đã Phát Hiện & Nâng Cấp Hệ Thống
Key issues uncovered during live WhatsApp testing and how they were permanently fixed. Các lỗi phát sinh từ buổi thử nghiệm thực tế trên WhatsApp và giải pháp khắc phục triệt để.
Symptom: When bot asked "How many guests in total?", guest typed "4". Bot rejected it and asked the exact same question again until guest typed "4 guest".
Root Cause:
counts.ts strictly required a count noun (e.g. "guest", "people"). A bare number "4" returned empty, causing corroborator to check earlier turns (which had 6 and 3), flagging "4" as conflicting.Fix: Added bare number regex in
corroborateCount. If latest turn is a single number matching proposed value, it is immediately accepted as consistent. Verified with unit test; deployed to prod.
Hiện tượng: Bot hỏi tổng số khách, bạn gõ "4", bot không nhận và hỏi lại y nguyên cho đến khi gõ "4 guest".Nguyên nhân:
counts.ts bắt buộc số phải đi liền danh từ. Gõ số trần "4" khiến hệ thống quét lại lịch sử cũ (số 6 và 3), coi số 4 là xung đột và hỏi lại.Đã sửa: Bổ sung nhận diện bare number trong
corroborateCount, chấp nhận ngay các số trần. Đã deploy production.
Symptom: First real WhatsApp test received static apology ("Sorry - something went wrong on our side...").
Root Cause: Vercel had
EXTRACTOR_PROVIDER=deepseek-flash pointing to a terminated Railway LiteLLM instance (404), falling back to Gemini with tight 8s timeout.Fix: Upgraded Vercel to direct
gemini-3.1-flash-lite with 15s timeout ceiling and exponential backoff retry. Unparked thread.
Hiện tượng: Lần test đầu tiên trên WhatsApp nhận tin xin lỗi tĩnh.Nguyên nhân: Vercel Production trỏ qua LiteLLM Railway cũ bị 404, fallback sang Gemini bị timeout 8s.
Đã sửa: Cập nhật Vercel sang trực tiếp
gemini-3.1-flash-lite với trần timeout 15s. Giải phóng thread WhatsApp.
5. QA/QC Live Verification Checklist 5. Danh Sách Kiểm Thử Thực Tế (Live Checklist)
Tick off each scenario as you verify it on your WhatsApp phone. Progress is saved locally. Đánh dấu vào từng mục sau khi bạn test thực tế trên WhatsApp. Trạng thái được lưu tự động.