NEC đã phát triển một công nghệ nắm bắt nhanh tình hình thiệt hại trong trường hợp xảy ra thảm họa bằng cách kết hợp mô hình ngôn ngữ quy mô lớn (LLM) và công nghệ phân tích hình ảnh. Nó phân tích một lượng lớn hình ảnh địa điểm được thu thập từ điện thoại thông minh và camera đường phố trong khu vực thảm họa để xác định vị trí và tình huống, giúp người dùng dễ dàng tìm thấy những hình ảnh họ muốn kiểm tra. Trong tương lai, hệ thống sẽ được triển khai đến các bộ, cơ quan liên quan và chính quyền địa phương chịu trách nhiệm ứng phó thiên tai, giúp thực hiện các phản ứng ban đầu nhanh hơn như hướng dẫn sơ tán và hoạt động cứu hộ.
Thu hẹp hình ảnh hiện trường (trái) và hiển thị trên bản đồ (do NEC cung cấp)
Công nghệ mới sử dụng việc giải thích ngữ nghĩa của các từ bằng LLM và xác định độ tương tự của hình ảnh bằng phân tích hình ảnh. Người dùng có thể tìm kiếm các từ miễn phí từ một số lượng lớn hình ảnh trang web và thu hẹp hình ảnh theo mục đích của họ. Có thể truy xuất các hình ảnh tương tự bằng cách chỉ định hình ảnh ngay cả trong những cảnh khó diễn đạt bằng lời.
Hình ảnh trang web của các vị trí không xác định được đối chiếu với hình ảnh vệ tinh địa phương và dữ liệu bản đồ để ước tính địa chỉ với độ chính xác cao và hiển thị chúng trên bản đồ. Một cơ chế tự động trích xuất đường, tòa nhà, đèn giao thông, v.v. từ hình ảnh địa điểm và so sánh chúng với thông tin bố cục bản đồ như đường. Thông tin về các con đường ít có khả năng bị hư hại hơn các tòa nhà trong trường hợp động đất và thông tin về các tòa nhà ít có khả năng bị ngập nước hơn các con đường trong trường hợp lũ lụt có thể được sử dụng đúng cách, cho phép ước tính chính xác địa điểm chụp ảnh các địa điểm bị hư hỏng hoặc ngập lụt.
Thông thường, công nghệ nhận dạng hình ảnh đã được sử dụng rộng rãi để thu hẹp hình ảnh nhưng rất khó để nhận dạng các đối tượng chưa được đào tạo trước. Vì loại và quy mô của thảm họa đòi hỏi thông tin đa dạng hơn nên chúng tôi sẽ hỗ trợ ứng phó thảm họa ở những khu vực có thảm họa nơi tình hình thay đổi theo từng thời điểm bằng cách giúp bạn dễ dàng tìm thấy hình ảnh mong muốn hơn. NEC hy vọng sẽ đưa công nghệ mới vào sử dụng thực tế vào cuối năm tài chính 2025. Chúng tôi sẽ tiếp tục đóng góp cho xã hội bằng cách sử dụng LLM và công nghệ phân tích hình ảnh.
