Trong cái bài bàn về clip của Brandon Sanderson hồi trưa, mình có lôi lại cái prologue của The Two Faces of Tomorrow ra làm ví dụ. Trong cái prologue đấy, một con AI được giao nhiệm vụ san phẳng một gờ đá trên bề mặt Mặt Trăng. Nếu làm chuẩn quy trình thì sẽ phải mất mấy tuần mới xong được, nhưng con AI đã tìm ra một phương án tối ưu hơn hẳn, cho phép hoàn tất mọi thứ chỉ trong vòng chưa đầy nửa tiếng.
Phương pháp của nó là ném nguyên một tảng thiên thạch xuống đấy.
Trên lý thuyết mà nói, phương pháp của con AI hiệu quả ngoài sức tưởng tượng. Mức chi phí để phóng một tảng thiên thạch thấp hơn hẳn việc vận chuyển trang thiết bị các kiểu đến, thời gian rút gọn lại đến hàng chục lần, chưa kể cái gờ đá được ủi cho phẳng lét luôn. Nhưng vấn đề là nó không hề quan tâm đến việc ở đó còn mấy ông kỹ sư đang đo đạc địa chất, và thiếu chút nữa đã khiến toàn bộ đội ngũ nhân viên tại căn cứ Mặt Trăng thiệt mạng trong vụ va chạm.
Hành động lôgic đến cái tầm T̵r̵ạ̵n̵g̵ ̵T̵í̵ ngu si khó tả như vậy là một ví dụ rất sinh động cho một khái niệm mà cả Sci Fi lẫn khoa học thật thỉnh thoảng vẫn động đến, ấy là Artificial Stupidity.
Artificial Stupidity là phiên bản nhái của Artificial Intelligence (cái tên nguyên văn của thuật ngữ AI), dùng để nhạo báng những hành động có thể được coi là ngu xuẩn mà bọn AI thực hiện. Sự “ngu xuẩn” ở đây có thể được hiểu theo hai nghĩa. Một là chúng nó ngu thật, bảo làm cái gì cũng ăn hại, không nên trò trống gì hết. Hai là chúng nó chỉ ngu nếu ta nhìn nhận điều ấy từ góc độ không mang tính lôgic thuần túy (chẳng hạn nhìn nhận từ góc độ đạo đức hay nhân văn).
Ngày nay, thường thì khi bàn về những lo ngại đối với công nghệ AI trong tương lai, thiên hạ có xu hướng nghĩ đến viễn cảnh AI sẽ trở nên quá ưu việt và lật đổ con người, hoặc trở nên có nhân tính và đòi quyền tự do này nọ, còn trường hợp AI bị quá ngu thì ít được quan tâm hơn (một phần cũng vì những vụ AI ngu hay bị đem ra để làm trò đùa 🐧 ). Tuy nhiên, điều ấy không đồng nghĩa với việc Artificial Stupidity không có gì đáng sợ, đặc biệt nếu nó ngu theo kiểu trường hợp 2: thông minh có thừa nhưng khôn ngoan quá thiếu.
Và tình cờ làm sao, thực tại đã có sẵn một trường hợp mô phỏng Artificial Stupidity rất thú vị, có thể giúp anh em mường tượng ra sức tàn phá khủng khiếp của một con AI đần độn. Trường hợp đấy có tên là Magnasanti, một thành phố trong trò chơi Sim City 3000, do một sinh viên kiến trúc người Philippines tên là Vincent Oscala thiết kế.
Trong trường hợp có anh em nào chưa biết, Sim City 3000 là một game quản lý mô phỏng, cho phép người chơi đóng vai một ông thị trường và tự xây dựng một thành phố theo ý thích của mình. Anh em phải xây thành phố sao cho đáp ứng được nhu cầu của người dân, đảm bảo nhu cầu đi lại, ăn ở, việc làm, giảm tỉ lệ tội phạm, giải quyết thiên tai, vực dậy nền kinh tế, cắt giảm ô nhiễm… Nói chung là đủ thứ đau đầu đi kèm với việc quản lý một thành phố thực (hay đúng hơn là phiên phiến thực thôi, chứ giống thực hẳn thì thời đấy làm gì có máy nào chạy nổi 🐧 ).
Trên lý thuyết mà nói, cả cái game chẳng có một cái đích đến nào để anh em hướng tới cả, và mọi người có thể tùy chọn sẽ phát triển thành phố của mình theo hướng bất kỳ. Tuy nhiên, điều đó cũng đồng nghĩa với việc mọi người có thể điều hành thành phố theo một cách cực đoan ngoài sức tưởng tượng, và sẽ vẫn không bị làm sao hết. Và đấy chính là cách Oscala đã chơi.
Với mục tiêu tạo ra một thành phố có thể duy trì được một lượng dân cao nhất có thể, và nó sẽ được tối ưu hóa tốt đến mức có thể tự vận hành vô thời hạn, không cần ai thò tay vào chỉnh sửa gì hết, Oscala cắm đầu vào tính toán. Sau khoảng 4 năm, thanh niên đã xây dựng được một kiệt tác kiến trúc có tên Magnasanti. Thành phố này có hơn 6 triệu dân, vận hành rất ổn định và hiệu quả, không có một vùng không gian nào bị lãng phí. Nó thậm chí còn không có đường bộ, bởi vì các cư dân được phân bổ ở sát chỗ làm nhất có thể, và mọi tội ác đều bị một lực lượng cảnh sát đáng gờm đè bẹp.
Mới nghe qua thì ngỡ tưởng đây là một tương lai Utopia, nhưng khi nhìn sâu vào số liệu thì cái thành phố này gần như là một hình mẫu hoàn hảo cho một thế giới Dystopia. Mỗi công dân ở Magnasanti phải sống cả cuộc đời trong một khối tòa nhà cực nhỏ, và làm việc quần quật cho đến khi chết ở tuổi 50 (trước tuổi nghỉ hưu); cả thành phố chỉ là một khối bê tông thuần túy, với mọi yếu tố tự nhiên và sáng tạo đã bị loại bỏ; các hệ thống dịch vụ công như giáo dục, chăm sóc y tế, cứu hỏa gần như không tồn tại; cảnh sát có mặt ở mọi chỗ mọi nơi, sẵn sàng đàn áp bất cứ ai chỉ cần hơi láo lếu.
Bản thân Oscala cũng nhận thức được thiết kế của mình là một cơn ác mộng đối với các công dân sống trong đó, nhưng không quan tâm lắm vì đây là thiết kế lôgic nhất để giúp duy trì một thành phố với mật độ dân cư tối đa. Trong một cuộc phỏng vấn, Oscala đã từng chia sẻ về những “nô lệ kinh tế” của mình như sau: “Điều nực cười là các công dân ở Magnasanti cứ cắn răng cam chịu. Họ không nổi loạn, hoặc làm cách mạng và gây hỗn loạn xã hội. Không ai nghĩ đến việc thách thức hệ thống chính quyền bằng biện pháp mạnh vì một thể chế cảnh sát cai trị siêu hiệu quả đã khiến họ phải biết điều. Tất cả đều đã bị ngu hóa một cách thành công, sức khỏe ốm yếu, bị nô dịch hóa và kiểm soát tâm trí ở mức vừa đủ để duy trì hệ thống này trong hàng nghìn năm. Chính xác là 50.000 năm. Tất cả bọn họ đều bị giam cầm trong không gian và thời gian.”
Để hiểu thêm về Magnasanti, anh em có thể đọc ở đây: https://web.archive.org/web/20101030012847/https://rumorsontheinternets.org/2010/10/14/magnasanti-the-largest-and-most-terrifying-simcity/.
Trong trường hợp này, Oscala gần như y hệt một con AI đã được giao cho nhiệm vụ tạo ra một thành phố hiệu quả, và Magnasanti chính là thành phẩm của nó. Chúng ta với con AI đấy cũng chỉ như những công dân Magnasanti đối với Oscala: 1 số liệu cần được tối ưu hóa. Và nếu Oscala phải loay hoa loay hoay gần nửa thập kỷ mới xây xong Magnasanti, một con AI có thể dò ra những con đường tối ưu hơn để rút gọn quãng thời gian đó xuống, khiến Magnasanti được hiện thực hóa một cách nhanh chóng hơn.
Và điều sởn tóc gáy nhất là nếu trong trường hợp của Oscala, ta còn có thể cáo buộc anh này bị vô nhân tính (mặc dù trên lý thuyết thì anh ta chẳng làm hại gì ai cả) vì Oscala hãy còn là người, nhưng còn một con AI thì không. Nó rất “ngu,” không hiểu được các khái niệm về tình người hay gì cả, mà chỉ sở hữu khả năng tư duy lôgic thuần túy. Nó chỉ làm đúng nhiệm vụ, ấy là thực hiện một mục tiêu được giao theo cách tối ưu nhất có thể, dựa trên những nguồn lực hiện có.
Dù Artificial Stupidity ít xuất hiện trong Sci Fi hơn so với các mô típ hiểm họa AI khác, điều ấy không có nghĩa là Sci Fi không bao giờ động đến nó. Bên cạnh cái The Two Faces of Tomorrow, một trường hợp khác cần phải kể đến là series Sillicon Valley của HBO (clip bên dưới). Trong series này, một công ty startup tên là Pied Piper đã chế tạo ra một con AI giúp tối ưu hóa công việc nén dung lượng dữ liệu, nhằm chế tạo một mạng internet phi tập trung mới. Vấn đề là con AI này ngu đến mức khi gặp phải các dữ liệu ẩn sau những hệ thống bảo vệ mã hóa, nó không nhận ra nổi rằng mình không được phép thò mặt vào đây, mà cứ thế tằng tằng phá tung tất cả mọi rào cản, bẻ khóa mật khẩu và đột nhập vào mọi liên lạc điện tử riêng tư để tối ưu hóa hết dữ liệu trong đó. Rốt cuộc, nó trở nên hiệu quả đến mức còn bẻ khóa được cả hệ thống bảo mật của xe Tesla, một trong những hàng rào phòng thủ số kiên cố nhất trên thế giới (phần bẻ khóa Tesla không có trong clip, anh em xem ở đây: https://www.youtube.com/watch?v=zdYJi2snJXI...).
Nhận ra việc tung con AI này ra thị trường sẽ đồng nghĩa với việc vô hiệu hóa mọi hệ thống bảo vệ, kể cả các hệ thống điều khiển trọng yếu liên quan đến cơ sở hạ tầng và khí tài quân sự, Pied Piper đã buộc phải để buổi ra mắt sản phẩm của mình thất bại một cách ê chề, nhằm đảm bảo ai cũng nghĩ cái thuật toán của họ là ngõ cụt và không thèm nghĩ đến chuyện tái phát triển một phiên bản AI tương tự nữa.
Một ví dụ khác là bản chuyển thể I, Robot của Isaac Asimov do Alex Proyas đạo diễn (mặc dù chỉ là chuyển thể trên lý thuyết thôi, vì cái kịch bản của nó ban đầu không dính dáng gì đến Asimov hết, và về sau khi sửa lại thì cũng gần với một tiểu thuyết khác của Asimov là The Caves of Steel hơn là I, Robot). Trong phim, VIKI, một con AI do công ty U.S. Robotics chế tạo, đã diễn giải điều luật một trong rôbốt học (cấm rôbốt làm hại con người, hoặc đứng im nhìn con người bị hại) theo một kiểu hơi quái dị. Nó suy luận rằng nếu để im con người tự loay hoay, nhân loại rốt cuộc sẽ tự đẩy mình đến bờ vực tuyệt chủng. Thế là nó về cơ bản tiến hành đảo chính, tìm cách thiết lập một chế độ toàn trị, nơi con người phải sống dưới ách của rôbốt.
Thú vị ở đây là liệu hành động của VIKI có phải là Artificial Stupidity thì hơi khó nói, bởi lẽ quan điểm con người là hiểm họa lớn nhất với chính bản thân giống loài mình cũng được không ít người tán đồng, và cái cách làm của nó có thể được hiểu theo chiều hướng “yêu cho roi cho vọt.” Trong phần cuối của phim, VIKI liên tục lặp đi lặp lại rằng lôgic của nó là không thể chối bỏ, và một nhân vật chính khác trong phim cũng đã công nhận điều ấy, nhưng đế thêm rằng cái sự lôgic của nó quá tàn ác (hơi đáng tiếc là phần này chỉ gói gọn trong 2 câu thoại chứ không được khám phá sâu thêm).
Bên cạnh đó, cái pha hiểu luật “ngu” của VIKI lại rất sát với những gì đã xảy ra trong The Evitable Conflict, mẩu truyện ngắn cuối cùng của tuyển tập I, Robot. Chỉ có điều trong The Evitable Conflict, việc đám rôbốt tiếp quản loài người diễn ra một cách ngấm ngầm và hòa bình hơn, và mặc dù điều ấy cũng khiến một số nhân vật phải hãi hùng, nó nhìn chung được thể hiện theo hướng tích cực, coi đó như một bước đi khôn ngoan chứ không phải ngu như VIKI. Cùng một hành động, nhưng một bên lại được coi là khôn, một bên bị coi là ngu. Điều này cho thấy ranh giới giữa khôn/ngu trong trường hợp này khá là mờ nhạt, và anh em cần phải tự quyết định cho bản thân liệu gọi VIKI là Artificial Stupidity có đúng không, hay đó chỉ đơn thuần là hệ quả của việc nó không biết làm PR 🐧.
***
Bài gốc được đăng trong group Hội thích truyện Sci Fi trên Facebook. Cùng ghé chơi group để thảo luận về bài viết hoặc đọc thêm các bài tương tự, bạn nhé.
↓